Enable per-role SchedulerHints

This adds a parameter for each role, where optional scheduler hints
may be passed to nova.  One potential use-case for this is using
the ComputeCapabilities to pin deployment to a specific node (not
just a specific role/profile mapping to a pool of nodes like we
have currently documented in the ahc-match docs).

This could work as follows:

1. Tag a specific node as "node:controller-0" in Ironic:

ironic node-update <id> replace properties/capabilities='node:controller-0,boot_option:local'

2. Create a heat environment file which uses %index%

parameters:
  ControllerSchedulerHints:
    'capabilities:node': 'controller-%index%'

Change-Id: I79251dde719b4bb5c3b0cce90d0c9d1581ae66f2

Merge "Making nova parameters configurable for nuage-metadata-agent"

Merge "Add option to add metadata for the overcloud nodes"

Merge "Fix the wrong selinux context when glance uses nfs backend"

Making nova parameters configurable for nuage-metadata-agent

Exposing 'instance_name_template' to be set via
  extra config for nuage-metadata-agent to function

Making nova::api::admin_tenant_name
  available on the compute node which is
    required by nuage-metadata-agent service

Making KeystonePublicApiVirtualIP available
  on the compute node, which is used by the
    nuage-metadata-agent to build the auth-url

Change-Id: I9736015e18cebf32b07940bf559063b60085f2fb

Add option to add metadata for the overcloud nodes

Some Nova hooks might require custom properties/metadata set for the
servers deployed in the overcloud, and this would enable us to inject
such information.

For FreeIPA (IdM) integration, there is effectively a Nova hook that
requires such data.

Currently this inserts metadata for all servers, but a subsequent CR
will introduce per-role metadata. However, that was not added to this
because it will require the usage of map_merge. which will block those
changes to be backported. However, this one is not a problem in that
sense.

Change-Id: I98b15406525eda8dff704360d443590260430ff0

Drop os-apply-config. No longer maintained.

Change-Id: I29e2a8f1b0c66f3cf88f40244d6da49f3d7420be

Rename overcloud-without-mergepy to overcloud.

Mergepy is gone. We can now rename our primary overcloud
template to be more sensible.

Change-Id: I14f5ff78b083b34590d30357df94c42ff6a0c2c0

Merge "Minor fixes to TLS related resources"

Merge "Make all network ports type to consume FixedIPs"

Merge "Add pcmk constraints against haproxy-clone only if applicable"

Merge "Fix default route in multiple nics net isolation templates"

Merge "Introduce domain configuration through parameter"

Merge "Apply mongod timeout via cib-push"

Merge "Added libvirt_vif_driver, ovs_bridge and security_group_api parameters"

Merge "Make enabling of controller services configurable."

Merge "Changes for configuring Nuage"

Merge "Changes for configuring Nuage"

Add pcmk constraints against haproxy-clone only if applicable

When the Overcloud does not host an instance of haproxy, pcmk will
not have any resource named haproxy-clone so we should not add
any constraint relying on it.

Change-Id: I801f07b7570f3805aa71c22998fec6b6f192b350

Introduce domain configuration through parameter

Introduce configuration of the nodes' domains through a parameter.

Change-Id: Ie012f9f2a402b0333bebecb5b59565c26a654297

Fix default route in multiple nics net isolation templates

The non-controller nodes in the network/config/multiple-nics
directory do not have a default route configured. This change
adds the default route to the non-controller nodes using the
ControlPlaneDefaultRoute parameter, which was already a part
of these templates.

Change-Id: Idaaeb2a539555ac14cc613b202c428108bc19a30

Merge "Drop deprecated templates/Makefile/merge.py"

Changes for configuring Nuage

Added ExtraConfig templates and environment files
 for Nuage Networks specific parameters.
Modified overcloud_compute.pp to conditionally
 include nuage-metadata-agent.

Change-Id: I28106d8e26ad4d0158fe5e3a13f2f7b21e5c0b28

Changes for configuring Nuage

Added ExtraConfig templates and environment files for Nuage specific parameters.
Modified overcloud_compute.pp and overcloud_controller.pp to conditionally
include Nuage plugin and agents.

Change-Id: I95510c753b0a262c73566481f9e94279970f4a4f

Merge "Make load balancer deployment optional via template param"

Merge "Add net_vip_map_external to be used for an external balancer"

Minor fixes to TLS related resources

* Fixed a comment to avoid ambiguity with concepts in Heat
* Removed default values from necessary parameters in the TLS
  environment
* Simplified setting of the cert/key into a file.

Change-Id: I351778150a6fbf7affe1a0fddb1abb9869324dfc

Make enabling of controller services configurable.

Following parameters will be user configurable:
1. enable_dhcp_agent
2. enable_metadta_agent
3. enable_l3_agent
4. enable_ovs_agent

This change was made as the Nuage plugin does not require these
services to come up as a part of the installation.
Now, a user can explicitly disable these services using a heat
template.

Change-Id: Ic132ecbb2e81a3746f304da1cecdc66d0342db72

Drop deprecated templates/Makefile/merge.py

This patch drops a bunch of deprecated stuff from
tripleo-heat-templates. Once we remove the Makefile
(which creates overcloud.yaml) we can proceed
in renaming overcloud-without-mergepy.yaml to
overcloud.yaml.

Change-Id: Ic6ab3777d19e207cae29dcbc2e3839815cd80181

Merge "Update: clean keepalived and radvd instances after pcs cluster stop"

Merge "Output the SSL Certificate and Key modulus"

Merge "Enable trust anchor injection"

Merge "Inject TLS certificate and keys for the Overcloud"

Merge "Fixup neutron constraints in older overclouds before updating"

Output the SSL Certificate and Key modulus

Provides a simple mechanism to verify the correct certificates
landed.

A quick and simple way to verify SSL certificates were generated for
a given key is by comparing the modulus of the two.  By outputing
the key modulus and certificate modulus we offer a way to verify
that the right cert and key have been deployed without compromising
any of the secrets.

Change-Id: I882c9840719a09795ba8057a19b0b3985e036c3c

Enable trust anchor injection

This commit enables the injection of a trust anchor or root
certificate into every node in the overcloud. This is in case that the
TLS certificates for the controllers are signed with a self-signed CA
or if the deployer would like to inject a relevant root certificate
for other purposes. In this case the other nodes might need to have
the root certificate in their trust chain in order to do proper
validation

Change-Id: Ia45180fe0bb979cf12d19f039dbfd22e26fb4856

Apply mongod timeout via cib-push

We forgot to apply the mongod timeout in the cib dump first, to
apply it later in a single cib-push step.

Change-Id: Ib104e51782c6d3f646907cdb06c74fd4cbf9028c

Update: clean keepalived and radvd instances after pcs cluster stop

Older neutron versions have a bug which makes them leave keepalived and
radvd running even after all neutron services are stopped, preventing
neutron router failover from happening. Router can then get stuck on the
inactive node, like this:

[stack@instack ~]$ neutron l3-agent-list-hosting-router default_router
+--------------------------------------+------------------------------------+----------------+-------+----------+
| id                                   | host                               | admin_state_up | alive | ha_state |
+--------------------------------------+------------------------------------+----------------+-------+----------+
| 48ca9477-b93b-4305-9e6d-9f1c5d3388f0 | overcloud-controller-1.localdomain | True           | :-)   | standby  |
| eba0575c-654f-4da6-b1cd-f7fdf1cd3726 | overcloud-controller-2.localdomain | True           | :-)   | standby  |
| 68815390-251f-4425-a5f8-38bdbf3bdb90 | overcloud-controller-0.localdomain | True           | xxx   | active   |
+--------------------------------------+------------------------------------+----------------+-------+----------+

We need to kill the leftover processes manually to prevent the state
described above from happening.

See https://review.gerrithub.io/#/c/248931

Change-Id: I2deaa176222983daa0c33ab52a6aa5dbe7365302

Merge "Point registry at tripleoupstream"

Make load balancer deployment optional via template param

Adds control over the load balancer deployment via template param.

Change-Id: I5625083ff323a87712a5fd3f9a64dd66d2838468

Add net_vip_map_external to be used for an external balancer

Changes VipMap into a new NetVipMap resource which defaults to
being the same as the 'old' VipMap. An environment file can be
used to map NetVipMap instead to the net_vip_map_external.yaml
which allows for passing in explicit Virtual IP addresses.

It also ensures that references to the Virtual IPs are gathered
from the VipMap resource and allows for an empty ControlPlaneIP
parameter in the neutron port templates where it can be.

Co-Authored-By: Giulio Fidente <gfidente@redhat.com>
Change-Id: Ifad32e18f12b9997e3f89e4afe3ebc4c30e14a86

Merge "Sample environment with old ServiceNetMap value"

Merge "Implement Advanced Firewalling support"

Sample environment with old ServiceNetMap value

The original value for the ServiceNetMap parameter had the Keystone
Admin API service on the Internal API network. Later, it was moved to
the ctlplane network by default.

Users updating from clouds already deployed may not want to have the
service moved, and we've occassionly seen it cause issues with services
not getting restarted properly.

This sample environment file documents the old value so that users can
just optionally include it via -e to keep the services the same as they
were when they originally deployed.

Change-Id: I0b68542337a2f40e26df15fe7ac2da5aafe651d5

Fixup neutron constraints in older overclouds before updating

The neutron pcs constraints were reworked in
https://review.openstack.org/#/c/229466/

For overclouds deployed with older tripleo-heat-templates the
current pcs ordering constraints will not have those changes,
meaning that the behaviour discussed at
https://bugs.launchpad.net/tripleo/+bug/1501378 is likely
given we will stop and restart all services. This review
applies those, in short, remove the ovs-cleanup after
neutron-server and add openvswitch-agent instead. Detail in
the bug report and linked BZ.

Change-Id: I45822c5fe9029f11635400b7fbd386880ac80a4e
Related-Bug: 1501378

Merge "Add constraints and timeouts from file in single step"

Inject TLS certificate and keys for the Overcloud

This is a first implementation of adding TLS termination to the load
balancer in the controllers. The implementation was made so that the
appropriate certificate/private key in PEM format is copied to the
appropriate controller(s) via a software deployment resource.

And the path is then referenced on the HAProxy configuration, but this
part was left commented out because we need to be able to configure the
keystone endpoints in order for this to work properly.

Change-Id: I0ba8e38d75a0c628d8132a66dc25a30fc5183c79

Merge "Allows for customization of NetworkDeployment actions"

Merge "Change default host reserved memory to 2048MB from 512MB"

Allows for customization of NetworkDeployment actions

We don't necessarily want the network configuration to be reapplied
with every template update so we add a param to configure on which
action the NetworkDeployment resource should be executed.

Change-Id: I0e86318eb5521e540cc567ce9d77e1060086d48b
Co-Authored-By: Dan Sneddon <dsneddon@redhat.com>
Co-Authored-By: James Slagle <jslagle@redhat.com>
Co-Authored-By: Jiri Stransky <jstransk@redhat.com>
Co-Authored-By: Steven Hardy <shardy@redhat.com>

Point registry at tripleoupstream

The tripleoupstream registry contains images that are built
every time there is a change in delorean.

The gate also needs this.

Change-Id: If460853284588f637de820afa54069f773f2e6f7

Merge "Nova-libvirt needs to bind to /sys/fs/cgroup"

Merge "Add local docker registry support"

Merge "Update docker compute environment to use json config"

Change default host reserved memory to 2048MB from 512MB

Results from pmap of idle nova-compute:
  https://gist.github.com/jtaleric/addd9079d6cdf4f7cf42

Results from free -m and cat /proc/meminfo:
  https://gist.github.com/jtaleric/410130f09c2aad2dc7e9

bug: https://bugzilla.redhat.com/show_bug.cgi?id=1282644
Change-Id: I9b3ceecabfdae0a516cfc72886fde7b26cc68f82

Implement Advanced Firewalling support

Consume puppet-tripleo to create/manage IPtables from Heat templates.

This review put in place the logic to enable and setup firewall rules.

A known set of rules are applied. More to come.

Change-Id: Ib79c23fb27fe3fc03bf223e6922d896cb33dad22
Co-Authored-By: Yanis Guenane <yguenane@redhat.com>
Depends-On: I144c60db2a568a94dce5b51257f1d10980173325

Add constraints and timeouts from file in single step

To avoid pcmk reconfiguring the resources on each config change,
we want to apply the constraints and timeouts from file.

We also *do not* want to alter the timeouts for a few ocf resources
which are rabbitmq, neutron-netns-cleanup and neutron-ovs-cleanup

Change-Id: I6875f19e1f34f0fdcf0928421f49b61d857ca7c8
Co-Authored-By: Andrew Beekhof <abeekhof@redhat.com>

Merge "Implement Neutron enable_isolated_metadata parameters"

Merge "Verify galera is sync'd in yum_update.sh"

Merge "neutron: enable nova-event-callback by default"

Merge "Pass ceph::pool arguments when calling class"

Added libvirt_vif_driver, ovs_bridge and security_group_api parameters

Made libvirt_vif_driver, ovs_bridge and security_group_api parameters
in nova as configurable parameters through heat templates
Change-Id: I3f355c31a64912baa1a159d59f0fa9089f77b8f4

neutron: enable nova-event-callback by default

* Add NovaApiVirtualIP string parameter.
* Compute nova_url and nova_admin_auth_url parameters.
* Configure in Hiera neutron::server::notifications::* parameters.
* non-ha: include ::neutron::server::notifications
* ha: include ::neutron::server::notifications and create orchestration
* Set vif_plugging_is_fatal to True so we actually fail if Neutron is not
  able to create the VIF during Nova server creation workflow.

Depends-On: I21dc10396e92906eab4651c318aa2ee62a8e03c7
Change-Id: I02e41f87404e0030d488476680af2f6d45af94ff

Implement Neutron enable_isolated_metadata parameters

* Use the parameter in Puppet configuration (Hiera) to configure neutron

BZ-1273303

Change-Id: Ic5a7a1f13fd2bc800cadc3a78b1daadbc0394787
Signed-off-by: Cyril Lopez <cylopez@redhat.com>

Verify galera is sync'd in yum_update.sh

When the cluster is brought back online after a yum update in
yum_update.sh, we should verify that galera is fully sync'd before
moving on. This ensures the sync is complete before moving on to update
any other nodes in the cluster.

Change-Id: Ie8fc2c5d5214deacea94ca658ac75359b318ced1

Merge "Add support for enabling L2 population in Neutron"

Merge "Add simple linux bridge as network environment"

Add simple linux bridge as network environment

Create a bridge for the overcloud services using linux bridge instead of
openvswitch. Some SDNs may be incompatible with openvswitch datapath.

Change-Id: I873368e74ddfd95bf5c6e1f88cec33ba011e09dd

Add support for enabling L2 population in Neutron

This change adds support for enabling/disabling L2 population in
Neutron agents. It currently defaults to false.

Change-Id: I3dd19feb4acb1046bc560b35e5a7a111364ea0d7

Merge "Add environment for isolated networks without tunneling VLAN"

Merge "Support network isolation without external nets"

Merge "Add the GlanceRegistry and Horizon endpoints to EndpointMap"

Merge "Expose the IP of the Endpoints"

Merge "Make CloudName available for Endpoints"

Make all network ports type to consume FixedIPs

This change adds to the internal_api, storage, storage_mgmt and
tenant network ports the FixedIPs param and make them consume it
when passed.

Change-Id: Ica2bca9f573b206cc60c9d572224a8cc7b9b8aa4

Merge "Bump further the stop/start timeout for pcmk/systemd services"

Merge "Set start/stop pacemaker resource timeouts for updates"

Merge "Add missing constraints in yum_update.sh"

Merge "honor the rabbit user and password provided"

Merge "Fix cinder error when CinderNfsMountOptions option is absent"

Pass ceph::pool arguments when calling class

Pass the ceph::pool properties as arguments to the class call
instead of setting them as class defaults.

Ceph recommends max 32 PGs and min 4 PGs per OSD so this change
also lowers the defaults to 32 which works with 1 OSD, suits well
a scenario with 3 OSDs and is easy to customize in the static
hiera if more than 8 OSDs are deployed.

More info at: https://bugzilla.redhat.com/show_bug.cgi?id=1252546

Change-Id: Ifed11d1857900b2251dfdf69d6b6f168150e6330

Merge "Refacter Endpoints into EndpointMap"

Merge "Add DeployIdentifier overcloud parameter"

Fix cinder error when CinderNfsMountOptions option is absent

When I deploy director with NFS backend for cinder,
sometimes I don't need nfs mount options.
If I choose to omit this option, or if the option
is defined to '', the deployment fails.

This patch add just a default value for this option.

Change-Id: Idf708aaecebd5c6db14f48ad2a53d6c2453be5ee
Bugzilla: https://bugzilla.redhat.com/show_bug.cgi?id=1281870

Set start/stop pacemaker resource timeouts for updates

This matches change I6fc18f1ad876c5a25723710a3b20d8ec9519dcba, but we
need it to set it before attempting the cluster stop - yum update -
cluster start cycle, to make sure this cycle doesn't hit the low timeout
limits.

This can be removed once updates from deployments made prior to
I6fc18f1ad876c5a25723710a3b20d8ec9519dcba are no longer supported.

Change-Id: I587136d8d045d213875c657ea5a405074f80c8ad

Bump further the stop/start timeout for pcmk/systemd services

This bumps further up the stop/start timeout for the pcmk/systemd
services so that it matches the 100s default set in future pcmk
versions [1].

1. https://github.com/ClusterLabs/pacemaker/commit/17d65e9f44061a4fa14a9cddd6edc403b2d6d2b3

Change-Id: I6fc18f1ad876c5a25723710a3b20d8ec9519dcba

Merge "Pin docker version for atomic at 1.8.2"

Merge "Set default start/stop timeout for pcmk services to 95s"

Merge "Change default bond-mode"

Add DeployIdentifier overcloud parameter

We've heard from end users that it is confusing that puppet
isn't re-executed on a heat stack-update.

This patch adds a new DeployIdentifier parameter which
we can set via client tooling (tripleoclient) to a unique
value so that on each heat stack-update we always execute
all of our configuration deployments.

Change-Id: Ic352ddd30807dc378e5e7b6c396bc53f5d6d5622
Related-bug: #1505430

Change default bond-mode

The default balance-tcp is causing issues with deployments.
Defaulting to active-backup.

After ~ 100 guests (total) connectivity to each guest would become spotty
(simple pings would fail, then become successful.) In /var/log/messages
we saw :
"overcloud-controller-1 kernel: openvswitch: ovs-system: deferred action
limit reached, drop recirc action"

For more details, refer to this link:
http://openvswitch.org/pipermail/discuss/2015-October/019168.html

Change-Id: Ia0f2592a289e13472b98d97057cd516c5048fe59

Add missing constraints in yum_update.sh

Some missing pacemaker constraints were added in the following commits:

https://review.openstack.org/#/c/219770/
https://review.openstack.org/#/c/219665/
https://review.openstack.org/#/c/218931/
https://review.openstack.org/#/c/218930/

Overclouds that were deployed prior to these constraints being added to
tripleo-heat-templates still have the constraints missing. During an
update, stopping and starting the cluster can fail without these
constraints in place.  As a workaround, conditionally add these
contraints in yum_update.sh so that we're sure they're always present
before updating.

Change-Id: Id46c85dbbe5e85d362279661091b17ce1b697fe0

Merge "Allow customization of Ceph client user"

Merge "Allow a user to specify a comma separated list of ntp servers"

Add the GlanceRegistry and Horizon endpoints to EndpointMap

We need to pass details of the Glance Registry and public Horizon
endpoints to the load balancers so add them to the EndpointMap

Change-Id: Ia6261223e7701734f47ce48471c86f690ba3dcd5

Expose the IP of the Endpoints

We expose all of the other parameters, so expose the IP too for
consistency

Change-Id: I5c31befde51e398318c7b8c744310212288ad892

Make CloudName available for Endpoints

CloudName is the DNS name for the public VIP this means we will likely
want it available for use in the endpoint hostnames, rather than people
needing to copy and paste the same hostname

Change-Id: Ic6d708b083244442195eee890de91bbc7e133ec2

Refacter Endpoints into EndpointMap

Because many of the service endpoints URLs use the same patterns for
generating the URLs it makes sense to use the same templates to reduce
the copy and paste.

In the process also adds support for explicitly specifying hostnames
for use in the endpoints.  Note: DNS must be pre-configured.   The
Heat templates do not directly configure DNS.

Change-Id: Ie3270909beca3d63f2d7e4bcb04c559380ddc54d
Co-Authored-By: Juan Antonio Osorio Robles <jaosorior@redhat.com>

Merge "Enable glance-api show_image_direct_url for COW"

Merge "Revert "Manage keystone initialization directly in t-h-t manifests""