Changes for configuring Nuage

Added ExtraConfig templates and environment files for Nuage specific parameters.
Modified overcloud_compute.pp and overcloud_controller.pp to conditionally
include Nuage plugin and agents.

Change-Id: I95510c753b0a262c73566481f9e94279970f4a4f

Merge "Make load balancer deployment optional via template param"

Merge "Add net_vip_map_external to be used for an external balancer"

Minor fixes to TLS related resources

* Fixed a comment to avoid ambiguity with concepts in Heat
* Removed default values from necessary parameters in the TLS
  environment
* Simplified setting of the cert/key into a file.

Change-Id: I351778150a6fbf7affe1a0fddb1abb9869324dfc

Make enabling of controller services configurable.

Following parameters will be user configurable:
1. enable_dhcp_agent
2. enable_metadta_agent
3. enable_l3_agent
4. enable_ovs_agent

This change was made as the Nuage plugin does not require these
services to come up as a part of the installation.
Now, a user can explicitly disable these services using a heat
template.

Change-Id: Ic132ecbb2e81a3746f304da1cecdc66d0342db72

Drop deprecated templates/Makefile/merge.py

This patch drops a bunch of deprecated stuff from
tripleo-heat-templates. Once we remove the Makefile
(which creates overcloud.yaml) we can proceed
in renaming overcloud-without-mergepy.yaml to
overcloud.yaml.

Change-Id: Ic6ab3777d19e207cae29dcbc2e3839815cd80181

Merge "Update: clean keepalived and radvd instances after pcs cluster stop"

Merge "Output the SSL Certificate and Key modulus"

Merge "Enable trust anchor injection"

Merge "Inject TLS certificate and keys for the Overcloud"

Merge "Fixup neutron constraints in older overclouds before updating"

Output the SSL Certificate and Key modulus

Provides a simple mechanism to verify the correct certificates
landed.

A quick and simple way to verify SSL certificates were generated for
a given key is by comparing the modulus of the two.  By outputing
the key modulus and certificate modulus we offer a way to verify
that the right cert and key have been deployed without compromising
any of the secrets.

Change-Id: I882c9840719a09795ba8057a19b0b3985e036c3c

Enable trust anchor injection

This commit enables the injection of a trust anchor or root
certificate into every node in the overcloud. This is in case that the
TLS certificates for the controllers are signed with a self-signed CA
or if the deployer would like to inject a relevant root certificate
for other purposes. In this case the other nodes might need to have
the root certificate in their trust chain in order to do proper
validation

Change-Id: Ia45180fe0bb979cf12d19f039dbfd22e26fb4856

Apply mongod timeout via cib-push

We forgot to apply the mongod timeout in the cib dump first, to
apply it later in a single cib-push step.

Change-Id: Ib104e51782c6d3f646907cdb06c74fd4cbf9028c

Update typos

Change-Id: Id63c1bcfc34058eb7285698ba9bf86d1cf2025a6

Update: clean keepalived and radvd instances after pcs cluster stop

Older neutron versions have a bug which makes them leave keepalived and
radvd running even after all neutron services are stopped, preventing
neutron router failover from happening. Router can then get stuck on the
inactive node, like this:

[stack@instack ~]$ neutron l3-agent-list-hosting-router default_router
+--------------------------------------+------------------------------------+----------------+-------+----------+
| id                                   | host                               | admin_state_up | alive | ha_state |
+--------------------------------------+------------------------------------+----------------+-------+----------+
| 48ca9477-b93b-4305-9e6d-9f1c5d3388f0 | overcloud-controller-1.localdomain | True           | :-)   | standby  |
| eba0575c-654f-4da6-b1cd-f7fdf1cd3726 | overcloud-controller-2.localdomain | True           | :-)   | standby  |
| 68815390-251f-4425-a5f8-38bdbf3bdb90 | overcloud-controller-0.localdomain | True           | xxx   | active   |
+--------------------------------------+------------------------------------+----------------+-------+----------+

We need to kill the leftover processes manually to prevent the state
described above from happening.

See https://review.gerrithub.io/#/c/248931

Change-Id: I2deaa176222983daa0c33ab52a6aa5dbe7365302

Merge "Point registry at tripleoupstream"

Make load balancer deployment optional via template param

Adds control over the load balancer deployment via template param.

Change-Id: I5625083ff323a87712a5fd3f9a64dd66d2838468

Add net_vip_map_external to be used for an external balancer

Changes VipMap into a new NetVipMap resource which defaults to
being the same as the 'old' VipMap. An environment file can be
used to map NetVipMap instead to the net_vip_map_external.yaml
which allows for passing in explicit Virtual IP addresses.

It also ensures that references to the Virtual IPs are gathered
from the VipMap resource and allows for an empty ControlPlaneIP
parameter in the neutron port templates where it can be.

Co-Authored-By: Giulio Fidente <gfidente@redhat.com>
Change-Id: Ifad32e18f12b9997e3f89e4afe3ebc4c30e14a86

Merge "Sample environment with old ServiceNetMap value"

Merge "Implement Advanced Firewalling support"

Sample environment with old ServiceNetMap value

The original value for the ServiceNetMap parameter had the Keystone
Admin API service on the Internal API network. Later, it was moved to
the ctlplane network by default.

Users updating from clouds already deployed may not want to have the
service moved, and we've occassionly seen it cause issues with services
not getting restarted properly.

This sample environment file documents the old value so that users can
just optionally include it via -e to keep the services the same as they
were when they originally deployed.

Change-Id: I0b68542337a2f40e26df15fe7ac2da5aafe651d5

Fixup neutron constraints in older overclouds before updating

The neutron pcs constraints were reworked in
https://review.openstack.org/#/c/229466/

For overclouds deployed with older tripleo-heat-templates the
current pcs ordering constraints will not have those changes,
meaning that the behaviour discussed at
https://bugs.launchpad.net/tripleo/+bug/1501378 is likely
given we will stop and restart all services. This review
applies those, in short, remove the ovs-cleanup after
neutron-server and add openvswitch-agent instead. Detail in
the bug report and linked BZ.

Change-Id: I45822c5fe9029f11635400b7fbd386880ac80a4e
Related-Bug: 1501378

Merge "Add constraints and timeouts from file in single step"

Inject TLS certificate and keys for the Overcloud

This is a first implementation of adding TLS termination to the load
balancer in the controllers. The implementation was made so that the
appropriate certificate/private key in PEM format is copied to the
appropriate controller(s) via a software deployment resource.

And the path is then referenced on the HAProxy configuration, but this
part was left commented out because we need to be able to configure the
keystone endpoints in order for this to work properly.

Change-Id: I0ba8e38d75a0c628d8132a66dc25a30fc5183c79

Merge "Allows for customization of NetworkDeployment actions"

Merge "Change default host reserved memory to 2048MB from 512MB"

Allows for customization of NetworkDeployment actions

We don't necessarily want the network configuration to be reapplied
with every template update so we add a param to configure on which
action the NetworkDeployment resource should be executed.

Change-Id: I0e86318eb5521e540cc567ce9d77e1060086d48b
Co-Authored-By: Dan Sneddon <dsneddon@redhat.com>
Co-Authored-By: James Slagle <jslagle@redhat.com>
Co-Authored-By: Jiri Stransky <jstransk@redhat.com>
Co-Authored-By: Steven Hardy <shardy@redhat.com>

Point registry at tripleoupstream

The tripleoupstream registry contains images that are built
every time there is a change in delorean.

The gate also needs this.

Change-Id: If460853284588f637de820afa54069f773f2e6f7

Merge "Nova-libvirt needs to bind to /sys/fs/cgroup"

Merge "Add local docker registry support"

Merge "Update docker compute environment to use json config"

Change default host reserved memory to 2048MB from 512MB

Results from pmap of idle nova-compute:
  https://gist.github.com/jtaleric/addd9079d6cdf4f7cf42

Results from free -m and cat /proc/meminfo:
  https://gist.github.com/jtaleric/410130f09c2aad2dc7e9

bug: https://bugzilla.redhat.com/show_bug.cgi?id=1282644
Change-Id: I9b3ceecabfdae0a516cfc72886fde7b26cc68f82

Implement Advanced Firewalling support

Consume puppet-tripleo to create/manage IPtables from Heat templates.

This review put in place the logic to enable and setup firewall rules.

A known set of rules are applied. More to come.

Change-Id: Ib79c23fb27fe3fc03bf223e6922d896cb33dad22
Co-Authored-By: Yanis Guenane <yguenane@redhat.com>
Depends-On: I144c60db2a568a94dce5b51257f1d10980173325

Add constraints and timeouts from file in single step

To avoid pcmk reconfiguring the resources on each config change,
we want to apply the constraints and timeouts from file.

We also *do not* want to alter the timeouts for a few ocf resources
which are rabbitmq, neutron-netns-cleanup and neutron-ovs-cleanup

Change-Id: I6875f19e1f34f0fdcf0928421f49b61d857ca7c8
Co-Authored-By: Andrew Beekhof <abeekhof@redhat.com>

Merge "Implement Neutron enable_isolated_metadata parameters"

Merge "Verify galera is sync'd in yum_update.sh"

Merge "neutron: enable nova-event-callback by default"

Merge "Pass ceph::pool arguments when calling class"

Added libvirt_vif_driver, ovs_bridge and security_group_api parameters

Made libvirt_vif_driver, ovs_bridge and security_group_api parameters
in nova as configurable parameters through heat templates
Change-Id: I3f355c31a64912baa1a159d59f0fa9089f77b8f4

neutron: enable nova-event-callback by default

* Add NovaApiVirtualIP string parameter.
* Compute nova_url and nova_admin_auth_url parameters.
* Configure in Hiera neutron::server::notifications::* parameters.
* non-ha: include ::neutron::server::notifications
* ha: include ::neutron::server::notifications and create orchestration
* Set vif_plugging_is_fatal to True so we actually fail if Neutron is not
  able to create the VIF during Nova server creation workflow.

Depends-On: I21dc10396e92906eab4651c318aa2ee62a8e03c7
Change-Id: I02e41f87404e0030d488476680af2f6d45af94ff

Implement Neutron enable_isolated_metadata parameters

* Use the parameter in Puppet configuration (Hiera) to configure neutron

BZ-1273303

Change-Id: Ic5a7a1f13fd2bc800cadc3a78b1daadbc0394787
Signed-off-by: Cyril Lopez <cylopez@redhat.com>

Verify galera is sync'd in yum_update.sh

When the cluster is brought back online after a yum update in
yum_update.sh, we should verify that galera is fully sync'd before
moving on. This ensures the sync is complete before moving on to update
any other nodes in the cluster.

Change-Id: Ie8fc2c5d5214deacea94ca658ac75359b318ced1

Merge "Add support for enabling L2 population in Neutron"

Merge "Add simple linux bridge as network environment"

Add simple linux bridge as network environment

Create a bridge for the overcloud services using linux bridge instead of
openvswitch. Some SDNs may be incompatible with openvswitch datapath.

Change-Id: I873368e74ddfd95bf5c6e1f88cec33ba011e09dd

Add support for enabling L2 population in Neutron

This change adds support for enabling/disabling L2 population in
Neutron agents. It currently defaults to false.

Change-Id: I3dd19feb4acb1046bc560b35e5a7a111364ea0d7

Merge "Add environment for isolated networks without tunneling VLAN"

Merge "Support network isolation without external nets"

Merge "Add the GlanceRegistry and Horizon endpoints to EndpointMap"

Merge "Expose the IP of the Endpoints"

Merge "Make CloudName available for Endpoints"

Make all network ports type to consume FixedIPs

This change adds to the internal_api, storage, storage_mgmt and
tenant network ports the FixedIPs param and make them consume it
when passed.

Change-Id: Ica2bca9f573b206cc60c9d572224a8cc7b9b8aa4

Merge "Bump further the stop/start timeout for pcmk/systemd services"

Merge "Set start/stop pacemaker resource timeouts for updates"

Merge "Add missing constraints in yum_update.sh"

Merge "honor the rabbit user and password provided"

Merge "Fix cinder error when CinderNfsMountOptions option is absent"

Pass ceph::pool arguments when calling class

Pass the ceph::pool properties as arguments to the class call
instead of setting them as class defaults.

Ceph recommends max 32 PGs and min 4 PGs per OSD so this change
also lowers the defaults to 32 which works with 1 OSD, suits well
a scenario with 3 OSDs and is easy to customize in the static
hiera if more than 8 OSDs are deployed.

More info at: https://bugzilla.redhat.com/show_bug.cgi?id=1252546

Change-Id: Ifed11d1857900b2251dfdf69d6b6f168150e6330

Merge "Refacter Endpoints into EndpointMap"

Merge "Add DeployIdentifier overcloud parameter"

Fix cinder error when CinderNfsMountOptions option is absent

When I deploy director with NFS backend for cinder,
sometimes I don't need nfs mount options.
If I choose to omit this option, or if the option
is defined to '', the deployment fails.

This patch add just a default value for this option.

Change-Id: Idf708aaecebd5c6db14f48ad2a53d6c2453be5ee
Bugzilla: https://bugzilla.redhat.com/show_bug.cgi?id=1281870

Set start/stop pacemaker resource timeouts for updates

This matches change I6fc18f1ad876c5a25723710a3b20d8ec9519dcba, but we
need it to set it before attempting the cluster stop - yum update -
cluster start cycle, to make sure this cycle doesn't hit the low timeout
limits.

This can be removed once updates from deployments made prior to
I6fc18f1ad876c5a25723710a3b20d8ec9519dcba are no longer supported.

Change-Id: I587136d8d045d213875c657ea5a405074f80c8ad

Bump further the stop/start timeout for pcmk/systemd services

This bumps further up the stop/start timeout for the pcmk/systemd
services so that it matches the 100s default set in future pcmk
versions [1].

1. https://github.com/ClusterLabs/pacemaker/commit/17d65e9f44061a4fa14a9cddd6edc403b2d6d2b3

Change-Id: I6fc18f1ad876c5a25723710a3b20d8ec9519dcba

Enable Equallogic Backends in Cinder

Enables support for configuring Cinder with a Dell
Equallogic storage backend.
This change adds all relevant parameters for:
 - Equallogic PS-Series (iSCSI)

Change-Id: Ia0f71863cfb12f2cdda43dcf707a9a7145963001

Merge "Pin docker version for atomic at 1.8.2"

Merge "Set default start/stop timeout for pcmk services to 95s"

Merge "Change default bond-mode"

Add DeployIdentifier overcloud parameter

We've heard from end users that it is confusing that puppet
isn't re-executed on a heat stack-update.

This patch adds a new DeployIdentifier parameter which
we can set via client tooling (tripleoclient) to a unique
value so that on each heat stack-update we always execute
all of our configuration deployments.

Change-Id: Ic352ddd30807dc378e5e7b6c396bc53f5d6d5622
Related-bug: #1505430

Change default bond-mode

The default balance-tcp is causing issues with deployments.
Defaulting to active-backup.

After ~ 100 guests (total) connectivity to each guest would become spotty
(simple pings would fail, then become successful.) In /var/log/messages
we saw :
"overcloud-controller-1 kernel: openvswitch: ovs-system: deferred action
limit reached, drop recirc action"

For more details, refer to this link:
http://openvswitch.org/pipermail/discuss/2015-October/019168.html

Change-Id: Ia0f2592a289e13472b98d97057cd516c5048fe59

Add missing constraints in yum_update.sh

Some missing pacemaker constraints were added in the following commits:

https://review.openstack.org/#/c/219770/
https://review.openstack.org/#/c/219665/
https://review.openstack.org/#/c/218931/
https://review.openstack.org/#/c/218930/

Overclouds that were deployed prior to these constraints being added to
tripleo-heat-templates still have the constraints missing. During an
update, stopping and starting the cluster can fail without these
constraints in place.  As a workaround, conditionally add these
contraints in yum_update.sh so that we're sure they're always present
before updating.

Change-Id: Id46c85dbbe5e85d362279661091b17ce1b697fe0

Merge "Allow customization of Ceph client user"

Merge "Allow a user to specify a comma separated list of ntp servers"

Add the GlanceRegistry and Horizon endpoints to EndpointMap

We need to pass details of the Glance Registry and public Horizon
endpoints to the load balancers so add them to the EndpointMap

Change-Id: Ia6261223e7701734f47ce48471c86f690ba3dcd5

Expose the IP of the Endpoints

We expose all of the other parameters, so expose the IP too for
consistency

Change-Id: I5c31befde51e398318c7b8c744310212288ad892

Make CloudName available for Endpoints

CloudName is the DNS name for the public VIP this means we will likely
want it available for use in the endpoint hostnames, rather than people
needing to copy and paste the same hostname

Change-Id: Ic6d708b083244442195eee890de91bbc7e133ec2

Refacter Endpoints into EndpointMap

Because many of the service endpoints URLs use the same patterns for
generating the URLs it makes sense to use the same templates to reduce
the copy and paste.

In the process also adds support for explicitly specifying hostnames
for use in the endpoints.  Note: DNS must be pre-configured.   The
Heat templates do not directly configure DNS.

Change-Id: Ie3270909beca3d63f2d7e4bcb04c559380ddc54d
Co-Authored-By: Juan Antonio Osorio Robles <jaosorior@redhat.com>

Merge "Enable glance-api show_image_direct_url for COW"

Merge "Revert "Manage keystone initialization directly in t-h-t manifests""

Merge "Align some defaults with with ControllerCount default"

Merge "Allow customization of the Ceph pool names"

Change the Atomic image name so it's less specific

The atomic image name in glance was being set to 'fedora-atomic'.
The glance image can be any form of atomic distro so we shouldn't
name this specifically 'fedora-atomic', but instead 'atomic-image'.

Change-Id: Ic539b82b92e3fdd834750e591d8622b7dc85fc6d

Nova-libvirt needs to bind to /sys/fs/cgroup

Nova-compute was mounting in /sys/fs/cgroup when the libvirt
container is the one that actually needs it.

Change-Id: Iae5c7ad24083a8547474611d72f015c4fd23a073

honor the rabbit user and password provided

Currently rabbit username and password are defaulted and attempting
to use anything else would result in a failure during deployment.

Change-Id: I8a2e240a19f915309eee45ea3c3368d131af6c1b
Related:  rhbz#1261303

Set default start/stop timeout for pcmk services to 95s

This change will increase the default start/stop timeout for all
the non-ocf pcmk services to 95s to make sure it allows for at
least 90s to the systemd script to complete the start/stop.

More info at: https://bugzilla.redhat.com/show_bug.cgi?id=1275324

Change-Id: I04f691396a4118b456728a43d71d32ac9a556431

Pin docker version for atomic at 1.8.2

docker-latest now points to 1.9.0, which isn't the version we're
targetting. More importantly, docker-1.9.0 doesn't work since it
complains about /etc not being able to be relabeled. Not sure how to fix
that, but we can save that battle for another time.

Change-Id: I947b7569d9cf40a409253336e51b4dec5ada36f8

Fix the wrong selinux context when glance uses nfs backend

We updated the pacemaker resource configuration
of fs-varlibglanceimages-clone to mount nfs directory
with a specified context.

Details on : https://bugzilla.redhat.com/show_bug.cgi?id=1237150

Change-Id: Ia0dd471858f470ae3e82d25151ebe65b8cdbec4f

Merge "Make puppet manifests compliant with Puppet 4.x"

Merge "Add Puppet 4.x lint checks"

Add support to tag patch port for Cisco Nexus1000v VSM bringup

In some deployments we will need to tag the patch port connecting to
vsm-br in order for traffic to go out. This patch takes passes the vlan
parameter to the puppet.

Change-Id: I18734ae39007985769db9371abe1740e0f2872f7

Allow customization of Ceph client user

Previously we enforced the Ceph user used by the OpenStack clients
to be named 'openstack', this change allows for customization
of such a name.

Change-Id: Idef3e1ed4e8e21b645081869b8d6fad2329bdc60

Allow customization of the Ceph pool names

This is useful in those scenarios were we want to use an external
Ceph deployment with multiple overclouds.

Change-Id: I1749d2a6547f6ce25843709e46a1447e8d42cfff

Merge "Add network templates for multiple NIC configuration"

Make puppet manifests compliant with Puppet 4.x

- https://docs.puppetlabs.com/puppet/3.8/reference/deprecated_language.html
- Temporary disablement of the pupppet-lint autoload layout check
  failing for ringbuilder.pp. A fix for that will be part of an other patch.

Change-Id: I495825641ab12e7c5789c1405649c356c5bb8051
Signed-off-by: Gael Chamoulaud <gchamoul@redhat.com>

Add Puppet 4.x lint checks

- This change adds Puppet-lint bits for checking Puppet manifests.

Change-Id: I82869d8f9f6c64ac2a95429f453c3cb76c046974
Signed-off-by: Gael Chamoulaud <gchamoul@redhat.com>

Add network templates for multiple NIC configuration

This change adds a set of network interface configurations for use
with network isolation. The multiple-nics templates includes one
separate NIC per network, and assumes that nic1 is used for the
provisioning network (ctlplane). Also included is an environment
file for including the multiple-nics configuration in a deployment.

This revision changes the ordering of the NICs. By doing that, it
is possible to wire up only a subset of the NICs for the storage
nodes, and it is possilbe to leave the External NIC only configured
on the controllers.

rdo: Updated this commit for static control plane configuration

Co-Authored-By: Rhys Oxenham <roxenham@redhat.com>
Change-Id: Ic878d1ed1a85b5705295d087a743570ca8213504

Merge "compute/ceilometer: use internalURL for os endpoint type"

Merge "Fix dependency for Ceilometer agent when using MySQL"

Merge "Do not enforce start timeout to 90s for neutron-server"

Revert "Manage keystone initialization directly in t-h-t manifests"

This reverts commit 86d6c1ddc76bad423194e789ffb5474e4e12960e.

This likely has an impact on upgrades, and since we don't
have an upgrade CI job yet I'm concerned that we may have
just broken ourselves.  I would prefer to wait to merge this
until the CI job is in place.

Change-Id: Ib2366cb4b40471a28122f6e9955da9bdb31a53fb