Fixup neutron constraints in older overclouds before updating

The neutron pcs constraints were reworked in
https://review.openstack.org/#/c/229466/

For overclouds deployed with older tripleo-heat-templates the
current pcs ordering constraints will not have those changes,
meaning that the behaviour discussed at
https://bugs.launchpad.net/tripleo/+bug/1501378 is likely
given we will stop and restart all services. This review
applies those, in short, remove the ovs-cleanup after
neutron-server and add openvswitch-agent instead. Detail in
the bug report and linked BZ.

Change-Id: I45822c5fe9029f11635400b7fbd386880ac80a4e
Related-Bug: 1501378

Merge "Add constraints and timeouts from file in single step"

Merge "Allows for customization of NetworkDeployment actions"

Merge "Change default host reserved memory to 2048MB from 512MB"

Allows for customization of NetworkDeployment actions

We don't necessarily want the network configuration to be reapplied
with every template update so we add a param to configure on which
action the NetworkDeployment resource should be executed.

Change-Id: I0e86318eb5521e540cc567ce9d77e1060086d48b
Co-Authored-By: Dan Sneddon <dsneddon@redhat.com>
Co-Authored-By: James Slagle <jslagle@redhat.com>
Co-Authored-By: Jiri Stransky <jstransk@redhat.com>
Co-Authored-By: Steven Hardy <shardy@redhat.com>

Merge "Nova-libvirt needs to bind to /sys/fs/cgroup"

Merge "Add local docker registry support"

Merge "Update docker compute environment to use json config"

Change default host reserved memory to 2048MB from 512MB

Results from pmap of idle nova-compute:
  https://gist.github.com/jtaleric/addd9079d6cdf4f7cf42

Results from free -m and cat /proc/meminfo:
  https://gist.github.com/jtaleric/410130f09c2aad2dc7e9

bug: https://bugzilla.redhat.com/show_bug.cgi?id=1282644
Change-Id: I9b3ceecabfdae0a516cfc72886fde7b26cc68f82

Add constraints and timeouts from file in single step

To avoid pcmk reconfiguring the resources on each config change,
we want to apply the constraints and timeouts from file.

We also *do not* want to alter the timeouts for a few ocf resources
which are rabbitmq, neutron-netns-cleanup and neutron-ovs-cleanup

Change-Id: I6875f19e1f34f0fdcf0928421f49b61d857ca7c8
Co-Authored-By: Andrew Beekhof <abeekhof@redhat.com>

Merge "Implement Neutron enable_isolated_metadata parameters"

Merge "Verify galera is sync'd in yum_update.sh"

Merge "neutron: enable nova-event-callback by default"

Merge "Pass ceph::pool arguments when calling class"

neutron: enable nova-event-callback by default

* Add NovaApiVirtualIP string parameter.
* Compute nova_url and nova_admin_auth_url parameters.
* Configure in Hiera neutron::server::notifications::* parameters.
* non-ha: include ::neutron::server::notifications
* ha: include ::neutron::server::notifications and create orchestration
* Set vif_plugging_is_fatal to True so we actually fail if Neutron is not
  able to create the VIF during Nova server creation workflow.

Depends-On: I21dc10396e92906eab4651c318aa2ee62a8e03c7
Change-Id: I02e41f87404e0030d488476680af2f6d45af94ff

Implement Neutron enable_isolated_metadata parameters

* Use the parameter in Puppet configuration (Hiera) to configure neutron

BZ-1273303

Change-Id: Ic5a7a1f13fd2bc800cadc3a78b1daadbc0394787
Signed-off-by: Cyril Lopez <cylopez@redhat.com>

Verify galera is sync'd in yum_update.sh

When the cluster is brought back online after a yum update in
yum_update.sh, we should verify that galera is fully sync'd before
moving on. This ensures the sync is complete before moving on to update
any other nodes in the cluster.

Change-Id: Ie8fc2c5d5214deacea94ca658ac75359b318ced1

Merge "Add support for enabling L2 population in Neutron"

Merge "Add simple linux bridge as network environment"

Add simple linux bridge as network environment

Create a bridge for the overcloud services using linux bridge instead of
openvswitch. Some SDNs may be incompatible with openvswitch datapath.

Change-Id: I873368e74ddfd95bf5c6e1f88cec33ba011e09dd

Add support for enabling L2 population in Neutron

This change adds support for enabling/disabling L2 population in
Neutron agents. It currently defaults to false.

Change-Id: I3dd19feb4acb1046bc560b35e5a7a111364ea0d7

Merge "Add environment for isolated networks without tunneling VLAN"

Merge "Support network isolation without external nets"

Merge "Add the GlanceRegistry and Horizon endpoints to EndpointMap"

Merge "Expose the IP of the Endpoints"

Merge "Make CloudName available for Endpoints"

Merge "Bump further the stop/start timeout for pcmk/systemd services"

Merge "Set start/stop pacemaker resource timeouts for updates"

Merge "Add missing constraints in yum_update.sh"

Merge "honor the rabbit user and password provided"

Merge "Fix cinder error when CinderNfsMountOptions option is absent"

Pass ceph::pool arguments when calling class

Pass the ceph::pool properties as arguments to the class call
instead of setting them as class defaults.

Ceph recommends max 32 PGs and min 4 PGs per OSD so this change
also lowers the defaults to 32 which works with 1 OSD, suits well
a scenario with 3 OSDs and is easy to customize in the static
hiera if more than 8 OSDs are deployed.

More info at: https://bugzilla.redhat.com/show_bug.cgi?id=1252546

Change-Id: Ifed11d1857900b2251dfdf69d6b6f168150e6330

Merge "Refacter Endpoints into EndpointMap"

Merge "Add DeployIdentifier overcloud parameter"

Fix cinder error when CinderNfsMountOptions option is absent

When I deploy director with NFS backend for cinder,
sometimes I don't need nfs mount options.
If I choose to omit this option, or if the option
is defined to '', the deployment fails.

This patch add just a default value for this option.

Change-Id: Idf708aaecebd5c6db14f48ad2a53d6c2453be5ee
Bugzilla: https://bugzilla.redhat.com/show_bug.cgi?id=1281870

Set start/stop pacemaker resource timeouts for updates

This matches change I6fc18f1ad876c5a25723710a3b20d8ec9519dcba, but we
need it to set it before attempting the cluster stop - yum update -
cluster start cycle, to make sure this cycle doesn't hit the low timeout
limits.

This can be removed once updates from deployments made prior to
I6fc18f1ad876c5a25723710a3b20d8ec9519dcba are no longer supported.

Change-Id: I587136d8d045d213875c657ea5a405074f80c8ad

Bump further the stop/start timeout for pcmk/systemd services

This bumps further up the stop/start timeout for the pcmk/systemd
services so that it matches the 100s default set in future pcmk
versions [1].

1. https://github.com/ClusterLabs/pacemaker/commit/17d65e9f44061a4fa14a9cddd6edc403b2d6d2b3

Change-Id: I6fc18f1ad876c5a25723710a3b20d8ec9519dcba

Merge "Pin docker version for atomic at 1.8.2"

Merge "Set default start/stop timeout for pcmk services to 95s"

Merge "Change default bond-mode"

Add DeployIdentifier overcloud parameter

We've heard from end users that it is confusing that puppet
isn't re-executed on a heat stack-update.

This patch adds a new DeployIdentifier parameter which
we can set via client tooling (tripleoclient) to a unique
value so that on each heat stack-update we always execute
all of our configuration deployments.

Change-Id: Ic352ddd30807dc378e5e7b6c396bc53f5d6d5622
Related-bug: #1505430

Change default bond-mode

The default balance-tcp is causing issues with deployments.
Defaulting to active-backup.

After ~ 100 guests (total) connectivity to each guest would become spotty
(simple pings would fail, then become successful.) In /var/log/messages
we saw :
"overcloud-controller-1 kernel: openvswitch: ovs-system: deferred action
limit reached, drop recirc action"

For more details, refer to this link:
http://openvswitch.org/pipermail/discuss/2015-October/019168.html

Change-Id: Ia0f2592a289e13472b98d97057cd516c5048fe59

Add missing constraints in yum_update.sh

Some missing pacemaker constraints were added in the following commits:

https://review.openstack.org/#/c/219770/
https://review.openstack.org/#/c/219665/
https://review.openstack.org/#/c/218931/
https://review.openstack.org/#/c/218930/

Overclouds that were deployed prior to these constraints being added to
tripleo-heat-templates still have the constraints missing. During an
update, stopping and starting the cluster can fail without these
constraints in place.  As a workaround, conditionally add these
contraints in yum_update.sh so that we're sure they're always present
before updating.

Change-Id: Id46c85dbbe5e85d362279661091b17ce1b697fe0

Merge "Allow customization of Ceph client user"

Merge "Allow a user to specify a comma separated list of ntp servers"

Add the GlanceRegistry and Horizon endpoints to EndpointMap

We need to pass details of the Glance Registry and public Horizon
endpoints to the load balancers so add them to the EndpointMap

Change-Id: Ia6261223e7701734f47ce48471c86f690ba3dcd5

Expose the IP of the Endpoints

We expose all of the other parameters, so expose the IP too for
consistency

Change-Id: I5c31befde51e398318c7b8c744310212288ad892

Make CloudName available for Endpoints

CloudName is the DNS name for the public VIP this means we will likely
want it available for use in the endpoint hostnames, rather than people
needing to copy and paste the same hostname

Change-Id: Ic6d708b083244442195eee890de91bbc7e133ec2

Refacter Endpoints into EndpointMap

Because many of the service endpoints URLs use the same patterns for
generating the URLs it makes sense to use the same templates to reduce
the copy and paste.

In the process also adds support for explicitly specifying hostnames
for use in the endpoints.  Note: DNS must be pre-configured.   The
Heat templates do not directly configure DNS.

Change-Id: Ie3270909beca3d63f2d7e4bcb04c559380ddc54d
Co-Authored-By: Juan Antonio Osorio Robles <jaosorior@redhat.com>

Merge "Enable glance-api show_image_direct_url for COW"

Merge "Revert "Manage keystone initialization directly in t-h-t manifests""

Merge "Align some defaults with with ControllerCount default"

Merge "Allow customization of the Ceph pool names"

Change the Atomic image name so it's less specific

The atomic image name in glance was being set to 'fedora-atomic'.
The glance image can be any form of atomic distro so we shouldn't
name this specifically 'fedora-atomic', but instead 'atomic-image'.

Change-Id: Ic539b82b92e3fdd834750e591d8622b7dc85fc6d

Nova-libvirt needs to bind to /sys/fs/cgroup

Nova-compute was mounting in /sys/fs/cgroup when the libvirt
container is the one that actually needs it.

Change-Id: Iae5c7ad24083a8547474611d72f015c4fd23a073

honor the rabbit user and password provided

Currently rabbit username and password are defaulted and attempting
to use anything else would result in a failure during deployment.

Change-Id: I8a2e240a19f915309eee45ea3c3368d131af6c1b
Related:  rhbz#1261303

Set default start/stop timeout for pcmk services to 95s

This change will increase the default start/stop timeout for all
the non-ocf pcmk services to 95s to make sure it allows for at
least 90s to the systemd script to complete the start/stop.

More info at: https://bugzilla.redhat.com/show_bug.cgi?id=1275324

Change-Id: I04f691396a4118b456728a43d71d32ac9a556431

Pin docker version for atomic at 1.8.2

docker-latest now points to 1.9.0, which isn't the version we're
targetting. More importantly, docker-1.9.0 doesn't work since it
complains about /etc not being able to be relabeled. Not sure how to fix
that, but we can save that battle for another time.

Change-Id: I947b7569d9cf40a409253336e51b4dec5ada36f8

Merge "Make puppet manifests compliant with Puppet 4.x"

Merge "Add Puppet 4.x lint checks"

Add support to tag patch port for Cisco Nexus1000v VSM bringup

In some deployments we will need to tag the patch port connecting to
vsm-br in order for traffic to go out. This patch takes passes the vlan
parameter to the puppet.

Change-Id: I18734ae39007985769db9371abe1740e0f2872f7

Allow customization of Ceph client user

Previously we enforced the Ceph user used by the OpenStack clients
to be named 'openstack', this change allows for customization
of such a name.

Change-Id: Idef3e1ed4e8e21b645081869b8d6fad2329bdc60

Allow customization of the Ceph pool names

This is useful in those scenarios were we want to use an external
Ceph deployment with multiple overclouds.

Change-Id: I1749d2a6547f6ce25843709e46a1447e8d42cfff

Merge "Add network templates for multiple NIC configuration"

Make puppet manifests compliant with Puppet 4.x

- https://docs.puppetlabs.com/puppet/3.8/reference/deprecated_language.html
- Temporary disablement of the pupppet-lint autoload layout check
  failing for ringbuilder.pp. A fix for that will be part of an other patch.

Change-Id: I495825641ab12e7c5789c1405649c356c5bb8051
Signed-off-by: Gael Chamoulaud <gchamoul@redhat.com>

Add Puppet 4.x lint checks

- This change adds Puppet-lint bits for checking Puppet manifests.

Change-Id: I82869d8f9f6c64ac2a95429f453c3cb76c046974
Signed-off-by: Gael Chamoulaud <gchamoul@redhat.com>

Add network templates for multiple NIC configuration

This change adds a set of network interface configurations for use
with network isolation. The multiple-nics templates includes one
separate NIC per network, and assumes that nic1 is used for the
provisioning network (ctlplane). Also included is an environment
file for including the multiple-nics configuration in a deployment.

This revision changes the ordering of the NICs. By doing that, it
is possible to wire up only a subset of the NICs for the storage
nodes, and it is possilbe to leave the External NIC only configured
on the controllers.

rdo: Updated this commit for static control plane configuration

Co-Authored-By: Rhys Oxenham <roxenham@redhat.com>
Change-Id: Ic878d1ed1a85b5705295d087a743570ca8213504

Merge "compute/ceilometer: use internalURL for os endpoint type"

Merge "Fix dependency for Ceilometer agent when using MySQL"

Merge "Do not enforce start timeout to 90s for neutron-server"

Revert "Manage keystone initialization directly in t-h-t manifests"

This reverts commit 86d6c1ddc76bad423194e789ffb5474e4e12960e.

This likely has an impact on upgrades, and since we don't
have an upgrade CI job yet I'm concerned that we may have
just broken ourselves.  I would prefer to wait to merge this
until the CI job is in place.

Change-Id: Ib2366cb4b40471a28122f6e9955da9bdb31a53fb

Merge "Manage keystone initialization directly in t-h-t manifests"

Merge "Cisco Nexus ML2 MD: Need unique key for server level keys in hieradata"

Do not enforce start timeout to 90s for neutron-server

The same timeout value is set for every pcmk service in [1]

1. https://github.com/openstack/tripleo-heat-templates/blob/master/puppet/manifests/overcloud_controller_pacemaker.pp#L81

Change-Id: I253f6cbc5ccdbf8c46cc537ff9600f201aae540a

Manage keystone initialization directly in t-h-t manifests

This is the second change of a servies of two, it creates the
user, user_role, service and endpoint for:

  * glance
  * nova
  * neutron
  * cinder
  * horizon
  * swift
  * ceilometer
  * heat

Change-Id: I50e792d98a2ba516ff498c58ad402f463c5f7e76

Create keystone roles and admin user from t-h-t manifests

Currently keystone initialization happens via os-cloud-config [1].

This commit moves some of that directly into the manifests. This is the
first in a series of two changes to migrate it entirely into t-h-t.

This change focus on implementing what keystone.initialize() was doing
on the tripleoclient [2], creates the admin tenant, user and roles.

It also creates the keystone endpoint itself.

1.  https://github.com/openstack/os-cloud-config/blob/master/os_cloud_config/keystone.py#L128-L158
2.  https://github.com/openstack/python-tripleoclient/blob/master/tripleoclient/v1/overcloud_deploy.py#L462-L527

Change-Id: I98555b707ff9b91c6e218de5dca68106ea05c8ea
Depends-On: Ia4b3244f114dcff746ab89d355ad4933f8fdbddf

Fix dependency for Ceilometer agent when using MySQL

In HA, when using MySQL as a backend for Ceilometer, the dependencies
set for the Ceilometer central agent depended always on MongoDB; Which
should only be the case if MongoDB is set as a backend.

Change-Id: I6fecfe0564b13e9352313c5a3492505b44d12eaa

Add local docker registry support

Create a set of environment variables that allows us to configure
a docker registry for deployment.  This patch assumes there is a
local docker registry already setup with the images loaded in place.

Change-Id: Iaafaf23eb3fa8b24bcd8f73bb38c552bea629607
Signed-off-by: Ian Main <imain@redhat.com>
Co-Authored-By: Ryan Hallisey <rhallise@redhat.com>

Update docker compute environment to use json config

In liberty, Kolla copies around files and runs the service given
a specified command, by reading a json file.

This will update the existing work to follow that template by
creating a json file for each of the services and pushing it
into the containers.

Change-Id: I5085d1896ea965fd8854765b055068a5ad30bcfd
Co-Authored-By: Jeff Peeler <jpeeler@redhat.com>

Merge "Ensure memcached resource uses interleave=true"

Merge "Support NFS backend for Glance (via Pacemaker)"

compute/ceilometer: use internalURL for os endpoint type

To let ceilometer access to keystone endpoints, use internalURL instead of
publicURL for security & performances reasons.

Change-Id: I6677f40038d6adf36b4f0375484b6ef2e16869e3

Merge "Fix password issue with mysql address for ceilometer"

Merge "Add validation to ping the default gateway(s)"

Fix password issue with mysql address for ceilometer

The password was being passed incorrectly to the mysql address used for
ceilometer.

Change-Id: I36d92e199d6d75b58ef8c1b66a2dfbcb7052f948

Merge "controller/ceilometer: use internalURL for os endpoint type"

Add validation to ping the default gateway(s)

This patch adds a new function that runs on all nodes so that
all default gateways are ping tested early on during the
installation process (before any puppet is executed)

Note: this change depends on the static control plane network IPs
because some distros allow/create multiple default routes without
this patch (see depends-on below).

Depends-On: Ib267e6dcf2d5ff77f7a82ee20a123965c2d07565

Change-Id: Ida125e79f3e549cae66be9dbd562197afa6400a5

Ensure ping returns after 5mins timeout

This change ensures the validation script returns (with a failure)
if the ping command remains stuck waiting for a response for more
than 5 minutes.

Change-Id: Ib184a01e04fe3c5e3ad13757a355735fff84548d

Merge "Sync httpd vhost settings in between pcmk and non-pcmk scenarios"

Merge "Allow ctlplane network or ID, and default to "ctlplane""

Merge "Update overcloud template description and Count constraints"

Align some defaults with with ControllerCount default

NeutronDhcpAgentsPerNetwork is normally correlated with the
number of controllers, so given that the template
defaults the ControllerCount to 1, 1 seems like a more consistent
value for NeutronDhcpAgentsPerNetwork, and it's consistent with
what we test in CI.

Also NeutronL3HA defaults to False, which is consistent with the default
ControllerCount of 1, but NeutronAllowL3AgentFailover defaults to
True, which I assume makes no sense if there's only 1 controller
and no HA

Change-Id: I4612060979d1e4381800f30e359f58aeef61b861

Allow ctlplane network or ID, and default to "ctlplane"

Currently you always have to pass the ctlplane ID because we're still
using the deprecated network_id property for the neutron port resource.

Since Juno, heat has supported a "network" property, which is used
elsewhere, e.g the nested port stacks, so switch to using it in the
overcloud-without-mergepy template, and flip the default to a more
useful "ctlplane" vs an empty string.

This means the stack create should just work on commonly documented
deployments without requiring any parameter.

Change-Id: Ifcea36d26b795c5e8b80accd8112e23b254127be

Update overcloud template description and Count constraints

Currently there's a vague list of services in the description, so instead
describe the roles supported for deployment, and encode the minimum allowed
of one Controller/Compute with zero Storage nodes in the parameter constraints.

Change-Id: Ib4917843f3e4770f0260db72719ed6af0ee8dc13

Support NFS backend for Glance (via Pacemaker)

Adds support for NFS backend in Glance by allowing the storage directory
for the 'file' backend to be a mount managed by Pacemaker. Default
behavior is unchanged.

Since the Pacemaker-related parameters are not exposed on top level,
change storage-environment.yaml to use parameter_defaults instead of
parameters.

Depends on a Heat fix for environment file's parameter_defaults to
work well with JSONs and comma delimited lists (see Depends-On).

Change-Id: I6e7e2eaf6919b955650c0b32e1629a4067602c89
Depends-On: I85b13a79dbc97a77e20c0d5df8eaf05b3000815e

controller/ceilometer: use internalURL for os endpoint type

To let ceilometer access to keystone endpoints, use internalURL instead
of publicURL for security & performances reasons.

Ceilometer services (API, agents) will use internalURL endpoint to talk
to other services (keystone, neutron, etc).

Change-Id: I4cb843400f244cd34bbae4bc76371977780c7943

nova: set catalog_info to InternalURL

In nova.conf, set cinder/catalog_info to 'volumev2:cinderv2:internalURL'
instead of 'volumev2:cinderv2:publicURL'.
So Nova will use internal Cinder endpoint to reach volume API by
using internal network.

Depends-On: Id9e579ca31364d5207d0c1b892d0f7aa7f20f7a8
Change-Id: Ia34f0fe59f662c3ad29ca0178c01ef1570759d57

Ensure memcached resource uses interleave=true

Without interleave Pacemaker will consider memcached as a single
unit on all nodes so it will restart dependencies on every node in
case of failures.

More info at: https://bugzilla.redhat.com/show_bug.cgi?id=1262425

Change-Id: I284cbf33c8453a2abefc862f3d2e0b7f11ff4c3d

Merge "Force stop a single node pacemaker on yum update"

Merge "Puppet / Compute: allow to run Ephemeral only storage with RBD"