Create a Mesh of qdrouterd links for messaging high availability

For multi-node deployments of the dispatch router, a mesh of
inter-router links is created. Note that bi-directional links must
not be configured.

Example: For nodes A, B, C
  Node    Inter-Router Link
   A:           []
   B:           [A]
   C:           [A,B]

Change-Id: If43beea7a53c1f8f1dff062341c7ea81751c3122

Merge "Fix the port for Panko API"

Merge "Fixes an issue when rebooting with an NFS mount."

Merge "Addition of Nuage as mechanism driver for ML2"

Merge "Ensure hiera step value is an integer"

Merge "For http service endpoints always redirect to https"

Merge "Only set the stonith property on the pacemaker_master node"

For http service endpoints always redirect to https

If public TLS is enabled, this sets as default that services should
always redirect to https.

Change-Id: I19b9d07ac8925366ed27fefcaca4fdb9a9ab1b37

Fix redis when hostname has capital letters

The bootstrap_nodeid comparison should be case insensitive.

Change-Id: I1e6672bb0219c1cf56ab21dd911c6f33e2436cc3
Closes-Bug: #1698190

Move gnocchi upgrade and api to step 4

gnocchi upgrade requires storage sacks to be initialized. This means
we need to ensure the storage backends are up before running the
upgrade and starting the api. Lets move the api to step 4 so we can
ensure other dependencies are in place.

Co-Authored-By: Juan Antonio Osorio Robles <jaosorior@redhat.com>
Depends-On: Ibfa9fb39f60c1e4a802d189b32ff4c34476c93d3
Change-Id: If2ae48b21389e76fd638c0b48c148a5d4f227630

Addition of Nuage as mechanism driver for ML2

Adding Nuage as mechanism driver where ML2 is the neutron
core plugin. ML2 base profile includes Nuage when mechanism
driver is Nuage. Added Nuage neutron ML2 profile for tripleo.

Change-Id: Ib56a7ad8f43fc6274eebc83bd2a62e68c030599d

Merge "Do not create VIP for pacemaker OVN OCF resource"

Merge "Remove condition to match hdr(host) in haproxy redirect rule"

Only set the stonith property on the pacemaker_master node

It makes little sense to enforce the stonith property on remote nodes and/or
all cluster nodes. We can just enforce it once on the pacemaker_master
node as it is a cluster-wide property anyway. We can also remove the
tripleo::fencing -> pacemaker::stonith constraint in the pacemaker
remote profile now as the fencing stuff happens on step 5 anyway and
the property is set at step 1.

While this works in general it creates extra CIB changes for nothing and
slows down the deployment.

Change-Id: Ifef08033043a4cc90a6261e962d2fdecdf275650
Closes-Bug: #1696336

Ensure hiera step value is an integer

The step is typically set with the hieradata setting an integer value:

  {"step": 1}

However it would be useful for the value to be a string so that
substitutions are possible, for example:

  {"step": "%{::step}"}

This change ensures the step parameter defaults to an integer by
calling Integer(hiera('step'))

This change was made by manually removing the undef defaults from
fluentd.pp, uchiwa.pp, and sensu.pp then bulk updating with:

    find ./ -type f -print0 |xargs -0 sed -i "s/= hiera('step')/= Integer(hiera('step'))/"

Change-Id: I8a47ca53a7dea8391103abcb8960a97036a6f5b3

Merge "Changed author"

Merge "Add environment variable"

Merge "Fix Swift ring management in container deployments"

Merge "Remove unnecessary references to neutron core plugin hiera"

Merge "Fix Swift ring rebalance order"

Merge "Make sure the resource bundles use a location_rule"

Fixes an issue when rebooting with an NFS mount.

_netdev mount option helps fix a timing issue when rebooting.
This looks like we're hitting an issue where we're using
network instead of NetworkManager and that systemd doesn't
unmount the NFS shares before stopping network.

Change-Id: I5d2c89db29ef75aaf371b3c9dd561587d7b6f87b
Closes-Bug: #1697752

Merge "Configure Galera cluster with FQDNs instead of shortnames"

Merge "Configure credentials for ironic to access cinder"

Merge "Update README with info for new contributors"

Configure Galera cluster with FQDNs instead of shortnames

This takes into use the cluster_host_map, which allows to give aliases
to the pacemaker nodes (which are FQDNs), and allows us to configure the
cluster using FQDNs.

We need FQDNs in order to request certificates, since the default CA
(FreeIPA) only allows certificates for FQDNs.

Change-Id: I2f146afdd32aef2d11cf25a65fa8d67428f621f5

Merge "Support for proxying ironic-inspector via Apache"

Merge "Puppet module to deploy cinder-backup bundle for HA"

Merge "Puppet module to deploy cinder-volume bundle for HA"

Changed author

Changed author to OpenStack

Change-Id: I5f8806d1a765a1b5ae823b9e537e0ba672d81545

Update README with info for new contributors

Add the same footer to the README that most other TripleO projects
have. People new to TripleO might not know we use a single bug tracker
for all projects, or how to test puppet projects in OpenStack.

Change-Id: I6044ea98ec4480c8c1e431921df43ee425d9cba4
Closes-Bug: #1697091

Remove condition to match hdr(host) in haproxy redirect rule

The horizon proxy should redirect all HTTP requests to HTTPS,
regardless of the 'Host' field in the header. The current rule will
cause haproxy to redirect HTTP requests if the 'Host' field contains
the public virtual IP address. It will not redirect if the 'Host'
field contains a hostname, FQDN, etc.

Change-Id: I6c8f58a30f97cdf4c668734793197ea976297733
Signed-off-by: Ryan O'Hara <rohara@redhat.com>

Add environment variable

Add environment variable {toxinidir} in tox.ini

Change-Id: Iee0e6e1f5ea49a7307bdfd493b4203df17369d75

Merge "Install rsync package for galera"

Do not create VIP for pacemaker OVN OCF resource

The commit with change id [1], added the pacemaker HA support
for OVN DB servers. That commit created a new VIP which is
really not required.

This patch removes the code to create a new ip resource. Instead
it expects the pacemaker ip resource (with the ip address in the
'ovn_dbs_vip' parameter and with the name "ip-$ovn_dbs_vip") to be
created before ovn_northd class is called, which is the case anyway
if 'ovn_dbs_vip' is taken from the ServiceNetMapDefaults (in t-h-t).

[1] - I9dc366002ef5919339961e5deebbf8aa815c73db

Change-Id: I94d3960e6c5406e3af309cc8c787ac0a6c9b1756
Partial-bug: #1670564

Make sure the resource bundles use a location_rule

In composable HA we bind resources to nodes that have special
node properties. We need to do this also for bundle resources
otherwise there is a potential race where the bundle might be
started on nodes where it is not supposed to during a small
window of time.

Tested with the depends-on and correctly obtained a containerized
composable HA deployment:

Docker container set: rabbitmq-bundle
[192.168.24.1:8787/tripleoupstream/centos-binary-rabbitmq:latest]
  rabbitmq-bundle-0    (ocf::heartbeat:rabbitmq-cluster):      Started overcloud-rabbit-0
  rabbitmq-bundle-1    (ocf::heartbeat:rabbitmq-cluster):      Started overcloud-rabbit-1
  rabbitmq-bundle-2    (ocf::heartbeat:rabbitmq-cluster):      Started overcloud-rabbit-2
Docker container set: galera-bundle
[192.168.24.1:8787/tripleoupstream/centos-binary-mariadb:latest]
  galera-bundle-0      (ocf::heartbeat:galera):        Master overcloud-galera-0
  galera-bundle-1      (ocf::heartbeat:galera):        Master overcloud-galera-1
  galera-bundle-2      (ocf::heartbeat:galera):        Master overcloud-galera-2
Docker container set: redis-bundle
[192.168.24.1:8787/tripleoupstream/centos-binary-redis:latest]
  redis-bundle-0       (ocf::heartbeat:redis): Master overcloud-controller-0
  redis-bundle-1       (ocf::heartbeat:redis): Slave overcloud-controller-1
  redis-bundle-2       (ocf::heartbeat:redis): Slave overcloud-controller-2
ip-192.168.24.11       (ocf::heartbeat:IPaddr2):       Started overcloud-controller-0
ip-10.0.0.7    (ocf::heartbeat:IPaddr2):       Started overcloud-controller-1
ip-172.16.2.11 (ocf::heartbeat:IPaddr2):       Started overcloud-controller-2
ip-172.16.2.9  (ocf::heartbeat:IPaddr2):       Started overcloud-controller-0
ip-172.16.1.6  (ocf::heartbeat:IPaddr2):       Started overcloud-controller-1
ip-172.16.3.7  (ocf::heartbeat:IPaddr2):       Started overcloud-controller-2
Docker container set: haproxy-bundle
[192.168.24.1:8787/tripleoupstream/centos-binary-haproxy:latest]
  haproxy-bundle-docker-0      (ocf::heartbeat:docker):        Started overcloud-controller-0
  haproxy-bundle-docker-1      (ocf::heartbeat:docker):        Started overcloud-controller-1
  haproxy-bundle-docker-2      (ocf::heartbeat:docker):        Started overcloud-controller-2

Depends-On: I44449861cbfe56304b8829c9ca10fd648353b3ae
Change-Id: I48fb490040497ba08cae19937159c0efdf99e3f8

Configure credentials for ironic to access cinder

Change-Id: I097c494d3953b7d26d94aecc546ddef5225d1125
Depends-On: I2f0eb779b711e57f1532b1227896542d0ecffc89

Merge "Update global requirements"

Fix Swift ring rebalance order

The current order is broken if there were changes to the account and
container devices, but not to the object devices. In these cases it can
happen that the rebalance happens before modifying devices.

Change-Id: I15641c32266939c9a00936cc471cc59b1bb54eec

Merge "Use CRL for HAProxy"

Merge "Add resource to fetch CRL"

Merge "Move tripleo::certmonger::httpd to defines folder and fix suffix"

Use CRL for HAProxy

This sets up the CRL file to be triggered on the certmonger_user
resource. Furtherly, HAProxy uses this CRL file in the member options,
thus effectively enabling revocation for proxied nodes.

So, if a certificate has been revoked by the CA, HAProxy will not proxy
requests to it.

bp tls-via-certmonger

Change-Id: I4f1edc551488aa5bf6033442c4fa1fb0d3f735cd

Add resource to fetch CRL

This will fetch the CRL file from the specified file or URL. Furtherly
it will set up a cron job to refresh the crl file once a week and notify
the needed services.

bp tls-via-certmonger

Change-Id: I38e163e8ebb80ea5f79cfb8df44a71fdcd284e04

Puppet module to deploy cinder-volume bundle for HA

This module is used by tripleo-heat-templates to configure and deploy
Kolla-based cinder-volume containers managed by pacemaker.

We use short-lived containers that call pcs via puppet to create
the needed pacemaker resources, properties and constraints.

Co-Authored-By: Michele Baldesari <michele@acksyn.org>
Partial-Bug: #1668920

Change-Id: I95ad4dd89b47396bea672813d87de35e64c04b2d

Puppet module to deploy cinder-backup bundle for HA

This module is used by tripleo-heat-templates to configure and deploy
Kolla-based cinder-backup containers managed by pacemaker.

We use short-lived containers that call pcs via puppet to create
the needed pacemaker resources, properties and constraints.

Co-Authored-By: Michele Baldesari <michele@acksyn.org>
Partial-Bug: #1668920

Change-Id: If53495ff75d4832cc6be80dc0dc9bd540ab6583b

Merge "Add _spec suffix to class spec tests"

Merge "Add polkit rule to allow kolla nova user access to libvirtd socket on docker host"

Merge "Add novajoin profile"

Move tripleo::certmonger::httpd to defines folder and fix suffix

It's a define, not a class. And it also needs the _spec suffix.

Change-Id: Ie5e0cf81d03379d8b791fd77a5c78d12048ebfef

Add _spec suffix to class spec tests

Some of them didn't have it. So I added it to them for uniformity.

Change-Id: I2ea57d0ecfe151f9a14db9f7722a26f09aa8a506

Update global requirements

Pin reno version to reno!=2.0.0,!=2.3.1,>=1.8.0
Pin sphinx version to sphinx!=1.6.1,>=1.5.1
reno=2.3.1 and sphinx=1.6.1 break releasenotes and doc tests.

Change-Id: I9daab4d970f387ae20ded1bf920ec3b98c7e4597

Fix the port for Panko API

The port used for Panko is conflicts with Trove[1]. According to the
official documentation[2] this should be 8777. The 8777 port has been
occupied by ceilometer. So set the panko api port to 8977.

[1]https://github.com/openstack/trove/blob/master/etc/apache2/trove#L20
[2]https://docs.openstack.org/developer/panko/install/manual.html#installing-the-api-server

Change-Id: I5ccfc97765fc8b8bf9686b2451eda9c44c77dffc
Closes-Bug: #1691283
Depends-On: I53b286d1d6466b574fdb286cc45f3138f96dff59

Remove unnecessary references to neutron core plugin hiera

If the tripleo::profile::base::neutron::sriov is included it
is expected that the SR-IOV agent should be deployed and configured so
references to core plugin configuration is out of place and currently
breaks deployment.

Change-Id: Ie5d8cd7863c0d042cc6a4e1fc52602d8a03a1935

Fix Swift ring management in container deployments

The ring up- and downloading was never executed if run within a
containerized environment. This is due to the fact that this manifest
gets executed within step 6(5) only. There is also an ordering issue,
which actually tries to create the tarballs before rebalancing.

This patch fixes the step conditions and also chains the tarball
creation to the rebalance.

The check to query rings on all nodes can now be disabled. This is
required on containerized environments: the local ring will be modified
and rebalanced, but rings on the existing servers are not yet modified.
Therefore a recon-check will fail, and needs to be disabled.

Closes-Bug: 1694211
Change-Id: I51c5795b9893d797bd73e059910f17a98f04cdbe

Add polkit rule to allow kolla nova user access to libvirtd socket on docker host

The polkit rules are currently evaluated in the context of the docker host.
As a result the check fails for the kolla nova compute user, as the uids are not
consistent with the host uids (in fact we probably can't assume a nova user exists
on the docker host).

As a short-term workaround a 'docker_nova' user group is created on the docker host
and the polkit rule is updated to grant this user access to the libvirtd socket.

Longer term solution probably requires running polkitd in a container too.

Change-Id: I91be1f1eacf8eed9017bbfef393ee2d66771e8d6
Related-bug: #1693844

Merge "Add Mistral event engine"

Merge "Drop un-needed 'else' in noop_resource"

Merge "Pacemaker support for OVN DB servers"

Support for proxying ironic-inspector via Apache

Future work in the UI requires Apache to proxy for the
ironic-inspector service the same as it has for other
related services.  This adds support for ironic-inspector
through Apache's mod_proxy

Closes-Bug: 1695202
Depends-On: Id395604f1dfbc4bf4f26adbe05f484a10227fd76
Change-Id: I9dcb0769ff90a2fc9561cb86bb822be8087ffe8e

Add novajoin profile

This is needed in order to deploy novajoin in a containerized undercloud
environment.

Change-Id: Iea461f66b8f4e3b01a0498e566a2c3684144df80

Prepare for release 7.1.0

Change-Id: I6306429e37a50fb30ec5704d8192a29e6da586ec

Merge "Clustercheck, monitor service for galera containers"

Merge "Puppet module to deploy MySQL bundle for HA"

Merge "Puppet module to deploy RabbitMQ bundle for HA"

Merge "Puppet module to deploy Redis bundle for HA"

Puppet module to deploy MySQL bundle for HA

This module is used by tripleo-heat-templates to configure and deploy
Kolla-based mysql containers managed by pacemaker.

We use short-lived containers that call pcs via puppet to create
the needed pacemaker resources, properties and constraints.

Co-Authored-By: Michele Baldesari <michele@acksyn.org>
Partial-Bug: #1692842

Depends-On: I44fbd7f89ab22b72e8d3fc0a0e3fe54a9418a60f
Depends-On: Ie9b7e7d2a3cec4b121915a17c1e809e4ec950e7f

Change-Id: I3b4d8ad2eec70080419882d5d822f78ebd3721ae

Merge "Puppet module to deploy HAProxy bundle for HA"

Drop un-needed 'else' in noop_resource

Change-Id: Id45ac93d482ff23c4c834e2d345a926fc408573f

Merge "Add conditional for setting authlogin_nsswitch_use_ldap selboolean"

Merge "Composable Role for Neutron LBaaS"

Add conditional for setting authlogin_nsswitch_use_ldap selboolean

If selinux is enabled the authlogin_nsswitch_use_ldap Boolean must
be enabled. This setting allows LDAP communications to the confined
LDAP/server port. This change includes a conditional for enabling this
Boolean only when selinux is in use.

Change-Id: If985f2434d28fcd33198929bf61f2a3a82e601fe
Closes-Bug: #1695002

Merge "Restart docker after changing storage driver"

Install rsync package for galera

Since galera is configured to use rsync, we ought to make sure the
package is installed. Particularly when using deployed-server, the
package is not always installed by default depending on what was used to
install the servers.

Change-Id: I92ee78f2dd2c0f7fd4d393b104166407d7c654e2
Closes-Bug: #1693003

do not include remote name in branch spec for release notes

Reno will add the origin prefix if there is no local branch with the
desired name.

Change-Id: I76cc3199edacc4e35af44e01c57720100faee529
Signed-off-by: Doug Hellmann <doug@doughellmann.com>

make release note a list of strings

Change-Id: I806e15f24309261bb4bf108aacc43a5c4d2d33bc
Signed-off-by: Doug Hellmann <doug@doughellmann.com>

Pacemaker support for OVN DB servers

This patch enables OVN DB servers to be started in master/slave
mode in the pacemaker cluster.

A virtual IP resource is created first and then the pacemaker OVN OCF
resource - "ovn:ovndb-servers" is created. The OVN OCF resource is
configured to be colocated with the vip resource. The ovn-controller and
Neutron OVN ML2 mechanism driver which depends on OVN DB servers will
always connect to the vip address on which the master OVN DB servers
listen on.

The OVN OCF resource itself takes care of (re)starting ovn-northd service
on the master node and we don't have to manage it.

When HA is enabled for OVN DB servers, haproxy does not configure the OVN DB
servers in its configuration.

This patch requires OVS 2.7 in the overcloud.

Co-authored:by: Numan Siddique <nusiddiq@redhat.com>
Change-Id: I9dc366002ef5919339961e5deebbf8aa815c73db
Partial-bug: #1670564

Merge "Add missing octavia mysql user creation"

Puppet module to deploy RabbitMQ bundle for HA

This module is used by tripleo-heat-templates to configure and deploy
Kolla-based RabbitMQ containers managed by pacemaker.

We use short-lived containers that call pcs via puppet to create
the needed pacemaker resources, properties and constraints.

Co-Authored-By: Michele Baldessari <michele@acksyn.org>
Co-Authored-By: John Eckersberg <jeckersb@redhat.com>
Partial-Bug: #1692909

Change-Id: I0722e4a4d4716f477e8304cfa1aadd3eef7c2f31
Depends-On: I44fbd7f89ab22b72e8d3fc0a0e3fe54a9418a60f
Depends-On: Ie9b7e7d2a3cec4b121915a17c1e809e4ec950e7f

Restart docker after changing storage driver

This likely explains why CI appears to still be running the
devicemapper driver even though overlay2 is now the default.

Change-Id: Ic2d80bae1fddbdb1c80bae297031521dd78d896a
Closes-Bug: #1692502

Merge "Move ceilometer upgrade step out of base"

Merge "Pass mistral::api service_name from t-h-t"

Puppet module to deploy HAProxy bundle for HA

This module is used by tripleo-heat-templates to configure and deploy
Kolla-based haproxy containers managed by pacemaker.

We use short-lived containers that call pcs via puppet to create
the needed pacemaker resources, properties and constraints.

Co-Authored-By: Michele Baldesari <michele@acksyn.org>
Partial-Bug: #1692908

Depends-On: I44fbd7f89ab22b72e8d3fc0a0e3fe54a9418a60f
Depends-On: Ie9b7e7d2a3cec4b121915a17c1e809e4ec950e7f

Change-Id: Ifcf890a88ef003d3ab754cb677cbf34ba8db9312

Puppet module to deploy Redis bundle for HA

This module is used by tripleo-heat-templates to configure and deploy
Kolla-based Redis containers managed by pacemaker.

We use short-lived containers that call pcs via puppet to create
the needed pacemaker resources, properties and constraints.

Co-Authored-By: Michele Baldesari <michele@acksyn.org>
Partial-Bug: #1692924

Depends-On: I44fbd7f89ab22b72e8d3fc0a0e3fe54a9418a60f
Depends-On: Ie9b7e7d2a3cec4b121915a17c1e809e4ec950e7f

Change-Id: Ia1131611d15670190b7b6654f72e6290bf7f8b9e

Move ceilometer upgrade step out of base

ceilometer-upgrade should only run on controller nodes.
Since its currently in base profile, it gets triggered
on compute as well. So instead split out the upgrade
into its own and include when we deploy notification
and central agents instead.

Change-Id: I2910e8aa5da7fded4cf94b57fb0a14fefd88adbe
Closes-bug: #1693339

Merge "Add support for autofencing to Pacemaker Remote."

Merge "Enable mistral to run under mod_wsgi"

Add missing octavia mysql user creation

This patch makes sure the octavia mysql user is created when the
octavia_api service is enabled.

Change-Id: I270f3f6879737fc29370165e4a8fa8c9c19fffb3

Clustercheck, monitor service for galera containers

In HA overcloud deployments, HAProxy makes use of a helper service
called "clustercheck", to check whether galera nodes are available for
serving traffic.

This change implements a dedicated profile for clustercheck, which was
originally part of the pacemaker mysql profile. The profile generates
the necessary configuration files for clustercheck and let heat
templates manage the associated container's lifecycle.

Co-Authored-By: Michele Baldessari <michele@acksyn.org>
Partial-Bug: #1692969
Change-Id: I1aabe34fa6a9c8c705a4405f275b66502c313cf2

Enable novajoin user on keystone profile

If novajoin is enabled, the keystone profile should create its user.

bp tls-via-certmonger-containers

Change-Id: Ifb43b72cbf0180cf12e6d3584c92ae01ce5294e5

Merge "TLS everywhere: Add resources for mongodb's TLS configuration"

Merge "Bad example in firewall.pp"

Merge "Switch to overlay2 driver for storage"

Bad example in firewall.pp

It was an error in the example to set firewall rule

Tested on newton.

Closes-Bug: 1691990

Change-Id: I091ad0305ac9d9fbb63853e46169fcaa6092456b
Signed-off-by: Cyril Lopez <cylopez@redhat.com>

Switch to overlay2 driver for storage

This patch switches the default to the overlay2 storage driver and see
if it helps performance.

Background:

The loopback driver is not recommended for production. Most
other docker storage backends require extra disks (or partitions)
which we don't have on the root disk. Overlay seems to make the
most since for TripleO upgrades where we intend to update
in-place installations to use docker.

Co-Authored-By: Martin André <m.andre@redhat.com>
Change-Id: I6896a9b3e9dc3e269bf5b0dc753bf8c985482daf

Merge "Update tox configuration"

Merge "Update gitignore not to exclude fixture hieradata"

Merge "Handle duplicate/invalid entries in migration SSH inbound addresses"

Merge "Disable SSH login for nova_migration user when migration over ssh is disabled."

Update gitignore not to exclude fixture hieradata

The existing .gitignore is causing the hieradata we use for tests to be
excluded in git and our release tarballs. Lets adjust the gitignore not
to exclude the hiera files in spec/fixtures

Change-Id: Ic31687d0eb1c2e8acc92796d4c0eba096db8e533
Closes-Bug: #1691559