Stop setting bind_address on nova db uri.

This reverts the changes in https://review.openstack.org/414629 for nova as
they are incompatible with cell_v2.

This is a temporary fix for HA while a long-term solution is developed.

Change-Id: I79d30a2d76a354999152c0c997ea77f104c51027
Related-bug: #1643487
Closes-bug: #1662344

Composable services support for Cinder Dell EMC PS Series

Updated the heat templates for Cinder Dell EMC PS Series backend
to use composable services and rebranding of EQLX to Dell EMC PS Series

Closes-Bug: #1661313

Change-Id: Id9d6f172f3f79a31788b26c7776d738fda5a30fa

implement a collectd composable service

The collectd composable service permits an operator to configure
collectd metrics collection as part of the overcloud install.

Depends-on: I03cfbd96778a76125d18e2ca2f48d96e292608de
Change-Id: I143565329f5128f15cc39c9b62a6b242666383ab

Merge "Adds default Keystone region to regionOne Closes-Bug: #1661839"

Merge "Remove openstack-ceilometer-api pre upgrade check"

Merge "Remove precheck on services which run on httpd for upgrade"

Merge "Remove old host param"

Remove precheck on services which run on httpd for upgrade

Those services is not handle with systemctl

Change-Id: Ia57dffd42a11070696fda14f1e91de2993e63479

Remove openstack-ceilometer-api pre upgrade check

This change removes the pre upgrade check for a running
openstack-ceilometer-api service as this service doesn't exists in
Newton. Ceilometer API runs under httpd:
[root@overcloud-controller-0 ~]# httpd -t -D DUMP_VHOSTS | grep ceilo
10.0.0.23:8777         overcloud-controller-0.internalapi.localdomain
(/etc/httpd/conf.d/10-ceilometer_wsgi.conf:6)

Change-Id: I5cbf8ccf72f9071e328f52d373cf9e8edf5793f4
Closes-Bug: 1661251

Automatically backup and restore Swift rings from the undercloud

Swift rings created or updated on the overcloud nodes will now be
stored on the undercloud at the end of the deployment.  An
additional consistency check is executed before storing them,
ensuring all rings within the cluster are identical.

These rings will be retrieved (before Puppet runs) by every node
when an UPDATE is executed, and by doing this will be in a
consistent state across the cluster.

This makes it possible to add, remove or replace nodes in an
existing cluster without manual operator interaction.

Closes-Bug: 1609421
Depends-On: Ic3da38cffdd993c768bdb137c17d625dff1aa372
Change-Id: I758179182265da5160c06bb95f4c6258dc0edcd6

Merge "Provide a default value for Ironic cleaning_network configuration"

Adds default Keystone region to regionOne
Closes-Bug: #1661839

Change-Id: I9498be04749dc866d0423e75e57d4c07eaf3e904

Merge "Disable batch upgrade deployments for disabled roles"

Merge "Reduce number of steps for upgrades"

Merge "Simplify/fix config enabled conditions for upgrades"

Merge "Configure VNC Server listen address through t-h-t"

Merge "net-config-multinode: make controlplane int idempotent"

Composable service support for Cinder Dell EMC Storage Center

Updated the heat templates for Cinder Dell EMC Storage Center
Backend to use composable services

Closes-Bug: #1661314

Change-Id: I454549c45da7388f0e42975c9f4637dde9ec51e3

Add registry and role service list entries for Octavia

This patch adds the Octavia services to the registry and controller role
(disabled by default). Also included is an example environment file for
enabling the services and required configuration. The API service
profile is also amended configure the load balancer service provider in
neutron to point to the octavia load balancer driver.

Change-Id: I7f3bba950f5b1574ba842a39e93a8ac2b1ccf7bb
Partially-implements: blueprint octavia-service-integration

net-config-multinode: make controlplane int idempotent

When doing a stack-update, it will try to create the control plane
interface again.
Add this conditional so the interface is not created if already exist.

Note: this code has been taken from tripleo-ci and is consistent with
how multinode jobs are currently tested.

Co-Authored-By: James Slagle <jslagle@redhat.com>
Co-Authored-By: Steven Hardy <shardy@redhat.com>
Co-Authored-By: Mathieu Bultel <mbultel@redhat.com>
Change-Id: I773fdf5359cead6961b595e3c8192b02406452b7
Related-Bug: #1661412

Provide a default value for Ironic cleaning_network configuration

Ironic will soon refuse to start when at least some value is not provided.
Unfortunately, we do not create any overcloud[*] networks during deployment.
Fortunately, Ironic does not validate this value until actual cleaning. So,
this change sets it to "provisioning", which is what people often use.

An update will follow to the documentation to recommend this name:
http://tripleo.org/advanced_deployment/baremetal_overcloud.html#configuring-cleaning

A new parameter is created for this value, with a reminded to change it to
an actual UUID later on. While a pre-defined name will work in a simplest case,
in a real multi-tenant deployment a network name conflict is possible.
Using a UUID is safer in this regard.

[*] networks created in overcloud neutron

Change-Id: I1b7dc2ff70d3b76f19a183a60e88cf72f6d2a318
Closes-Bug: #1661082

Remove openstack-ceilometer-expirer check

This wont work as openstack-ceilometer-expirer
cant be listed from systemctl.

Also we are not runing any upgrade task.

i.e.:
[root@overcloud-controller-0 ceilometer]# systemctl list-units | grep ceilometer
  openstack-ceilometer-api.service           loaded active running   OpenStack ceilometer API service
  openstack-ceilometer-central.service       loaded active running   OpenStack ceilometer central agent
  openstack-ceilometer-collector.service     loaded active running   OpenStack ceilometer collection service
  openstack-ceilometer-notification.service  loaded active running   OpenStack ceilometer notification agent

Change-Id: Ia9f7d3744264af1a37c06b9c8878cd95bed4e1c5

Disable batch upgrade deployments for disabled roles

Currently we don't correctly disable the batch_upgrade_tasks, so
rework the loops to ensure we only create the batch deployments
for roles which enabled upgrades.

Note this modifies some loop whitespace too which cleans up the
rendered output and makes it a bit more readable/compact.

Change-Id: I1c257dcc351e99efa54f9cae4b3009287908756e
Partially-Renders: blueprint overcloud-upgrades-per-service

Reduce number of steps for upgrades

We don't need all the steps currently enabled for either batched
or concurrent updates, so decrease them.  In future we can perhaps
introspect the task tags during plan creation and set these
dynamically.

Change-Id: I0358886a332dfbecd03bc4a67086b08d25756c22
Partially-Implements: blueprint overcloud-upgrades-per-service

Simplify/fix config enabled conditions for upgrades

We should enable each kind of upgrade per role, not per step
so rework the conditions, and also only apply it to the deployment
(to save the round-trip to the nodes applying an empty config)
but don't disable the *Config resources as the overhead of these
is small, and we reference the Step1 config in the outputs, even
if it's empty.

Change-Id: Iee2f1fb5b1d8b0b6001c6ab0f2a4ef2858cef281
Partially-Implements: blueprint overcloud-upgrades-per-service

Disable puppet on upgrade for roles not upgrading

Where the role has disabled upgrades, we need to skip both the ansible and
puppet steps.  To do this we refactor the post.j2.yaml so that it can be
included in the upgrade template with an adjusted list of roles.

Note this requires https://review.openstack.org/#/c/425220/ - this
change will be required for local testing of this patch
(run mistral-db-mange populate after updating tripleo-common
and restart the mistral services, or update your repos and re-run
openstack undercloud install).

Partially-Implements: blueprint overcloud-upgrades-per-service
Change-Id: Ie7d0fa6fef3528bd93e6cde076b964ea8de3185a

Added further security functionality in release notes.

This patch seeks to add futher security functions present within
tripleo for the ocata release.

Change-Id: Ie89b85589c2dfd3580de75253b73009b5d06c9f2

Merge "Moving the validation for using the template alias version for all templates"

Merge "Switch item notation to jinja format"

CI: enable debug on multinode and upgrade job

We're running TripleO CI jobs outside TripleO projects (nova, gnocchi,
etc), folks need more debug to be helpful.

Change-Id: I512ad89d9ac82ae62f9cbe7d0029fb1ac7445cc9

Remove old host param

Change-Id: Ib9e1a4ccdf447455a330687184eae471b9f3f4d4
Depends-On: I2b48d23006e38f56f04456b4556374bf0fcdb14a

Switch item notation to jinja format

This change fixes the item variable notation in
puppet/services/ceph-osd.yaml.

Change-Id: I4d105619e4ac913b4a711bf91fea5f6e3c9b4caa
Closes-Bug: 1661339

OVN plugin configuration fixes

This patch renames certain ovn plugin and controller configuration
parameters as well as adds some additional ml2 configuration parameters.
It also disables the need for the neutron metadata agent.

Co-authored-by: Numan Siddique <nusiddiq@redhat.com>
Change-Id: Idc9e7ef4a1b88013bca3eac3c136e4710e38a5c0

Merge "Allow the override of pacemaker::corosync::settle_tries"

Add pacemaker composable upgrade steps

This review adds the pacemaker ansible upgrade steps
into the pacemaker service manifest.

It makes use of the ansible-pacemaker module which for now
is at https://github.com/redhat-openstack/ansible-pacemaker

Change-Id: I33c798a198046d5f66e6b20f86080a8187dc208b

Merge "Don't run yum_update.sh inside docker"

Merge "Temporary UCSM mapping files should be opened with write mode"

Merge "Use common directory in CI scenario for net-config"

Merge "Don't run ceilometer-upgrade via upgrade_tasks"

Moving the validation for using the template alias version for all templates

Currently we are applying this validation for the services templates, this
submission moves it to run with all templates.

Also fixed those templates not using the alias name.

Change-Id: I3a2c0ce6adcc8061fdc51f73fdc6b9748c0fead9

Remove unused SR-IOV parameter NeutronSupportedPCIVendorDevs

This parameter has been removed in neutron from the sriov conf
file, in Ocata. Removing the parameter from tripleo.
Closes-Bug: #1660929

Change-Id: Icd8a1f6c9049434fd86ceeb24881e1ed49f2bb17

Merge "Add more explicit messagae to build_endpoint_map's check option"

Merge "Add deployed server bootstrap for RHEL"

Merge "Validate that endpoint_map.yaml is up to date in the gate"

Merge "Add ability to toggle swift's ceilometer transport_url SSL"

Add more explicit messagae to build_endpoint_map's check option

This will hopefully help developers know what to do if their patch fails
this verification.

Change-Id: I01fe9ca30295c6264affdbdb773b039a744289ea

Validate that endpoint_map.yaml is up to date in the gate

Change-Id: I72aa48c72c825151739cb478c58e9a6c841c9130

Configure VNC Server listen address through t-h-t

This adds an entry for libvirt (which is used by the VNC server) on
which we can tell it via t-h-t on which IP address to listen on.

Change-Id: Ie377c09734e9f6170daa519aed69c53fc67c366b
Related-Bug: #1660099

FreeIPA: don't preprovision service principals if novajoin is enabled

novajoin will do this once it's enabled in CI.

Change-Id: I9f19d833f306930704b09de0c4d425461f1f3f63

Don't run ceilometer-upgrade via upgrade_tasks

This needs to be run by puppet or ansible runs it as root and the
later run by puppet fails due to permissions on the logfile.

Probably we need to remove the *sync calls for most services to
avoid similar issues, now that we're running puppet as part of the
pre-converge upgrade process but that will be done in another patch.

Change-Id: I808db2c175325a25058226842684558ea06fb5c5
Partially-Implements: blueprint overcloud-upgrades-per-service

Remove Gemfile and Rakefile

We are not running syntax and lint jobs in THT for master & newton,
let's remove useless files.

Change-Id: Ia572a0eb8872ab199bc68a51750dfc17ca5ee034

Disable the deprecation warnings as errors for puppet-syntax

Recently puppet4 started deprecating ruby 2.0 with the following
commit: https://github.com/puppetlabs/puppet/commit/e9eda7ed56fddcf185fc155d7e0ae054ea327504

One way to work-around this (in the absence of a more recent ruby
version) is to not treat this deprecation warnings as fatal when
doing the puppet syntax check

Change-Id: Id49c5068ab4609e3da0417af4714e8cb8485f3d1
Closes-Bug: #1660943

Add ability to toggle swift's ceilometer transport_url SSL

So, if RabbitClientUseSSL is set, this will enable TLS for the
swift's ceilometer message broker connection.

Change-Id: Ide70a509aefc9e7eb9d7cc5b3a60520fa42b4010
Depends-On: I8b7457b6233c4f88af2d7bc1b9304fcccb6edf61

Merge "Configure DPDK options to isolate PMD cores and ovs process cores"

Merge "docker: eliminate copy-json.py in favor of json-file"

Merge "Removes deprecated neutron-opendaylight-l3 env file"

Use common directory in CI scenario for net-config

The multinode_major_upgrade scenario is using an external
directory for net-config.
Moving this to the internal directory in tht common/

Change-Id: I41692d2ddb9fbd2002fd7910933ab4edff74f33e

Merge "Add upgrade support for CephRGW service"

Introduce Octavia implementation services

Initial service definition files for Octavia backend services.

Change-Id: I1ae2bc0387dff5218f731f1860277dc1ad2b9528
Partially-implements: blueprint octavia-service-integration
Depends-On: Ic6f945cdf36744382a4a63fcc374d5562964ca68
Depends-On: I1dd1873b646e8569ed0a85c5ee7eb3bec3a8b1fa

Describe use of Manila/CephFS in capabilites_map

This is meant to describe in the UI how to use the
manila-cephfsnative-config environment file to deploy Manila with
Ceph as backend using either a TripleO managed or an externally
managed Ceph cluster.

Also adds a puppet-ceph.yaml environment file meant to enable the
deployment of a Ceph cluster, given that storage-environment.yaml
is meant to be customized by the user instead.

Change-Id: Iefd7056a9bc079025e6ac4dd50edcd2e2635e1b0

Merge "multinode/upgrade: set heat::rpc_response_timeout to 600"

docker: eliminate copy-json.py in favor of json-file

This patch rewires how we configure the Kolla external config files
via Heat templates and uses a more simple json-file heat hook to
directly write out Kolla config files to disk.

By using a heat hook instead of a shell script we can avoid
Json conversion issues.  Additionally, This generic json file hook will
be useful for other ad-hoc Json file configuration within the TripleO
docker architecture.

Co-Authored-By: Martin André <m.andre@redhat.com>
Change-Id: I8c72a4a9a7022f722bfe1cef3e18517605720cce
Depends-On: I2b372ac2e291339e436202c9fe58a681ed6a743f
Depends-On: Id3f779b11e23fd3122ef29b7ccbae116667d4520

Merge "Add AuditD composable service"

Merge "Pass parameters for TLS proxy in front of neutron server"

multinode/upgrade: set heat::rpc_response_timeout to 600

Continue the work done on https://review.openstack.org/#/c/423302/

Change-Id: I931534e0ec33e131809186f74068eb479d38a0f9

Merge "Remove create-legacy-resource-types opts"

Merge "Use os-net-config in multinode jobs"

Pass parameters for TLS proxy in front of neutron server

If TLS in the internal network is enabled, we run neutron-server
behind a TLS proxy (which is actually httpd's mod_proxy). This passes
the necessary hieradata.

bp tls-via-certmonger
Depends-On: I6dfbf49f45aef9f47e58b5c0dbedd2b4e239979e

Change-Id: I9252512dbf9cf2e3eec50c41bf10629d36070bbd

Use os-net-config in multinode jobs

Full credits to James Slagle, author of this code in TripleO CI:
https://review.openstack.org/#/c/409346

This patch adds a new template for configuring networking on the
Overcloud nodes using os-net-config in multinode jobs. Previously we
were not using os-net-config at all.

Also updates the multinode.yaml environment to use this network config
template.

The IP of each subnode is used when the vxlan tunnels are configured in
OVS, given that, each node needs its own unique network configuration.
To accomodate that, the templates makes use of the network_config_hook
function to influence run-os-net-config.sh

This patch is just the first step to totally switching to os-net-config
in multinode jobs. The devstack-gate code is still in use to bootstrap
the initial networking on the undercloud and subnodes. That will be
switched over in subsequent patches.

Change-Id: I6efa71eb23109d0b3b480061135c572ab89f5981
Co-Authorized-By: James Slagle <jslagle@redhat.com>
Implements: blueprint multinode-ci-os-net-config

Add support for Jinja2 includes

This replicates the behavior of the custom Jinja2 loader from tripleo-common to
allow template validation on the local filesystem using tox.

Change-Id: I27683ab31187c6334dc5b4b5363a3347874b9a90
Partially-Implements: blueprint overcloud-upgrades-per-service
Depends-On: Idc5c3f49c7a2fc7f3622c76da001992cc657384e

Add AuditD composable service

This patch allows the management of the AuditD service and its associated
files (such as `audit.rules`)

This is achieved by means of the `puppet-auditd` puppet module.

Also places ssh banner capabilities map on top of patch

Change-Id: Ib8bb52dde88304cb58b051bced9779c97a314d0d
Depends-On: Ie31c063b674075e35e1bfa28d1fc07f3f897407b

Merge "Adds a pre-upgrade check that service is running (step0)"

Merge "Adds SSH Banner text into sshd_config"

Adds a pre-upgrade check that service is running (step0)

Adds a step0 for most services to check that the state is running
before continuing with any of the other upgrades steps (these are
tagged step0).

You can skip this service check by overriding the
SkipUpgradeConfigTags parameter as follows:

parameter_defaults:
  SkipUpgradeConfigTags: validation

Co-Authored-By: Steven Hardy <shardy@redhat.com>
Change-Id: Ie276f153015f671b720b6ed5beaac1b921661909

Allow the override of pacemaker::corosync::settle_tries

When replacing a controller node, Exec['wait-for-settle'] needs to
timeout, which means that the command pcs cluster auth will be executed
360 times with 10 seconds in between. So that means waiting for an hour
for no reason. Let's allow to override the settle_tries counter so
an operator can shorten it accordingly.

Tested this by setting CorosyncSettleTries to 100 and I correctly get
proper hiera settings:
$ hiera pacemaker::corosync::settle_tries
100

And effectively we try a number of 100 times as opposed to the 360
default:
/Stage[main]/Pacemaker::Corosync/Exec[reauthenticate-across-all-nodes]/returns
(debug): Exec try 1/100

Change-Id: I5e21b4215cb0b8686d2059b3d71e2444a96719dc
Closes-Bug: #1659741

Merge "Allow to separate Horizon from Neutron"

Merge "Add a release note for using deployed-servers (aka split-stack)"

Merge "Add release note for composable upgrades"

Merge "Add novajoin entries to the TLS-everywhere environment file"

Allow to separate Horizon from Neutron

Allow to deploy 2 different nodes with Neutron and another with Horizon.
Horizon will get the right hieradata to collect the mechanism driver and
configure the dashboard correctly.

Change-Id: I24621f6a7d053cff487984bab0d10a4a97204675
Closes-Bug: 1659662

Merge "Add telemetry service support for composable upgrades"

Add deployed server bootstrap for RHEL

This is similar to the bootstrap for CentOS, except we don't set SELinux
to permissive on RHEL.

Change-Id: I52b8fa017ee2821d2fa91e5ec806a55fcb92566d
Partially-implements: blueprint split-stack-software-configuration

Merge "Do not try to update the 'ceph' metapackage from CephMon role"

Remove create-legacy-resource-types opts

This flag is quite old and doesnt work as expected anymore.
Let ceilometer upgrade create these reource types instead.

Change-Id: I71ea6e2fd9418095de658d709c14bb3006ca2753

Merge "Conform CephExternal template to the new hiera hook"

Merge "Add Ceph RBD mirror Pacemaker profile"

Merge "ci: import multinode_major_upgrade.yaml from tripleo-ci"

Merge "Allow dnsmasq_dns_servers to be configured for DHCP Agent"

Merge "Use versionless keystone endpoint for barbican-related configurations"

Add upgrade support for CephRGW service

Implements minor upgrade of the ceph-radosgw service.

Change-Id: I4c064bf996ec6bb7eba41ab6384bd953a8ec920f
Partially-Implements: blueprint overcloud-upgrades-per-service

Add release note for composable upgrades

Adds an initial release note for composable upgrades - I had to be
vague in the upgrades section as we're still working out some details
of the final upgrade workflow for all roles.

Change-Id: Iac0af86f3b56a07070a9d24b1255953f5fd07b34

Merge "Set the correct default for gnocchi workers"

Do not try to update the 'ceph' metapackage from CephMon role

The 'ceph' metapackage is only provided by some repos so we should
not explicitly pull it.

Also adds a validation step to the CephMon and CephOSD roles to
stop upgrade if the Ceph cluster is in error state.

Change-Id: I5aa275677ada47a352a327b9be21927b852d16f3

Merge "Add ironic service support for composable upgrades"

Merge "Skip upgrade steps where no tasks are defined"

Merge "Add upgrade support for ceph OSD service"

Merge "Add upgrade support for ceph-mon service"

ci: import multinode_major_upgrade.yaml from tripleo-ci

So we can version it between releases like we do with scenarios.

Change-Id: I3e3aa5d4fa7e03d1f4483bf42fcff17386b58709

Merge "Add support for batched upgrades to composable upgrades"

Add Ceph RBD mirror Pacemaker profile

This change adds a profile to deploy the Ceph RBD mirroring daemon
as a Pacemaker resource.

Change-Id: Ib07e5bca6a45f0c6c59a3acf07f4e3ae9d2f8948
Depends-On: Ic63dc5cffece38942d305f538f71dd58a5d50789
Closes-Bug: #1652177