Merge "openstack-heat-templates: fix deprecation path"

Merge "Move HAProxy's public TLS logic from controller to service template"

Merge "Set virsh secret with an init step when using Ceph"

Merge "Keep dynamic network creation backward compatible."

Move HAProxy's public TLS logic from controller to service template

This de-couples public TLS from controllers to now run wherever HAProxy
is deployed.

Partially-Implements: blueprint composable-networks
Change-Id: I9e84a25a363899acf103015527787bdd8248949f

Merge "Noop controller pre and post config resources."

Merge "Fix cidr get_attr in custom networks"

Merge "Create parameters for haproxy TLS certs and keys"

Merge "Docker/TLS everywhere: Add telemetry and neutron services to environment"

Merge "Addition of Nuage as mechanism driver for ML2"

Set virsh secret with an init step when using Ceph

Run virsh secret-define and secret-set-value in an init step
instead of relying on the puppet-nova exec.

Co-Authored-By: Jiri Stransky <jistr@redhat.com>
Change-Id: Ic950e290af1c66d34b40791defbdf4f8afaa11da
Closes-Bug: #1709583

Merge "Use number for KeystoneCronTokenFlushMaxDelay instead of string"

Merge "Don't curl metadata server in userdata example"

Merge "MariaDB: create clustercheck user at container bootstrap"

Fix cidr get_attr in custom networks

We were missing the square brackets around the list of arguments
for get_attr when building the networks cidr output.

This passed CI because Heat does not fail validation and Ceph (which
is consuming the cidr output) is tested with a single network (ctlplane)
which does not build the output using the same templates.

Change-Id: I40bba0784a30295cb0d4eda1fbff20ebac85db99
Closes-Bug: #1709464

Docker/TLS everywhere: Add telemetry and neutron services to environment

some resources were missing, so this syncs up what's working right now.

bp tls-via-certmonger-containers

Change-Id: Ic8fe20d0240f1ad8f18218d66634029d522d4d5a

Keep dynamic network creation backward compatible.

We had an history mapping for InternalApi to InternalNetwork.  If we
remove it then heat will want to destroy InternalNetwork and create
InternalApi which cannot work during upgrade.

This adds compat name parameters to network_data.yaml.

Closes-Bug: #1709105

Change-Id: I8ce6419a5e13a13ee6e991db5ca2196763f52d7a

Create parameters for haproxy TLS certs and keys

this removes the hardcoded paths for the haproxy certs and keys and will
enable re-use. We'll use this in a further commit in the containterized
TLS work.

Change-Id: I602e5a569e2e7e60835deb80532abcedd7a1f63d

Use number for KeystoneCronTokenFlushMaxDelay instead of string

Using a string results in an erroneous check in puppet-keystone, which
sets up a zero where it shouldn't. So we change it to number to avoid
that. Note that there will also be a puppet-keystone fix for this.
Changing the value here assures that deployers only give valid values to
this parameter.

Change-Id: I00823e23358df91ce54f421c12636f05d4196e15
Closes-Bug: #1708584

Merge "Add Telemetry services to scenario002"

Merge "Start redis service after upgrade"

Merge "Stop and disable openstack-nova-compute service on compute nodes"

Merge "Run gnocchi upgrade with sacks in docker template"

Merge "Change the directory for haproxy certs/keys to be service-specific"

Merge "Copy scheduler configuration from service/ironic to services-docker/ironic"

Merge "Fix up multipath docker indentation"

Change the directory for haproxy certs/keys to be service-specific

This moves the directories containing the certs/keys for haproxy one step
further inside the hierarchy. This way we will be able to bind-mount
this certificate into the container without bind-mounting any other
certs/keys from other services.

bp tls-via-certmonger-containers

Depends-On: Iba3adb9464a755e67c6f87d1233b3affa8be565a
Change-Id: I73df8d442b361cb5ef4e343b4ea2a198a5b95da9

Merge "Adds environment file for ODL + SRIOV"

Merge "Changing the default port-binding configuration"

Update EventPipelinePublisher param description to include zaqar

Since we now support zaqar:// publisher, Enhance the description to indicate
how to set the zaqar publisher.

Change-Id: Ib7eba98d199fade2346620672e33b74686d4685b

Merge "Make UpgradeLevelNovaCompute parameters consistent"

Merge "Add environment for setting a custom domain name"

Addition of Nuage as mechanism driver for ML2

Adding composable services for Nuage mechanism driver for ML2. This
is separate from Nuage as the core plugin and intentional duplication
of Nuage under puppet services. Parameters required for working of
Nuage as mechanism driver are also added.

Change-Id: I2b564610721152c4f4dab9da79442256ba8d0b33

Merge "Update capabilities map to match latest environments"

Merge "Make many networking parameters consistent"

Stop and disable openstack-nova-compute service on compute nodes

This change stops and disables the openstack-nova-compute service
on the compute nodes during the upgrade to the containers architecture.

Closes-bug: 1708371

Change-Id: I9ca909d4e91d0a0e4de15572f727f959d9185c64

Merge "Fix CA file bind mounting in containers"

Merge "Render isolated network templates using jinja2"

Merge "Make RoleParameters and key_name descriptions consistent"

Merge "Set redis password hiera value in compute agent"

Merge "Cinder volume/backup containers shouldn't mount two paths at same point"

Merge "Update TLS-everywhere docker environment"

Merge "Fix keystone, cinder, heat-api cron containers"

Make UpgradeLevelNovaCompute parameters consistent

There is logic in nova-base.yaml that depends on the default for
this parameter being '', and the nova-compute service only needs it
set to auto during upgrade.  That will be done by [1] anyway, so it
doesn't matter what the default is.  It's also not clear to me that
the nova-compute task is even needed now that we're post-Ocata, but
that's not a change I feel comfortable making.

1: https://github.com/openstack/tripleo-heat-templates/blob/master/environments/major-upgrade-composable-steps.yaml

Change-Id: Iccfcb5b68e406db1b942375803cfedbb929b4307
Partial-Bug: 1700664

Make many networking parameters consistent

These are mostly the low hanging fruit that only required a few
minor changes to fix.  There are more that require a lot of changes
or might be more controversial that will be done later.

Change-Id: I55cebc92ef37a3bb167f5fae0debe77339395e62
Partial-Bug: 1700664

Make RoleParameters and key_name descriptions consistent

The key_name default is ignored because the parameter is used in
some mutually exclusive environments where the default doesn't
need to be the same.

Change-Id: I77c1a1159fae38d03b0e59b80ae6bee491d734d7
Partial-Bug: 1700664

Merge "Fix ceilometer agent compute service name"

Add Telemetry services to scenario002

We need to test gnocchi with swift backend. So adding
telemetry to scenario002 job to cover that.

Change-Id: I284de61bbefac9e9b37390650016643ffe38b5cc

Start redis service after upgrade

We install redis if its not already there, but we should also
ensure redis service is started in the next step 4.

related to issues we're seeing in I284de61bbefac9e9b37390650016643ffe38b5cc

Change-Id: Ic01db53ea8669f14e87f6987045b2be5a3480024

openstack-heat-templates: fix deprecation path

The right file is external-ceph.yaml, not ceph-external.yaml.

Change-Id: If21a4f183305f82916e1ef2aadb0706e7dab4657
Signed-off-by: Sébastien Han <seb@redhat.com>

Update capabilities map to match latest environments

This change updates capabilities-map.yaml to properly map existing
environments

Closes-Bug: 1708159
Change-Id: I4104b6b59b3e9b19a06cdc233dae4f68fe033580

Fix up multipath docker indentation

Deploying a multipathd container gives the following error:
failed: [localhost] (item={'key': u'config_files', 'value': [{u'dest': u'/', u'merge': True, u'source':
u'/var/lib/kolla/config_files/src-iscsid/*', u'preserve_properties': True}]}) =>
{\"checksum\": \"72ad81489381571c5043b7613f6828b06ae364bd\", \"failed\": true, \"item\":
{\"key\": \"config_files\", \"value\": [{\"dest\": \"/\", \"merge\": true, \"preserve_properties\": true,
\"source\": \"/var/lib/kolla/config_files/src-iscsid/*\"}]}, \"msg\": \"Destination directory does not exist\"}

The reason is the wrong indentation of the config_files key in the
multipath docker service.

Change-Id: I0e1fbb9eb188a903994b9e5da90ab4a6fb81f00a
Closes-Bug: #1708129

Merge "Fix iscsid role data's section"

Cinder volume/backup containers shouldn't mount two paths at same point

Docker refuses to start the container because config_files/src-ceph:ro
is mounted at both /etc/ceph and config-data/puppet-generated/ceph.
The mount to /var/lib/config-data/puppet-generated/ceph should have
been removed in commit ed0b77ff93a1a1e071d32f6a758e04c6d0b041ef.

Change-Id: I411b4764a54fc21e97e4c41a5fef00c7e6e2b64d
Closes-Bug: #1707956

Merge "Fix network-isolation.j2.yaml to ignore VIPs for disabled networks"

Merge "Remove empty metadata_settings from iscsid and multipathd templates"

Merge "Adds stop and disable for libvirtd on upgrade to containers"

Set redis password hiera value in compute agent

Without this config defaults to undef in containers

Change-Id: Id47f365364e7b0d399de92995871b136550cd625

Fix ceilometer agent compute service name

Make sure this matches whats in roles_data.yaml

Change-Id: Id41c457914f557af7c9ec195c4c6f98669523ac1

Merge "Generate MySQL client config if service requires database"

Run gnocchi upgrade with sacks in docker template

Without this gnocchi is not initializing the sacks like puppet does
and gnocchi containers dont respond properly.

Change-Id: I2c53b00793f99420fd12ccc0b5646cf21d528e46

Merge "Add missing metadata_settings from docker services"

Adds stop and disable for libvirtd on upgrade to containers

Adds this into the tripleo_upgrade_node.sh executed by the
operator for the major upgrade see the bug for more info

Change-Id: Ic54b48b149594e8ea08e95152111bcdaf7b252b7
Closes-Bug: 1707926

Fix keystone, cinder, heat-api cron containers

The cron containers need to run as root in order to create PID files
correctly.

Additionally, the keystone_cron container was misconfigured to
use /usr/bin/cron instead of the correct /usr/bin/crond.

Additionally we have an issue where the Kolla keystone container has
hard coded ARGS for the docker container which causes -DFOREGROUND
(an Apache specific argument) to get appended onto the kolla_start
command thus causing crond to fail to startup correctly. This
works around the issue by overriding the command and calling
kolla_set_configs manually. Once we fix this in Kolla we can
revisit this.

Change-Id: Ib8fb2bef9a3bb89131265051e9ea304525b58374
Related-bug: 1707785

Fix CA file bind mounting in containers

The syntax was wrong and wasn't actually bind mounting the CA file.
This fixes it.

Change-Id: Icfa2118ccd2a32fdc3d1af27e3e3ee02bdfbb13b

Update TLS-everywhere docker environment

Some resources have changed. So the environment needed syncing

Change-Id: I9aa310ae80edfccd3ed28e67a431aad6e1ed8a7f

Remove empty metadata_settings from iscsid and multipathd templates

metadata_settings is meant to have a specific format or be completely
absent. Unfortunately the hook [1] doesn't an empty value for this. So
we remove it as an easy fix before figuring out how to add such a
functionality to the hook.

[1] https://github.com/openstack/tripleo-heat-templates/blob/master/extraconfig/nova_metadata/krb-service-principals.yaml

Co-Authored-By: Thomas Herve <therve@redhat.com>
Change-Id: Ieac62a8076e421b5c4843a3cbe1c8fa9e3825b38

Merge "Enable Dpdk after rebooting with Hugepages for OvS2.7"

MariaDB: create clustercheck user at container bootstrap

In HA overclouds, the helper script clustercheck is called by HAProxy to poll
the state of the galera cluster. Make sure that a dedicated clustercheck user
is created at deployment, like it is currently done in Ocata.

The creation of the clustercheck user happens on all controller nodes, right
after the database creation. This way, it does not need to wait for the galera
cluster to be up and running.

Partial-Bug: #1707683
Change-Id: If8e0b3f9e4f317fde5328e71115aab87a5fa655f

Merge "Fix creation of iptables rules for non-HA containerized HAproxy"

Add missing metadata_settings from docker services

These are needed for the TLS everywhere bits.

Change-Id: I81fcf453fc1aaa2545e0ed24013f0f13b240a102

Merge "Add 'ovn-controller' service"

Copy scheduler configuration from service/ironic to services-docker/ironic

That was missed back then. Without it bug 1697724 is not fixed for containers.

Change-Id: Ie859f10129cbdeebd9ea4522510768cec99a1df3
Related-Bug: #1697724

Enable Dpdk after rebooting with Hugepages for OvS2.7

With OvS2.7, DPDK is initialized immediately after setting
dpdk-init flag. DPDK requires hugepages configuration to be
available on kernel args with a reboot. This patch reboots
the node after applying the kernel args. And once the node
is rebooted, DPDK will be enabled and then the deployment
continues.

Change-Id: Ide442e09c2bea56a38399247de588e63b4272326

Merge "add lbaasv2 to NeutronServicePlugins in octavia containers"

Merge "Also log docker-puppet.py puppet output to console"

Merge "Enable Zaqar API SSL"

Also log docker-puppet.py puppet output to console

Running puppet apply with --logdest syslog results in all the output
being redirected to syslog. You get no error messages. In the case where this fails, the subsequent debug task shows nothing useful
as there was no stdout/stderr.

Also pass --logdest console to docker-puppet's puppet apply so that
we get the output for the debug task.

Related-Bug: #1707030

Change-Id: I67df5eee9916237420ca646a16e188f26c828c0e
Signed-off-by: Bogdan Dobrelya <bdobreli@redhat.com>

Merge "Consistent hostname format env for split-stack"

Changing the default port-binding configuration

networking-odl no longer supports the network-topology port
binding controller and instead now relies on a pseudo-agent binding
controller.  This means that each OVS node must be configured with
host configuration in OVSDB about which VIF types, network types,
functions, etc that this OVS node supports.  The end result is this
affects where nova and neutron will schedule instances.

Changes Include:
 - Modifying default port binding controller to use pseudo agent
 - Adds necessary per role parameters to be able to configure host
   config on a per role basis to allow for heterogenous compute node
   configurations.

Change-Id: I50458abf6a8a6bf724ad97accb6444d9c497d287
Closes-Bug: 1674995
Signed-off-by: Tim Rozet <trozet@redhat.com>

Add 'ovn-controller' service

Presently the ovn-controller service (puppet/services/neutron-compute-plugin-ovn.yaml)
is started only on compute nodes. But for the cases where the controller nodes
provide the north/south traffic, we need ovn-controller service runninng in controller
nodes as well.

This patch
 - Renames the neutron-compute-plugin-ovn.yaml to ovn-controller.yaml which makes more
   sense and sets the service name as 'ovn-controller'.
 - Adds the service 'ovn-controller' to Controller and Compute roles.
 - Adds the missing 'upgrade_tasks' section in ovn-dbs.yaml and ovn-controller.yaml

Depends-On: Ie3f09dc70a582f3d14de093043e232820f837bc3
Depends-On: Ide11569d81f5f28bafccc168b624be505174fc53
Change-Id: Ib7747406213d18fd65b86820c1f86ee7c39f7cf5

Also log puppet output to console

Running puppet apply with --logdest syslog results in all the output
being redirected to syslog. You get no error messages. In the case where
this ansible task fails, the subsequent debug task shows nothing useful
as there was no stdout/stderr.

Also pass --logdest console to puppet apply so that we get the output
for the debug task. My local testing showed that when specifying logdest
twice, both values were honored, and the output went to syslog and the
console.

Change-Id: Id5212b3ed27b6299e33e81ecf71ead554f9bdd29
Closes-Bug: #1707030

Generate MySQL client config if service requires database

Services that access database have to read an extra MySQL configuration file
/etc/my.cnf.d/tripleo.cnf which holds client-only settings, like client bind
address and SSL configuration. The configuration file is thus used by
containerized services, but also by non-containerized services that still
run on the host.

In order to generate that client configuration file appropriately both on the
host and for containers, 1) the MySQLClient service must be included by the
role; 2) every containerized service which uses the database must include the
mysql::client profile in the docker-puppet config generation step.

By including the mysql::client profile in each containerized service, we ensure
that any change in configuration file will be reflected in the service's
/var/lib/config-data/{service}, and that paunch will restart the service's
container automatically.

We now only rely on MySQLClient from puppet/services, to make it possible to
generate /etc/my.cnf.d/tripleo.cnf on the host, and to set the hiera keys that
drive the generation of that config file in containers via docker-puppet.

We include a new YAML validation step to ensure that any service which depends
on MySQL will initialize the mysql::client profile during the docker-puppet
step.

Change-Id: I0dab1dc9caef1e749f1c42cfefeba179caebc8d7

Fix iscsid role data's section

The iscsid service definition has a typo, config_setting should
read config_settings

Change-Id: I12605dba61fd5f6ce80c3ab78e883ed5ebf3ca62

Add environment for setting a custom domain name

Just setting CloudDomain won't make the domains used consistent.
There are a number of CloudName parameters that must be set as well.
This change adds a sample environment that includes all of those
parameters so it is easy to set everything consistently.

Also fixes the description of CloudNameCtlplane to reflect the
actual use for that parameter.

Change-Id: I56d1c1c5619f83c16c4e8350aa84fccc3d748425

Merge "Add PCI to nova compute container for passthrough support"

Merge "Enable libvirtd_config puppet tag in nova-libvirtd docker service"

Enable Zaqar API SSL

This sets the SSL flag in the docker service and expose the parameter in
the docker service.

Depends-On: I4c68a662c2433398249f770ac50ba0791449fe71
Change-Id: Ic3df2b9ab7432ffbed5434943e04085a781774a0

Merge "Deploy Ceph in containers using ceph-ansible via external workflow"

Merge "Make collectd run as root inside the container"

Merge "Adding Tuned Service"

Merge "aodh: add gnocchi_external_project_owner config"

Merge "Fix enable-ceph sample environment"

Deploy Ceph in containers using ceph-ansible via external workflow

Add docker profiles to deploy Ceph in containers via ceph-ansible. This is
implemented by triggering a Mistral workflow during one of the overcloud
deployment steps, as provided by [1].

Some new service-specific parameters are available to determine the workflow to
execute and the ansible playbook to use. A new `CephAnsibleExtraConfig`
parameter can be used to provide arbitrary config variables consumed by `ceph-ansible`.

The pre-existing template params consumed up until the Pike release to
drive `puppet-ceph` continue to work and are translated, when possible, into
the equivalent `ceph-ansible` variable.

A new environment file is added to enable use of ceph-ansible;
the pre-existing puppet-ceph implementation remains unchanged and usable
for non-containerized deployments.

1. https://review.openstack.org/#/c/463324/

Change-Id: I81d44a1e198c83a4ef8b109b4eb6c611555dcdc5

Merge "Provides Ceph config into OpenStack clients"

Adds environment file for ODL + SRIOV

Using the separate neutron-opendaylight and SRIOV env files do not work
because sriov includes using OVS agent (which ODL does not want or need)
and the default ODL env file has no Compute ML2 because it is not
needed.  Thus a new environment file is needed for deploying these 2
features in combination.

Closes-Bug: 1696667

Change-Id: I6f7a9368aa521de928c269619278c30acda03799
Signed-off-by: Tim Rozet <trozet@redhat.com>

Render isolated network templates using jinja2

This change adds templates that are used to create network and
port definition templates for each network that is defined in
network_data.yaml. In order to render the templates, additional
fields have been added to the network_data.yaml file. If this
optional data is present, it will be used to populate the default
parameter values in the network template.

The only required parameters in the network_data.yaml file is
the network name. If the network will have IPv6 addresses, then
ipv6: true must be set on the network.

The existing networks have been modeled in the network_data.yaml,
but until these templates are removed from the j2_excludes.yaml
file they will not be generated on the fly. Any additional
networks will have templates generated.

This change also removes an unnecessary conditional from the
networks.j2.yaml file, since InternalApiNetwork doesn't need
to be reformatted as InternalNetwork (it's only used in this
one file).

A follow-up patch will remove the existing network definitions
so all networks are created dynamically.

Change-Id: If074f87494a46305c990a0ea332c7b576d3c6ed8
Depends-On: Iab8aca2f1fcaba0c8f109717a4b3068f629c9aab
Partially-Implements: blueprint composable-networks

Merge "Stop Heat WSGI services on docker upgrade"

Merge "Ps Cinder: Added support for password less login"

Fix enable-ceph sample environment

The necessary resource registry entries were missing from this env
and the old environment was not deprecated.

Change-Id: I6a9b148514fc5da1f96b9fd7fe09f564c2f82419