Merge "Enable TLS for containerized MySQL"

Merge "Enable TLS for containerized haproxy"

Merge "Render IP map and host maps according to network_data.yaml"

Merge "Enable TLS configuration for containerized HAProxy"

Merge "README: Fix CI coverage layout"

Merge "Remove duplicate Iscsid service in resource registry"

Merge "Set default OSD pool size to 1 in scenario 001/004 containers"

Merge "Containerize virtlogd"

Merge "Delete docker-centos-tripleoupstream.yaml"

Merge "Add ServiceData to hidden params"

Merge "Add NeutronOverlayIPVersion parameter to neutron-plugins-ml2 service"

README: Fix CI coverage layout

Change-Id: Ib892f54781e568fb267a34390fec1a7e0323de2c

Merge "Render VIPs dynamically based on network_data.yaml"

Render IP map and host maps according to network_data.yaml

This change renders the network IP maps and hostname maps for
all networks defined in network_data.yaml. This should make it
possible to create custom networks that will be rendered for
all applicable roles.

Note that at this time all networks will be rendered whether
they are enabled or not. All networks will be present in all
roles, but ports will be associated with noop.yaml in roles
that do not use the network. This is in accordance with
previous behavior, although we may wish to change this in
the future to limit the size of the role definitions and
reduce the number of placeholder resources in deployments
with many networks.

Note that this patch is a replacement for original patch
https://review.openstack.org/#/c/486280, which I was having
trouble rebasing to current.

Change-Id: I445b008fc1240af57c2b76a5dbb6c751a05b7a2a
Depends-on: I662e8d0b3737c7807d18c8917bfce1e25baa3d8a
Partially-implements: blueprint composable-networks

Set default OSD pool size to 1 in scenario 001/004 containers

When the OSD pool size is unset it defaults to 3, while we only
have a single OSD in CI so the pools are created but not writable.

We did set the default pool size to 1 in the non-containerized
scenarios but apparently missed it in the containerized version.

Change-Id: I1ac1fe5c2effd72a2385ab43d27abafba5c45d4d
Closes-Bug: #1710773

Merge "Don't unregister on system/resource delete"

Merge "Bind mount tripleo.cnf in transient bootstrap containers"

Merge "Convert network templates to be rendered via j2"

Merge "Consolidate deployment in major-upgrade-composable-steps"

Merge "Do not run clustercheck on the host after O->P upgrade"

Merge "Internal TLS support for mongodb container"

Merge "Set file mode permission of Ceph keyrings"

Merge "Make network-isolation-v6 environment rendered for all roles"

Merge "Fix parsing of DockerCephDaemonImage parameter"

Add NeutronOverlayIPVersion parameter to neutron-plugins-ml2 service

This patch adds NeutronOverlayIPVersion parameter to congfigure
neutron ML2 overlay_ip_version option from T-H-T. puppet-neutron
already has support for configuration of this option, we are just
exposing it from T-H-T. This parameter needs to be set to '6' when
IPv6 vxlan tunnel endpoints are desired.

Closes-Bug: #1691213

Change-Id: I056afa25f67a3b6857bdfef14e6d582b0a9e5e93
Signed-off-by: Feng Pan <fpan@redhat.com>

Merge "Fix Heat condition for RHEL registration yum update"

Convert network templates to be rendered via j2

Use the network.network.j2.yaml to render these files, instead
of relying on the hard-coded versions.

Note this doesn't currently consider the _v6 templates as we may want
to deprecate these and instead rely on an ipv6 specific network_data file,
or perhaps make the network/network.network.j2.yaml generic and able to
detect the version from the cidr?

Change-Id: I662e8d0b3737c7807d18c8917bfce1e25baa3d8a
Partially-Implements: blueprint composable-networks

Merge "Enable TLS configuration for containerized Galera"

Merge "Make HA container bundle work on remote nodes"

Merge "Convert cephstorage-role.yaml to role.role.j2.yaml"

Merge "Fix metadata_settings in containerized mongodb"

Delete docker-centos-tripleoupstream.yaml

This file is generated and needs to be manually maintained. It
would be better for users who want to deploy latest directly from
docker hub to generate it locally by running:

    openstack overcloud container image prepare \
      --namespace tripleoupstream \
      --tag latest \
      --env-file docker-centos-tripleoupstream.yaml

The documentation and CI are being updated to use prepare.

Change-Id: I86503f1076459ae9d84a34e649a6097cba10fa3c
Closes-Bug: #1696598

Merge "Enable TLS for nova api and placement containers"

Merge "Make containerized nova-api run with httpd"

Set file mode permission of Ceph keyrings

Pass mode parameter to ceph-ansible in place of ACLs parameter
because ACLs are not for same UID in container as container host
and because ACLs are not passed by kolla_config.

Change-Id: I7e3433eab8e2a62963b623531f223d5abd301d16
Closes-Bug: #1709683

Enable TLS for containerized MySQL

Bind mounts and adds the appropriate permissions for the cert and
key that's used for TLS.

bp tls-via-certmonger-containers

Change-Id: I7fae4083604c7dc89ca04141080a228ebfc44ac9

Enable TLS for containerized haproxy

This bind mounts the certificates if TLS is enabled in the internal
network. It also disables the CRL usage since we can't restart haproxy
at the rate that the CRL is updated. This will be addressed later and
is a known limitation of using containerized haproxy (there's the same
issue in the HA scenario). To address the different UID that the certs
and keys will have, I added an extra step that changes the ownership
of these files; though this only gets included if TLS in the internal
network is enabled.

bp tls-via-certmonger-containers

Depends-On: I2078da7757ff3af1d05d36315fcebd54bb4ca3ec
Change-Id: Ic6ca88ee7b6b256ae6182e60e07498a8a793d66a

Don't unregister on system/resource delete

Don't unregister systems from the portal/satellite
when deleting from Heat. There are several reasons why
it's compelling to fix this behavior. See
https://bugs.launchpad.net/tripleo/+bug/1710144
for full information. The previous behavior can be triggered
by setting the DeleteOnRHELUnregistration parameter to "true".

Closes-Bug: #1710144
Change-Id: I909a6f7a049dc23fc27f2231a4893d428f06a1f1

Fix Heat condition for RHEL registration yum update

There were 2 problems with this condition making the
rhel-registration.yal template broken:

"conditions" should be "condition"

The condition should refer to just a condition name defined in the
"conditions:" section of the template.

Change-Id: I14d5c72cf86423808e81f1d8406098d5fd635e66
Closes-Bug: #1709916

Fix metadata_settings in containerized mongodb

The containerized version of the mongodb service omits the
metadata_settings definition [1], which confuses certmonger when
internal TLS is enabled and make the generation of certificates fail.

Use the right setting from the non-containerized profile.

[1] https://review.openstack.org/#/c/461780/

Change-Id: I50a9a3a822ba5ef5d2657a12c359b51b7a3a42f2
Closes-Bug: #1709553

Bind mount tripleo.cnf in transient bootstrap containers

Various containerized services (e.g. nova, neutron, heat) run initial set up
steps with some ephemeral containers that don't use kolla_start. The
tripleo.cnf file is not copied in /etc/my.cnf.d and this can break some
deployments (e.g. when using internal TLS, service lack SSL settings).

Fix the configuration of transient containers by bind mounting of the
tripleo.cnf file when kolla_start is not used.

Change-Id: I5246f9d52fcf8c8af81de7a0dd8281169c971577
Closes-Bug: #1710127
Co-Authored-By: Juan Antonio Osorio Robles <jaosorior@redhat.com>

Containerize virtlogd

So far we've been using virtlogd running on the host, we should now be
using virtlogd from a container.

Co-Authored-By: Martin André <m.andre@redhat.com>
Co-Authored-By: Jiri Stransky <jistr@redhat.com>
Change-Id: I998c69ea1f7480ebb90afb44d6006953a84a1c04

Consolidate deployment in major-upgrade-composable-steps

After 483293 commit is merged, major-upgrade-composable-steps.yaml file
is pointing to the wrong location deployment, which is now under
common/ folder.

Change-Id: Ic6784533d1c21b5b8fcb422bccd820af72e499d9

Merge "Pass monitor_address_block to ceph-ansible for mon_host"

Merge "Add environment to disable deploy steps"

Merge "Add support for update_tasks"

Merge "Add RoleConfig output"

Merge "Default docker_puppet_debug to false"

Merge "Move deploy-steps-playbook to deploy-steps-tasks"

Merge "Convert blockstorage-role.yaml to role.role.j2.yaml"

Merge "Convert objectstorage-role.yaml to role.role.j2.yaml"

Fix parsing of DockerCephDaemonImage parameter

Splitting by colon using native str_split function did not work well
because we needed a right split.

This change replaces the str_split calls with yaql rightSplit().

Change-Id: Iab2f69a5fadc6b02e2eacf3c9d1a9024b0212ac6

Pass monitor_address_block to ceph-ansible for mon_host

The ip address which clients and other nodes use to connect to the
monitors is derived from the monitor_interface parameter unless
a monitor_address or monitor_address_block is given (to set mon_host
into ceph.conf); this change adds setting for monitor_address_block to
match the public_network so that clients attempt to connect to the mons
on the appropriate network.

Change-Id: I7187e739e9f777eab724fbc09e8b2c8ddedc552d
Closes-Bug: #1709485

Add environment to disable deploy steps

This enables either deploying without configuring any services, or
temporarily disabling the deploy steps such as will be required
for minor updates where we want to re-run the rolling update outside
of heat.

To deploy directly via ansible-playbook you can do e.g:

openstack overcloud config download --config-dir tmpconfig
cd tmpconfig/tripleo-6b02U7-config
ansible-playbook -vvv -b -i /usr/bin/tripleo-ansible-inventory deploy_steps_playbook.yaml

Which will run the same ansible steps as we normally run via heat.

Change-Id: I59947b67523dfcc43d454d4ac7d82b06804cf71d

Add support for update_tasks

These work the same way as upgrade_tasks *but* they use a step variable
instead of tags, so we can iterate over a count/sequence which isn't
possibly via a wrapper playbook with tags (we may want to align upgrade
tasks with the same approach if this works out well).

Note the tasks can be run via ansible-playbook on the undercloud, like:

openstack overcloud config download --config-dir tmpconfig
cd tmpconfig/tripleo-HCrDA6-config
ansible-playbook -b -i /usr/bin/tripleo-ansible-inventory update_steps_playbook.yaml --limit controller

The above will do a rolling update for the Controller role (note the inconsistent
capitalization, we probably need to fix the group naming in tripleo-ansible-inventory)
because we specify serial: 1 in the playbook.

You can also trigger an update explicitly on one node like this, which is useful for debugging:

ansible-playbook -vvv -b -i /usr/bin/tripleo-ansible-inventory update_steps_playbook.yaml --limit overcloud-controller-0

Change-Id: I20bb3e26ab9d9cadf1a31fd304de8a014a901aa9

Add RoleConfig output

This exposes the deploy workflow for all roles from deploy-steps
via overcloud.j2.yaml - which means we can write it via the new
openstack overcloud config download command and/or run the workflow
outside of heat via mistral

With https://review.openstack.org/#/c/485732/ applied to
tripleoclient it becomes possible to do:

openstack overcloud config download --config-dir tmpconfig
cd tmpconfig/tripleo-EvEZk0-config
ansible-playbook -b -i /usr/bin/tripleo-ansible-inventory deploy_steps_playbook.yaml

This runs the deploy steps, exactly the same as normally run via heat
via ansible-playbook for all overcloud nodes (--limit can be used to restrict
to specific nodes/roles).

Change-Id: I96ec09bc788836584c4b39dcce5bf9b80e914c71

Default docker_puppet_debug to false

This isn't set unless the playbook is run via heat, so default it to false
to enable easier use via ansible-playbook combined with tripleo-ansible-inventory

Change-Id: I9705e4533831a019dd0051e5522d4b7958682506

Move deploy-steps-playbook to deploy-steps-tasks

So that we can more easily iterate over an include in an output

Change-Id: Idd5bb47589e5c37123caafcded1afbff8881aa33

Merge "Consolidate puppet/docker deployments with one deploy steps workflow"

Merge "Correct gnocchi-upgrade command quotes"

Merge "Convert compute-role.yaml to role.role.j2.yaml"

Merge "Convert controller-role.yaml to role.role.j2.yaml"

Add ServiceData to hidden params

It looks like this was added recently and it doesn't appear to be a
parameter we want in the sample environments.

Change-Id: I0ac433553e7ad9b0a54c011b66c54b4692b44be0

Merge "TLS everywhere: Configure CA for mongodb"

Merge "Add script to create tripleo-admin on deployed servers"

Correct gnocchi-upgrade command quotes

After merging commit 488796, single quotation marks
were missed. This causes the upgrade to fail as the
flag --sacks-number is considered a su command flag.

Also mounts Ceph config data into the container which
seems needed for the gnocchi-upgrade command when
configured to use Ceph.

Also move the gnocchi db sync to step 4, so ceph is
ready. Add a retry loop to ceilometer-upgrade cmd so
it doesnt fail while apache is restarted.

Closes-Bug: #1709322
Change-Id: I62f3a5fa2d43a2cd579f72286661d503e9f08b90

Merge "openstack-heat-templates: fix deprecation path"

Consolidate puppet/docker deployments with one deploy steps workflow

If we consolidate these we can focus on one implementation (the new ansible
based one used for docker-steps)

Change-Id: Iec0ad2278d62040bf03613fc9556b199c6a80546
Depends-On: Ifa2afa915e0fee368fb2506c02de75bf5efe82d5

Convert cephstorage-role.yaml to role.role.j2.yaml

Add some special-casing for backwards compatibility, such that the
CephStorage role can be rendered via j2 for support of composable networks.

Change-Id: Iee92bb6ee94963717d3a8ef400e7970f62576a0d
Partially-Implements: blueprint composable-networks

Convert blockstorage-role.yaml to role.role.j2.yaml

Add some special-casing for backwards compatibility, such that the
BlockStorage role can be rendered via j2 for support of composable networks.

Change-Id: Ia5fb5ff6dbe218710e95a69583ac289cf7b4af9e
Partially-Implements: blueprint composable-networks

Convert objectstorage-role.yaml to role.role.j2.yaml

Add some special-casing for backwards compatibility, such that the
ObjectStorage role can be rendered via j2 for support of composable networks.

Change-Id: I52abbefe2f5035059ccbed925990faab020c6c89
Partially-Implements: blueprint composable-networks

Convert compute-role.yaml to role.role.j2.yaml

Add some special-casing for backwards compatibility, such that the
Compute role can be rendered via j2 for support of composable networks.

Change-Id: Ieee446583f77bb9423609d444c576788cf930121
Partially-Implements: blueprint composable-networks

Convert controller-role.yaml to role.role.j2.yaml

Add deprecated role-specific parameters to role definition, in
order to special-case some parameters for backwards compatibility,
such that the Controller role can be rendered via j2 for support
of composable networks.

Co-Authored By: Dan Sneddon <dsneddon@redhat.com>
Change-Id: I5983f03ae1b7f0b6add793914540b8ca405f9b2b
Partially-Implements: blueprint composable-networks

Internal TLS support for mongodb container

This bind mounts the necessary files for the mongodb container to serve
TLS in the internal network.

bp tls-via-certmonger-containers

Change-Id: Ieef2a456a397f7d5df368ddd5003273cb0bb7259
Co-Authored-By: Damien Ciabrini <dciabrin@redhat.com>

TLS everywhere: Configure CA for mongodb

It wasn't being configured, thus making mongodb fail.

Change-Id: If0d7513aacfa74493a9747440fb97f915a77db84
Closes-Bug: #1710162

Merge "Move HAProxy's public TLS logic from controller to service template"

Merge "Set virsh secret with an init step when using Ceph"

Merge "Keep dynamic network creation backward compatible."

Enable TLS for nova api and placement containers

With these two services running over httpd in the containers, we can now
enable TLS for them.

bp tls-via-certmonger-containers

Change-Id: Ib8fc37a391e3b32feef0ac6492492c0088866d21

Make containerized nova-api run with httpd

The non-containerized version will run over httpd [1], and for the
containerized TLS work, it is needed in the container version as well.

[1] Iac35b7ddcd8a800901548c75ca8d5083ad17e4d3

bp tls-via-certmonger-containers

Depends-On: I1c5f13039414f17312f91a5e0fd02019aa08e00e
Change-Id: I2c39a2957fd95dd261b5b8c4df5e66e00a68d2f7

Enable TLS configuration for containerized Galera

In non-containerized deployments, Galera can be configured to use TLS
for gcomm group communication when enable_internal_tls is set to true.

Fix the metadata service definition and update the Kolla configuration
to make gcomm use TLS in containers, if configured.

bp tls-via-certmonger-containers

Change-Id: Ibead27be81910f946d64b8e5421bcc41210d7430
Co-Authored-By: Juan Antonio Osorio Robles <jaosorior@redhat.com>
Closes-Bug: #1708135
Depends-On: If845baa7b0a437c28148c817b7f94d540ca15814

Move HAProxy's public TLS logic from controller to service template

This de-couples public TLS from controllers to now run wherever HAProxy
is deployed.

Partially-Implements: blueprint composable-networks
Change-Id: I9e84a25a363899acf103015527787bdd8248949f

Merge "Noop controller pre and post config resources."

Merge "Fix cidr get_attr in custom networks"

Merge "Create parameters for haproxy TLS certs and keys"

Remove duplicate Iscsid service in resource registry

I forgot to remove the existing entry in
I11232fc412adcc18087928c281ba82546388376e.

Change-Id: I40b12e857dc40881f5fe9cf73963ac90caacb17d

Merge "Docker/TLS everywhere: Add telemetry and neutron services to environment"

Enable TLS configuration for containerized HAProxy

In non-containerized deployments, HAProxy can be configured to use TLS for
proxying internal services.

Fix the creation of the of the haproxy bundle resource to enable TLS when
configured. The keys and certs files are all passed as configuration files and
must be copied by Kolla at container startup.

For the time being, disable the use of the CRL file until we find a means
of restarting the containerized HAProxy service when that file expires.

Change-Id: If307e3357dccb7e96bdb80c9c06d66a09b55f3bd
Depends-On: I4b72739446c63f0f0ac9f859314a4d6746e20255
Closes-Bug: #1709563

Merge "Addition of Nuage as mechanism driver for ML2"

Set virsh secret with an init step when using Ceph

Run virsh secret-define and secret-set-value in an init step
instead of relying on the puppet-nova exec.

Co-Authored-By: Jiri Stransky <jistr@redhat.com>
Change-Id: Ic950e290af1c66d34b40791defbdf4f8afaa11da
Closes-Bug: #1709583

Make network-isolation-v6 environment rendered for all roles

In change If3989f24f077738845d2edbee405bd9198e7b7db we moved to jinja2
templating to render the networks. This change aims at doing so for the
IPv6 network isolation environment.

Change-Id: Ieebcff3db3f5756a5d23080ea3d09ce78de69e21

Merge "Use number for KeystoneCronTokenFlushMaxDelay instead of string"

Merge "Don't curl metadata server in userdata example"

Merge "MariaDB: create clustercheck user at container bootstrap"

Make HA container bundle work on remote nodes

Right now when we deploy an HA bundle on a pacemaker remote node,
the deploy will fail due to the fact that the bundle includes
tripleo::profile::base::pacemaker which makes a call to
hiera('hacluster_pwd') which will fail on pcmk remote nodes.
While we could noop the profile on pcmk nodes, it's much simpler
to just make sure this hiera key exists on pcmk remote nodes.

Also make sure that pacemaker::corosync::manage_fw is set to false
on remote nodes, otherwise the mere inclusion of the pacemaker
profile will cause iptables-save to run in a container and thus failing.

Change-Id: I09b3e54a470cc2d600a701d23463962501c5c9d6

Fix cidr get_attr in custom networks

We were missing the square brackets around the list of arguments
for get_attr when building the networks cidr output.

This passed CI because Heat does not fail validation and Ceph (which
is consuming the cidr output) is tested with a single network (ctlplane)
which does not build the output using the same templates.

Change-Id: I40bba0784a30295cb0d4eda1fbff20ebac85db99
Closes-Bug: #1709464

Docker/TLS everywhere: Add telemetry and neutron services to environment

some resources were missing, so this syncs up what's working right now.

bp tls-via-certmonger-containers

Change-Id: Ic8fe20d0240f1ad8f18218d66634029d522d4d5a

Keep dynamic network creation backward compatible.

We had an history mapping for InternalApi to InternalNetwork.  If we
remove it then heat will want to destroy InternalNetwork and create
InternalApi which cannot work during upgrade.

This adds compat name parameters to network_data.yaml.

Closes-Bug: #1709105

Change-Id: I8ce6419a5e13a13ee6e991db5ca2196763f52d7a

Add script to create tripleo-admin on deployed servers

When using deployed servers, we want to create a standard
tripleo-admin user for Mistral's ssh tasks (e.g. running Ansible on
overcloud). This script wraps the respective Mistral workflow.

Change-Id: I2de698b4aae07f74569243a9e7c1c56eb578e700
Related-Bug: #1708180
Depends-On: Ibe8e54f7b38d8c6c8d944d2b13f0eed004c34c4c

Create parameters for haproxy TLS certs and keys

this removes the hardcoded paths for the haproxy certs and keys and will
enable re-use. We'll use this in a further commit in the containterized
TLS work.

Change-Id: I602e5a569e2e7e60835deb80532abcedd7a1f63d