Tag the ha containers with 'pcmklatest' at deploy time

We need to tag the HA containers with a special tag so
that the RA definition never changes. We do this step in THT
as opposed to puppet because we need to guarantee
that all images are tagged on all nodes *before* step 2 where the bundle
gets created.

NB: Getting the image name without the tag will require some more
yaql work to get all the cases right. Right now this works only
if we enforce that the image has a ':tag' at the end of the name.
So far this is always the case. If things change we will need to
amend this code.

Co-Authored-By: Damien Ciabrini <dciabrin@redhat.com>
Co-Authored-By: Sofer Athlan-Guyot <sathlang@redhat.com>
Change-Id: I362e6cf26fba77d3f949b7d2fc4b35a3eab9087e

Merge "Refactor setup_docker_host.sh as host_prep_tasks"

Merge "Provide sample environment for composable roles"

Merge "Containerize Manila Share for HA"

Merge "Add support for installing Ceph MDS via ceph-ansible"

Merge "Make cinder-manage db sync run on only one controller during upgrade"

Merge "Remove iscsid from TLS everywhere docker environment"

Merge "Mount NFS volume to docker container."

Merge "Enable TLS configuration for containerized RabbitMQ"

Merge "Enable TLS for containerized MySQL"

Merge "Enable TLS for containerized haproxy"

Merge "Render IP map and host maps according to network_data.yaml"

Merge "Enable TLS configuration for containerized HAProxy"

Refactor setup_docker_host.sh as host_prep_tasks

Previously what we've been doing with setup_docker_host.sh can now be
achieved with host_prep_tasks, and we can free up the NodeUserData
interface for other use cases.

Closes-Bug: #1711387
Change-Id: Iaac90efd03e37ceb02c312f9c15c1da7d4982510

Provide sample environment for composable roles

Creating a sample environment generator configuration to generate basic
environment files for the following architectures:

 * Monolithic HA (3 Controller, 3 Compute, 1 Ceph)
 * Monolithic Non-HA (1 Controller, 1 Compute, 1 Ceph)
 * Standalone (3 Controller, 3 Database, 3 Messaging, 2 Networker,
   1 Compute, 1 Ceph)

Change-Id: Id0b967d3b2356f38a51e1028b2dccc122d59888c
Related-Blueprint: example-custom-role-environments

Merge "README: Fix CI coverage layout"

Remove iscsid from TLS everywhere docker environment

Since nova-compute is not containerized with TLS yet, using containerized
iscsid causes errors when trying to spawn a VM with a volume. Since
the path is different in this case.

I will re-add iscsid to this environment once nova-compute is
containerized with TLS.

bp tls-via-certmonger-containers

Change-Id: Ida87b187e56ae852c5a4ef6f78cc04a0870fe3f4

Merge "Remove duplicate Iscsid service in resource registry"

Merge "Set default OSD pool size to 1 in scenario 001/004 containers"

Merge "Containerize virtlogd"

Merge "Delete docker-centos-tripleoupstream.yaml"

Merge "Add ServiceData to hidden params"

Merge "Add NeutronOverlayIPVersion parameter to neutron-plugins-ml2 service"

Containerize Manila Share for HA

This service allows configuring and deploying manila-share
containers in a HA overcloud managed by pacemaker.

The containers are managed and run by pacemaker. Pacemaker runs the
standard Kolla image but overrides the initial command so that
it explicitely calls manila-share. This way, we shield ourselves
from any unexpected future change in Kolla.
This container needs to use the 'docker_config' section to invoke
puppet (as opposed to 'docker_puppet_tasks'), because due to the HA
composability each resource creation needs to happen on the bootstrap
node of that service and 'docker_puppet_tasks' will only run on the
controller/primary role.

Based on work done in fdb233e64e3d78014dd7e351abfed5aec5035866

Partial-Bug: #1668922

Change-Id: Ifa94c506db5eb667690a19d594115a93d2a790b2
Depends-On: I797eea2f7788f65411964ccb852b5707e916416f

README: Fix CI coverage layout

Change-Id: Ib892f54781e568fb267a34390fec1a7e0323de2c

Merge "Render VIPs dynamically based on network_data.yaml"

Add support for installing Ceph MDS via ceph-ansible

Based on puppet/services/ceph-mds.yaml. Nodes in the CephMds role
will already be in the Ansible inventory but this change provides
a way pass their parameters to ceph-ansible.

Co-Authored-By: Giulio Fidente <gfidente@redhat.com>
Change-Id: Ia3ef9e9a2b159dacea01e38762145ff2bcc7ba27

Render IP map and host maps according to network_data.yaml

This change renders the network IP maps and hostname maps for
all networks defined in network_data.yaml. This should make it
possible to create custom networks that will be rendered for
all applicable roles.

Note that at this time all networks will be rendered whether
they are enabled or not. All networks will be present in all
roles, but ports will be associated with noop.yaml in roles
that do not use the network. This is in accordance with
previous behavior, although we may wish to change this in
the future to limit the size of the role definitions and
reduce the number of placeholder resources in deployments
with many networks.

Note that this patch is a replacement for original patch
https://review.openstack.org/#/c/486280, which I was having
trouble rebasing to current.

Change-Id: I445b008fc1240af57c2b76a5dbb6c751a05b7a2a
Depends-on: I662e8d0b3737c7807d18c8917bfce1e25baa3d8a
Partially-implements: blueprint composable-networks

Set default OSD pool size to 1 in scenario 001/004 containers

When the OSD pool size is unset it defaults to 3, while we only
have a single OSD in CI so the pools are created but not writable.

We did set the default pool size to 1 in the non-containerized
scenarios but apparently missed it in the containerized version.

Change-Id: I1ac1fe5c2effd72a2385ab43d27abafba5c45d4d
Closes-Bug: #1710773

Merge "Don't unregister on system/resource delete"

Merge "Bind mount tripleo.cnf in transient bootstrap containers"

Merge "Convert network templates to be rendered via j2"

Merge "Consolidate deployment in major-upgrade-composable-steps"

Merge "Do not run clustercheck on the host after O->P upgrade"

Merge "Internal TLS support for mongodb container"

Merge "Set file mode permission of Ceph keyrings"

Merge "Make network-isolation-v6 environment rendered for all roles"

Merge "Fix parsing of DockerCephDaemonImage parameter"

Add NeutronOverlayIPVersion parameter to neutron-plugins-ml2 service

This patch adds NeutronOverlayIPVersion parameter to congfigure
neutron ML2 overlay_ip_version option from T-H-T. puppet-neutron
already has support for configuration of this option, we are just
exposing it from T-H-T. This parameter needs to be set to '6' when
IPv6 vxlan tunnel endpoints are desired.

Closes-Bug: #1691213

Change-Id: I056afa25f67a3b6857bdfef14e6d582b0a9e5e93
Signed-off-by: Feng Pan <fpan@redhat.com>

Merge "Fix Heat condition for RHEL registration yum update"

Convert network templates to be rendered via j2

Use the network.network.j2.yaml to render these files, instead
of relying on the hard-coded versions.

Note this doesn't currently consider the _v6 templates as we may want
to deprecate these and instead rely on an ipv6 specific network_data file,
or perhaps make the network/network.network.j2.yaml generic and able to
detect the version from the cidr?

Change-Id: I662e8d0b3737c7807d18c8917bfce1e25baa3d8a
Partially-Implements: blueprint composable-networks

Merge "Enable TLS configuration for containerized Galera"

Merge "Make HA container bundle work on remote nodes"

Merge "Convert cephstorage-role.yaml to role.role.j2.yaml"

Merge "Fix metadata_settings in containerized mongodb"

Delete docker-centos-tripleoupstream.yaml

This file is generated and needs to be manually maintained. It
would be better for users who want to deploy latest directly from
docker hub to generate it locally by running:

    openstack overcloud container image prepare \
      --namespace tripleoupstream \
      --tag latest \
      --env-file docker-centos-tripleoupstream.yaml

The documentation and CI are being updated to use prepare.

Change-Id: I86503f1076459ae9d84a34e649a6097cba10fa3c
Closes-Bug: #1696598

Merge "Enable TLS for nova api and placement containers"

Merge "Make containerized nova-api run with httpd"

Set file mode permission of Ceph keyrings

Pass mode parameter to ceph-ansible in place of ACLs parameter
because ACLs are not for same UID in container as container host
and because ACLs are not passed by kolla_config.

Change-Id: I7e3433eab8e2a62963b623531f223d5abd301d16
Closes-Bug: #1709683

Enable TLS for containerized MySQL

Bind mounts and adds the appropriate permissions for the cert and
key that's used for TLS.

bp tls-via-certmonger-containers

Change-Id: I7fae4083604c7dc89ca04141080a228ebfc44ac9

Enable TLS for containerized haproxy

This bind mounts the certificates if TLS is enabled in the internal
network. It also disables the CRL usage since we can't restart haproxy
at the rate that the CRL is updated. This will be addressed later and
is a known limitation of using containerized haproxy (there's the same
issue in the HA scenario). To address the different UID that the certs
and keys will have, I added an extra step that changes the ownership
of these files; though this only gets included if TLS in the internal
network is enabled.

bp tls-via-certmonger-containers

Depends-On: I2078da7757ff3af1d05d36315fcebd54bb4ca3ec
Change-Id: Ic6ca88ee7b6b256ae6182e60e07498a8a793d66a

Don't unregister on system/resource delete

Don't unregister systems from the portal/satellite
when deleting from Heat. There are several reasons why
it's compelling to fix this behavior. See
https://bugs.launchpad.net/tripleo/+bug/1710144
for full information. The previous behavior can be triggered
by setting the DeleteOnRHELUnregistration parameter to "true".

Closes-Bug: #1710144
Change-Id: I909a6f7a049dc23fc27f2231a4893d428f06a1f1

Fix Heat condition for RHEL registration yum update

There were 2 problems with this condition making the
rhel-registration.yal template broken:

"conditions" should be "condition"

The condition should refer to just a condition name defined in the
"conditions:" section of the template.

Change-Id: I14d5c72cf86423808e81f1d8406098d5fd635e66
Closes-Bug: #1709916

Fix metadata_settings in containerized mongodb

The containerized version of the mongodb service omits the
metadata_settings definition [1], which confuses certmonger when
internal TLS is enabled and make the generation of certificates fail.

Use the right setting from the non-containerized profile.

[1] https://review.openstack.org/#/c/461780/

Change-Id: I50a9a3a822ba5ef5d2657a12c359b51b7a3a42f2
Closes-Bug: #1709553

Bind mount tripleo.cnf in transient bootstrap containers

Various containerized services (e.g. nova, neutron, heat) run initial set up
steps with some ephemeral containers that don't use kolla_start. The
tripleo.cnf file is not copied in /etc/my.cnf.d and this can break some
deployments (e.g. when using internal TLS, service lack SSL settings).

Fix the configuration of transient containers by bind mounting of the
tripleo.cnf file when kolla_start is not used.

Change-Id: I5246f9d52fcf8c8af81de7a0dd8281169c971577
Closes-Bug: #1710127
Co-Authored-By: Juan Antonio Osorio Robles <jaosorior@redhat.com>

Containerize virtlogd

So far we've been using virtlogd running on the host, we should now be
using virtlogd from a container.

Co-Authored-By: Martin André <m.andre@redhat.com>
Co-Authored-By: Jiri Stransky <jistr@redhat.com>
Change-Id: I998c69ea1f7480ebb90afb44d6006953a84a1c04

Consolidate deployment in major-upgrade-composable-steps

After 483293 commit is merged, major-upgrade-composable-steps.yaml file
is pointing to the wrong location deployment, which is now under
common/ folder.

Change-Id: Ic6784533d1c21b5b8fcb422bccd820af72e499d9

Merge "Pass monitor_address_block to ceph-ansible for mon_host"

Merge "Add environment to disable deploy steps"

Merge "Add support for update_tasks"

Merge "Add RoleConfig output"

Merge "Default docker_puppet_debug to false"

Merge "Move deploy-steps-playbook to deploy-steps-tasks"

Merge "Convert blockstorage-role.yaml to role.role.j2.yaml"

Merge "Convert objectstorage-role.yaml to role.role.j2.yaml"

Fix parsing of DockerCephDaemonImage parameter

Splitting by colon using native str_split function did not work well
because we needed a right split.

This change replaces the str_split calls with yaql rightSplit().

Change-Id: Iab2f69a5fadc6b02e2eacf3c9d1a9024b0212ac6

Pass monitor_address_block to ceph-ansible for mon_host

The ip address which clients and other nodes use to connect to the
monitors is derived from the monitor_interface parameter unless
a monitor_address or monitor_address_block is given (to set mon_host
into ceph.conf); this change adds setting for monitor_address_block to
match the public_network so that clients attempt to connect to the mons
on the appropriate network.

Change-Id: I7187e739e9f777eab724fbc09e8b2c8ddedc552d
Closes-Bug: #1709485

Add environment to disable deploy steps

This enables either deploying without configuring any services, or
temporarily disabling the deploy steps such as will be required
for minor updates where we want to re-run the rolling update outside
of heat.

To deploy directly via ansible-playbook you can do e.g:

openstack overcloud config download --config-dir tmpconfig
cd tmpconfig/tripleo-6b02U7-config
ansible-playbook -vvv -b -i /usr/bin/tripleo-ansible-inventory deploy_steps_playbook.yaml

Which will run the same ansible steps as we normally run via heat.

Change-Id: I59947b67523dfcc43d454d4ac7d82b06804cf71d

Add support for update_tasks

These work the same way as upgrade_tasks *but* they use a step variable
instead of tags, so we can iterate over a count/sequence which isn't
possibly via a wrapper playbook with tags (we may want to align upgrade
tasks with the same approach if this works out well).

Note the tasks can be run via ansible-playbook on the undercloud, like:

openstack overcloud config download --config-dir tmpconfig
cd tmpconfig/tripleo-HCrDA6-config
ansible-playbook -b -i /usr/bin/tripleo-ansible-inventory update_steps_playbook.yaml --limit controller

The above will do a rolling update for the Controller role (note the inconsistent
capitalization, we probably need to fix the group naming in tripleo-ansible-inventory)
because we specify serial: 1 in the playbook.

You can also trigger an update explicitly on one node like this, which is useful for debugging:

ansible-playbook -vvv -b -i /usr/bin/tripleo-ansible-inventory update_steps_playbook.yaml --limit overcloud-controller-0

Change-Id: I20bb3e26ab9d9cadf1a31fd304de8a014a901aa9

Add RoleConfig output

This exposes the deploy workflow for all roles from deploy-steps
via overcloud.j2.yaml - which means we can write it via the new
openstack overcloud config download command and/or run the workflow
outside of heat via mistral

With https://review.openstack.org/#/c/485732/ applied to
tripleoclient it becomes possible to do:

openstack overcloud config download --config-dir tmpconfig
cd tmpconfig/tripleo-EvEZk0-config
ansible-playbook -b -i /usr/bin/tripleo-ansible-inventory deploy_steps_playbook.yaml

This runs the deploy steps, exactly the same as normally run via heat
via ansible-playbook for all overcloud nodes (--limit can be used to restrict
to specific nodes/roles).

Change-Id: I96ec09bc788836584c4b39dcce5bf9b80e914c71

Default docker_puppet_debug to false

This isn't set unless the playbook is run via heat, so default it to false
to enable easier use via ansible-playbook combined with tripleo-ansible-inventory

Change-Id: I9705e4533831a019dd0051e5522d4b7958682506

Move deploy-steps-playbook to deploy-steps-tasks

So that we can more easily iterate over an include in an output

Change-Id: Idd5bb47589e5c37123caafcded1afbff8881aa33

Merge "Consolidate puppet/docker deployments with one deploy steps workflow"

Merge "Correct gnocchi-upgrade command quotes"

Merge "Convert compute-role.yaml to role.role.j2.yaml"

Merge "Convert controller-role.yaml to role.role.j2.yaml"

Add ServiceData to hidden params

It looks like this was added recently and it doesn't appear to be a
parameter we want in the sample environments.

Change-Id: I0ac433553e7ad9b0a54c011b66c54b4692b44be0

Merge "TLS everywhere: Configure CA for mongodb"

Merge "Add script to create tripleo-admin on deployed servers"

Correct gnocchi-upgrade command quotes

After merging commit 488796, single quotation marks
were missed. This causes the upgrade to fail as the
flag --sacks-number is considered a su command flag.

Also mounts Ceph config data into the container which
seems needed for the gnocchi-upgrade command when
configured to use Ceph.

Also move the gnocchi db sync to step 4, so ceph is
ready. Add a retry loop to ceilometer-upgrade cmd so
it doesnt fail while apache is restarted.

Closes-Bug: #1709322
Change-Id: I62f3a5fa2d43a2cd579f72286661d503e9f08b90

Merge "openstack-heat-templates: fix deprecation path"

Consolidate puppet/docker deployments with one deploy steps workflow

If we consolidate these we can focus on one implementation (the new ansible
based one used for docker-steps)

Change-Id: Iec0ad2278d62040bf03613fc9556b199c6a80546
Depends-On: Ifa2afa915e0fee368fb2506c02de75bf5efe82d5

Convert cephstorage-role.yaml to role.role.j2.yaml

Add some special-casing for backwards compatibility, such that the
CephStorage role can be rendered via j2 for support of composable networks.

Change-Id: Iee92bb6ee94963717d3a8ef400e7970f62576a0d
Partially-Implements: blueprint composable-networks

Convert blockstorage-role.yaml to role.role.j2.yaml

Add some special-casing for backwards compatibility, such that the
BlockStorage role can be rendered via j2 for support of composable networks.

Change-Id: Ia5fb5ff6dbe218710e95a69583ac289cf7b4af9e
Partially-Implements: blueprint composable-networks

Convert objectstorage-role.yaml to role.role.j2.yaml

Add some special-casing for backwards compatibility, such that the
ObjectStorage role can be rendered via j2 for support of composable networks.

Change-Id: I52abbefe2f5035059ccbed925990faab020c6c89
Partially-Implements: blueprint composable-networks

Convert compute-role.yaml to role.role.j2.yaml

Add some special-casing for backwards compatibility, such that the
Compute role can be rendered via j2 for support of composable networks.

Change-Id: Ieee446583f77bb9423609d444c576788cf930121
Partially-Implements: blueprint composable-networks

Convert controller-role.yaml to role.role.j2.yaml

Add deprecated role-specific parameters to role definition, in
order to special-case some parameters for backwards compatibility,
such that the Controller role can be rendered via j2 for support
of composable networks.

Co-Authored By: Dan Sneddon <dsneddon@redhat.com>
Change-Id: I5983f03ae1b7f0b6add793914540b8ca405f9b2b
Partially-Implements: blueprint composable-networks

Internal TLS support for mongodb container

This bind mounts the necessary files for the mongodb container to serve
TLS in the internal network.

bp tls-via-certmonger-containers

Change-Id: Ieef2a456a397f7d5df368ddd5003273cb0bb7259
Co-Authored-By: Damien Ciabrini <dciabrin@redhat.com>

TLS everywhere: Configure CA for mongodb

It wasn't being configured, thus making mongodb fail.

Change-Id: If0d7513aacfa74493a9747440fb97f915a77db84
Closes-Bug: #1710162

Merge "Move HAProxy's public TLS logic from controller to service template"

Merge "Set virsh secret with an init step when using Ceph"

Merge "Keep dynamic network creation backward compatible."

Enable TLS for nova api and placement containers

With these two services running over httpd in the containers, we can now
enable TLS for them.

bp tls-via-certmonger-containers

Change-Id: Ib8fc37a391e3b32feef0ac6492492c0088866d21

Make containerized nova-api run with httpd

The non-containerized version will run over httpd [1], and for the
containerized TLS work, it is needed in the container version as well.

[1] Iac35b7ddcd8a800901548c75ca8d5083ad17e4d3

bp tls-via-certmonger-containers

Depends-On: I1c5f13039414f17312f91a5e0fd02019aa08e00e
Change-Id: I2c39a2957fd95dd261b5b8c4df5e66e00a68d2f7

Enable TLS configuration for containerized Galera

In non-containerized deployments, Galera can be configured to use TLS
for gcomm group communication when enable_internal_tls is set to true.

Fix the metadata service definition and update the Kolla configuration
to make gcomm use TLS in containers, if configured.

bp tls-via-certmonger-containers

Change-Id: Ibead27be81910f946d64b8e5421bcc41210d7430
Co-Authored-By: Juan Antonio Osorio Robles <jaosorior@redhat.com>
Closes-Bug: #1708135
Depends-On: If845baa7b0a437c28148c817b7f94d540ca15814

Move HAProxy's public TLS logic from controller to service template

This de-couples public TLS from controllers to now run wherever HAProxy
is deployed.

Partially-Implements: blueprint composable-networks
Change-Id: I9e84a25a363899acf103015527787bdd8248949f

Merge "Noop controller pre and post config resources."

Merge "Fix cidr get_attr in custom networks"

Merge "Create parameters for haproxy TLS certs and keys"

Remove duplicate Iscsid service in resource registry

I forgot to remove the existing entry in
I11232fc412adcc18087928c281ba82546388376e.

Change-Id: I40b12e857dc40881f5fe9cf73963ac90caacb17d