Comment parameters for registry in docker tls env

This commit brings change from
I3896fa2ea7caa603186f0af04f6d8382d50dd97a to
docker-services-tls-everywhere.yaml, which original commit message was:

These duplicate the defaults in puppet/services/docker.yaml and
break things if you include an environment file (e.g that generated
by quickstart containers-default-parameters.yaml) before the
docker.yaml.

Instead it's probably more helpful to include the commented lines
showing how to enable use of a local docker registry.

Change-Id: Ifa95ef60bc17bd2638ebb6aebf77a819b28c9f0b
Related-Bug: #1691524

Re-enable docker service in docker.yaml

It was removed by mistake from the docker.yaml environment file in
I76f188438bfc6449b152c2861d99738e6eb3c61b.

Change-Id: If8df98e1ddd0961ab0c9e5df917fef8200db65e6
Closes-Bug: #1698749

Merge "Remove duplicate docker/puppet services.yaml"

Merge "Make a copy of files touched by puppet in container"

Merge "Fall back to non-containerized cinder-backup to unblock OVB CI"

Merge "Add Ec2Api to container based deployment"

Merge "Make fernet max active keys configurable"

Merge "Add templates to configure Ironic inspector"

Merge "Fall back to non-containerized cinder-volume to unblock CI"

Merge "Only pass distinct services to enabled_services list"

Make a copy of files touched by puppet in container

This should help determine what exactly needs to be bind mounted in the
container and should also help limit the size of collected logs in CI,
as collecting the entire /etc directory from each container can grow
pretty quickly in size and is not that useful.

Related-Bug: #1698172
Change-Id: Ie2bded39cdb82a72f0c28f1c552403cd11b5af45

Fall back to non-containerized cinder-backup to unblock OVB CI

The previous fix Ib10e4f18d967d356a15b97f58c488f8402a73356 made
multinode CI pass, but there was still an error during volume
scheduling on OVB:

OSError: [Errno 13] Permission denied: '/var/lib/cinder/conversion'

This was most likely due to cinder-volume was running on host and used
host's cinder user, while we still deployed containerized
cinder-backup and it chowned /var/lib/cinder under kolla's cinder user
whose UID doesn't match the baremetal one.

We didn't hit this issue in the multinode job because it doesn't
presently deploy cinder-backup service at all.

Co-Authored-By: Martin André <m.andre@redhat.com>
Change-Id: I9ac74d6717533f59945694b4a43fe56d7ca768c6
Closes-Bug: #1698136

Merge "Pacemaker HA suport for OVN DB servers"

Merge "Ignore case for bootstrap node checks"

Merge "Conditional LVM storage setup for cinder-volume"

Fall back to non-containerized cinder-volume to unblock CI

CI was stuck on collecting logs. The collect-logs playbook, which
normally takes just a few minutes, took more than an hour and was
eventually killed.

The playbook was stuck on collecting LVM info on the overcloud node,
which runs this command:

  (vgs; pvs; lvs) &> /var/log/extra/lvm.txt

Therefore it's very likely that the problematic part is the LVM setup
in the containerized cinder-volume service, and falling back to
non-contianerized for the time being should get the CI going
again.

Change-Id: Ib10e4f18d967d356a15b97f58c488f8402a73356
Closes-Bug: #1698136

Make fernet max active keys configurable

This will set the max_active_keys setting in keystone.conf, and
furtherly we'll read this value from tripleo-common to do purging of
keys if necessary.

bp keystone-fernet-rotation

Change-Id: I9c6b0708c2c03ad9918222599f8b6aad397d8089

Only pass distinct services to enabled_services list

The list that was passed contained repeated services, which was
problematic if we wanted to use this list in puppet. So instead we pass
a list with the unique names.

Change-Id: Ib5eb0c5b59a9a50344d22c258ca461e8f1e52c86

Merge "Remove reference too puppet/services/ironic-pxe.yaml"

Merge "Input enabled_services in all-nodes-config as comma_delimited_list"

Merge "Bind mount internal CA file to all containers"

Merge "Containerize Cinder-volume for HA"

Ignore case for bootstrap node checks

The bootstrap_nodeid can have capital letters while the hostname may
not. In puppet we use downcase for this comparison, so let's follow a
similar pattern for scripts from THT.

Change-Id: I8a0bec4a6f3ed0b4f2289cbe7023344fb284edf7
Closes-Bug: #16998201

Add Ec2Api to container based deployment

Depends-On: I5dc10ef5cccf6d378c20c68fc4a32d2d3c38233f
Change-Id: Ib96040c2e27ad76b1fa6ecb9468bb9d97b3c4518

Merge "Containerize Ceilometer Agent Ipmi"

Merge "Modify PreNetworkConfig config inline with role-specific parameters"

Input enabled_services in all-nodes-config as comma_delimited_list

The bug that prevented it from being a comma delimited list was fixed.

Change-Id: Ia5296140763849bdeac481c812f70a42d907c214

Merge "Fix race conditions between containers"

Merge "Containerize Manila Scheduler service"

Merge "Update Panko api port"

Merge "Role Specific parameters for neutron-sriov-agent service"

Merge "Sample environment generator"

Merge "Add Nova Consoleauth service to containerized deployment"

Merge "Add Nova Vncproxy service to containerized deployment"

Merge "Enable heat/puppet to manage the fernet keys and make it configurable"

Merge "Use KeystoneFernetKeys instead of individual parameters"

Update Panko api port

The current port conflicts with trove. This is updated in puppet
module. See related change: https://review.openstack.org/#/c/471551/

Change-Id: Iefacb98320eef0bca782055e3da5d243993828d7

Merge "Fix network names when using network isolation"

Merge "Dell SC: Add exclude_domain_ip option"

Merge "Docker service for Cinder Volume"

Fix race conditions between containers

In many occasions we had log directory initialization containers
without `detach: false`, which didn't guarantee that they'll finish
before the container depending on them will start using the log
directory.

This is now fixed by moving the initialization container one global
step earlier, so that we can keep the concurrency when creating the
log dirs. (Using `detach: false` makes paunch handle just one
container at a time, and as such it can have negative performance
impact.)

For services which have their container(s) starting in step_1,
initialization cannot be moved to an earlier step, so the solution
here was to just add `detach: false`.

As a minor related change, cinder DB sync container now mounts the log
directory from host to put cinder-manage.log into the expected
location.

Change-Id: I1340de4f68dd32c2412d9385cf3a8ca202b48556

Merge "Docker services for Cinder Backup"

Remove reference too puppet/services/ironic-pxe.yaml

The file doesn't exist. The pxe setup is part of
puppet/services/ironic-conductor.yaml

Change-Id: I3a6f038ed69ea44f0594064b6f9657ff1b72e1bb
Closes-Bug: #1697927

Merge "Add fqdn_external"

Merge "Generate HAproxy iptables rules for containerized HA deployments"

Merge "Replace NO_ARCHIVE block with single call to rsync"

Merge "Docker services for Cinder Api and Scheduler"

Fix network names when using network isolation

When we merged If3989f24f077738845d2edbee405bd9198e7b7db we correctly
used name_lower for most things but we left out the the
OS::TripleO::Network resource which would cause errors like the
following:

Could not fetch contents for file:///tmp/tripleoclient-LdqQGJ/tripleo-heat-templates/network/internalapi.yaml

The reason is that the network filename is called internal_api.yaml.

Change-Id: I40f268668ed948e5d41ed0ff5a8fc954cef7b17c
Closes-Bug: #1697883

Enable heat/puppet to manage the fernet keys and make it configurable

With the addition of the KeystoneFernetKeys parameter, it's now possible
to do fernet key rotations using mistral, by modifying the
KeystoneFernetKeys variable in mistral; subsequently a rotation could
happen when doing a stack update.

So this re-enables the managing of the key files by puppet. However,
this is left configurable, as folks might want to manage those files
out-of-band.

bp keystone-fernet-rotation
Change-Id: Ic82fb8b8a76481a6e588047acf33a036cf444d7d

Use KeystoneFernetKeys instead of individual parameters

This uses the newly introduced dict with the keys and paths instead of
the individual keys. Having the advantage that rotation will be
possible on stack update, as we no longer have a limit on how many keys
we can pass (as we did with the individual parameters).

bp keystone-fernet-rotation
Change-Id: I7d224595b731d9f3390fce5a9d002282b2b4b8f2
Depends-On: I63ae158fa8cb33ac857dcf9434e9fbef07ecb68d

Merge "Add support for Cinder "NAS secure" driver params"

Replace NO_ARCHIVE block with single call to rsync

Also attempts to move the workaround for bug #1696283 to before the
puppet apply call.

Closes-Bug: #1696622
Change-Id: I3a195466a5039e7641e843c11e5436440bfc5a01

Merge "Execute Swift ring up-/download in containerized environments"

Merge "Containerize Sahara"

Merge "Containerized Sensu client"

Merge "Containerize multipathd"

Merge "Move iscsid to a container"

Merge "Change HorizonSecureCookies default to False"

Containerize Ceilometer Agent Ipmi

Depends-On: I3e865f2e9b6935eb3dfa4b4579c803f0127848ae

Change-Id: I09327a63d238a130b6ac0f2361f80e2b244b4b52

Merge "Add support to configure Num of Storage sacks"

Merge "Fix IronicInspectorAdmin to be https"

Merge "Make network-isolation environment rendered for all roles"

Merge "Fix bug in docker-toool where values are sometimes empty."

Merge "Configure credentials for ironic to access cinder"

Add fqdn_external

In newton, we used to construct the fqdn_$NETWORK in puppet-tripleo for
external, internal_api, storage, storage_mgmt, tenant, management, and
ctrlplane. When this was moved into THT, we accidently dropped external
which leads to deployment failures if a service is moved to the external
network and the configuration consumes the fqdn_external hiera key.
Specifically this is reproduced if the MysqlNetwork is switch to to
exernal, then the deployment fails because the bind address which is set
to use fqdn_external is blank.

Change-Id: I01ad0c14cb3dc38aad7528345c928b86628433c1
Closes-Bug: #1697722

Add Nova Vncproxy service to containerized deployment

Depends-On: I037858a445742de58bd2f8d879f2b1272b07f481
Change-Id: Ifd138ea553a45a637a1a9fe3d0e946f8be51e119

Add Nova Consoleauth service to containerized deployment

Depends-On: I037858a445742de58bd2f8d879f2b1272b07f481
Change-Id: I808a5513decab1bd2cce949d05fd1acb17612a42

Bind mount internal CA file to all containers

This will allow the services running in the containers to trust the CA.

bp tls-via-certmonger-containers

Change-Id: Ib7eb682da64473a651b34243c92ab76009964aba

Merge "Unblock CI by reverting to non-containerized HAProxy"

Merge "Remove deprecated multinode-container-upgrade.yaml"

Conditional LVM storage setup for cinder-volume

Set up the LVM storage only if we're using iSCSI backend.

Change-Id: I62e8f9cc38b201aebd1799e05ffc1398d13a9aa0

Make network-isolation environment rendered for all roles

Currently there's some hard-coded references to roles here, rendering
from the roles_data.yaml is a step towards making the use of isolated
networks for custom roles easier.

Partial-Bug: #1633090
Depends-On: Ib681729cc2728ca4b0486c14166b6b702edfcaab
Change-Id: If3989f24f077738845d2edbee405bd9198e7b7db

Unblock CI by reverting to non-containerized HAProxy

In change I90253412a5e2cd8e56e74cce3548064c06d022b1 we merged
containerized HAProxy setup, but because of a typo in resource
registry, CI kept using the non-containerized variant and it went
unnoticed that the containerized HAProxy doesn't work yet.

We merged a resource registry fix in
Ibcbacff16c3561b75e29b48270d60b60c1eb1083 and it brought down the CI,
which now used the non-working HAProxy.

After putting in the missing haproxy container image to tripleo-common
in I41c1064bbf5f26c8819de6d241dd0903add1bbaa we got further, but the
CI still fails on HAProxy related problem, so we should revert back to
using non-containerized HAProxy for the time being.

Change-Id: If73bf28288de10812f430619115814494618860f
Closes-Bug: #1697645

Modify PreNetworkConfig config inline with role-specific parameters

Existing host_config_and_reboot.role.j2.yaml is done in ocata to
configure kernel args. This can be enhanced with use of role-specific
parameters, which is done in the current patch. The earlier method is
deprecated and will be removed in Q releae.
Implements: blueprint ovs-2-6-dpdk

Change-Id: Ib864f065527167a49a0f60812d7ad4ad12c836d1

Add support to configure Num of Storage sacks

Gnocchi 4 supports storage sacks during upgrade. lets make this
configurable if we want to use more metricd workers.

Change-Id: Ibb2ee885e59d43c1ae20887ec1026786d58c6b9e

Merge "Fix typo in haproxy docker mapping"

Merge "Moving *postconfig where it was *postpuppet"

Fix IronicInspectorAdmin to be https

As noted in the original patch review
I5e743f789ab7dd731bc7ad26226a92a4e71f95a1 the IronicInspectorAdmin
should be https.

Change-Id: I6e37427da679775f02ff0c5fe55cfee51c122e3d

Sample environment generator

This is a tool to automate the generation of our sample environment
files.  It takes a yaml file as input, and based on the environments
defined in that file generates a number of sample environment files
from the parameters in the Heat templates.  A tox genconfig target
is added that mirrors how the other OpenStack services generate
their sample config files.

A description of the available options for the input file is
provided in a README file in the sample-env-generator directory.

In this commit only a single sample config is provided as a basic
example of how the tool works, but subsequent commits will add
more generated sample configs.

Change-Id: I855f33a61bba5337d844555a7c41b633b3327f7a
bp: environment-generator

Merge "Providing parameters specific to a workflow via plan-environment"

Merge "Remove pip install paunch"

Merge "Fix containerized SwiftRawDisks usage"

Merge "Containerize Manila API service"

Moving *postconfig where it was *postpuppet

We need to ensure that the pacemaker cluster restarts
in the end of the deployment.

Due to the resources renaming we added the
postconfig resource not in the end of the
deployment as it was *postpuppet.

Closes-bug: 1695904

Change-Id: Ic6978fcff591635223b354831cd6cbe0802316cf

Containerize Manila Scheduler service

Change-Id: Ifa8d023acdc42c9ae9a4b2f7652177e6ccb9f649
Depends-On: If44e958a9aa989e44c8c39e50715e92a4257bf1a
Co-Authored-By: Martin André <m.andre@redhat.com>
Co-Authored-By: Dan Prince <dprince@redhat.com>
Partial-Bug: #1668922

Add support for Cinder "NAS secure" driver params

Add new parameters that control the NAS security settings in Cinder's
NFS and NetApp back end drivers. The settings are disabled by default.

Partial-Bug: #1688332
Depends-On: I76e2ce10acf7b671be6a2785829ebb3012b79308
Change-Id: I306a8378dc1685132f7ea3ed91d345eaae70046f

Remove deprecated multinode-container-upgrade.yaml

This has been renamed to multinode-containers.yaml to reflect that the
scenario isn't upgrade-specific.

Change-Id: I151792700475643a4088d98eb5e1bd7248e260cd
Depends-On: Ib04e2ccb330d73df464ad97a20908f20426a4249

Containerize Sahara

Depends-On: I9abe867dfbdc81d14a1b3b3f1529240b5e522be5

Co-Authored-By: Martin André <m.andre@redhat.com>
Co-Authored-By: Ian Main <imain@redhat.com>
Co-Authored-By: Luigi Toscano <ltoscano@redhat.com>
Co-Authored-By: Telles Nobrega <tenobreg@redhat.com>
Change-Id: Id8e3b7e86fa05e0e71cc33414ceae78bab4e29b2
Closes-bug: #1668927

Docker service for Cinder Volume

Adds docker service for Cinder Volume

Co-Authored-By: Jon Bernard <jobernar@redhat.com>
Depends-On: Ic1585bae27c318bd6bafc287e905f2ed250cce0f

Partial-bug: #1668920

Change-Id: Ifadb007897f3455b90de6800751a0d08991ebca2

Docker services for Cinder Backup

Adds docker services for Cinder Backup

Co-Authored-By: Gorka Eguileor <geguileo@redhat.com>
Co-Authored-By: Jon Bernard <jobernar@redhat.com>
Co-Authored-By: Martin André <m.andre@redhat.com>
Co-Authored-By: Alan Bishop <abishop@redhat.com>
Partial-bug: #1668920

Change-Id: I26fc31e59b28da017f0b028b74bde40aaac53ad5

Docker services for Cinder Api and Scheduler

Adds docker services for Cinder API and Scheduler.

Co-Authored-By: Gorka Eguileor <geguileo@redhat.com>
Co-Authored-By: Jon Bernard <jobernar@redhat.com>
Co-Authored-By: Martin André <m.andre@redhat.com>
Co-Authored-By: Alan Bishop <abishop@redhat.com>
Depends-On: Ic1585bae27c318bd6bafc287e905f2ed250cce0f

Change-Id: I5cff9587626a3b2a147e03146d5268242d1c9658
Partial-bug: #1668920

Containerize multipathd

Co-Authored-By: Jon Bernard <jobernar@redhat.com>
Depends-On: I486de8b6ab2f4235bb4a21c3650f6b9e52a83b80
Change-Id: I6cf70fa05ad1c8aa6d9f837ddcd370eb26e45f97

Move iscsid to a container

This configures iscsid so that it runs as a container on
relevant roles (undercloud, controller, compute, and volume).
When the iscsid docker service is provision it will also run
an ansible snippet that disables the iscsid.socket on the host
OS thus disabling the hosts systemd from auto-starting iscsid
as it normally does.

Co-Authored-By: Jon Bernard <jobernar@redhat.com>
Change-Id: I2ea741ad978f166e199d47ed1b52369e9b031f1f

Merge "Add support for autofencing to Pacemaker Remote."

Generate HAproxy iptables rules for containerized HA deployments

The containerized HAproxy service can only specify steps to be run in
containers, i.e. it cannot runs the regular puppet steps on bare metal
at the same time. A side effect is that the dedicated HAproxy iptables
rules are no longer generated.

Update the docker_config step to fix the creation of iptables rules
for HAproxy and persist them on-disk as before.

Co-Authored-By: Michele Baldessari <michele@acksyn.org>
Closes-Bug: 1697387

Change-Id: Ib5a083ba3299a82645f1a0f9da0d482c6b89ee23

Merge "Don't mount all of config-data /etc, /etc/httpd"

Pacemaker HA suport for OVN DB servers

This patch adds the templates required to enable the OVN DB servers
to be started in master/slave mode in the pacemaker cluster.

For the OVN DBs base profile, ::tripleo::haproxy expects the parameter
'ovn_dbs_manage_lb' set to true in order for it to configure OVN DBs
for load balancing (please see this commit [1]). So this patch sets
'ovn_dbs_manage_lb' to true.

[1] - I9dc366002ef5919339961e5deebbf8aa815c73db

Co-authored-by: Babu Shanmugam (babu.shanmugam@gmail.com)
Depends-on: I94d3960e6c5406e3af309cc8c787ac0a6c9b1756
Change-Id: I60c55abfc523973aa926d8a12ec77f198d885916
Closes-bug: #1670564

Execute Swift ring up-/download in containerized environments

This patch ensures that Swift rings are downloaded from the undercloud
before a rebalance and uploaded afterwards.

Depends-On: I51c5795b9893d797bd73e059910f17a98f04cdbe
Change-Id: Ief012fed628957e4da63ff3314c4cf01d58b6b16

Add support for autofencing to Pacemaker Remote.

We now pass configuration for autofencing to Pacemaker Remote nodes.

Change-Id: Ibb9c65a83cc909528024c538cf3bcc96390c555e
Depends-On: I87c60bd56feac6dedc00a3c458b805aa9b71d9ce
Closes-Bug: #1686115

Providing parameters specific to a workflow via plan-environment

Parameters which are not part of the heat environment template
are required by the worflows like derive parameters. In order to
seprate from the heat environment parameters, the workflow only
parameters will be provided via plan-environement section,
workflow_parameters.
Implements: blueprint tripleo-derive-parameters

Change-Id: I36d295223c28afff1e0996b4885b8a81c00842f0