scenario002: containerize services for CI

Change-Id: I9f9a9dcf1666b5b0475bc8fae5b785747480b7d6

Enable DPDK on boot using PreNetworkConfig

DPDK has to be enabled on openvswitch on the boot before
configuring the network as when the network uses DPDK ports
OvS should be ready to handle DPDK. Enabled DPDK via
PreNetworkConfig by checking if ServiceNames contains
DPDK service.
Implements: blueprint ovs-2-6-dpdk
Closes-Bug: #1654975

Depends-On: I83a540336c01a696780621fb2b39486a6abf0917
Change-Id: I7af4534d91e67c94ba559b78b9ac6a001e639db3

Merge "Revert "Blacklist support for ExtraConfig""

Merge "scenario003: containerize services for CI"

Merge "Specify file url when deploy-artifacts fails"

Merge "Fixes incorrect glance api network"

scenario003: containerize services for CI

Change-Id: I152f5c97d2545aa595e193218653a4b7e56c0cb6

Merge "Fix fallback logic in run-os-net-config.sh"

Merge "Remove add_listen: false from Horizon hieradata"

Merge "Test Horizon by default in multinode jobs"

Make collectd log to file

- sets collectd service in container to log to file
consistently with other docker services.

- corrects configuration mounts

Depends-On: I50289ad6657852d37abbf12938128ff9ab9e3bac
Change-Id: Ibf9efbe249d67d0fa1e50fbd7dd9902a64d5a273

Merge "Deploy ironic-api with WSGI"

Revert "Blacklist support for ExtraConfig"

This reverts commit d6c0979eb3de79b8c3a79ea5798498f0241eb32d.

This seems to be causing issues in Heat in upgrades.

Change-Id: I379fb2133358ba9c3c989c98a2dd399ad064f706
Related-Bug: #1699463

Merge "Remove trailing whitespace"

Fix descriptions on bonding templates

This change updates the descriptions of bond paramters in the bonded network
interface templates. Previously, only OVS bond settings were mentioned,
and the description for the bond options constraints had extra whitespace.
This change mentions settings for Linux bonds, and removes extra spaces.

Change-Id: Id50c042ae4a3b9298e8de0364e315b9f8777b79f

Fix fallback logic in run-os-net-config.sh

The expression "${variable:-''}" with $variable unset results in a
value that looks like "''", which will not pass a -z test, as I
believe is intended in this code.  Making the default value blank
yields the correct behavior.

Change-Id: I9fe98f3c69c797feb9c37da1ad8c7912a15bcecb
Closes-Bug: 1699614

Fixes incorrect glance api network

The glance API network was being set to storage and it should be
internal_api.

Closes-Bug: 1699535

Change-Id: I75bc05aeab999f0e3eb3f4ebaceb276e888addc9
Signed-off-by: Tim Rozet <trozet@redhat.com>

Merge "Add node's FQDN to mysql certificate request and CA file"

Deploy ironic-api with WSGI

Change-Id: Ifa985f29fbd589f58cb2fc75b5f442f7651fb2bf
Depends-On: I952c86db88dcd611722a3feaea88f618eee17620

Specify file url when deploy-artifacts fails

Change-Id: Iccd31c798b91c494b20489d52e289d9a250b929c

Make sensu-client log to file

This patch sets sensu-client service in container to log to file
consistently with other docker services.

Change-Id: Ic8929326cd73c4bc4515b592fed4826b9c1d516a

Move glance::api::show_multiple_locations within GlanceApi

Previously we were setting glance::api::show_multiple_locations
from the CephBase resource but this seems unnecessary as the
GlanceApi resource can consume the parameters needed to set
the value.

Change-Id: I0a7d8cb19a86b96d6196dad453970b4e56c5fe7e

Merge "Add an upgrade task for redis service"

Merge "Fixup for manila-api containerized service"

Update cinder-netapp-config environment

It appears some new parameters were added to this template, so the
sample environment needs to be updated to include them.

Change-Id: Ifc68cbf7d18acf72d6d1ed2beefbc0cd18d72bf8

Add release note for generated sample environments

This was missed in the original patch series, but this is a
significant enough change that it needs to be communicated to users.

Change-Id: Ibcfdde3cc544d152e78529fc57a63c7dc6592c4f

Add an upgrade task for redis service

Change-Id: Id7188ee8a4b05f0aa3c76c4da581e8c4f1b85d86

Remove add_listen: false from Horizon hieradata

I'm not sure why this was here, but without a Listen directive in
Apache's ports.conf Horizon is inaccessible.  Removing this allows
Horizon to work again.

Change-Id: Ic221e15f188cf50b485e995035cb96f5d5960a72
Closes-Bug: 1696439

Test Horizon by default in multinode jobs

Horizon is a pretty core service for the overcloud, so we should
test it in the gate jobs.  The TripleoFirewall service is also
included so the Horizon ports get opened correctly.

Change-Id: I844b6eee547f9b4aa8e0935ab2e1e458f7a9e960

Fix roles dict object' has no attribute 'lower' error

Change-Id: I4d6a8b53bf07892ba4ae2579f192dc21297ad110
Closes-Bug: #1699026

Merge "Comment parameters for registry in docker tls env"

Merge "Blacklist support for ExtraConfig"

Merge "Add nested sample environments for inject-trust-anchor"

Merge "Add storage sample environments"

Merge "Add neutron-midonet sample environment"

Merge "Support config dir for env generator input files"

Merge "Update CloudDomain description"

Merge "Add an example IronicConductor role"

Merge "Updated from global requirements"

Add node's FQDN to mysql certificate request and CA file

This will add the node's FQDN to the mysql certificate request
besides the VIP's FQDN which we already use. This is needed for
adding TLS to the replication traffic. The CA file was also added
as hieradata, since the path will be needed for the TLS
configuration.

bp tls-via-certmonger

Change-Id: I9252303b92a2805ba83f86a85770db2551a014d3

Comment parameters for registry in docker tls env

This commit brings change from
I3896fa2ea7caa603186f0af04f6d8382d50dd97a to
docker-services-tls-everywhere.yaml, which original commit message was:

These duplicate the defaults in puppet/services/docker.yaml and
break things if you include an environment file (e.g that generated
by quickstart containers-default-parameters.yaml) before the
docker.yaml.

Instead it's probably more helpful to include the commented lines
showing how to enable use of a local docker registry.

Change-Id: Ifa95ef60bc17bd2638ebb6aebf77a819b28c9f0b
Related-Bug: #1691524

Re-enable docker service in docker.yaml

It was removed by mistake from the docker.yaml environment file in
I76f188438bfc6449b152c2861d99738e6eb3c61b.

Change-Id: If8df98e1ddd0961ab0c9e5df917fef8200db65e6
Closes-Bug: #1698749

Updated from global requirements

Change-Id: I9496de0e5cc670e0a370588a9471594b20fdadf3

Merge "Remove duplicate docker/puppet services.yaml"

Merge "Make a copy of files touched by puppet in container"

Merge "Fall back to non-containerized cinder-backup to unblock OVB CI"

Merge "Add Ec2Api to container based deployment"

Merge "Make fernet max active keys configurable"

Merge "Add templates to configure Ironic inspector"

Blacklist support for ExtraConfig

Commit I46941e54a476c7cc8645cd1aff391c9c6c5434de added support for
blacklisting servers from triggered Heat deployments.

This commit adds that functionality to the remaining Deployments in
tripleo-heat-templates for the ExtraConfig interfaces.

Since we can not (should not) change the interface to ExtraConfig, Heat
conditions are used on the actual <role>ExtraConfigPre and
NodeExtraConfig resources instead of using the actions approach on
Deployments.

Change-Id: I38fdb50d1d966a6c3651980c52298317fa3bece4

Merge "Fall back to non-containerized cinder-volume to unblock CI"

Merge "Only pass distinct services to enabled_services list"

Make a copy of files touched by puppet in container

This should help determine what exactly needs to be bind mounted in the
container and should also help limit the size of collected logs in CI,
as collecting the entire /etc directory from each container can grow
pretty quickly in size and is not that useful.

Related-Bug: #1698172
Change-Id: Ie2bded39cdb82a72f0c28f1c552403cd11b5af45

Fall back to non-containerized cinder-backup to unblock OVB CI

The previous fix Ib10e4f18d967d356a15b97f58c488f8402a73356 made
multinode CI pass, but there was still an error during volume
scheduling on OVB:

OSError: [Errno 13] Permission denied: '/var/lib/cinder/conversion'

This was most likely due to cinder-volume was running on host and used
host's cinder user, while we still deployed containerized
cinder-backup and it chowned /var/lib/cinder under kolla's cinder user
whose UID doesn't match the baremetal one.

We didn't hit this issue in the multinode job because it doesn't
presently deploy cinder-backup service at all.

Co-Authored-By: Martin André <m.andre@redhat.com>
Change-Id: I9ac74d6717533f59945694b4a43fe56d7ca768c6
Closes-Bug: #1698136

Merge "Pacemaker HA suport for OVN DB servers"

Merge "Ignore case for bootstrap node checks"

Merge "Conditional LVM storage setup for cinder-volume"

Fall back to non-containerized cinder-volume to unblock CI

CI was stuck on collecting logs. The collect-logs playbook, which
normally takes just a few minutes, took more than an hour and was
eventually killed.

The playbook was stuck on collecting LVM info on the overcloud node,
which runs this command:

  (vgs; pvs; lvs) &> /var/log/extra/lvm.txt

Therefore it's very likely that the problematic part is the LVM setup
in the containerized cinder-volume service, and falling back to
non-contianerized for the time being should get the CI going
again.

Change-Id: Ib10e4f18d967d356a15b97f58c488f8402a73356
Closes-Bug: #1698136

Make fernet max active keys configurable

This will set the max_active_keys setting in keystone.conf, and
furtherly we'll read this value from tripleo-common to do purging of
keys if necessary.

bp keystone-fernet-rotation

Change-Id: I9c6b0708c2c03ad9918222599f8b6aad397d8089

Only pass distinct services to enabled_services list

The list that was passed contained repeated services, which was
problematic if we wanted to use this list in puppet. So instead we pass
a list with the unique names.

Change-Id: Ib5eb0c5b59a9a50344d22c258ca461e8f1e52c86

Merge "Remove reference too puppet/services/ironic-pxe.yaml"

Merge "Input enabled_services in all-nodes-config as comma_delimited_list"

Merge "Bind mount internal CA file to all containers"

Merge "Containerize Cinder-volume for HA"

Ignore case for bootstrap node checks

The bootstrap_nodeid can have capital letters while the hostname may
not. In puppet we use downcase for this comparison, so let's follow a
similar pattern for scripts from THT.

Change-Id: I8a0bec4a6f3ed0b4f2289cbe7023344fb284edf7
Closes-Bug: #16998201

Add VipMap output

Add VipMap output to the top level stack output. VipMap is a mapping
from each network to the VIP address on that network. Also includes the
Redis VIP.

This output facilitates deploying split-stack so you can feed the VIP
addresses from VipMap as inputs into the services stack.

implements blueprint split-stack-default

Change-Id: I245920994613c9bd10801c25fa545267aa49b239

Add split-stack environments

Add 2 new environments to faciltate deploying split-stack:
environments/overcloud-baremetal.j2.yaml
environments/overcloud-services.j2.yaml

The environments are used to deploy 2 separate Heat stacks, one for just
the baremetal+network configuration and one for the service
configuration.

In order to keep Heat's view of the server's hostname consistent across
the 2 stacks the 2 environments set the same HostnameFormat with
"overcloud" as the stack name.

implements blueprint split-stack-default

Change-Id: I0b3f282c08af6fecea8f136908b806db70bada46

Add DeploymentSwiftDataMap parameter

The DeploymentSwiftDataMap parameter is used to set the
deployment_swift_data property on the Server resoures. The parameter is
a map of role names and node indexes to Swift container and object names
to be used for storing deployment data.

The parameter allows for using predefined Swift objects for storing
deployment data instead of container/object names with generated uuid's
from Heat.

implements blueprint split-stack-default
Depends-On: Ia07e9374a4b95bd0e74fc47fb9df4bf6ad096715

Change-Id: I471037de35e7f349d900462ec3ffb16fe2d6ebd9

Add os-collect-config data as an output

Adds a new output, ServerOsCollectConfigData, which is the
os-collect-config configuration associated with each server resource.
This can be used to [pre]configure the os-collect-config agents on
deployed-server's.

Having the data available as a stack output is more user friendly than
having to query several nested levels of stack resources, and then
inspect resource metadata.

implements blueprint split-stack-default
Change-Id: Iaf062f1a72e2a9e4d97f84c67f72408a6b5cebfc
Depends-On: I8acfd67cd8138d587cc362184c84a08134bf3157

Update CloudDomain description

First, this parameter must match what is configured on the
undercloud, so strengthen that language.

There is also now an undercloud.conf parameter that can be used to
set the requisite options on the undercloud services, so just point
users at that rather than trying to explain how to configure the
services manually (which is error-prone and doesn't survive
undercloud updates).

Change-Id: I002cce176e3430473a29e79efde3464bddb24cc7

Add Ec2Api to container based deployment

Depends-On: I5dc10ef5cccf6d378c20c68fc4a32d2d3c38233f
Change-Id: Ib96040c2e27ad76b1fa6ecb9468bb9d97b3c4518

Merge "Containerize Ceilometer Agent Ipmi"

Merge "Modify PreNetworkConfig config inline with role-specific parameters"

Input enabled_services in all-nodes-config as comma_delimited_list

The bug that prevented it from being a comma delimited list was fixed.

Change-Id: Ia5296140763849bdeac481c812f70a42d907c214

Fixup for manila-api containerized service

Use common volumes, and use the host log dir in DB sync container.

Co-Authored-By: Jiri Stransky <jistr@jistr.com>
Change-Id: I52602eb4ffd8834c36eec66ef845e5563f72f786

Add an example IronicConductor role

Change-Id: I8dca09372a58b6dacbb8e65602e1b0bdb6c01ae7
Related-Blueprint: example-custom-role-environments

Remove trailing whitespace

Change-Id: Ibac65f5147413e8c5c37c513d033acf6b6e83e7b

Merge "Fix race conditions between containers"

Merge "Containerize Manila Scheduler service"

Merge "Update Panko api port"

Merge "Role Specific parameters for neutron-sriov-agent service"

Merge "Sample environment generator"

Add a docker-ha.yaml environment file for containerized HA deployments

This adds a docker-ha.yaml that can be passed to the deployment
environments in order to get a containerized HA deployment.
Until we make the containerized deplyment the default the operator
must first include docker.yaml and *then* docker-ha.yaml in order
to get a containerized overcloud with an HA control plane.

We also make sure that the ClusterCheck service is set to None
by default and is part of the Controller roles.

Change-Id: I13204d70aad8dfeaf2bcf2ae30a1bb4715167659

Merge "Add Nova Consoleauth service to containerized deployment"

Merge "Add Nova Vncproxy service to containerized deployment"

Merge "Enable heat/puppet to manage the fernet keys and make it configurable"

Merge "Use KeystoneFernetKeys instead of individual parameters"

Update Panko api port

The current port conflicts with trove. This is updated in puppet
module. See related change: https://review.openstack.org/#/c/471551/

Change-Id: Iefacb98320eef0bca782055e3da5d243993828d7

Merge "Fix network names when using network isolation"

Merge "Dell SC: Add exclude_domain_ip option"

Merge "Docker service for Cinder Volume"

Fix race conditions between containers

In many occasions we had log directory initialization containers
without `detach: false`, which didn't guarantee that they'll finish
before the container depending on them will start using the log
directory.

This is now fixed by moving the initialization container one global
step earlier, so that we can keep the concurrency when creating the
log dirs. (Using `detach: false` makes paunch handle just one
container at a time, and as such it can have negative performance
impact.)

For services which have their container(s) starting in step_1,
initialization cannot be moved to an earlier step, so the solution
here was to just add `detach: false`.

As a minor related change, cinder DB sync container now mounts the log
directory from host to put cinder-manage.log into the expected
location.

Change-Id: I1340de4f68dd32c2412d9385cf3a8ca202b48556

Merge "Docker services for Cinder Backup"

Remove reference too puppet/services/ironic-pxe.yaml

The file doesn't exist. The pxe setup is part of
puppet/services/ironic-conductor.yaml

Change-Id: I3a6f038ed69ea44f0594064b6f9657ff1b72e1bb
Closes-Bug: #1697927

Merge "Add fqdn_external"

Merge "Generate HAproxy iptables rules for containerized HA deployments"

Merge "Replace NO_ARCHIVE block with single call to rsync"

Merge "Docker services for Cinder Api and Scheduler"

Fix network names when using network isolation

When we merged If3989f24f077738845d2edbee405bd9198e7b7db we correctly
used name_lower for most things but we left out the the
OS::TripleO::Network resource which would cause errors like the
following:

Could not fetch contents for file:///tmp/tripleoclient-LdqQGJ/tripleo-heat-templates/network/internalapi.yaml

The reason is that the network filename is called internal_api.yaml.

Change-Id: I40f268668ed948e5d41ed0ff5a8fc954cef7b17c
Closes-Bug: #1697883

Enable heat/puppet to manage the fernet keys and make it configurable

With the addition of the KeystoneFernetKeys parameter, it's now possible
to do fernet key rotations using mistral, by modifying the
KeystoneFernetKeys variable in mistral; subsequently a rotation could
happen when doing a stack update.

So this re-enables the managing of the key files by puppet. However,
this is left configurable, as folks might want to manage those files
out-of-band.

bp keystone-fernet-rotation
Change-Id: Ic82fb8b8a76481a6e588047acf33a036cf444d7d