Remove ceilometer upgrade from other ceilometer containers

Lets just run the ceilometer upgrade once in central agent container

Change-Id: If5e5ca6122f8583c6221bc6b343e483e41f04d29
Closes-bug: #1700056

Merge "Add docker templates for octavia services"

Merge "Add Ceph configuration with PoolDefaultSize 1"

Merge "Allow stack_name into major_upgrade_steps.yaml"

Merge "Add validation check for divergent parameter definitions"

Add Ceph configuration with PoolDefaultSize 1

Add Ceph pool size configuration for CI where PoolDefaultSize is 1

Change-Id: I626d1398e31c3fcb9f100a8b185d71ba5909034a

Merge "Add non-ha env file."

Merge "Adds service for OVS and enables ODL DPDK deployments"

Add validation check for divergent parameter definitions

Many of our parameters are defined in multiple templates, but
currently there is no easy way of checking that all of those
definitions match.  It can be confusing when a parameter is defined
one way in one file and another way in a different file.  For example,
the NovaWorkers description is:

Number of workers for Nova API service.

and

Number of workers for Nova Placement API service.

and

Number of workers for Nova Conductor service.

Which is it actually?  All of them.  That one parameter controls
the workers for all of the nova services, and its description should
reflect that, no matter which template you happen to look at.

This change adds a check to yaml-validate.py to catch these sorts of
inconsistencies and allow us to eventually prevent new ones from
getting into the templates.

An exclusion mechanism is included because there are some parameter
definitions we probably can't/shouldn't change.  In particular, this
includes the network cidrs which are defaulted to ipv4 addresses in
the ipv4 net-iso templates and ipv6 in the ipv6 templates.  It's
possible a user would be relying on one of those defaults in their
configuration, so if we change it they might break.

To get around that, the tool explicitly ignores the default field of
those parameters, while still checking the description and type fields
so we maintain some sanity.  There may be other parameters where this
is an issue, but those can be added later as they are found.

For the moment any inconsistencies are soft-fails.  A failure message
will be printed, but the return value will not be affected so we can
add the tool without first having to fix every divergent parameter
definition in tripleo-heat-templates (and there appear to be plenty).
This will allow us to gradually fix the parameters over time, and
once that is done we can make this a hard-fail.

Change-Id: Ib8b2cb5e610022d2bbcec9f2e2d30d9a7c2be511
Partial-Bug: 1700664

Allow stack_name into major_upgrade_steps.yaml

On upgrade we map PostDeploySteps to a different implementation
which we missed to update in I36a642fbc2076ad9e4a10ffc56d6d16f3ed6f27a

Change-Id: Ia619ab935c66081769e69c53d1ca41925d86abbb
Closes-Bug: #1700755

Merge "Provides a list of per-service ctlplane IPs to the workflows env"

Merge "Add flag to enable/disable the HAProxy stats interface"

Merge "Allows use of Mistral workflows during deployment steps"

Merge "Enable DPDK on boot using PreNetworkConfig"

Merge "Add VipMap output"

Merge "Add split-stack environments"

Merge "Add DeploymentSwiftDataMap parameter"

Merge "Add os-collect-config data as an output"

Merge "Fix descriptions on bonding templates"

Provides a list of per-service ctlplane IPs to the workflows env

Adds in the execution environment of the workflow steps a list of
per-service network IPs. This can be used by the workflows to
execute actions against the nodes hosting a given service.

Change-Id: Id7c735d53f04f6ad848b2f9f1adaa3c84ecd2fcd
Implements: blueprint tripleo-ceph-ansible

Allows use of Mistral workflows during deployment steps

Introduces a general mechanism meant to allow for the execution
of workflows during the deployment steps.

Services can define workflow actions to be triggered during a step
in the newly added service_workflow_tasks section. The syntax is:

  service_workflow_tasks:
    step2:
      - name: my_action_name
        action: std.echo
        input:
          output: 'hello world'

Implements: blueprint tripleo-ceph-ansible
Depends-On: If02799e7457ca017cc119317dfb2db7198a3559f
Depends-On: Ibc5707f9f06266fe84ad1dd91dcb984157871d30
Change-Id: I36a642fbc2076ad9e4a10ffc56d6d16f3ed6f27a

Add non-ha env file.

This environment file will be used to
deploy an Overcloud without the use
of pacemaker.

Change-Id: I3a486d22b30ffdb6053b3d917dea373c1361df81

Merge "Make sensu-client log to file"

Add docker templates for octavia services

Depends-On: I270f3f6879737fc29370165e4a8fa8c9c19fffb3
Depends-On: I3a169e3321a26ee373ab873426a2d58acbcfe1bd
Closes-Bug: #1668932

Co-Authored-By: Or Idgar <oidgar@redhat.com>
Co-Authored-By: Brent Eagles <beagles@redhat.com>
Co-Authored-By: Martin André <m.andre@redhat.com>
Change-Id: I211707072bb0e4ac4aa48e9bbaccb7530f3de0ca

Add flag to enable/disable the HAProxy stats interface

This was made configurable in a recent commit [1] So this flag makes it
easier for deployers to use that functionality.

[1] Ic68266eaf39d6803f7c3e299095578bbcfd63b88

Change-Id: Iffff20dcda53bc7237586dd240e581bcb0282844

Merge "Containerize Cinder-backup for HA"

Temporarily disable containerized cinder

The containerized cinder service was merged a bit too soon and it
caused several issues in CI. Disable it temporarily to unblock CI until
it matures.

Change-Id: I8c6c0ce0011fddfec1e2de798d4fc6f34ae78de2
Related-Bug: #1700333

Merge "Replace hardcoded 'br-ex' with NeutronPhysicalBridge parameter."

Merge "scenario004: containerize services for CI"

Merge "Fix manila-api volumes list"

Merge "Enable periodic task to discover cell hosts when ironic is used"

Replace hardcoded 'br-ex' with NeutronPhysicalBridge parameter.

This change uses the NeutronPhysicalBridge parameter on all roles,
rather than hard-coding the "br-ex" name. Previously, there were
different parameters for controller and compute roles, but since
we use a unified bridge name with OVS, this is unnecessary.

Change-Id: I6d9189404fae67bcc33ddc2ba3ce1b0385dd989d
Closes-bug: 1669130

Merge "scenario002: containerize services for CI"

Merge "Fix rpms being installed via DeployArtifactURLs"

Merge "Fix roles dict object' has no attribute 'lower' error"

Enable periodic task to discover cell hosts when ironic is used

Starting with the Ocata release, bare metal nodes are no longer get recognized
by nova automatically. To avoid forcing users into running nova manage command
each time they enroll a node, we will have to allow enable the periodic task
to do so.

Change-Id: I8b0afac54dc9bd51dbe2ae4f237e4de50459be0f
Closes-Bug: #1697724

scenario004: containerize services for CI

Change-Id: I025ed07ce97132bce3fa7a15d170fc62e17e07a4

Fix manila-api volumes list

Change-Id: Idbbff1047fbc3f664e44131770ba2849ea9d51bc
Closes-Bug: #1700082

Merge "Configuration for containerized MySQL clients"

Adds service for OVS and enables ODL DPDK deployments

In order to deploy OpenDaylight with DPDK we need to copy the DPDK
config for OVS done in the neutron-ovs-dpdk service template, without
enabling OVS agent for compute nodes.  To do this correctly, we should
inherit and openvswitch service which is a common place to set OVS
configuration and parameters.  Note: vswitch::dpdk config will be called
in prenetwork setup with ovs_dpdk_config.yaml so there is no need to
include that in the step config for neutron-ovs-dpdk-agent service or
opendaylight-ovs-dpdk.

Changes Include:
 - Creates a common openvswitch service template, which in the future
   will migrate to be its own service.
 - Renames and fixes OVS DPDK configuration heat parameters in the
   openvswitch template.
 - neutron-ovs-dpdk-agent now inherits the common openvswitch template.
 - Adds opendaylight-ovs-dpdk template which also inherits common ovs
   template.
 - Uses OVS DPDK config script to allow configuring OVS DPDK in
   prenetwork config (before os-net-config runs).  This has an issue
   where hieradata is not present yet, so we have to redefine the heat
   parameters and pass them via bash.  In the future this should be
   corrected.
 - Adds opendaylight-dpdk environment file used to deploy an ODL + DPDK
   deployment.
 - Updates neutron-ovs-dpdk environment file.

Closes-Bug: 1656097
Partial-Bug: 1656096

Depends-On: I3227189691df85f265cf84bd4115d8d4c9f979f3

Change-Id: Ie80e38c2a9605d85cdf867a31b6888bfcae69e29
Signed-off-by: Tim Rozet <trozet@redhat.com>

Merge "Make collectd log to file"

scenario002: containerize services for CI

Change-Id: I9f9a9dcf1666b5b0475bc8fae5b785747480b7d6

Enable DPDK on boot using PreNetworkConfig

DPDK has to be enabled on openvswitch on the boot before
configuring the network as when the network uses DPDK ports
OvS should be ready to handle DPDK. Enabled DPDK via
PreNetworkConfig by checking if ServiceNames contains
DPDK service.
Implements: blueprint ovs-2-6-dpdk
Closes-Bug: #1654975

Depends-On: I83a540336c01a696780621fb2b39486a6abf0917
Change-Id: I7af4534d91e67c94ba559b78b9ac6a001e639db3

Merge "Revert "Blacklist support for ExtraConfig""

Merge "scenario003: containerize services for CI"

Merge "Specify file url when deploy-artifacts fails"

Merge "Fixes incorrect glance api network"

scenario003: containerize services for CI

Change-Id: I152f5c97d2545aa595e193218653a4b7e56c0cb6

Merge "Fix fallback logic in run-os-net-config.sh"

Merge "Remove add_listen: false from Horizon hieradata"

Merge "Test Horizon by default in multinode jobs"

Make collectd log to file

- sets collectd service in container to log to file
consistently with other docker services.

- corrects configuration mounts

Depends-On: I50289ad6657852d37abbf12938128ff9ab9e3bac
Change-Id: Ibf9efbe249d67d0fa1e50fbd7dd9902a64d5a273

Merge "Deploy ironic-api with WSGI"

Revert "Blacklist support for ExtraConfig"

This reverts commit d6c0979eb3de79b8c3a79ea5798498f0241eb32d.

This seems to be causing issues in Heat in upgrades.

Change-Id: I379fb2133358ba9c3c989c98a2dd399ad064f706
Related-Bug: #1699463

Merge "Remove trailing whitespace"

Fix descriptions on bonding templates

This change updates the descriptions of bond paramters in the bonded network
interface templates. Previously, only OVS bond settings were mentioned,
and the description for the bond options constraints had extra whitespace.
This change mentions settings for Linux bonds, and removes extra spaces.

Change-Id: Id50c042ae4a3b9298e8de0364e315b9f8777b79f

Fix fallback logic in run-os-net-config.sh

The expression "${variable:-''}" with $variable unset results in a
value that looks like "''", which will not pass a -z test, as I
believe is intended in this code.  Making the default value blank
yields the correct behavior.

Change-Id: I9fe98f3c69c797feb9c37da1ad8c7912a15bcecb
Closes-Bug: 1699614

Fixes incorrect glance api network

The glance API network was being set to storage and it should be
internal_api.

Closes-Bug: 1699535

Change-Id: I75bc05aeab999f0e3eb3f4ebaceb276e888addc9
Signed-off-by: Tim Rozet <trozet@redhat.com>

Merge "Add node's FQDN to mysql certificate request and CA file"

Deploy ironic-api with WSGI

Change-Id: Ifa985f29fbd589f58cb2fc75b5f442f7651fb2bf
Depends-On: I952c86db88dcd611722a3feaea88f618eee17620

Specify file url when deploy-artifacts fails

Change-Id: Iccd31c798b91c494b20489d52e289d9a250b929c

Make sensu-client log to file

This patch sets sensu-client service in container to log to file
consistently with other docker services.

Change-Id: Ic8929326cd73c4bc4515b592fed4826b9c1d516a

Merge "Add an upgrade task for redis service"

Merge "Fixup for manila-api containerized service"

Add an upgrade task for redis service

Change-Id: Id7188ee8a4b05f0aa3c76c4da581e8c4f1b85d86

Remove add_listen: false from Horizon hieradata

I'm not sure why this was here, but without a Listen directive in
Apache's ports.conf Horizon is inaccessible.  Removing this allows
Horizon to work again.

Change-Id: Ic221e15f188cf50b485e995035cb96f5d5960a72
Closes-Bug: 1696439

Test Horizon by default in multinode jobs

Horizon is a pretty core service for the overcloud, so we should
test it in the gate jobs.  The TripleoFirewall service is also
included so the Horizon ports get opened correctly.

Change-Id: I844b6eee547f9b4aa8e0935ab2e1e458f7a9e960

Fix roles dict object' has no attribute 'lower' error

Change-Id: I4d6a8b53bf07892ba4ae2579f192dc21297ad110
Closes-Bug: #1699026

Merge "Comment parameters for registry in docker tls env"

Merge "Blacklist support for ExtraConfig"

Merge "Add nested sample environments for inject-trust-anchor"

Merge "Add storage sample environments"

Merge "Add neutron-midonet sample environment"

Merge "Support config dir for env generator input files"

Merge "Update CloudDomain description"

Merge "Add an example IronicConductor role"

Merge "Updated from global requirements"

Add node's FQDN to mysql certificate request and CA file

This will add the node's FQDN to the mysql certificate request
besides the VIP's FQDN which we already use. This is needed for
adding TLS to the replication traffic. The CA file was also added
as hieradata, since the path will be needed for the TLS
configuration.

bp tls-via-certmonger

Change-Id: I9252303b92a2805ba83f86a85770db2551a014d3

Comment parameters for registry in docker tls env

This commit brings change from
I3896fa2ea7caa603186f0af04f6d8382d50dd97a to
docker-services-tls-everywhere.yaml, which original commit message was:

These duplicate the defaults in puppet/services/docker.yaml and
break things if you include an environment file (e.g that generated
by quickstart containers-default-parameters.yaml) before the
docker.yaml.

Instead it's probably more helpful to include the commented lines
showing how to enable use of a local docker registry.

Change-Id: Ifa95ef60bc17bd2638ebb6aebf77a819b28c9f0b
Related-Bug: #1691524

Re-enable docker service in docker.yaml

It was removed by mistake from the docker.yaml environment file in
I76f188438bfc6449b152c2861d99738e6eb3c61b.

Change-Id: If8df98e1ddd0961ab0c9e5df917fef8200db65e6
Closes-Bug: #1698749

Updated from global requirements

Change-Id: I9496de0e5cc670e0a370588a9471594b20fdadf3

Merge "Remove duplicate docker/puppet services.yaml"

Merge "Make a copy of files touched by puppet in container"

Merge "Fall back to non-containerized cinder-backup to unblock OVB CI"

Merge "Add Ec2Api to container based deployment"

Merge "Make fernet max active keys configurable"

Merge "Add templates to configure Ironic inspector"

Blacklist support for ExtraConfig

Commit I46941e54a476c7cc8645cd1aff391c9c6c5434de added support for
blacklisting servers from triggered Heat deployments.

This commit adds that functionality to the remaining Deployments in
tripleo-heat-templates for the ExtraConfig interfaces.

Since we can not (should not) change the interface to ExtraConfig, Heat
conditions are used on the actual <role>ExtraConfigPre and
NodeExtraConfig resources instead of using the actions approach on
Deployments.

Change-Id: I38fdb50d1d966a6c3651980c52298317fa3bece4

Merge "Fall back to non-containerized cinder-volume to unblock CI"

Merge "Only pass distinct services to enabled_services list"

Make a copy of files touched by puppet in container

This should help determine what exactly needs to be bind mounted in the
container and should also help limit the size of collected logs in CI,
as collecting the entire /etc directory from each container can grow
pretty quickly in size and is not that useful.

Related-Bug: #1698172
Change-Id: Ie2bded39cdb82a72f0c28f1c552403cd11b5af45

Fall back to non-containerized cinder-backup to unblock OVB CI

The previous fix Ib10e4f18d967d356a15b97f58c488f8402a73356 made
multinode CI pass, but there was still an error during volume
scheduling on OVB:

OSError: [Errno 13] Permission denied: '/var/lib/cinder/conversion'

This was most likely due to cinder-volume was running on host and used
host's cinder user, while we still deployed containerized
cinder-backup and it chowned /var/lib/cinder under kolla's cinder user
whose UID doesn't match the baremetal one.

We didn't hit this issue in the multinode job because it doesn't
presently deploy cinder-backup service at all.

Co-Authored-By: Martin André <m.andre@redhat.com>
Change-Id: I9ac74d6717533f59945694b4a43fe56d7ca768c6
Closes-Bug: #1698136

Merge "Pacemaker HA suport for OVN DB servers"

Merge "Ignore case for bootstrap node checks"

Merge "Conditional LVM storage setup for cinder-volume"

Fall back to non-containerized cinder-volume to unblock CI

CI was stuck on collecting logs. The collect-logs playbook, which
normally takes just a few minutes, took more than an hour and was
eventually killed.

The playbook was stuck on collecting LVM info on the overcloud node,
which runs this command:

  (vgs; pvs; lvs) &> /var/log/extra/lvm.txt

Therefore it's very likely that the problematic part is the LVM setup
in the containerized cinder-volume service, and falling back to
non-contianerized for the time being should get the CI going
again.

Change-Id: Ib10e4f18d967d356a15b97f58c488f8402a73356
Closes-Bug: #1698136

Make fernet max active keys configurable

This will set the max_active_keys setting in keystone.conf, and
furtherly we'll read this value from tripleo-common to do purging of
keys if necessary.

bp keystone-fernet-rotation

Change-Id: I9c6b0708c2c03ad9918222599f8b6aad397d8089

Only pass distinct services to enabled_services list

The list that was passed contained repeated services, which was
problematic if we wanted to use this list in puppet. So instead we pass
a list with the unique names.

Change-Id: Ib5eb0c5b59a9a50344d22c258ca461e8f1e52c86

Merge "Remove reference too puppet/services/ironic-pxe.yaml"

Merge "Input enabled_services in all-nodes-config as comma_delimited_list"