Enable Neutron LBaaS Integration

Allows the configuration of the Neutron LBaaS agent.

Implements: blueprint lbaasv2-service-integration
Change-Id: Iae2bf7faeea93d5275994b2ee10f9bf863ed6152
Depends-On: Ieeb21fafd340fdfbaddbe7633946fe0f05c640c9

Convert role templates to consume roles_data map

Currently we only consume the name with a special-case
for the disable constraints boolean, but it will be more
flexible if we consume the whole roles_data mapping for
each role, so that e.g composable networks and other
per-role customizations can be expressed in these
templates

Partially-Implements: blueprint composable-networks
Depends-On: Id1249b78b3dd87e91d572ffa31b7a541f3cde2c7
Change-Id: I355534ec456479944f66106e957404a660d8f2d2

Merge "Make ceilometer crontab removal idempotent"

Adds docker OpenDaylight

Depends-On: I020550ede0ef981582392cf6c48dd5cb5823a074
Depends-On: I610b07a3c2bcf1c3288f76112a08b81c50e06913
Depends-On: I3d378044b3da5309b60967a12df7800520a254dc
Depends-On: I9c32b41ef865a09587f3ebfe8b8a896031fbd285
Depends-On: Ib31bf29bc69f5c58e98b99c3e598b19c99efc77f

Change-Id: I36c7390ddb4192e55ee56006fd6e9c5f8704445c
Signed-off-by: Tim Rozet <trozet@redhat.com>

Update NovaCompute to consume CephClientKey

It is not necessary to get the Ceph key issueing a get-key to the Ceph
cluster; this change provides the libvirt key via parameter instead.

Change-Id: Iff3dbcb0f1b4d2373570e184e636a71553cea708

Merge "Add ServerIdMap output"

Merge "adding --config-dir parameters to neutron containers"

Add ComputeHCI role and related validations

The ComputeHCI role is meant to be a copy of the Compute role
except it hosts CephOSD and uses StorageMgmt.

Change-Id: Ic8fc5e672361a652ef19199a941c87247ca6925d

Merge "Move glance::api::show_multiple_locations within GlanceApi"

adding --config-dir parameters to neutron containers

Change-Id: I521e89994e9be6efd335c5809810d9188dc1742f
Closes-Bug: #1684908

New environment file to configure containers.

This is part of a larger series that changes the interface used
for configuring which containers are used.  This needs CI and
possibly quickstart updates to use this environment file so CI
will continue to pass.

Change-Id: I125137ba45f608cf84ea0a7146edd744a549d23b
Co-Authored-By: Dan Prince <dprince@redhat.com>

Merge "Re-enable default for RoleParameters"

Merge "Fix typo in config_volume"

Merge "Make NovaWorkers descriptions consistent"

Merge "cisco nexus: keep OVS on the Compute"

Merge "Ensure boostrap_host_exec runs as root"

Merge "scenario001: containerize services for CI"

Merge "Add a docker-ha.yaml environment file for containerized HA deployments"

Tolerate network errors in pingtest retry logic

We use ping -w <deadline> -c <count>. This will ping every second until
<count> replies are received, or <deadline> is reached, or a network error occurs.

With the current retry logic a network error will result in a short tight loop
instead of waiting for the network to come up.

This change reduces the deadline to 10s, but sleeps 60s between retries.

Change-Id: Ib00cff6f843c04a00737b40e3ef3d1560d6e6d2d
Related-bug: #1680167

Merge "Force mtime for tar used in container config md5sums"

Merge "Add stack_name/ctlplane_service_ips into post-upgrade.j2.yaml"

Ensure boostrap_host_exec runs as root

This is necessary for accessing the bind mounted hieradata in the
container in order to determine if the node is the primary node.

With the new validation added to yaml-validate.py, we could spot
potential issues in sahara-api and keystone bootstrap tasks.

The keystone one is a false positive, as the image defaults to the root
user in order to be able to run apache. Still, it is better to be
consistent here and specify the root user nonetheless.

Change-Id: Ib0ff9748d5406f507261e506c19b96750b10e846
Closes-Bug: #1697917

Fix typo in config_volume

Change-Id: I6a53a56c534f24cb514d8aeb8cec3d7865b93448

Bind mount needed cert for haproxy

haproxy needs the deployed SSL cert file to function when TLS is
enabled.

It is also required for the docker-puppet haproxy container since the
haproxy puppet module uses a validate_cmd to check the generated config
file is valid that fails when the required SSL cert is not present.
There is no clean way to disable this feature [1] so we need to bind
mount the cert into the container.

[1] https://github.com/puppetlabs/puppetlabs-haproxy/blob/4753ea5b2506ee093e9b4c8af6e91201d476d426/manifests/config.pp#L53-L57

Change-Id: Id2df144b678769def204961236624091d4e5c457

Allow volumes in puppet_config containers spec

Mounting host volumes when running containers via puppet_config already
works and is supported with docker-puppet.py. However, the validation in
yaml-validate.py does not allow it. This patch makes it allowed by the
validation.

It is sometimes necessary since some puppet modules expect to make
persistent file system changes other than just configuration data under
/etc.

In particular, ironic inspector expects to configure a http and tftp
root director with an ipxe configuration. See:
https://github.com/openstack/puppet-ironic/blob/master/manifests/inspector.pp
These changes would be lost if the value for those directories are not
mounted as host volumes.

Change-Id: Ie51c653f4c666fbaaef0ea80990e2e61f4b1353b

Merge "Add missing xinetd/rsync container for Swift"

Merge "Add detach to docker-toool"

Merge "Add README to ci/environments directory"

Merge "Add release note for generated sample environments"

Merge "Remove ceilometer upgrade from other ceilometer containers"

Merge "Add heat parameter for all of config_volume images"

cisco nexus: keep OVS on the Compute

The Cisco Nexus-UCSM environment relies on OVS for the communication
with compute nodes. This is a partial revert of
I4c98008107568b3b65decd7640e25c7d2b1ea9ff.

Change-Id: I453d4bc83314a76fd779884fb2f8cd1731d2bcaa
Related-Bug: #1687597

Add stack_name/ctlplane_service_ips into post-upgrade.j2.yaml

Upgrades are broken because this was missed from
I36a642fbc2076ad9e4a10ffc56d6d16f3ed6f27a and
Ia619ab935c66081769e69c53d1ca41925d86abbb

Change-Id: I96590e2219df64b94dfecd91d5e25231fc7e514b
Related-Bug: #1700755

Force mtime for tar used in container config md5sums

The checksum is changing each run because the mtime is different, so force
a specific date such that we only compare the directory contents.

Change-Id: I5ed2b50176f902d7af12b96e650b67b736d59a4a

Make ceilometer crontab removal idempotent

When we re-execute an upgrade and the crontab has already been
removed, the crontab removal returns 1, saying "no crontab for
ceilometer", and the upgrade fails. This change makes the removal
idempotent.

Change-Id: Ic955fb67bb2f7afde44291f7db3293c88f167566
Closes-Bug: #1701250

scenario001: containerize services for CI

Change-Id: I4308032891f0f9f5e93159f4a7ca29dada5850be

Merge "Enable nova-api to run over httpd again"

Add missing tags in iscsid upgrade_tasks

The stat resources weren't executed in step2, and Ansible failed on
them being undefined.

Change-Id: I93621dd80d97be597eff6b8913ae9d7b2810f837
Closes-Bug: #1701221

Install ansible-pacemaker on O->P upgrade

This has been omitted in Ocata image, so we need to install this in
O->P upgrade again. Change Ic8ce72133c47a4c90d581a0925213877b11a471e
adds it to the image, so that we can stop installing it on P->Q
upgrade, and start using it for minor updates too.

Change-Id: I893792e8d82c716b2f3e7b8878b25ba89ea724f1
Co-Authored-By: Marius Cornea <mcornea@redhat.com>
Partial-Bug: #1701208

Add ServerIdMap output

This exposes the nova server IDs for each role, and the bootstrap node
so that we can add this data to the tripleo dynamic ansible inventory

Change-Id: I2fc48eec77210805c0139fa4abcbf4dd721e7c37

Merge "Default docker-puppet.py logging to INFO"

Merge "Disable swift middleware ceilometer pipeline by default"

Make NeutronEnableDVR parameter consistent

Change-Id: I4bc74ccfa9bd143b203dd9ad97dacddf56949727
Partial-Bug: 1700664

Make Rabbit parameters consistent

The Qdr service appears to have hijacked these parameters for its
own use.  I don't think it should have done that in the first place,
but at least the parameter descriptions need to be kept consistent
with the other services.

Partial-Bug: 1700664
Change-Id: I6d9a075a99f33e9deacaf5b10a6ea7b0a234b942

Make CephValidationDelay/Retries default consistent

Also fix one instance of ManagementIpSubnet that was missing a
description.

Change-Id: I7c5b31d9ef464cefee1dd6ae7ebb9c017cbbd894
Partial-Bug: 1700664

Remove ceilometer upgrade from other ceilometer containers

Lets just run the ceilometer upgrade once in central agent container

Change-Id: If5e5ca6122f8583c6221bc6b343e483e41f04d29
Closes-bug: #1700056

Enable nova-api to run over httpd again

This is needed for TLS everywhere.

Change-Id: Iac35b7ddcd8a800901548c75ca8d5083ad17e4d3
Depends-On: I426bfdb9e6c852eb32d10a12e521bb8b47701c41

Default docker-puppet.py logging to INFO

If you want debug logging you can set the new DockerPuppetDebug
heat parameter to 'True'.

Change-Id: Iae7bb67379351ea15d61c331867d7005f07ba98e
Closes-bug: 1700570

Disable swift middleware ceilometer pipeline by default

This generates tons of unnecessary events when gnocchi uses swift backend.
We end up filtering most of these anyway. So lets disable this so it
doesn't put useless load. Also changing the default project to service as
thats what gnocchi uses to authenticate with swift.

Closes-bug: #1693339

Change-Id: I40f47d46fdb06f31a739b590bf653bca71e33f61

Add missing xinetd/rsync container for Swift

Swift object replication relies on the rsync server, which is run by
xinetd. This patch adds the missing container and configuration. Note
that xinetd needs bind to a privileged port (873) and has to be started
as root therefore.

Change-Id: I7655c9dd116c0130035d8a2fae81148171ae6448

Add heat parameter for all of config_volume images

This commit consistently defines a heat template parameter in the form
of DockerXXXConfigImage where XXX represents the name of the
config_volume that is used by docker-puppet.

The goal is to mitigate hard to debug errors where the templates would
set different defaults for the image docker-puppet.py uses to run, for
the same config_volume name.

This fixes a couple of inconsistencies on the way.

Change-Id: I212020a76622a03521385a6cae4ce73e51ce5b6b
Closes-Bug: #1699791

Add ctlplane_service_ips param to upgrade steps

Upgrades were broken because of this missing parameter.

Change-Id: Ia88a9833ab8aa26ccc40ee235b8554c9a7fbd22d
Closes-Bug: #1700923

Merge "Add docker templates for octavia services"

Merge "Add Ceph configuration with PoolDefaultSize 1"

Merge "Allow stack_name into major_upgrade_steps.yaml"

Merge "Add validation check for divergent parameter definitions"

Add README to ci/environments directory

Let's be clear that the contents of this directory are for ci use
only and should not be used in production.

Change-Id: I3b448b9922c207b29cbdae36ee876368bda23dac

Add Ceph configuration with PoolDefaultSize 1

Add Ceph pool size configuration for CI where PoolDefaultSize is 1

Change-Id: I626d1398e31c3fcb9f100a8b185d71ba5909034a

Merge "Add non-ha env file."

Merge "Adds service for OVS and enables ODL DPDK deployments"

Re-enable default for RoleParameters

I471037de35e7f349d900462ec3ffb16fe2d6ebd9 accidentally removed the
default from the RoleParameters parameter.  This change just puts
it back.

Change-Id: I29b472897e07229715fc2fea3b55e90473eb0069

Make *AdminStateUp parameters consistent

Change-Id: I1849663744dc1ce9aba8067201c03090796df8bb
Partial-Bug: 1700664

Make NovaWorkers descriptions consistent

Partial-Bug: 1700664
Change-Id: I12ee7ab825069c1741438499f8df835014afc37f

Add validation check for divergent parameter definitions

Many of our parameters are defined in multiple templates, but
currently there is no easy way of checking that all of those
definitions match.  It can be confusing when a parameter is defined
one way in one file and another way in a different file.  For example,
the NovaWorkers description is:

Number of workers for Nova API service.

and

Number of workers for Nova Placement API service.

and

Number of workers for Nova Conductor service.

Which is it actually?  All of them.  That one parameter controls
the workers for all of the nova services, and its description should
reflect that, no matter which template you happen to look at.

This change adds a check to yaml-validate.py to catch these sorts of
inconsistencies and allow us to eventually prevent new ones from
getting into the templates.

An exclusion mechanism is included because there are some parameter
definitions we probably can't/shouldn't change.  In particular, this
includes the network cidrs which are defaulted to ipv4 addresses in
the ipv4 net-iso templates and ipv6 in the ipv6 templates.  It's
possible a user would be relying on one of those defaults in their
configuration, so if we change it they might break.

To get around that, the tool explicitly ignores the default field of
those parameters, while still checking the description and type fields
so we maintain some sanity.  There may be other parameters where this
is an issue, but those can be added later as they are found.

For the moment any inconsistencies are soft-fails.  A failure message
will be printed, but the return value will not be affected so we can
add the tool without first having to fix every divergent parameter
definition in tripleo-heat-templates (and there appear to be plenty).
This will allow us to gradually fix the parameters over time, and
once that is done we can make this a hard-fail.

Change-Id: Ib8b2cb5e610022d2bbcec9f2e2d30d9a7c2be511
Partial-Bug: 1700664

Allow stack_name into major_upgrade_steps.yaml

On upgrade we map PostDeploySteps to a different implementation
which we missed to update in I36a642fbc2076ad9e4a10ffc56d6d16f3ed6f27a

Change-Id: Ia619ab935c66081769e69c53d1ca41925d86abbb
Closes-Bug: #1700755

Merge "Provides a list of per-service ctlplane IPs to the workflows env"

Merge "Add flag to enable/disable the HAProxy stats interface"

Merge "Allows use of Mistral workflows during deployment steps"

Merge "Enable DPDK on boot using PreNetworkConfig"

Merge "Add VipMap output"

Merge "Add split-stack environments"

Merge "Add DeploymentSwiftDataMap parameter"

Merge "Add os-collect-config data as an output"

Merge "Fix descriptions on bonding templates"

Provides a list of per-service ctlplane IPs to the workflows env

Adds in the execution environment of the workflow steps a list of
per-service network IPs. This can be used by the workflows to
execute actions against the nodes hosting a given service.

Change-Id: Id7c735d53f04f6ad848b2f9f1adaa3c84ecd2fcd
Implements: blueprint tripleo-ceph-ansible

Allows use of Mistral workflows during deployment steps

Introduces a general mechanism meant to allow for the execution
of workflows during the deployment steps.

Services can define workflow actions to be triggered during a step
in the newly added service_workflow_tasks section. The syntax is:

  service_workflow_tasks:
    step2:
      - name: my_action_name
        action: std.echo
        input:
          output: 'hello world'

Implements: blueprint tripleo-ceph-ansible
Depends-On: If02799e7457ca017cc119317dfb2db7198a3559f
Depends-On: Ibc5707f9f06266fe84ad1dd91dcb984157871d30
Change-Id: I36a642fbc2076ad9e4a10ffc56d6d16f3ed6f27a

Add non-ha env file.

This environment file will be used to
deploy an Overcloud without the use
of pacemaker.

Change-Id: I3a486d22b30ffdb6053b3d917dea373c1361df81

Merge "Make sensu-client log to file"

Add docker templates for octavia services

Depends-On: I270f3f6879737fc29370165e4a8fa8c9c19fffb3
Depends-On: I3a169e3321a26ee373ab873426a2d58acbcfe1bd
Closes-Bug: #1668932

Co-Authored-By: Or Idgar <oidgar@redhat.com>
Co-Authored-By: Brent Eagles <beagles@redhat.com>
Co-Authored-By: Martin André <m.andre@redhat.com>
Change-Id: I211707072bb0e4ac4aa48e9bbaccb7530f3de0ca

Add flag to enable/disable the HAProxy stats interface

This was made configurable in a recent commit [1] So this flag makes it
easier for deployers to use that functionality.

[1] Ic68266eaf39d6803f7c3e299095578bbcfd63b88

Change-Id: Iffff20dcda53bc7237586dd240e581bcb0282844

Merge "Containerize Cinder-backup for HA"

Temporarily disable containerized cinder

The containerized cinder service was merged a bit too soon and it
caused several issues in CI. Disable it temporarily to unblock CI until
it matures.

Change-Id: I8c6c0ce0011fddfec1e2de798d4fc6f34ae78de2
Related-Bug: #1700333

Merge "Replace hardcoded 'br-ex' with NeutronPhysicalBridge parameter."

Merge "scenario004: containerize services for CI"

Merge "Fix manila-api volumes list"

Merge "Enable periodic task to discover cell hosts when ironic is used"

Replace hardcoded 'br-ex' with NeutronPhysicalBridge parameter.

This change uses the NeutronPhysicalBridge parameter on all roles,
rather than hard-coding the "br-ex" name. Previously, there were
different parameters for controller and compute roles, but since
we use a unified bridge name with OVS, this is unnecessary.

Change-Id: I6d9189404fae67bcc33ddc2ba3ce1b0385dd989d
Closes-bug: 1669130

Merge "scenario002: containerize services for CI"

Merge "Fix rpms being installed via DeployArtifactURLs"

Merge "Fix roles dict object' has no attribute 'lower' error"

Enable periodic task to discover cell hosts when ironic is used

Starting with the Ocata release, bare metal nodes are no longer get recognized
by nova automatically. To avoid forcing users into running nova manage command
each time they enroll a node, we will have to allow enable the periodic task
to do so.

Change-Id: I8b0afac54dc9bd51dbe2ae4f237e4de50459be0f
Closes-Bug: #1697724

scenario004: containerize services for CI

Change-Id: I025ed07ce97132bce3fa7a15d170fc62e17e07a4

Fix manila-api volumes list

Change-Id: Idbbff1047fbc3f664e44131770ba2849ea9d51bc
Closes-Bug: #1700082

Merge "Configuration for containerized MySQL clients"

Adds service for OVS and enables ODL DPDK deployments

In order to deploy OpenDaylight with DPDK we need to copy the DPDK
config for OVS done in the neutron-ovs-dpdk service template, without
enabling OVS agent for compute nodes.  To do this correctly, we should
inherit and openvswitch service which is a common place to set OVS
configuration and parameters.  Note: vswitch::dpdk config will be called
in prenetwork setup with ovs_dpdk_config.yaml so there is no need to
include that in the step config for neutron-ovs-dpdk-agent service or
opendaylight-ovs-dpdk.

Changes Include:
 - Creates a common openvswitch service template, which in the future
   will migrate to be its own service.
 - Renames and fixes OVS DPDK configuration heat parameters in the
   openvswitch template.
 - neutron-ovs-dpdk-agent now inherits the common openvswitch template.
 - Adds opendaylight-ovs-dpdk template which also inherits common ovs
   template.
 - Uses OVS DPDK config script to allow configuring OVS DPDK in
   prenetwork config (before os-net-config runs).  This has an issue
   where hieradata is not present yet, so we have to redefine the heat
   parameters and pass them via bash.  In the future this should be
   corrected.
 - Adds opendaylight-dpdk environment file used to deploy an ODL + DPDK
   deployment.
 - Updates neutron-ovs-dpdk environment file.

Closes-Bug: 1656097
Partial-Bug: 1656096

Depends-On: I3227189691df85f265cf84bd4115d8d4c9f979f3

Change-Id: Ie80e38c2a9605d85cdf867a31b6888bfcae69e29
Signed-off-by: Tim Rozet <trozet@redhat.com>

Merge "Make collectd log to file"

scenario002: containerize services for CI

Change-Id: I9f9a9dcf1666b5b0475bc8fae5b785747480b7d6

Implement scenario006 with Ironic in overcloud

Add a scenario to test containerized baremetal to the tenant.

Change-Id: I760a42c4f71bc2659c609e0014da50a7ab959c1a

Enable DPDK on boot using PreNetworkConfig

DPDK has to be enabled on openvswitch on the boot before
configuring the network as when the network uses DPDK ports
OvS should be ready to handle DPDK. Enabled DPDK via
PreNetworkConfig by checking if ServiceNames contains
DPDK service.
Implements: blueprint ovs-2-6-dpdk
Closes-Bug: #1654975

Depends-On: I83a540336c01a696780621fb2b39486a6abf0917
Change-Id: I7af4534d91e67c94ba559b78b9ac6a001e639db3

Merge "Revert "Blacklist support for ExtraConfig""