Merge "Tolerate network errors in pingtest retry logic"

Merge "Drop ComputeServices from environments/docker.yaml"

Merge "Add support for running crontabs in containers"

Merge "Revert "Revert "Blacklist support for ExtraConfig"""

Merge "Run rsync for Swift without xinetd"

Merge "Allow to set Notification Driver to 'noop'"

Merge "Add DeployedServerEnvironmentOutput"

Merge "Add missing tags in iscsid upgrade_tasks"

Merge "Implement scenario006 with Ironic in overcloud"

Merge "Remove controller specific bootstack_nodeid"

Merge "Add dependency relationship between nested get_attr targets"

Merge "Bind mount needed cert for haproxy for HA too"

Drop ComputeServices from environments/docker.yaml

Change-Id: Ibfc568755764203b68aed524d6f334eeb7cd5da7
Closes-bug: #1703001

Add support for running crontabs in containers

This change enables the puppet cron resource in docker-puppet.py and adds user
crontabs to the paths copied from the config containers.

Only the nova crontab is configured for now. Other services will require
similar changes to run their crontabs.

Partial-Bug: 1701254

Change-Id: I2d1d0f0d77908a132472cf4bc475f8bd526af504
Depends-On: Ie16fb4539481a3c192cff8220a97daa4c70467fc

Merge "Remove ceilometer apache files on upgrade"

Run rsync for Swift without xinetd

The default in non-containerized environments is to run rsync within
xinetd for Red Hat-based deployments, however in an containerized
environment this is not really needed. Therefore run rsync directly
without being started by xinetd.

Change-Id: I08abd917eba08d1192437ddf96c71b06d099a3f8

Merge "Switch from oslosphinx to openstackdocstheme"

Allow to set Notification Driver to 'noop'

This patch does 2 things:
* Configure messagingv2 as default driver for Oslo Notifications sent on
  RPC.
* Allow users to choose between messagingv2 (default) and noop when we
  want to disable notifications (for example, when Telemetry is disabled).
* Deprecate KeystoneNotificationDriver in favor of NotificationDriver.

Change-Id: Ia547d7f4bfb51e7c45246b097b48fd86da231bd3
Related-Bug: #1701357

Add dependency relationship between nested get_attr targets

Starting with Pike, Heat will do attribute resolution in a single pass. A
consequence of this is that when the result of a get_attr is passed to
another get_attr call, there must be a dependency relationship between the
resources so that the inner attribute is resolved first before we try to
determine which attributes are required from the resource in the outer
call.

There are two uses of nested dep_attr in the overcloud template. One (which
hopefully can be removed soon) is in the allNodesConfig resource. In this
case, the {{primary_role_name}}IpListMap already depends on the
ServiceNetMap.

The second is in the KeystoneAdminVip output. This patch makes the VipMap
depend on the ServiceNetMap so that attributes can be resolved in a single
pass in that case.

Change-Id: I438a79748b9b408ec1101271d96c60d84028b57e

Remove controller specific bootstack_nodeid

This has been replaced for some time by bootstrap_nodeid which isn't
hard-coded to the Controller role.

Change-Id: I2c172de13646e5b88cb9930a93ca71fcc990e522
Depends-On: I0a9fced847caf344e5d26b452f1bd40afab8f029

Don't confuse Heat with empty parameter_defaults

Apparently providing completely empty parameter_defaults in an
environment file can confuse Heat, and it seems like it doesn't try to
deploy any services on the overcloud in the multinode job. See the bug
for more details about the bug symptoms.

Change-Id: Ia9cb01b48087b78f66004263757590877219f743
Closes-Bug: #1703599

Revert "Revert "Blacklist support for ExtraConfig""

There is a Heat patch posted (via Depends-On) that resolves the issue
that caused this to be reverted. This reverts the revert and we need to
make sure all the upgrades jobs pass before we merge this patch.

This reverts commit 69936229f4def703cd44ab164d8d1989c9fa37cb.
Closes-Bug: #1699463
implements blueprint disable-deployments

Change-Id: Iedf680fddfbfc020d301bec8837a0cb98d481eb5

Merge "Copy only generated puppet files into the container"

Add DeployedServerEnvironmentOutput

Add a new output, DeployedServerEnvionmentOutput, that can be used as
the contents of an environment file to input into a services only stack
when using split-stack. The parameter simplifies the manual steps needed
to deploy split-stack.

By default, the resource that generates the output is mapped to
OS::Heat::None.

implements blueprint split-stack-default
Change-Id: I6004cd3f56778f078a69a20e93a0eba0c574b3db

Merge "Modify generic role template to support custom networks"

Bind mount needed cert for haproxy for HA too

haproxy needs the deployed SSL cert file to function when TLS is
enabled.

It is also required for the docker-puppet haproxy container since the
haproxy puppet module uses a validate_cmd to check the generated config
file is valid that fails when the required SSL cert is not present.
There is no clean way to disable this feature [1] so we need to bind
mount the cert into the container.

This commit applies the same change that was applied in
Id2df144b678769def204961236624091d4e5c457 for the non-ha case.

[1] https://github.com/puppetlabs/puppetlabs-haproxy/blob/4753ea5b2506ee093e9b4c8af6e91201d476d426/manifests/config.pp#L53-L57

Change-Id: I93e1ee86197bcf271f18a62a27c2f350ed3966ea
Co-Authored-By: Damien Ciabrini <dciabrin@redhat.com>

Copy only generated puppet files into the container

This solves a problem with bind-mounts when the containers are holding
files descriptors open.

At the same time this makes the template more robust to puppet changes
since new config files will be available in the containers without
needing to update the templates.

Partial-Bug: #1698323
Change-Id: Ia4ad6d77387e3dc354cd131c2f9756939fb8f736

Disable network validation in multinode jobs

Sometimes the infracloud gateway refuses to ping even though
everything else is working fine.  Since we have coverage of this
functionality in the OVB jobs it should be safe to turn it off
here so it stops spuriously failing our jobs.

We can't just set the resource to OS::Heat::None because there
are other resources with dependencies on it.  Instead, this adds
a noop version of the validation software config that always
returns true.

Change-Id: I8361bc8be442b45c3ef6bdccdc53598fcb1d9540
Partial-Bug: 1680167

Merge "Add in roles data validation"

Merge "Rename CongressApi to Congress (docker)"

Merge "Create NIC templates for Neutron Networker composable role"

Merge "Add sample usage of StorageMgmt network for compute nodes"

Remove ceilometer apache files on upgrade

Ceilometer API runs under apache. Since this service is
deprecated and disabled in pike, we need to ensure the
apache files are removed during upgrade.

Change-Id: I0c0913e74396bd463f5a6da46f83512bab77b75e

Add in roles data validation

With the merging of Iad3e9b215c6f21ba761c8360bb7ed531e34520e6 the
roles_data.yaml should be generated with tripleoclient rather than
edited. This change adds in a pep8 task to verify that the appropriate
role files in roles/ have been modified to match how our default
roles_data.yaml is constructed.  Additionally this change adds a new tox
target called 'genrolesdata' that will all you to automatically generate
roles_data.yaml and roles_data_undercloud.yaml

Change-Id: I5eb15443a131a122d1a4abf6fc15a3ac3e15941b
Related-Blueprint: example-custom-role-environments

Rename CongressApi to Congress (docker)

Before it was Congress, let's stay consistent and stop using CongressApi
in Docker service, because we release.

Change-Id: Id939b3d70e185da4279f3860812fa5dce27d64dd

Switch from oslosphinx to openstackdocstheme

As part of the docs migration work[0] for Pike we need to switch to use the
openstackdocstheme.

[0] https://review.openstack.org/#/c/472275/

Change-Id: Ib2b6afb7075c68fecf1fbeaf650a31a7494af49f

Merge "Enable Neutron LBaaS Integration"

Merge "Update cinder-netapp-config environment"

Merge "Fix typo in roles/Networker.yaml"

Modify generic role template to support custom networks

Render all per-network resources and interfaces via j2 to enable
future support for custom networks via network_data.yaml

Note this doesn't enable custom networks for the built-in roles
as we skip j2 rendering for them, this will be resolved by converting
them to use the generic role template instead of the hard-coded
ones listed in the j2_excludes.yaml.

Depends-On: I18fa3829ff38ac200550d8e36bbe334c0005da22
Change-Id: I49565f9389f3ec9aef4861e23a3bed64a85501e6
Partially-Implements: blueprint composable-networks

Merge "Adds docker OpenDaylight"

Merge "Update NovaCompute to consume CephClientKey"

Merge "Bind mount needed cert for haproxy"

Merge "Allow volumes in puppet_config containers spec"

Merge "Convert role templates to consume roles_data map"

Merge "New environment file to configure containers."

Merge "Updated from global requirements"

Merge "Install ansible-pacemaker on O->P upgrade"

Updated from global requirements

Change-Id: I714ecad87a406bc237e3d4fdf88bc7e10555693c

Fix typo in roles/Networker.yaml

The captialization mismatch here means the role currently doesn't
work.

Change-Id: Iced5004f993f8c100268361d87580d922e47f983

Enable Neutron LBaaS Integration

Allows the configuration of the Neutron LBaaS agent.

Implements: blueprint lbaasv2-service-integration
Change-Id: Iae2bf7faeea93d5275994b2ee10f9bf863ed6152
Depends-On: Ieeb21fafd340fdfbaddbe7633946fe0f05c640c9

Convert role templates to consume roles_data map

Currently we only consume the name with a special-case
for the disable constraints boolean, but it will be more
flexible if we consume the whole roles_data mapping for
each role, so that e.g composable networks and other
per-role customizations can be expressed in these
templates

Partially-Implements: blueprint composable-networks
Depends-On: Id1249b78b3dd87e91d572ffa31b7a541f3cde2c7
Change-Id: I355534ec456479944f66106e957404a660d8f2d2

Merge "Make ceilometer crontab removal idempotent"

Adds docker OpenDaylight

Depends-On: I020550ede0ef981582392cf6c48dd5cb5823a074
Depends-On: I610b07a3c2bcf1c3288f76112a08b81c50e06913
Depends-On: I3d378044b3da5309b60967a12df7800520a254dc
Depends-On: I9c32b41ef865a09587f3ebfe8b8a896031fbd285
Depends-On: Ib31bf29bc69f5c58e98b99c3e598b19c99efc77f

Change-Id: I36c7390ddb4192e55ee56006fd6e9c5f8704445c
Signed-off-by: Tim Rozet <trozet@redhat.com>

Update NovaCompute to consume CephClientKey

It is not necessary to get the Ceph key issueing a get-key to the Ceph
cluster; this change provides the libvirt key via parameter instead.

Change-Id: Iff3dbcb0f1b4d2373570e184e636a71553cea708

Merge "Add ServerIdMap output"

Merge "adding --config-dir parameters to neutron containers"

Merge "Move glance::api::show_multiple_locations within GlanceApi"

adding --config-dir parameters to neutron containers

Change-Id: I521e89994e9be6efd335c5809810d9188dc1742f
Closes-Bug: #1684908

New environment file to configure containers.

This is part of a larger series that changes the interface used
for configuring which containers are used.  This needs CI and
possibly quickstart updates to use this environment file so CI
will continue to pass.

Change-Id: I125137ba45f608cf84ea0a7146edd744a549d23b
Co-Authored-By: Dan Prince <dprince@redhat.com>

Merge "Re-enable default for RoleParameters"

Merge "Fix typo in config_volume"

Merge "Make NovaWorkers descriptions consistent"

Merge "cisco nexus: keep OVS on the Compute"

Merge "Ensure boostrap_host_exec runs as root"

Merge "scenario001: containerize services for CI"

Merge "Add a docker-ha.yaml environment file for containerized HA deployments"

Tolerate network errors in pingtest retry logic

We use ping -w <deadline> -c <count>. This will ping every second until
<count> replies are received, or <deadline> is reached, or a network error occurs.

With the current retry logic a network error will result in a short tight loop
instead of waiting for the network to come up.

This change reduces the deadline to 10s, but sleeps 60s between retries.

Change-Id: Ib00cff6f843c04a00737b40e3ef3d1560d6e6d2d
Related-bug: #1680167

Merge "Force mtime for tar used in container config md5sums"

Merge "Add stack_name/ctlplane_service_ips into post-upgrade.j2.yaml"

Ensure boostrap_host_exec runs as root

This is necessary for accessing the bind mounted hieradata in the
container in order to determine if the node is the primary node.

With the new validation added to yaml-validate.py, we could spot
potential issues in sahara-api and keystone bootstrap tasks.

The keystone one is a false positive, as the image defaults to the root
user in order to be able to run apache. Still, it is better to be
consistent here and specify the root user nonetheless.

Change-Id: Ib0ff9748d5406f507261e506c19b96750b10e846
Closes-Bug: #1697917

Fix typo in config_volume

Change-Id: I6a53a56c534f24cb514d8aeb8cec3d7865b93448

Bind mount needed cert for haproxy

haproxy needs the deployed SSL cert file to function when TLS is
enabled.

It is also required for the docker-puppet haproxy container since the
haproxy puppet module uses a validate_cmd to check the generated config
file is valid that fails when the required SSL cert is not present.
There is no clean way to disable this feature [1] so we need to bind
mount the cert into the container.

[1] https://github.com/puppetlabs/puppetlabs-haproxy/blob/4753ea5b2506ee093e9b4c8af6e91201d476d426/manifests/config.pp#L53-L57

Change-Id: Id2df144b678769def204961236624091d4e5c457

Allow volumes in puppet_config containers spec

Mounting host volumes when running containers via puppet_config already
works and is supported with docker-puppet.py. However, the validation in
yaml-validate.py does not allow it. This patch makes it allowed by the
validation.

It is sometimes necessary since some puppet modules expect to make
persistent file system changes other than just configuration data under
/etc.

In particular, ironic inspector expects to configure a http and tftp
root director with an ipxe configuration. See:
https://github.com/openstack/puppet-ironic/blob/master/manifests/inspector.pp
These changes would be lost if the value for those directories are not
mounted as host volumes.

Change-Id: Ie51c653f4c666fbaaef0ea80990e2e61f4b1353b

Merge "Add missing xinetd/rsync container for Swift"

Merge "Add detach to docker-toool"

Merge "Add README to ci/environments directory"

Merge "Add release note for generated sample environments"

Merge "Remove ceilometer upgrade from other ceilometer containers"

Merge "Add heat parameter for all of config_volume images"

cisco nexus: keep OVS on the Compute

The Cisco Nexus-UCSM environment relies on OVS for the communication
with compute nodes. This is a partial revert of
I4c98008107568b3b65decd7640e25c7d2b1ea9ff.

Change-Id: I453d4bc83314a76fd779884fb2f8cd1731d2bcaa
Related-Bug: #1687597

Add stack_name/ctlplane_service_ips into post-upgrade.j2.yaml

Upgrades are broken because this was missed from
I36a642fbc2076ad9e4a10ffc56d6d16f3ed6f27a and
Ia619ab935c66081769e69c53d1ca41925d86abbb

Change-Id: I96590e2219df64b94dfecd91d5e25231fc7e514b
Related-Bug: #1700755

Force mtime for tar used in container config md5sums

The checksum is changing each run because the mtime is different, so force
a specific date such that we only compare the directory contents.

Change-Id: I5ed2b50176f902d7af12b96e650b67b736d59a4a

Make ceilometer crontab removal idempotent

When we re-execute an upgrade and the crontab has already been
removed, the crontab removal returns 1, saying "no crontab for
ceilometer", and the upgrade fails. This change makes the removal
idempotent.

Change-Id: Ic955fb67bb2f7afde44291f7db3293c88f167566
Closes-Bug: #1701250

scenario001: containerize services for CI

Change-Id: I4308032891f0f9f5e93159f4a7ca29dada5850be

Merge "Enable nova-api to run over httpd again"

Add missing tags in iscsid upgrade_tasks

The stat resources weren't executed in step2, and Ansible failed on
them being undefined.

Change-Id: I93621dd80d97be597eff6b8913ae9d7b2810f837
Closes-Bug: #1701221

Install ansible-pacemaker on O->P upgrade

This has been omitted in Ocata image, so we need to install this in
O->P upgrade again. Change Ic8ce72133c47a4c90d581a0925213877b11a471e
adds it to the image, so that we can stop installing it on P->Q
upgrade, and start using it for minor updates too.

Change-Id: I893792e8d82c716b2f3e7b8878b25ba89ea724f1
Co-Authored-By: Marius Cornea <mcornea@redhat.com>
Partial-Bug: #1701208

Add ServerIdMap output

This exposes the nova server IDs for each role, and the bootstrap node
so that we can add this data to the tripleo dynamic ansible inventory

Change-Id: I2fc48eec77210805c0139fa4abcbf4dd721e7c37

Merge "Default docker-puppet.py logging to INFO"

Merge "Disable swift middleware ceilometer pipeline by default"

Remove ceilometer upgrade from other ceilometer containers

Lets just run the ceilometer upgrade once in central agent container

Change-Id: If5e5ca6122f8583c6221bc6b343e483e41f04d29
Closes-bug: #1700056

Enable nova-api to run over httpd again

This is needed for TLS everywhere.

Change-Id: Iac35b7ddcd8a800901548c75ca8d5083ad17e4d3
Depends-On: I426bfdb9e6c852eb32d10a12e521bb8b47701c41

Default docker-puppet.py logging to INFO

If you want debug logging you can set the new DockerPuppetDebug
heat parameter to 'True'.

Change-Id: Iae7bb67379351ea15d61c331867d7005f07ba98e
Closes-bug: 1700570

Disable swift middleware ceilometer pipeline by default

This generates tons of unnecessary events when gnocchi uses swift backend.
We end up filtering most of these anyway. So lets disable this so it
doesn't put useless load. Also changing the default project to service as
thats what gnocchi uses to authenticate with swift.

Closes-bug: #1693339

Change-Id: I40f47d46fdb06f31a739b590bf653bca71e33f61

Add missing xinetd/rsync container for Swift

Swift object replication relies on the rsync server, which is run by
xinetd. This patch adds the missing container and configuration. Note
that xinetd needs bind to a privileged port (873) and has to be started
as root therefore.

Change-Id: I7655c9dd116c0130035d8a2fae81148171ae6448

Add heat parameter for all of config_volume images

This commit consistently defines a heat template parameter in the form
of DockerXXXConfigImage where XXX represents the name of the
config_volume that is used by docker-puppet.

The goal is to mitigate hard to debug errors where the templates would
set different defaults for the image docker-puppet.py uses to run, for
the same config_volume name.

This fixes a couple of inconsistencies on the way.

Change-Id: I212020a76622a03521385a6cae4ce73e51ce5b6b
Closes-Bug: #1699791

Add ctlplane_service_ips param to upgrade steps

Upgrades were broken because of this missing parameter.

Change-Id: Ia88a9833ab8aa26ccc40ee235b8554c9a7fbd22d
Closes-Bug: #1700923

Merge "Add docker templates for octavia services"

Merge "Add Ceph configuration with PoolDefaultSize 1"