Don't attempt to configure live migration

When configuring nova containers via puppet, the puppet class chain
includes a class for live migration, which configures live migration
aspects in nova and libvirt.

Some of the libvirt config parts try to notify Service[libvirt], but
that service definition is only included in nova-libvirt service, it's
not included in the control plan nova services. However, our hieradata
is currently global on the node, it's not per-service, which means even
though only nova-compute and nova-libvirt service set

  tripleo::profile::base::nova::manage_migration: true

this hiera setting is applied to all containers running puppet, most
notably the ones which configure nova control plane services. As a
result, configuration of nova control plane services failed, and in turn
the whole deployment failed.

This commit disables the libvirt part of live migration config until we
implement some better solution (e.g. hieradata separation between
different puppet containers, or move the libvirt config parts only to
nova-compute manifests in puppet-tripleo).

Change-Id: I0328406607d451e6bdce4d92c441c03648925fa7
Closes-Bug: #1684107

Merge "Remove root_template and root_environment from capabilities-map.yaml"

Merge "Introduce common CAs to be mounted to the containers"

Merge "Introduce common resources for docker templates"

Merge "Rework DOCKER_PUPPET_CONFIG validate tool"

Merge "Use underscore for Aodh and Gnocchi's container names"

Merge "Use tripleo profile for bigswitch agent"

Merge "Add migration SSH tunneling support"

Merge "SSH known_hosts config"

Merge "Run token flush cron job hourly by default"

Merge "Support for external swift proxy"

Merge "Fix nova-compute service name in upgrade steps"

Merge "Non-ha multinode environment for container upgrade job"

Merge "Add RoleNetIpMap output to overcloud.j2.yaml"

Run token flush cron job hourly by default

Running this job once a day has proven problematic for large
deployments as seen in the bug report. Setting it to run hourly
would be an improvement to the current situation, as the flushes
wouldn't need to process as much data.

Note that this only affects people using UUID as the token provider.

Change-Id: I462e4da2bfdbcba0403ecde5d613386938e2283a
Related-Bug: #1649616

Introduce common CAs to be mounted to the containers

When TLS is enabled, the containers need to trust the CAs that the
host trusts.

Change-Id: I0434b0ac10290970857cad3d1a89d00f5b054196

Introduce common resources for docker templates

This enables common resources that the docker templates might need.
The initial resource only is common volumes, and two volumes are
introduced (localtime and hosts).

Change-Id: Ic55af32803f9493a61f9b57aff849bfc6187d992

Support for external swift proxy

Users may have an external swift proxy already available (i.e. radosgw
from already existing ceph, or hardware appliance implementing swift
proxy). With this change user may specify an environment file that
registers the specified urls as endpoint for the object-store service.
The internal swift proxy is left as unconfigured.

Change-Id: I5e6f0a50f26d4296565f0433f720bfb40c5d2109
Depends-On: Ia568c3a5723d8bd8c2c37dbba094fc8a83b9d67e

Revert "Use httpd in Zaqar docker service"

This reverts commit 57a26486128982c9887edd02eb8897045215b10a.

Change-Id: I1bbe16a1a7a382ae0c898bd19cd64d3d49aa84c7
Closes-bug: #1683210

Add migration SSH tunneling support

This enables nova cold migration.

This also switches to SSH as the default transport for live-migration.
The tripleo-common mistral action that generates passwords supplies the
MigrationSshKey parameter that enables this.
The TCP transport is no longer used for live-migration and the firewall
port has been closed.

Change-Id: I4e55a987c93673796525988a2e4cc264a6b5c24f
Depends-On: I367757cbe8757d11943af7e41af620f9ce919a06
Depends-On: I9e7a1862911312ad942233ac8fc828f4e1be1dcf
Depends-On: Iac1763761c652bed637cb7cf85bc12347b5fe7ec

Merge "Allow for update after RHEL registration"

Rework DOCKER_PUPPET_CONFIG validate tool

* Split it to REQUIRED/OPTIONAL
* Move puppet_tags to OPTIONAL as it already has a
  default set of tags that need not to be repeated
  explicitly.

Change-Id: Ib70176f1edf61228771c983b0c3231fb7939a316
Signed-off-by: Bogdan Dobrelya <bdobreli@redhat.com>

Merge "Add name and description fields to plan-environment.yaml"

SSH known_hosts config

Fetch the host public keys from each node, combine them all and write to the
system-wide ssh known hosts. The alternative of disabling host key
 verification is vulnerable to a MITM attack.

Change-Id: Ib572b5910720b1991812256e68c975f7fbe2239c

Merge "Add tags to roles"

Merge "Use comma_delimited_list for token flush cron time settings"

Merge "Do not log errors on non-existing container"

Merge "Add Docker to services list in multinode CI environments"

Fix nova-compute service name in upgrade steps

Previously Ansible upgrade steps failed with: Could not find the
requested service nova-compute: cannot disable.

Change-Id: I14e8bc89aca0a3f7308d88488b431e23251cc043
Closes-Bug: #1682373

Use underscore for Aodh and Gnocchi's container names

The rest of the services are using underscores, so this helps
uniformity.

Change-Id: I4ce3cc76f430a19fa08c77b004b86ecad02119ae

Merge "Update Dell EMC Cinder back end services"

Merge "yum_update.sh - Use the yum parameter: check-update"

Merge "Add upgrade tasks for gnocchi container services"

Merge "Add IPv6 disable option"

Merge "Use httpd in Zaqar docker service"

Merge "Add composable role support for NetApp Cinder back end"

Add name and description fields to plan-environment.yaml

Change-Id: I99b96343742ee5c40d8786e26b2336427e225c82
Implements: blueprint update-plan-environment-yaml

Merge "Bind mount directories that contain the key/certs for keystone"

Merge "docker/all: Bind-mount OpenSSL CA bundle"

Merge "Change the directory for httpd certs/keys to be service-specific"

Add tags to roles

Prior to Ocata, the Controller role was hardcoded for various lookups.
When we switched to having the primary role name being dynamically
pulled from the roles_data.yaml using the first role as the primary
role as part of I36df7fa86c2ff40026d59f02248af529a4a81861, it
introduced a regression for folks who had previously been using
a custom roles file without the Controller being listed first.

Instead of relying on the position of the role in the roles data, this
change adds the concepts of tags to the role data that can be used when
looking for specific functionality within the deployment process. If
no roles are specified with this the tags indicating a 'primary'
'controller', it will fall back to using  the first role listed in the
roles data as the primary role.

Change-Id: Id3377e7d7dcc88ba9a61ca9ef1fb669949714f65
Closes-Bug: #1677374

Non-ha multinode environment for container upgrade job

Non-working containers upgrade CI is caused by the fact that all
multinode jobs deploy pacemaker environments.

Currently we cannot upgrade Pacemakerized deployments
anyway (containerization of pacemakerized services is WIP), upgrades
have only been tested with non-Pacemaker deployments so far.

We need a new environment which will not try deploying in a
pacemakerized way. When pacemaker-managed services are containerized, we
can change the job to upgrade an HA deployment (or single-node "HA" at
least), and perhaps even get rid of the environment file introduced
here, and reuse multinode.yaml.

Change-Id: Ie635b1b3a0b91ed5305f38d3c76f6a961efc1d30
Closes-Bug: #1682051

Use comma_delimited_list for token flush cron time settings

This allows us to better configure these parametes, e.g. we could set
the cron job to run more times per day, and not just one.

Change-Id: I0a151808804809c0742bcfa8ac876e22f5ce5570
Closes-Bug: #1682097

Bind mount directories that contain the key/certs for keystone

This is only done when TLS-everywhere is enabled, and depends on those
directories being exclusive for services that run over httpd. Which is
the commit this is on top of.

Also, an environment file was added that's similar to
environments/docker.yaml. The difference is that this one will contain
the services that can run containerized with TLS-everywhere. This file
will be updated as more services get support for this.

bp tls-via-certmonger-containers

Change-Id: I87bf59f2c33de6cf2d4ce0679a5e0e22bc24bf78

docker/all: Bind-mount OpenSSL CA bundle

The containers also need to trust the CA's that the overcloud node
trusts, else we'll get SSL verification failures.

bp tls-via-certmonger-containers

Change-Id: I7d3412a6273777712db2c90522e365c413567c49

Merge "Grouped all the Operational tools"

Merge "Add missing name properties on deloyment resources"

Add RoleNetIpMap output to overcloud.j2.yaml

To enable easier detection of the IPs associated with nodes (such
as to enable the tripleo-validations ansible inventory to work with
custom roles more easily) expose the data we already have about the
nodes/roles and the list of IPs for each network.

Change-Id: I5667a142f47fbff120c703bedadd8b6e163c9480

docker: use noop_resource for Nova_cell_v2

Per puppet-nova commit 2c743a6bff5b17a85d1e0500f3a9ecb21468204e
there is now a custom resource for Nova_cell_v2 configuration.
As this resource runs automatically regardless of our use
of puppet tags we need to explicitly disable it to be able to
generate Nova API configs for docker.

Change-Id: Id675dc124464acddc3fc5a88b017a351e93ba685
Closes-bug: #1681841

Change the directory for httpd certs/keys to be service-specific

This moves the directories containing the certs/keys for httpd one step
further inside the hierarchy. This way we will be able to bind-mount
this certificate into the container without bind-mounting any other
certs/keys from other services.

bp tls-via-certmonger-containers

Change-Id: Ibe6e66ae4589b9eab7db330dd8b178e0f8775639
Depends-On: I0b71902358b754fa8bd7fdbb213479503c87aa46

Merge "Decouple Swift ringbuilding logic"

Add Docker to services list in multinode CI environments

We need the service to be present to run jobs involving containers. Note
that this is effectively a no-op for the current CI jobs, as by default
the Docker service is mapped to OS::Heat::None. Docker will actually be
deployed only if environments/docker.yaml is included in the deploy
command.

Change-Id: I97a35e30e428ff64feeb411bf63dbb7aa54f9829

Do not log errors on non-existing container

This is cluttering up the logs with useless error messages, making it
more difficult than necessary to debug the CI job.

Change-Id: Icbdc4c74d99fea39b8722955dab56e5f538849aa

Add IPv6 disable option

This will give user the ability to set these values,
if IPv6 is not to be used, it's recommended that it be
disabled to reduce the attack surface of the system.

Change-Id: Ib3142cce49b93a421ca142a59961ce49a77e66b1
Co-Authored-By: Luke Hinds <lhinds@redhat.com>
Signed-off-by: zshi <zshi@redhat.com>

Merge "Replace references to the 192.0.2 network"

Merge "Add BGPVPN services to scenario004"

Merge "metadatahook: Use coalesce to handle null values"

Update Dell EMC Cinder back end services

Add services for Dell EMC Cinder back ends to the resource registry
and to the Controller role (defaulting to OS::Heat::None).

Closes-Bug: #1681497
Change-Id: I694fd7738abd3601851bdcd38e3633607ce6152c

Add composable role support for NetApp Cinder back end

Convert NetApp Cinder back end to support composable roles via new
"CinderBackendNetApp" service.

Closes-Bug: #1680568
Change-Id: Ia3a78a48c32997c9d3cbe1629c2043cfc5249e1c

Merge "Remove yaql call when building logging_groups"

Add upgrade tasks for gnocchi container services

Change-Id: I43c35bbf959e5dcdd7e87a8f6a604d5fe5b4f2a9

Merge "sensu: fix upgrade case when service is added"

Replace references to the 192.0.2 network

Following change I1393d65ffb20b1396ff068def237418958ed3289 the ctlplane
network will be 192.168.24 by default and not 192.0.2 anymore.

This change removes old references left to 192.0.2 network from the
overcloud templates.

Change-Id: I1986721d339887741038b6cd050a46171a4d8022

Merge "Timeout early on pcs cluster status check0 during upgrade."

metadatahook: Use coalesce to handle null values

This uses the coalesce function to take null values into account, else
these resources will fail validation.

Change-Id: Iaf4218dd731826f80b76ff8f7a902adc8c865be5
Closes-Bug: #1681332

Remove yaql call when building logging_groups

yaql calls are fairly expensive. Let's try to not nest them when we can
avoid it.

Change-Id: I5e7dbc42be625bbfe7989867794a67ebae08687d

Decouple Swift ringbuilding logic

This reverts commit b323f8a16035549d84cdec4718380bde3d23d6c3 and uses
the new logic in puppet-tripleo (see Ifd6fa5b398d98e8998630ea0c9a2ce9867ceba2b
), basically doing the same.

Closes-Bug: 1665641
Change-Id: Ib5cb0578be2993af0a0b8675005d838640bdb139

Merge "Avoid awk error in hosts-config.sh for large deployments"

Merge "Prepare 7.0.0.0b1 (pike-1)"

Merge "Update ceph-rgw acccepted roles to fix OSP upgrade"

Prepare 7.0.0.0b1 (pike-1)

Change-Id: I93de22a4aa2d90966c24349e765475576947f2e0

Merge "Add Docker service to all roles"

sensu: fix upgrade case when service is added

When service is added during an upgrade, fix the ansible syntax
to use the right variable for return code.

Change-Id: I974699fb8b0dcbe5ffa6935c394df4ac8e7b21d4

Timeout early on pcs cluster status check0 during upgrade.

There is a windows for the pcs cluster status to hang forever[1].  We
add a timeout during check0 to avoid this situation.  2 minutes should
be more than enought to get all the pcsd nodes to reply.

[1] https://bugzilla.redhat.com/show_bug.cgi?id=1292858

Closes-Bug: #1680477

Change-Id: Icb3dc76e031a3d4f26294f37d169f2f61d30973e

Merge "Add password to authtoken section in congress.conf"

Merge "Add support for "neutron" Ironic networking plugin"

Allow for update after RHEL registration

Adds the ability to perform a yum update after performing the RHEL
registration.

Change-Id: Id84d156cd28413309981d5943242292a3a6fa807
Partial-Bug: #1640894

Add Docker service to all roles

This will add the Docker service to all roles. Note that currently by
default the Docker service is mapped to OS::Heat::None by default. It
will only be deployed if environments/docker.yaml file is included in
the deployment.

Change-Id: I9d8348b7b6576b94c872781bc89fecb42075cde0
Related-Bug: #1680395

Merge "ovn: Add missing configurations required"

Avoid awk error in hosts-config.sh for large deployments

This ports the fixes made to the legacy 51-hosts script, which this
script is derived from, to tht.

See related t-i-e patch Ibe0a9f6ec10d55750e3b0e16301236141f988d69

Change-Id: Ide922af93a5d185bd592e220327326f1d244c4e2
Closes-Bug: #1674732

Add password to authtoken section in congress.conf

Current puppet module miss password section hence congress is not
available due to missing password in congress.conf. This fix is to
add password.

Change-Id: I277c03ca93130a0337d5085f09c375fb0ac9331d
Signed-off-by: Tomofumi Hayashi <s1061123@gmail.com>

Add BGPVPN services to scenario004

This submission will enable the BGPVPN API
on scenario004.

This addition to scenario004 does not
provide any sanity check for the Neutron API
extension. At this stage is meant to
install the required packages and prerequisites,
configure the extension and
having the services started correctly.

In the README.rst file, this is displayed as
neutron-bgpvpn, so for further integrations
should be added as neutron-<extension_name>
for an easier reading.

Depends-On: I4d0617b0d7801426ea6827e70f5f31f10bbcc038
Depends-On: I2be0fab671ec1a804d029afc6dc27d19a193b064
Change-Id: I6c257417a9231c44e13535bc408d67d2a3cacbf8

Merge "Fix conntrack proto sctp module"

Merge "Adds Horizon secure cookie map."

Merge "Fixing acronym for BGPVPN composable service"

Merge "Add trigger to setup a LDAP backend as keystone domaine"

Merge "Adds service for managing securetty"

Merge "Use the local collector to bootstrap deployed servers"

Fix conntrack proto sctp module

ip_conntrack_proto_sctp is the old name for the module and it is now
nf_conntrack_proto_sctp. In order for the kmod module to not keep trying
to modprobe the module, we need to use the correct name.

Change-Id: Ieaed235e71e9e6e41a46d9be0e02beb8f4341b1a
Closes-Bug: #1680579

Merge "Disable ceilometer API"

Merge "Use kolla api to set ownership"

Merge "Don't disable satellite repo after registration"

Adds service for managing securetty

This adds the ability to manage the securetty file.

By allowing management of securetty, operators can limit root
console access and improve security through hardening.

Change-Id: I0767c9529b40a721ebce1eadc2dea263e0a5d4d7
Partial-Bug: #1665042
Depends-On: Ic4647fb823bd112648c5b8d102913baa8b4dac1c

Merge "docker-puppet.py fail if any worker fails"

Merge "Add manual ovs upgrade script for workaround ovs upgrade issue"

Merge "Enforce upgrade_batch_tasks before upgrade_tasks order"

Merge "add configurable timeouts for DB sync"

Merge "Remove "Core" Service from the CI Environment file"

Merge "Add network sysctl tweaks for security"

Merge "Add monitoring agents deployment to CI"