Fix redis container

The puppet-redis module makes use of the exec puppet tag to copy the
/etc/redis.conf.puppet file to /etc/redis.conf. We need to explicitly
enable it otherwise our redis container will pick up the default redis
configuration and not the one that was generated with puppet.

Also creates the /var/run/redis directory on the host since we bind
mount /run, and ensure the container sets the correct ownership on the
directory.

Finally, configure redis to not daemonize otherwise the container ends
up in a restart loop.

Change-Id: Ia1dce2120ca7479eef8bc77dedf9431adbe210cc
Closes-Bug: #1686707

Merge "Containerize Redis service"

Merge "Fix dependencies for PreConfig/PostConfig resources"

Merge "Enable internal network TLS for etcd"

Merge "Updated from global requirements"

Merge "Containerize etcd service"

Fix dependencies for PreConfig/PostConfig resources

We have a circular dependency errror since

https://review.openstack.org/#/c/452734/ landed.

This adjusts the dependencies to ensure we run pre-config before
the first puppet deploy step, and removes the duplicate declaration
of the ControllerPostConfig resource.  Also we ensure the first
container step always depends on the same step puppet deploy.

Change-Id: I70c5a39fb36b951bdeb04c15bddac7d00eebf08a
Closes-Bug: #1686098

Deploy ceilometer_auth_enabled to node containing keystone

This hiera key is used by keystone to create the ceilometer service
user. It works in CI cause keystone and the ceilometer services are in
the same node. However, this fails if keystone is deployed on a separate
note.

We should only deploy it in the nodes containing the keystone service
since it's only relevant to create the service user.

Change-Id: Ic0f02fe9a78a1fe14ac2b87197692fbd80c003b8
Closes-Bug: #1685828

Merge "Disable Manila CephFS snapshots by default"

Merge "Add initial support for NSX plugin"

Updated from global requirements

Change-Id: I8dabf83907b2e50f6611f1ef93702b6bd5ac5e19

Merge "Merge pre|post puppet resources into pre|post config."

Merge "Fix containerized RabbitMQ service deployment"

Containerize etcd service

Depends-On: I3ad463217ed3f2d6374627248236b274cfed72fb
Depends-On: If4b01934a9a5cb6ca2ff6c1831e4fe073f1b04ea
Closes-bug: #1668938

Change-Id: I6cb902d712849bf11f331ed776cd0ed6e200dcd9
Signed-off-by: Bogdan Dobrelya <bdobreli@redhat.com>

Merge "Don't attempt to configure live migration"

Merge "Run Zaqar with httpd in puppet service"

Merge "Remove no longer used environment files - older upgrade workflows"

Merge pre|post puppet resources into pre|post config.

The [Pre|Post]Puppet resources were renamed in
https://review.openstack.org/#/c/365763.
This was intended for having a pre/post deployment
steps using an agnostic name instead of
being attached to a technology.

The renaming was unintentionally reverted in
https://review.openstack.org/#/c/393644/ and
https://review.openstack.org/#/c/434451.

This submission merge both resources into one,
and remove the old pre|post hooks.

Closes-bug: #1669756
Change-Id: Ic9d97f172efd2db74255363679b60f1d2dc4e064

Fix containerized RabbitMQ service deployment

* Use default puppet tags instead of the 'file' tag only
* Noop user/policy providers for puppet_config docker step
  and move them into docker_puppet_tasks (init container)

Change-Id: I98a54808aae6fca060b23f074b71178f2d4c815e
Closes-bug: #1684138
Signed-off-by: Bogdan Dobrelya <bdobreli@redhat.com>

Merge "Allow configuring enabled hardware types for Ironic"

Merge "Containers: disable downloading rabbitmqadmin"

Merge "Replace six.iteritems() with .items()"

Merge "Increase documentation about parameters"

Containerize Redis service

Closes-bug: #1668919

Change-Id: Ie750caa34c6fa22ca6eae6834b9ca20e15d97f7f

Merge "Add service config settings to agent services"

Merge "scenario001/pingtest: enable Gnocchi resource again"

Remove no longer used environment files - older upgrade workflows

In I7831d20eae6ab9668a919b451301fe669e2b1346 we removed some of
the old upgrades but left the environment files removed here.

Change-Id: Ib3eca5687285b280832d19b647c3b4aa3d9ac36d

Don't attempt to configure live migration

When configuring nova containers via puppet, the puppet class chain
includes a class for live migration, which configures live migration
aspects in nova and libvirt.

Some of the libvirt config parts try to notify Service[libvirt], but
that service definition is only included in nova-libvirt service, it's
not included in the control plan nova services. However, our hieradata
is currently global on the node, it's not per-service, which means even
though only nova-compute and nova-libvirt service set

  tripleo::profile::base::nova::manage_migration: true

this hiera setting is applied to all containers running puppet, most
notably the ones which configure nova control plane services. As a
result, configuration of nova control plane services failed, and in turn
the whole deployment failed.

This commit disables the libvirt part of live migration config until we
implement some better solution (e.g. hieradata separation between
different puppet containers, or move the libvirt config parts only to
nova-compute manifests in puppet-tripleo).

Change-Id: I0328406607d451e6bdce4d92c441c03648925fa7
Closes-Bug: #1684107

Merge "Use -net=host for docker-puppet.py config gen"

Merge "Add defaults for docker puppet tasks"

Merge "containers: TLS in the internal network for telemetry services"

Merge "glance: deploy services with Keystone v3 endpoints"

Merge "SSHD Service extensions"

Merge "Use conditionals for neutron and glance worker defaults"

Merge "Add network_data.yaml to encapsulate list of networks for j2"

Merge "Add environment to preselect only VIP IP addresses"

Merge "Add NeutronDnsDomain heat option, undercloud fix"

Merge "Add all hosts to HostsEntry output"

Merge "N->O Manual puppet commands have the right modulepath."

Add defaults for docker puppet tasks

Currently we're referencing some steps that don't exist in the
output from the OS::Heat::Value resource, but as noted in the heat
bug #1681749 I think this isn't valid and probably should not be
allowed, so instead merge defaults with the non-empty step
tasks. To avoid further duplication of the loop variables, I
made the max step a variable.

Change-Id: Icf3d639b53c97006a0c370c12600449fba6f3323
Related-Bug: #1681749

N->O Manual puppet commands have the right modulepath.

In two places during upgrade we manually trigger puppet.

There can be a problem when new puppet modules are added, and their
corresponding symlinks in /etc/puppet/modules are not created during
the installation as their are installed in
/usr/share/openstack-puppet/modules.  To prevent the issue tripleo set
modulepath in the templates.

We must use the same modulepath to make sure that we don't fail
because of missing module in the manual puppet run.

This particulary happens when you upgrade from M->N->O, as the base
image in Mitaka doesn't have the proper symlinks and they are not
created during the installation of the package.

Closes-Bug: #1684587

Change-Id: I79df6ea33f1c58e13309176a6de41b7572541fd6

Merge "TLS-everywhere: Enable for TLS libvirt live migration"

Run Zaqar with httpd in puppet service

This switches Zaqar to run with httpd when configured by puppet.

Change-Id: I69b923dd76a60e9ec786cae886c137ba572ec906

Merge "N->O upgrade, fix wrong parameters to nova placement."

Merge "Pluggable server type per Role"

glance: deploy services with Keystone v3 endpoints

* Switch auth_uri to point to Keystone versionless endpoint.
* Switch Swift auth url to use Keystone versionless endpoint and
  Keystone v3 API.

Co-Authored-By: Juan Antonio Osorio Robles <jaosorior@redhat.com>
Change-Id: I78cdd2286b5a5094f36d4f3c7c58340745664449
Partial-blueprint: keystone-v3

Merge "Remove root_template and root_environment from capabilities-map.yaml"

SSHD Service extensions

This change implements a MOTD message and provides a hash of
sshd config options which are sourced to the puppet-ssh module
as a hash.

The SSHD puppet service is enabled by default, as it is
required for Idb56acd1e1ecb5a5fd4d942969be428cc9cbe293.
Also added the service to the CI roles.

Change-Id: Ie2e01d93082509b8ede37297067eab03bb1ab06e
Depends-On: I1d09530d69e42c0c36311789166554a889e46556
Closes-Bug: #1668543
Co-Authored-By: Oliver Walsh <owalsh@redhat.com>

Containers: disable downloading rabbitmqadmin

There's no need for puppet to download rabbitmqadmin script from
rabbitmq, as the script would be immediately deleted together with the
ephemeral puppet container. Also, since rabbitmq isn't running at the
time we run the puppet container (rabbitmq doesn't have config files
generated at that point), puppet couldn't connect to rabbitmq anyway.

Change-Id: Ia59e1013c24ab02037246135024418cc9b674606
Closes-Bug: #1684104

N->O upgrade, fix wrong parameters to nova placement.

According to [1] we need os_region_name, not region_name.  Furthermore
the os_interface is configured as well.  The hard check on this
parameter was introduced in ocata[2], explaining why the newton version
did not chock on it.

[1] https://docs.openstack.org/ocata/config-reference/compute/config-options.html
[2] https://github.com/openstack/nova/commit/d486315e0

Closes-Bug: #1684058
Change-Id: If6118bf03e832fe3fa5ea4fcb1b436afd2adf80a

containers: TLS in the internal network for telemetry services

This covers aodh, gnocchi and panko.

cp tls-via-certmonger-containers

Change-Id: I6dabb0d82755c28b8940c0baab0e23cfcc587c42

Merge "Introduce common CAs to be mounted to the containers"

Merge "Introduce common resources for docker templates"

Merge "Rework DOCKER_PUPPET_CONFIG validate tool"

TLS-everywhere: Enable for TLS libvirt live migration

This relies on using the default paths for certs/keys used by libvirt
and is only enabled if TLS-everywhere is enabled.

bp tls-via-certmonger
Depends-On: If18206d89460f6660a81aabc4ff8b97f1f99bba7
Depends-On: I0a1684397ebefaa8dc00237e0b7952e9296381fa
Change-Id: I0538bbdd54fd0b82518585f4f270b4be684f0ec4

Merge "Use underscore for Aodh and Gnocchi's container names"

Merge "Use tripleo profile for bigswitch agent"

Merge "Add migration SSH tunneling support"

Merge "SSH known_hosts config"

Merge "Run token flush cron job hourly by default"

Merge "Support for external swift proxy"

scenario001/pingtest: enable Gnocchi resource again

We disabled it because it stopped working. Let's see how it works now.

Change-Id: If1efb86cb1d6ada357d4562408a566ac702fb6be
Closes-Bug: #1646506

Merge "Fix nova-compute service name in upgrade steps"

Merge "Non-ha multinode environment for container upgrade job"

Merge "Add RoleNetIpMap output to overcloud.j2.yaml"

Run token flush cron job hourly by default

Running this job once a day has proven problematic for large
deployments as seen in the bug report. Setting it to run hourly
would be an improvement to the current situation, as the flushes
wouldn't need to process as much data.

Note that this only affects people using UUID as the token provider.

Change-Id: I462e4da2bfdbcba0403ecde5d613386938e2283a
Related-Bug: #1649616

Introduce common CAs to be mounted to the containers

When TLS is enabled, the containers need to trust the CAs that the
host trusts.

Change-Id: I0434b0ac10290970857cad3d1a89d00f5b054196

Introduce common resources for docker templates

This enables common resources that the docker templates might need.
The initial resource only is common volumes, and two volumes are
introduced (localtime and hosts).

Change-Id: Ic55af32803f9493a61f9b57aff849bfc6187d992

Support for external swift proxy

Users may have an external swift proxy already available (i.e. radosgw
from already existing ceph, or hardware appliance implementing swift
proxy). With this change user may specify an environment file that
registers the specified urls as endpoint for the object-store service.
The internal swift proxy is left as unconfigured.

Change-Id: I5e6f0a50f26d4296565f0433f720bfb40c5d2109
Depends-On: Ia568c3a5723d8bd8c2c37dbba094fc8a83b9d67e

Add all hosts to HostsEntry output

Previously only the VIPs and their associated hostnames were present in
the HostsEntry output, due to the hosts_entries output on the
hosts-config.yaml nested stack being empty. It was referencing an
invalid attribute.

Change-Id: Iec41926e27bdbf86eb30f230f904df1b7dbfa9c2
Closes-Bug: #1683517

Revert "Use httpd in Zaqar docker service"

This reverts commit 57a26486128982c9887edd02eb8897045215b10a.

Change-Id: I1bbe16a1a7a382ae0c898bd19cd64d3d49aa84c7
Closes-bug: #1683210

Add migration SSH tunneling support

This enables nova cold migration.

This also switches to SSH as the default transport for live-migration.
The tripleo-common mistral action that generates passwords supplies the
MigrationSshKey parameter that enables this.
The TCP transport is no longer used for live-migration and the firewall
port has been closed.

Change-Id: I4e55a987c93673796525988a2e4cc264a6b5c24f
Depends-On: I367757cbe8757d11943af7e41af620f9ce919a06
Depends-On: I9e7a1862911312ad942233ac8fc828f4e1be1dcf
Depends-On: Iac1763761c652bed637cb7cf85bc12347b5fe7ec

Merge "Allow for update after RHEL registration"

Rework DOCKER_PUPPET_CONFIG validate tool

* Split it to REQUIRED/OPTIONAL
* Move puppet_tags to OPTIONAL as it already has a
  default set of tags that need not to be repeated
  explicitly.

Change-Id: Ib70176f1edf61228771c983b0c3231fb7939a316
Signed-off-by: Bogdan Dobrelya <bdobreli@redhat.com>

Merge "Add name and description fields to plan-environment.yaml"

SSH known_hosts config

Fetch the host public keys from each node, combine them all and write to the
system-wide ssh known hosts. The alternative of disabling host key
 verification is vulnerable to a MITM attack.

Change-Id: Ib572b5910720b1991812256e68c975f7fbe2239c

Pluggable server type per Role

The server resource type, OS::TripleO::Server can now be mapped per role
instead of globally. This allows users to mix baremetal
(OS::Nova::Server) and deployed-server (OS::Heat::DeployedServer) server
resources in the same deployment.

blueprint pluggable-server-type-per-role

Change-Id: Ib9e9abe2ba5103db221f0b485c46704b1e260dbf

Merge "Add tags to roles"

Merge "Use comma_delimited_list for token flush cron time settings"

Merge "Do not log errors on non-existing container"

Merge "Add Docker to services list in multinode CI environments"

Fix nova-compute service name in upgrade steps

Previously Ansible upgrade steps failed with: Could not find the
requested service nova-compute: cannot disable.

Change-Id: I14e8bc89aca0a3f7308d88488b431e23251cc043
Closes-Bug: #1682373

Use underscore for Aodh and Gnocchi's container names

The rest of the services are using underscores, so this helps
uniformity.

Change-Id: I4ce3cc76f430a19fa08c77b004b86ecad02119ae

Add service config settings to agent services

When containerizing ceilometer agents, keystone auth is not getting
set correctly as we're not including the service config settings.

Change-Id: Ic17d64eb39e1fcb64c198410f27adbe94c84b7d4

Merge "Update Dell EMC Cinder back end services"

Merge "yum_update.sh - Use the yum parameter: check-update"

Merge "Add upgrade tasks for gnocchi container services"

Merge "Add IPv6 disable option"

Merge "Use httpd in Zaqar docker service"

Merge "Add composable role support for NetApp Cinder back end"

Add name and description fields to plan-environment.yaml

Change-Id: I99b96343742ee5c40d8786e26b2336427e225c82
Implements: blueprint update-plan-environment-yaml

Merge "Bind mount directories that contain the key/certs for keystone"

Merge "docker/all: Bind-mount OpenSSL CA bundle"

Merge "Change the directory for httpd certs/keys to be service-specific"

Add tags to roles

Prior to Ocata, the Controller role was hardcoded for various lookups.
When we switched to having the primary role name being dynamically
pulled from the roles_data.yaml using the first role as the primary
role as part of I36df7fa86c2ff40026d59f02248af529a4a81861, it
introduced a regression for folks who had previously been using
a custom roles file without the Controller being listed first.

Instead of relying on the position of the role in the roles data, this
change adds the concepts of tags to the role data that can be used when
looking for specific functionality within the deployment process. If
no roles are specified with this the tags indicating a 'primary'
'controller', it will fall back to using  the first role listed in the
roles data as the primary role.

Change-Id: Id3377e7d7dcc88ba9a61ca9ef1fb669949714f65
Closes-Bug: #1677374

Non-ha multinode environment for container upgrade job

Non-working containers upgrade CI is caused by the fact that all
multinode jobs deploy pacemaker environments.

Currently we cannot upgrade Pacemakerized deployments
anyway (containerization of pacemakerized services is WIP), upgrades
have only been tested with non-Pacemaker deployments so far.

We need a new environment which will not try deploying in a
pacemakerized way. When pacemaker-managed services are containerized, we
can change the job to upgrade an HA deployment (or single-node "HA" at
least), and perhaps even get rid of the environment file introduced
here, and reuse multinode.yaml.

Change-Id: Ie635b1b3a0b91ed5305f38d3c76f6a961efc1d30
Closes-Bug: #1682051

Use comma_delimited_list for token flush cron time settings

This allows us to better configure these parametes, e.g. we could set
the cron job to run more times per day, and not just one.

Change-Id: I0a151808804809c0742bcfa8ac876e22f5ce5570
Closes-Bug: #1682097

Bind mount directories that contain the key/certs for keystone

This is only done when TLS-everywhere is enabled, and depends on those
directories being exclusive for services that run over httpd. Which is
the commit this is on top of.

Also, an environment file was added that's similar to
environments/docker.yaml. The difference is that this one will contain
the services that can run containerized with TLS-everywhere. This file
will be updated as more services get support for this.

bp tls-via-certmonger-containers

Change-Id: I87bf59f2c33de6cf2d4ce0679a5e0e22bc24bf78

docker/all: Bind-mount OpenSSL CA bundle

The containers also need to trust the CA's that the overcloud node
trusts, else we'll get SSL verification failures.

bp tls-via-certmonger-containers

Change-Id: I7d3412a6273777712db2c90522e365c413567c49

Merge "Grouped all the Operational tools"