Merge "Docker services for Cinder Backup"

Merge "Add fqdn_external"

Merge "Generate HAproxy iptables rules for containerized HA deployments"

Merge "Replace NO_ARCHIVE block with single call to rsync"

Merge "Docker services for Cinder Api and Scheduler"

Merge "Add support for Cinder "NAS secure" driver params"

Replace NO_ARCHIVE block with single call to rsync

Also attempts to move the workaround for bug #1696283 to before the
puppet apply call.

Closes-Bug: #1696622
Change-Id: I3a195466a5039e7641e843c11e5436440bfc5a01

Merge "Execute Swift ring up-/download in containerized environments"

Merge "Containerize Sahara"

Merge "Containerized Sensu client"

Merge "Containerize multipathd"

Merge "Move iscsid to a container"

Merge "Change HorizonSecureCookies default to False"

Merge "Add support to configure Num of Storage sacks"

Merge "Fix IronicInspectorAdmin to be https"

Merge "Make network-isolation environment rendered for all roles"

Merge "Fix bug in docker-toool where values are sometimes empty."

Merge "Configure credentials for ironic to access cinder"

Add fqdn_external

In newton, we used to construct the fqdn_$NETWORK in puppet-tripleo for
external, internal_api, storage, storage_mgmt, tenant, management, and
ctrlplane. When this was moved into THT, we accidently dropped external
which leads to deployment failures if a service is moved to the external
network and the configuration consumes the fqdn_external hiera key.
Specifically this is reproduced if the MysqlNetwork is switch to to
exernal, then the deployment fails because the bind address which is set
to use fqdn_external is blank.

Change-Id: I01ad0c14cb3dc38aad7528345c928b86628433c1
Closes-Bug: #1697722

Merge "Unblock CI by reverting to non-containerized HAProxy"

Merge "Remove deprecated multinode-container-upgrade.yaml"

Make network-isolation environment rendered for all roles

Currently there's some hard-coded references to roles here, rendering
from the roles_data.yaml is a step towards making the use of isolated
networks for custom roles easier.

Partial-Bug: #1633090
Depends-On: Ib681729cc2728ca4b0486c14166b6b702edfcaab
Change-Id: If3989f24f077738845d2edbee405bd9198e7b7db

Unblock CI by reverting to non-containerized HAProxy

In change I90253412a5e2cd8e56e74cce3548064c06d022b1 we merged
containerized HAProxy setup, but because of a typo in resource
registry, CI kept using the non-containerized variant and it went
unnoticed that the containerized HAProxy doesn't work yet.

We merged a resource registry fix in
Ibcbacff16c3561b75e29b48270d60b60c1eb1083 and it brought down the CI,
which now used the non-working HAProxy.

After putting in the missing haproxy container image to tripleo-common
in I41c1064bbf5f26c8819de6d241dd0903add1bbaa we got further, but the
CI still fails on HAProxy related problem, so we should revert back to
using non-containerized HAProxy for the time being.

Change-Id: If73bf28288de10812f430619115814494618860f
Closes-Bug: #1697645

Add support to configure Num of Storage sacks

Gnocchi 4 supports storage sacks during upgrade. lets make this
configurable if we want to use more metricd workers.

Change-Id: Ibb2ee885e59d43c1ae20887ec1026786d58c6b9e

Merge "Fix typo in haproxy docker mapping"

Merge "Moving *postconfig where it was *postpuppet"

Fix IronicInspectorAdmin to be https

As noted in the original patch review
I5e743f789ab7dd731bc7ad26226a92a4e71f95a1 the IronicInspectorAdmin
should be https.

Change-Id: I6e37427da679775f02ff0c5fe55cfee51c122e3d

Merge "Providing parameters specific to a workflow via plan-environment"

Merge "Remove pip install paunch"

Merge "Fix containerized SwiftRawDisks usage"

Merge "Containerize Manila API service"

Moving *postconfig where it was *postpuppet

We need to ensure that the pacemaker cluster restarts
in the end of the deployment.

Due to the resources renaming we added the
postconfig resource not in the end of the
deployment as it was *postpuppet.

Closes-bug: 1695904

Change-Id: Ic6978fcff591635223b354831cd6cbe0802316cf

Add support for Cinder "NAS secure" driver params

Add new parameters that control the NAS security settings in Cinder's
NFS and NetApp back end drivers. The settings are disabled by default.

Partial-Bug: #1688332
Depends-On: I76e2ce10acf7b671be6a2785829ebb3012b79308
Change-Id: I306a8378dc1685132f7ea3ed91d345eaae70046f

Remove deprecated multinode-container-upgrade.yaml

This has been renamed to multinode-containers.yaml to reflect that the
scenario isn't upgrade-specific.

Change-Id: I151792700475643a4088d98eb5e1bd7248e260cd
Depends-On: Ib04e2ccb330d73df464ad97a20908f20426a4249

Containerize Sahara

Depends-On: I9abe867dfbdc81d14a1b3b3f1529240b5e522be5

Co-Authored-By: Martin André <m.andre@redhat.com>
Co-Authored-By: Ian Main <imain@redhat.com>
Co-Authored-By: Luigi Toscano <ltoscano@redhat.com>
Co-Authored-By: Telles Nobrega <tenobreg@redhat.com>
Change-Id: Id8e3b7e86fa05e0e71cc33414ceae78bab4e29b2
Closes-bug: #1668927

Docker services for Cinder Backup

Adds docker services for Cinder Backup

Co-Authored-By: Gorka Eguileor <geguileo@redhat.com>
Co-Authored-By: Jon Bernard <jobernar@redhat.com>
Co-Authored-By: Martin André <m.andre@redhat.com>
Co-Authored-By: Alan Bishop <abishop@redhat.com>
Partial-bug: #1668920

Change-Id: I26fc31e59b28da017f0b028b74bde40aaac53ad5

Docker services for Cinder Api and Scheduler

Adds docker services for Cinder API and Scheduler.

Co-Authored-By: Gorka Eguileor <geguileo@redhat.com>
Co-Authored-By: Jon Bernard <jobernar@redhat.com>
Co-Authored-By: Martin André <m.andre@redhat.com>
Co-Authored-By: Alan Bishop <abishop@redhat.com>
Depends-On: Ic1585bae27c318bd6bafc287e905f2ed250cce0f

Change-Id: I5cff9587626a3b2a147e03146d5268242d1c9658
Partial-bug: #1668920

Containerize multipathd

Co-Authored-By: Jon Bernard <jobernar@redhat.com>
Depends-On: I486de8b6ab2f4235bb4a21c3650f6b9e52a83b80
Change-Id: I6cf70fa05ad1c8aa6d9f837ddcd370eb26e45f97

Move iscsid to a container

This configures iscsid so that it runs as a container on
relevant roles (undercloud, controller, compute, and volume).
When the iscsid docker service is provision it will also run
an ansible snippet that disables the iscsid.socket on the host
OS thus disabling the hosts systemd from auto-starting iscsid
as it normally does.

Co-Authored-By: Jon Bernard <jobernar@redhat.com>
Change-Id: I2ea741ad978f166e199d47ed1b52369e9b031f1f

Merge "Add support for autofencing to Pacemaker Remote."

Generate HAproxy iptables rules for containerized HA deployments

The containerized HAproxy service can only specify steps to be run in
containers, i.e. it cannot runs the regular puppet steps on bare metal
at the same time. A side effect is that the dedicated HAproxy iptables
rules are no longer generated.

Update the docker_config step to fix the creation of iptables rules
for HAproxy and persist them on-disk as before.

Co-Authored-By: Michele Baldessari <michele@acksyn.org>
Closes-Bug: 1697387

Change-Id: Ib5a083ba3299a82645f1a0f9da0d482c6b89ee23

Merge "Don't mount all of config-data /etc, /etc/httpd"

Execute Swift ring up-/download in containerized environments

This patch ensures that Swift rings are downloaded from the undercloud
before a rebalance and uploaded afterwards.

Depends-On: I51c5795b9893d797bd73e059910f17a98f04cdbe
Change-Id: Ief012fed628957e4da63ff3314c4cf01d58b6b16

Add support for autofencing to Pacemaker Remote.

We now pass configuration for autofencing to Pacemaker Remote nodes.

Change-Id: Ibb9c65a83cc909528024c538cf3bcc96390c555e
Depends-On: I87c60bd56feac6dedc00a3c458b805aa9b71d9ce
Closes-Bug: #1686115

Providing parameters specific to a workflow via plan-environment

Parameters which are not part of the heat environment template
are required by the worflows like derive parameters. In order to
seprate from the heat environment parameters, the workflow only
parameters will be provided via plan-environement section,
workflow_parameters.
Implements: blueprint tripleo-derive-parameters

Change-Id: I36d295223c28afff1e0996b4885b8a81c00842f0

Merge "Containerized collectd"

Don't mount all of config-data /etc, /etc/httpd

This change modifies these mounts to be more specific mounts based on
the files which puppet actually modifies.

The result is something a bit more self-documenting, and allows for
trying other techniques for populating /etc other than directly mounting
config-data directories.

Change-Id: Ied1eab99d43afcd34c00af25b7e36e7e55ff88e6

Remove pip install paunch

We now have python-paunch-1.1.1 [1] in the overcloud images so we do not
need to pip install it any longer.

[1] https://trunk.rdoproject.org/centos7-master-head/current/python-paunch-1.1.1-0.20170602043913.c8e22e5.el7.centos.noarch.rpm

Change-Id: I1ede514a8aee7ac217fa75843e67fb6542e06f99

Merge "Revert "Add support to configure Num of Storage sacks""

Configure credentials for ironic to access cinder

Change-Id: Id896e01e24ecc2bfd7a983a3ff9756fefe4a4525
Depends-On: I097c494d3953b7d26d94aecc546ddef5225d1125

Revert "Add support to configure Num of Storage sacks"

This reverts commit a915b150018bf306a5942782bf93c5faadcd7cde.

The argument is renamed and causing promotions to fail.

Change-Id: I7e1674cff75b606c20956edddf70eee2990fca78

Merge "Write md5sum for service config directories"

Merge "Make container names consistent"

Merge "Configure crl file for HAProxy"

Merge "Configure CRL URI if TLS in the internal network is enabled"

Merge "Containerize Tacker Services"

Merge "Containerize Congress API service"

Merge "Role Specific parameter for nova-compute service"

Make container names consistent

This commit change the container names to consistently use the `_` char
as a word separator and make the kolla external config file match the
container name to make operators' life easier.

Change-Id: Ibac9d76dde474b94c3cb86031ead0fd0327e126f

Merge "Modify libvirtd container command line when TLS is enabled"

Merge "Run the nova-compute container as the nova user"

Fix bug in docker-toool where values are sometimes empty.

I was getting empty volumes from the json and it was creating bad
docker command lines.

Change-Id: Ie90fc1afa5711d6b029e98d621507b9cb70c1dbe

Change HorizonSecureCookies default to False

HorizonSecureCookies is incompatible with non-ssl deployments, which
is our default deployment method.  When SSL is in use, it can be
turned on in the enable-tls.yaml file.  This does mean that
existing users won't automatically get this feature turned on as
part of their upgrade because enable-tls.yaml is an environment that
is intended to be copied and edited, but it's simple to add the
parameter to the file for users who want that behavior after they
upgrade to a version where it is available.

Change-Id: If83d3d8709fc4e0c09569e8bf524721d332bf560
Closes-Bug: 1696861

Merge "Containerize Horizon"

Run the nova-compute container as the nova user

Change-Id: Ie6469d2fd2119952669f5c9fdaa41fb273185973
Depends-On: I91be1f1eacf8eed9017bbfef393ee2d66771e8d6
Closes-bug: #1693844

Merge "Use Deployment actions for blacklist"

Merge "Standardize example role definitions"

Containerized collectd

Change-Id: I05126a108f5ab790e729d1f98399dca5801ebd69

Write md5sum for service config directories

The configuration generated by docker-puppet may change on update,
so checksum the combined files from the config-data directories,
to enable detecting those that have changed and restarting the
appropriate containers - we need to merge this checksum into
the environment passed to the containters, as this will cause
paunch to correctly restart containers when the configuration
generated changes, even if the rest of the json definition
provided by heat does not.

Change-Id: I40d9080cf3ad708ef4ed91e46d2b2ae1138bb9c3

Merge "Add support to configure Num of Storage sacks"

Fix typo in haproxy docker mapping

It is 'HAproxy' and not 'HAProxy'. This needs fixing so that the
proper service is instantiated when a role includes the HAproxy
service.

Change-Id: Ibcbacff16c3561b75e29b48270d60b60c1eb1083

Merge "Fix the disable expirer to remove crontab"

Containerized Sensu client

Implements: blueprint container-healthchecks
Depends-On: I9ccf1c4c948e6e347eb8e4d947edf77822a601cb
Change-Id: Iff7758623974a69e2c043cf611f46ce11c36cc59

Containerize Tacker Services

Closes-bug: #1668935

Change-Id: I83a02735eb445e831bc74ec786f2bb42cd2f87d6

Containerize Congress API service

Closes-bug: #1668929

Change-Id: I051edcf2980bb9c2521e21c410055690c012a0d1

Fix containerized SwiftRawDisks usage

This patch partitions the defined devices and mounts them on the
hostnode.

It also disables the mount_check inside Swift because it is currently
not possible to detect wether a given directory is a mounted device or
not. This is just a workaround until a better solution has been
implemented in Swift itself.

Change-Id: I6e8e1328d7ffb18bb96ed1a940013dbb8b6b433e

Role Specific parameter for nova-compute service

The parameters NovaVcpuPinSet, NovaReservedHostMemory and
NovaPCIPassthrough are modified to support role-specific
parameter inputs.
Change-Id: I7c11e8fc2c933f424318e457cb1e96acb8df2ec7

Configure crl file for HAProxy

This will enable HAProxy to use CRLs for the nodes it's proxying.

bp tls-via-certmonger

Depends-On: I4f1edc551488aa5bf6033442c4fa1fb0d3f735cd
Change-Id: I2558113bf83674ce22d99364b63c0c5be446bf77

Configure CRL URI if TLS in the internal network is enabled

This uses by default the URL for the CRL provided by FreeIPA (the
default CA in TripleO).

bp tls-via-certmonger

Depends-On: I38e163e8ebb80ea5f79cfb8df44a71fdcd284e04
Change-Id: I87001388f300f3decb3b74bc037fff9d3b3ccdc2

Merge "Mount /var/run/libvirt on ceilo agent compute"

Merge "Add host logging for redis service template"

Modify libvirtd container command line when TLS is enabled

Libvirtd needs the --listen arg to enable the TLS socket.

Change-Id: I535165f0a2634728045491b2a37a56b1891b13fe
Resolves-Bug: #1694958

Merge "Don't create networks if neutron is not enabled"

Standardize example role definitions

As we create new standard roles, we should include them from a single
location for ease of use and to reduce the duplication of the role
definitions elsewhere. This change adds a roles folder to the THT that
can be used with the new roles commands in python-tripleoclient by the
end user to generate a roles_data.yaml from a standard set of roles.

Depends-On: I326bae5bdee088e03aa89128d253612ef89e5c0c
Change-Id: Iad3e9b215c6f21ba761c8360bb7ed531e34520e6
Related-Blueprint: example-custom-role-environments

Mount /var/run/libvirt on ceilo agent compute

Without this evidently agent logs IO errors.

Change-Id: I3031212c582381ae6b6147a48101bf83a05caa8a

Add host logging for redis service template

This got missed in the patch which added host logging for most
other services.

Change-Id: I0be8a5bce6558ebaf5b4830138d1f6c31aec6394

Containerize Manila API service

Co-Authored-By: Martin André <m.andre@redhat.com>
Partial-Bug: #1668922

Change-Id: I0c98f26b19caf755bbc80bd6a75fc17b5d191ae4

Fix the disable expirer to remove crontab

Instead of doing this via puppet which has the consequence of including
the step_config and getting included on the host manifest. Lets disable
via ansible upgrade task instead.

Change-Id: I5f1a4019dd635dea67db4313bd06a228ae7bacd4

Add support to configure Num of Storage sacks

Gnocchi 4 supports storage sacks during upgrade. lets make this
configurable if we want to use more metricd workers.

Change-Id: I27390b8babf8c4ef35f4c9b8a2e5be69fb9a54ee

Use Deployment actions for blacklist

Instead of using the Heat condition directly on the Deployment
resources, use it to set the action list to an empty list when the
server is blacklisted.

This has a couple advantages over the previous approach in that the
actual resources are not deleted and recreated when servers are added
and removed from the blacklist.

Recreating the resources can be problematic, as it would then force the
Deployments to re-run when a server is removed from the blacklist. That
is likely not always desirable, especially in the case of
NetworkDeloyment.

Additionally, you will still see the resources for a blacklisted server
in the stack, just with an empty set of actions. This has the benefit of
preserving the history of the previous time the Deployment was
triggered.

implements blueprint disable-deployments

Change-Id: I3d0263a6319ae4871b1ae11383ae838bd2540d36

Merge "Map /etc/ssh/ssh_known_hosts to all containers"

Merge "Ensure /etc/ssh/ssh_known_hosts exist in docker config-data."

Merge "Ability to enable/disable debug mode per OpenStack service"

Merge "Convert puppet and docker steps to ansible"

Merge "Stop/disable l3 agent in docker service upgrade_tasks"

Don't create networks if neutron is not enabled

With the composable undercloud installer, it's possible to disable
services.  The extraconfig script assumes both, neutron and nova, are
installed and fails if they aren't.

This patch checks if those services are available before.

Change-Id: Idcc2b9809fcfa92649a0a1f45175ce417dc0e608

Map /etc/ssh/ssh_known_hosts to all containers

This allows any ssh client spawned from a container to validate ssh host key.

Change-Id: I86d95848e5f049e8af98107cd7027098d6cdee7c
Closes-bug: #1693841

Ensure /etc/ssh/ssh_known_hosts exist in docker config-data.

Works around the issue encountered in 1696283.

Change-Id: I1947d9d1e3cabc5dfe25ee1af994d684425bdbf7
Resolves-Bug: #1696283

Stop/disable l3 agent in docker service upgrade_tasks

This service is missing the task to stop/disable the service on
the host prior to it being started in a container.

Change-Id: I33d70d32c3b55e1f2738441f57c74b007e7bd766
Closes-Bug: #1695017

Ability to enable/disable debug mode per OpenStack service

Add ServiceDebug parameters for each services that will allow operators
to enable/disable Debug for specific services.

We keep the Debug parameters for backward compatibility.

Operators want to enable Debug everywhere:
  Debug: true
Operators want to disable Debug everywhere:
  Debug: false
Operators want to disable Debug everywhere except Glance:
  GlanceDebug: true
Operators want to enable Debug everywhere except Glance:
  Debug: true
  GlanceDebug: false

New parameters: AodhDebug, BarbicanDebug, CeilometerDebug, CinderDebug,
CongressDebug, GlanceDebug, GnocchiDebug, HeatDebug, HorizonDebug,
IronicDebug, KeystoneDebug, ManilaDebug, MistralDebug, NeutronDebug,
NovaDebug, OctaviaDebug, PankoDebug, SaharaDebug, TackerDebug,
ZaqarDebug.

Note: for backward compatibility in Horizon, HorizonDebug is set to
false, so we maintain previous behavior.

Change-Id: Icbf4a38afcdbd8471d1afc11743df9705451db52
Implement-blueprint: composable-debug
Closes-Bug: #1634567