Merge "Sample environment generator"

Merge "Add Nova Consoleauth service to containerized deployment"

Merge "Add Nova Vncproxy service to containerized deployment"

Merge "Enable heat/puppet to manage the fernet keys and make it configurable"

Merge "Use KeystoneFernetKeys instead of individual parameters"

Merge "Fix network names when using network isolation"

Merge "Dell SC: Add exclude_domain_ip option"

Merge "Docker service for Cinder Volume"

Merge "Docker services for Cinder Backup"

Merge "Add fqdn_external"

Merge "Generate HAproxy iptables rules for containerized HA deployments"

Merge "Replace NO_ARCHIVE block with single call to rsync"

Merge "Docker services for Cinder Api and Scheduler"

Fix network names when using network isolation

When we merged If3989f24f077738845d2edbee405bd9198e7b7db we correctly
used name_lower for most things but we left out the the
OS::TripleO::Network resource which would cause errors like the
following:

Could not fetch contents for file:///tmp/tripleoclient-LdqQGJ/tripleo-heat-templates/network/internalapi.yaml

The reason is that the network filename is called internal_api.yaml.

Change-Id: I40f268668ed948e5d41ed0ff5a8fc954cef7b17c
Closes-Bug: #1697883

Enable heat/puppet to manage the fernet keys and make it configurable

With the addition of the KeystoneFernetKeys parameter, it's now possible
to do fernet key rotations using mistral, by modifying the
KeystoneFernetKeys variable in mistral; subsequently a rotation could
happen when doing a stack update.

So this re-enables the managing of the key files by puppet. However,
this is left configurable, as folks might want to manage those files
out-of-band.

bp keystone-fernet-rotation
Change-Id: Ic82fb8b8a76481a6e588047acf33a036cf444d7d

Use KeystoneFernetKeys instead of individual parameters

This uses the newly introduced dict with the keys and paths instead of
the individual keys. Having the advantage that rotation will be
possible on stack update, as we no longer have a limit on how many keys
we can pass (as we did with the individual parameters).

bp keystone-fernet-rotation
Change-Id: I7d224595b731d9f3390fce5a9d002282b2b4b8f2
Depends-On: I63ae158fa8cb33ac857dcf9434e9fbef07ecb68d

Merge "Add support for Cinder "NAS secure" driver params"

Replace NO_ARCHIVE block with single call to rsync

Also attempts to move the workaround for bug #1696283 to before the
puppet apply call.

Closes-Bug: #1696622
Change-Id: I3a195466a5039e7641e843c11e5436440bfc5a01

Merge "Execute Swift ring up-/download in containerized environments"

Merge "Containerize Sahara"

Merge "Containerized Sensu client"

Merge "Containerize multipathd"

Merge "Move iscsid to a container"

Merge "Change HorizonSecureCookies default to False"

Merge "Add support to configure Num of Storage sacks"

Merge "Fix IronicInspectorAdmin to be https"

Merge "Make network-isolation environment rendered for all roles"

Merge "Fix bug in docker-toool where values are sometimes empty."

Merge "Configure credentials for ironic to access cinder"

Add fqdn_external

In newton, we used to construct the fqdn_$NETWORK in puppet-tripleo for
external, internal_api, storage, storage_mgmt, tenant, management, and
ctrlplane. When this was moved into THT, we accidently dropped external
which leads to deployment failures if a service is moved to the external
network and the configuration consumes the fqdn_external hiera key.
Specifically this is reproduced if the MysqlNetwork is switch to to
exernal, then the deployment fails because the bind address which is set
to use fqdn_external is blank.

Change-Id: I01ad0c14cb3dc38aad7528345c928b86628433c1
Closes-Bug: #1697722

Add Nova Vncproxy service to containerized deployment

Depends-On: I037858a445742de58bd2f8d879f2b1272b07f481
Change-Id: Ifd138ea553a45a637a1a9fe3d0e946f8be51e119

Add Nova Consoleauth service to containerized deployment

Depends-On: I037858a445742de58bd2f8d879f2b1272b07f481
Change-Id: I808a5513decab1bd2cce949d05fd1acb17612a42

Merge "Unblock CI by reverting to non-containerized HAProxy"

Merge "Remove deprecated multinode-container-upgrade.yaml"

Make network-isolation environment rendered for all roles

Currently there's some hard-coded references to roles here, rendering
from the roles_data.yaml is a step towards making the use of isolated
networks for custom roles easier.

Partial-Bug: #1633090
Depends-On: Ib681729cc2728ca4b0486c14166b6b702edfcaab
Change-Id: If3989f24f077738845d2edbee405bd9198e7b7db

Unblock CI by reverting to non-containerized HAProxy

In change I90253412a5e2cd8e56e74cce3548064c06d022b1 we merged
containerized HAProxy setup, but because of a typo in resource
registry, CI kept using the non-containerized variant and it went
unnoticed that the containerized HAProxy doesn't work yet.

We merged a resource registry fix in
Ibcbacff16c3561b75e29b48270d60b60c1eb1083 and it brought down the CI,
which now used the non-working HAProxy.

After putting in the missing haproxy container image to tripleo-common
in I41c1064bbf5f26c8819de6d241dd0903add1bbaa we got further, but the
CI still fails on HAProxy related problem, so we should revert back to
using non-containerized HAProxy for the time being.

Change-Id: If73bf28288de10812f430619115814494618860f
Closes-Bug: #1697645

Add support to configure Num of Storage sacks

Gnocchi 4 supports storage sacks during upgrade. lets make this
configurable if we want to use more metricd workers.

Change-Id: Ibb2ee885e59d43c1ae20887ec1026786d58c6b9e

Merge "Fix typo in haproxy docker mapping"

Merge "Moving *postconfig where it was *postpuppet"

Fix IronicInspectorAdmin to be https

As noted in the original patch review
I5e743f789ab7dd731bc7ad26226a92a4e71f95a1 the IronicInspectorAdmin
should be https.

Change-Id: I6e37427da679775f02ff0c5fe55cfee51c122e3d

Sample environment generator

This is a tool to automate the generation of our sample environment
files.  It takes a yaml file as input, and based on the environments
defined in that file generates a number of sample environment files
from the parameters in the Heat templates.  A tox genconfig target
is added that mirrors how the other OpenStack services generate
their sample config files.

A description of the available options for the input file is
provided in a README file in the sample-env-generator directory.

In this commit only a single sample config is provided as a basic
example of how the tool works, but subsequent commits will add
more generated sample configs.

Change-Id: I855f33a61bba5337d844555a7c41b633b3327f7a
bp: environment-generator

Merge "Providing parameters specific to a workflow via plan-environment"

Merge "Remove pip install paunch"

Merge "Fix containerized SwiftRawDisks usage"

Merge "Containerize Manila API service"

Moving *postconfig where it was *postpuppet

We need to ensure that the pacemaker cluster restarts
in the end of the deployment.

Due to the resources renaming we added the
postconfig resource not in the end of the
deployment as it was *postpuppet.

Closes-bug: 1695904

Change-Id: Ic6978fcff591635223b354831cd6cbe0802316cf

Add support for Cinder "NAS secure" driver params

Add new parameters that control the NAS security settings in Cinder's
NFS and NetApp back end drivers. The settings are disabled by default.

Partial-Bug: #1688332
Depends-On: I76e2ce10acf7b671be6a2785829ebb3012b79308
Change-Id: I306a8378dc1685132f7ea3ed91d345eaae70046f

Remove deprecated multinode-container-upgrade.yaml

This has been renamed to multinode-containers.yaml to reflect that the
scenario isn't upgrade-specific.

Change-Id: I151792700475643a4088d98eb5e1bd7248e260cd
Depends-On: Ib04e2ccb330d73df464ad97a20908f20426a4249

Containerize Sahara

Depends-On: I9abe867dfbdc81d14a1b3b3f1529240b5e522be5

Co-Authored-By: Martin André <m.andre@redhat.com>
Co-Authored-By: Ian Main <imain@redhat.com>
Co-Authored-By: Luigi Toscano <ltoscano@redhat.com>
Co-Authored-By: Telles Nobrega <tenobreg@redhat.com>
Change-Id: Id8e3b7e86fa05e0e71cc33414ceae78bab4e29b2
Closes-bug: #1668927

Docker service for Cinder Volume

Adds docker service for Cinder Volume

Co-Authored-By: Jon Bernard <jobernar@redhat.com>
Depends-On: Ic1585bae27c318bd6bafc287e905f2ed250cce0f

Partial-bug: #1668920

Change-Id: Ifadb007897f3455b90de6800751a0d08991ebca2

Docker services for Cinder Backup

Adds docker services for Cinder Backup

Co-Authored-By: Gorka Eguileor <geguileo@redhat.com>
Co-Authored-By: Jon Bernard <jobernar@redhat.com>
Co-Authored-By: Martin André <m.andre@redhat.com>
Co-Authored-By: Alan Bishop <abishop@redhat.com>
Partial-bug: #1668920

Change-Id: I26fc31e59b28da017f0b028b74bde40aaac53ad5

Docker services for Cinder Api and Scheduler

Adds docker services for Cinder API and Scheduler.

Co-Authored-By: Gorka Eguileor <geguileo@redhat.com>
Co-Authored-By: Jon Bernard <jobernar@redhat.com>
Co-Authored-By: Martin André <m.andre@redhat.com>
Co-Authored-By: Alan Bishop <abishop@redhat.com>
Depends-On: Ic1585bae27c318bd6bafc287e905f2ed250cce0f

Change-Id: I5cff9587626a3b2a147e03146d5268242d1c9658
Partial-bug: #1668920

Containerize multipathd

Co-Authored-By: Jon Bernard <jobernar@redhat.com>
Depends-On: I486de8b6ab2f4235bb4a21c3650f6b9e52a83b80
Change-Id: I6cf70fa05ad1c8aa6d9f837ddcd370eb26e45f97

Move iscsid to a container

This configures iscsid so that it runs as a container on
relevant roles (undercloud, controller, compute, and volume).
When the iscsid docker service is provision it will also run
an ansible snippet that disables the iscsid.socket on the host
OS thus disabling the hosts systemd from auto-starting iscsid
as it normally does.

Co-Authored-By: Jon Bernard <jobernar@redhat.com>
Change-Id: I2ea741ad978f166e199d47ed1b52369e9b031f1f

Merge "Add support for autofencing to Pacemaker Remote."

Generate HAproxy iptables rules for containerized HA deployments

The containerized HAproxy service can only specify steps to be run in
containers, i.e. it cannot runs the regular puppet steps on bare metal
at the same time. A side effect is that the dedicated HAproxy iptables
rules are no longer generated.

Update the docker_config step to fix the creation of iptables rules
for HAproxy and persist them on-disk as before.

Co-Authored-By: Michele Baldessari <michele@acksyn.org>
Closes-Bug: 1697387

Change-Id: Ib5a083ba3299a82645f1a0f9da0d482c6b89ee23

Merge "Don't mount all of config-data /etc, /etc/httpd"

Execute Swift ring up-/download in containerized environments

This patch ensures that Swift rings are downloaded from the undercloud
before a rebalance and uploaded afterwards.

Depends-On: I51c5795b9893d797bd73e059910f17a98f04cdbe
Change-Id: Ief012fed628957e4da63ff3314c4cf01d58b6b16

Add support for autofencing to Pacemaker Remote.

We now pass configuration for autofencing to Pacemaker Remote nodes.

Change-Id: Ibb9c65a83cc909528024c538cf3bcc96390c555e
Depends-On: I87c60bd56feac6dedc00a3c458b805aa9b71d9ce
Closes-Bug: #1686115

Providing parameters specific to a workflow via plan-environment

Parameters which are not part of the heat environment template
are required by the worflows like derive parameters. In order to
seprate from the heat environment parameters, the workflow only
parameters will be provided via plan-environement section,
workflow_parameters.
Implements: blueprint tripleo-derive-parameters

Change-Id: I36d295223c28afff1e0996b4885b8a81c00842f0

Merge "Containerized collectd"

Don't mount all of config-data /etc, /etc/httpd

This change modifies these mounts to be more specific mounts based on
the files which puppet actually modifies.

The result is something a bit more self-documenting, and allows for
trying other techniques for populating /etc other than directly mounting
config-data directories.

Change-Id: Ied1eab99d43afcd34c00af25b7e36e7e55ff88e6

Remove pip install paunch

We now have python-paunch-1.1.1 [1] in the overcloud images so we do not
need to pip install it any longer.

[1] https://trunk.rdoproject.org/centos7-master-head/current/python-paunch-1.1.1-0.20170602043913.c8e22e5.el7.centos.noarch.rpm

Change-Id: I1ede514a8aee7ac217fa75843e67fb6542e06f99

Merge "Revert "Add support to configure Num of Storage sacks""

Configure credentials for ironic to access cinder

Change-Id: Id896e01e24ecc2bfd7a983a3ff9756fefe4a4525
Depends-On: I097c494d3953b7d26d94aecc546ddef5225d1125

Revert "Add support to configure Num of Storage sacks"

This reverts commit a915b150018bf306a5942782bf93c5faadcd7cde.

The argument is renamed and causing promotions to fail.

Change-Id: I7e1674cff75b606c20956edddf70eee2990fca78

Merge "Write md5sum for service config directories"

Merge "Make container names consistent"

Merge "Configure crl file for HAProxy"

Merge "Configure CRL URI if TLS in the internal network is enabled"

Merge "Containerize Tacker Services"

Merge "Containerize Congress API service"

Merge "Role Specific parameter for nova-compute service"

Make container names consistent

This commit change the container names to consistently use the `_` char
as a word separator and make the kolla external config file match the
container name to make operators' life easier.

Change-Id: Ibac9d76dde474b94c3cb86031ead0fd0327e126f

Merge "Modify libvirtd container command line when TLS is enabled"

Merge "Run the nova-compute container as the nova user"

Fix bug in docker-toool where values are sometimes empty.

I was getting empty volumes from the json and it was creating bad
docker command lines.

Change-Id: Ie90fc1afa5711d6b029e98d621507b9cb70c1dbe

Change HorizonSecureCookies default to False

HorizonSecureCookies is incompatible with non-ssl deployments, which
is our default deployment method.  When SSL is in use, it can be
turned on in the enable-tls.yaml file.  This does mean that
existing users won't automatically get this feature turned on as
part of their upgrade because enable-tls.yaml is an environment that
is intended to be copied and edited, but it's simple to add the
parameter to the file for users who want that behavior after they
upgrade to a version where it is available.

Change-Id: If83d3d8709fc4e0c09569e8bf524721d332bf560
Closes-Bug: 1696861

Merge "Containerize Horizon"

Run the nova-compute container as the nova user

Change-Id: Ie6469d2fd2119952669f5c9fdaa41fb273185973
Depends-On: I91be1f1eacf8eed9017bbfef393ee2d66771e8d6
Closes-bug: #1693844

Merge "Use Deployment actions for blacklist"

Merge "Standardize example role definitions"

Containerized collectd

Change-Id: I05126a108f5ab790e729d1f98399dca5801ebd69

Write md5sum for service config directories

The configuration generated by docker-puppet may change on update,
so checksum the combined files from the config-data directories,
to enable detecting those that have changed and restarting the
appropriate containers - we need to merge this checksum into
the environment passed to the containters, as this will cause
paunch to correctly restart containers when the configuration
generated changes, even if the rest of the json definition
provided by heat does not.

Change-Id: I40d9080cf3ad708ef4ed91e46d2b2ae1138bb9c3

Merge "Add support to configure Num of Storage sacks"

Fix typo in haproxy docker mapping

It is 'HAproxy' and not 'HAProxy'. This needs fixing so that the
proper service is instantiated when a role includes the HAproxy
service.

Change-Id: Ibcbacff16c3561b75e29b48270d60b60c1eb1083

Merge "Fix the disable expirer to remove crontab"

Containerized Sensu client

Implements: blueprint container-healthchecks
Depends-On: I9ccf1c4c948e6e347eb8e4d947edf77822a601cb
Change-Id: Iff7758623974a69e2c043cf611f46ce11c36cc59

Containerize Tacker Services

Closes-bug: #1668935

Change-Id: I83a02735eb445e831bc74ec786f2bb42cd2f87d6

Containerize Congress API service

Closes-bug: #1668929

Change-Id: I051edcf2980bb9c2521e21c410055690c012a0d1

Fix containerized SwiftRawDisks usage

This patch partitions the defined devices and mounts them on the
hostnode.

It also disables the mount_check inside Swift because it is currently
not possible to detect wether a given directory is a mounted device or
not. This is just a workaround until a better solution has been
implemented in Swift itself.

Change-Id: I6e8e1328d7ffb18bb96ed1a940013dbb8b6b433e

Role Specific parameter for nova-compute service

The parameters NovaVcpuPinSet, NovaReservedHostMemory and
NovaPCIPassthrough are modified to support role-specific
parameter inputs.
Change-Id: I7c11e8fc2c933f424318e457cb1e96acb8df2ec7

Configure crl file for HAProxy

This will enable HAProxy to use CRLs for the nodes it's proxying.

bp tls-via-certmonger

Depends-On: I4f1edc551488aa5bf6033442c4fa1fb0d3f735cd
Change-Id: I2558113bf83674ce22d99364b63c0c5be446bf77

Configure CRL URI if TLS in the internal network is enabled

This uses by default the URL for the CRL provided by FreeIPA (the
default CA in TripleO).

bp tls-via-certmonger

Depends-On: I38e163e8ebb80ea5f79cfb8df44a71fdcd284e04
Change-Id: I87001388f300f3decb3b74bc037fff9d3b3ccdc2

Merge "Mount /var/run/libvirt on ceilo agent compute"

Merge "Add host logging for redis service template"

Modify libvirtd container command line when TLS is enabled

Libvirtd needs the --listen arg to enable the TLS socket.

Change-Id: I535165f0a2634728045491b2a37a56b1891b13fe
Resolves-Bug: #1694958

Merge "Don't create networks if neutron is not enabled"

Dell SC: Add exclude_domain_ip option

This option allows users to exclude some fault domains.
Otherwise all domains are returned.

Change-Id: Iefd1a44c8fe217aee5845bba35def571317bb123
Closes-Bug: #1681490
Depends-On: I6eb2bcc7db003a5eebd3924e3e4eb44e35f60483

Standardize example role definitions

As we create new standard roles, we should include them from a single
location for ease of use and to reduce the duplication of the role
definitions elsewhere. This change adds a roles folder to the THT that
can be used with the new roles commands in python-tripleoclient by the
end user to generate a roles_data.yaml from a standard set of roles.

Depends-On: I326bae5bdee088e03aa89128d253612ef89e5c0c
Change-Id: Iad3e9b215c6f21ba761c8360bb7ed531e34520e6
Related-Blueprint: example-custom-role-environments