Merge "Remove pip install paunch"

Merge "Fix containerized SwiftRawDisks usage"

Merge "Containerize Manila API service"

Merge "Add support for autofencing to Pacemaker Remote."

Merge "Don't mount all of config-data /etc, /etc/httpd"

Add support for autofencing to Pacemaker Remote.

We now pass configuration for autofencing to Pacemaker Remote nodes.

Change-Id: Ibb9c65a83cc909528024c538cf3bcc96390c555e
Depends-On: I87c60bd56feac6dedc00a3c458b805aa9b71d9ce
Closes-Bug: #1686115

Merge "Containerized collectd"

Don't mount all of config-data /etc, /etc/httpd

This change modifies these mounts to be more specific mounts based on
the files which puppet actually modifies.

The result is something a bit more self-documenting, and allows for
trying other techniques for populating /etc other than directly mounting
config-data directories.

Change-Id: Ied1eab99d43afcd34c00af25b7e36e7e55ff88e6

Remove pip install paunch

We now have python-paunch-1.1.1 [1] in the overcloud images so we do not
need to pip install it any longer.

[1] https://trunk.rdoproject.org/centos7-master-head/current/python-paunch-1.1.1-0.20170602043913.c8e22e5.el7.centos.noarch.rpm

Change-Id: I1ede514a8aee7ac217fa75843e67fb6542e06f99

Merge "Revert "Add support to configure Num of Storage sacks""

Revert "Add support to configure Num of Storage sacks"

This reverts commit a915b150018bf306a5942782bf93c5faadcd7cde.

The argument is renamed and causing promotions to fail.

Change-Id: I7e1674cff75b606c20956edddf70eee2990fca78

Merge "Write md5sum for service config directories"

Merge "Make container names consistent"

Merge "Configure crl file for HAProxy"

Merge "Configure CRL URI if TLS in the internal network is enabled"

Merge "Containerize Tacker Services"

Merge "Containerize Congress API service"

Merge "Role Specific parameter for nova-compute service"

Make container names consistent

This commit change the container names to consistently use the `_` char
as a word separator and make the kolla external config file match the
container name to make operators' life easier.

Change-Id: Ibac9d76dde474b94c3cb86031ead0fd0327e126f

Merge "Modify libvirtd container command line when TLS is enabled"

Merge "Run the nova-compute container as the nova user"

Merge "Containerize Horizon"

Run the nova-compute container as the nova user

Change-Id: Ie6469d2fd2119952669f5c9fdaa41fb273185973
Depends-On: I91be1f1eacf8eed9017bbfef393ee2d66771e8d6
Closes-bug: #1693844

Merge "Use Deployment actions for blacklist"

Merge "Standardize example role definitions"

Containerized collectd

Change-Id: I05126a108f5ab790e729d1f98399dca5801ebd69

Write md5sum for service config directories

The configuration generated by docker-puppet may change on update,
so checksum the combined files from the config-data directories,
to enable detecting those that have changed and restarting the
appropriate containers - we need to merge this checksum into
the environment passed to the containters, as this will cause
paunch to correctly restart containers when the configuration
generated changes, even if the rest of the json definition
provided by heat does not.

Change-Id: I40d9080cf3ad708ef4ed91e46d2b2ae1138bb9c3

Merge "Add support to configure Num of Storage sacks"

Merge "Fix the disable expirer to remove crontab"

Containerize Tacker Services

Closes-bug: #1668935

Change-Id: I83a02735eb445e831bc74ec786f2bb42cd2f87d6

Containerize Congress API service

Closes-bug: #1668929

Change-Id: I051edcf2980bb9c2521e21c410055690c012a0d1

Fix containerized SwiftRawDisks usage

This patch partitions the defined devices and mounts them on the
hostnode.

It also disables the mount_check inside Swift because it is currently
not possible to detect wether a given directory is a mounted device or
not. This is just a workaround until a better solution has been
implemented in Swift itself.

Change-Id: I6e8e1328d7ffb18bb96ed1a940013dbb8b6b433e

Role Specific parameter for nova-compute service

The parameters NovaVcpuPinSet, NovaReservedHostMemory and
NovaPCIPassthrough are modified to support role-specific
parameter inputs.
Change-Id: I7c11e8fc2c933f424318e457cb1e96acb8df2ec7

Configure crl file for HAProxy

This will enable HAProxy to use CRLs for the nodes it's proxying.

bp tls-via-certmonger

Depends-On: I4f1edc551488aa5bf6033442c4fa1fb0d3f735cd
Change-Id: I2558113bf83674ce22d99364b63c0c5be446bf77

Configure CRL URI if TLS in the internal network is enabled

This uses by default the URL for the CRL provided by FreeIPA (the
default CA in TripleO).

bp tls-via-certmonger

Depends-On: I38e163e8ebb80ea5f79cfb8df44a71fdcd284e04
Change-Id: I87001388f300f3decb3b74bc037fff9d3b3ccdc2

Merge "Mount /var/run/libvirt on ceilo agent compute"

Merge "Add host logging for redis service template"

Modify libvirtd container command line when TLS is enabled

Libvirtd needs the --listen arg to enable the TLS socket.

Change-Id: I535165f0a2634728045491b2a37a56b1891b13fe
Resolves-Bug: #1694958

Merge "Don't create networks if neutron is not enabled"

Standardize example role definitions

As we create new standard roles, we should include them from a single
location for ease of use and to reduce the duplication of the role
definitions elsewhere. This change adds a roles folder to the THT that
can be used with the new roles commands in python-tripleoclient by the
end user to generate a roles_data.yaml from a standard set of roles.

Depends-On: I326bae5bdee088e03aa89128d253612ef89e5c0c
Change-Id: Iad3e9b215c6f21ba761c8360bb7ed531e34520e6
Related-Blueprint: example-custom-role-environments

Mount /var/run/libvirt on ceilo agent compute

Without this evidently agent logs IO errors.

Change-Id: I3031212c582381ae6b6147a48101bf83a05caa8a

Add host logging for redis service template

This got missed in the patch which added host logging for most
other services.

Change-Id: I0be8a5bce6558ebaf5b4830138d1f6c31aec6394

Containerize Manila API service

Co-Authored-By: Martin André <m.andre@redhat.com>
Partial-Bug: #1668922

Change-Id: I0c98f26b19caf755bbc80bd6a75fc17b5d191ae4

Fix the disable expirer to remove crontab

Instead of doing this via puppet which has the consequence of including
the step_config and getting included on the host manifest. Lets disable
via ansible upgrade task instead.

Change-Id: I5f1a4019dd635dea67db4313bd06a228ae7bacd4

Add support to configure Num of Storage sacks

Gnocchi 4 supports storage sacks during upgrade. lets make this
configurable if we want to use more metricd workers.

Change-Id: I27390b8babf8c4ef35f4c9b8a2e5be69fb9a54ee

Use Deployment actions for blacklist

Instead of using the Heat condition directly on the Deployment
resources, use it to set the action list to an empty list when the
server is blacklisted.

This has a couple advantages over the previous approach in that the
actual resources are not deleted and recreated when servers are added
and removed from the blacklist.

Recreating the resources can be problematic, as it would then force the
Deployments to re-run when a server is removed from the blacklist. That
is likely not always desirable, especially in the case of
NetworkDeloyment.

Additionally, you will still see the resources for a blacklisted server
in the stack, just with an empty set of actions. This has the benefit of
preserving the history of the previous time the Deployment was
triggered.

implements blueprint disable-deployments

Change-Id: I3d0263a6319ae4871b1ae11383ae838bd2540d36

Merge "Map /etc/ssh/ssh_known_hosts to all containers"

Merge "Ensure /etc/ssh/ssh_known_hosts exist in docker config-data."

Merge "Ability to enable/disable debug mode per OpenStack service"

Merge "Convert puppet and docker steps to ansible"

Merge "Stop/disable l3 agent in docker service upgrade_tasks"

Don't create networks if neutron is not enabled

With the composable undercloud installer, it's possible to disable
services.  The extraconfig script assumes both, neutron and nova, are
installed and fails if they aren't.

This patch checks if those services are available before.

Change-Id: Idcc2b9809fcfa92649a0a1f45175ce417dc0e608

Map /etc/ssh/ssh_known_hosts to all containers

This allows any ssh client spawned from a container to validate ssh host key.

Change-Id: I86d95848e5f049e8af98107cd7027098d6cdee7c
Closes-bug: #1693841

Ensure /etc/ssh/ssh_known_hosts exist in docker config-data.

Works around the issue encountered in 1696283.

Change-Id: I1947d9d1e3cabc5dfe25ee1af994d684425bdbf7
Resolves-Bug: #1696283

Stop/disable l3 agent in docker service upgrade_tasks

This service is missing the task to stop/disable the service on
the host prior to it being started in a container.

Change-Id: I33d70d32c3b55e1f2738441f57c74b007e7bd766
Closes-Bug: #1695017

Ability to enable/disable debug mode per OpenStack service

Add ServiceDebug parameters for each services that will allow operators
to enable/disable Debug for specific services.

We keep the Debug parameters for backward compatibility.

Operators want to enable Debug everywhere:
  Debug: true
Operators want to disable Debug everywhere:
  Debug: false
Operators want to disable Debug everywhere except Glance:
  GlanceDebug: true
Operators want to enable Debug everywhere except Glance:
  Debug: true
  GlanceDebug: false

New parameters: AodhDebug, BarbicanDebug, CeilometerDebug, CinderDebug,
CongressDebug, GlanceDebug, GnocchiDebug, HeatDebug, HorizonDebug,
IronicDebug, KeystoneDebug, ManilaDebug, MistralDebug, NeutronDebug,
NovaDebug, OctaviaDebug, PankoDebug, SaharaDebug, TackerDebug,
ZaqarDebug.

Note: for backward compatibility in Horizon, HorizonDebug is set to
false, so we maintain previous behavior.

Change-Id: Icbf4a38afcdbd8471d1afc11743df9705451db52
Implement-blueprint: composable-debug
Closes-Bug: #1634567

Merge "Updated from global requirements"

Merge "Fix upgrade tasks to use correct service name"

Updated from global requirements

Change-Id: I124d7f5bb0e662585a034668cd82ef1fa6db2fa1

Merge "Container-specific variants of scenarios 001-004"

Merge "Fix CephPoolDefaultSize typo"

Merge "Containerize HAProxy for the non-ha case"

Fix upgrade tasks to use correct service name

Change-Id: I149ca7cdd939ed7c1767a416bb9569ada163e820
Closes-bug: #1696089

Convert puppet and docker steps to ansible

Replace the multiple SoftwareDeployment resources with a common
playbook that runs on all roles, consuming the configuration data
written via the HostPrepAnsible tasks.

This hopefully simplifies things, and will enable re-running the
deploy steps for minor updates (we'll need some way to detect
a container should be replaced, but that will be done via a
follow-up patch).

Change-Id: I674a4d9d2c77d1f6fbdb0996f6c9321848e32662

Merge "Update metric processing delay default"

Containerize HAProxy for the non-ha case

This change implements an initial container for haproxy in the non-HA
case (aka when the container is not spawn by pacemaker).

We tested this using a stock kolla haproxy container image and we were
able to get haproxy running on a container with net=host correctly.

Change-Id: I90253412a5e2cd8e56e74cce3548064c06d022b1
Co-Authored-By: Michele Baldessari <michele@acksyn.org>
Depends-on: I51c482b70731f15fee4025bbce14e46a49a49938
Closes-Bug: #1668936

Merge "Fix the constraints for THT params NeutronDpdkCoreList and HostCpusList"

Merge "Example environment file to use Neutron BGPVPN driver with ODL"

Merge "Remove nova placement config for compute service node on upgrade"

Merge "Release 7.0.0.0b2"

Release 7.0.0.0b2

Change-Id: Ie8010969443324dc76be8ade8edc1390b073345b

Update metric processing delay default

This helps with processing the backlog, so lets update
the default out of the box.

Change-Id: I06d4ca95f4a1da2864f4845ef3e7a74a1bce9e41

Merge "Containerize Redis for HA"

Containerize Redis for HA

This service allows configuring and deploying Redis containers
in a HA overcloud managed by pacemaker.

The containers are managed and run by pacemaker. Inside there is
pacemaker_remote which will invoke the resource agent managing galera.
The resources themselves are created via puppet-pacemaker inside a
short-lived container used for this purpose (mysql_init_bundle).
This container needs to use the 'docker_config' section to invoke
puppet (as opposed to 'docker_puppet_tasks'), because due to the HA
composability each resource creation needs to happen on the bootstrap
node of that service and 'docker_puppet_tasks' will only run on the
controller/primary role.

Co-Authored-By: Michele Baldessari <michele@acksyn.org>
Closes-Bug: #1692924

Depends-On: Ia1131611d15670190b7b6654f72e6290bf7f8b9e

Change-Id: Ie045954fcc86ef2b3e4562b6f012853177f03948

Merge "Containerize clustercheck galera monitor for HA deployments"

Merge "Containerize HAProxy for HA"

Merge "Containerize RabbitMQ for HA"

Merge "Containerize MySQL for HA"

Merge "Modify vhost user socket directory's default value in environment file"

Merge "Add support for linuxbridge agent"

Merge "Server blacklist support"

Merge "Add sshd service to containerized compute role"

Merge "Upgrade gnocchi without skip-storage"

Fix CephPoolDefaultSize typo

Ie9bdd9b16bcb9f11107ece614b010e87d3ae98a9 improperly used
CephPoolDefaultSite for the puppet-ceph-devel environment. The correct
configuration item is CephPoolDefaultSize.

Change-Id: If3a23f8d000061da62e4a7565a7fb6cf1ac97a4a

Merge "Handle upgrading cinder-volume under pacemaker"

Increase default for NovaReservedHostMemory to 4096

Idle compute nodes are found to already consume ~1.5GB of memory, so
2GB is a bit tight.  Increasing to 4GB to be on the safe side.  Also
see https://bugzilla.redhat.com/show_bug.cgi?id=1341178

Change-Id: Ic95984b62a748593992446271b197439fa12b376

Server blacklist support

Adds the ability to blacklist servers from all SoftwareDeployment
resources. The servers are specified in a new list parameter,
DeploymentServerBlacklist by the Heat assigned name
(overcloud-compute-0, etc).

implements blueprint disable-deployments

Change-Id: I46941e54a476c7cc8645cd1aff391c9c6c5434de

Fix the constraints for THT params NeutronDpdkCoreList and HostCpusList

This fix needs to be backported to ocata.

Change-Id: I5938761efa4f56e576f41929e0bc12df246ac81a
Signed-off-by: Karthik S <ksundara@redhat.com>
Closes-Bug: #1694703

Upgrade gnocchi without skip-storage

When gnocchi-upgrade run, we need to ensure storage is upgraded so we
initialize the necessary storage sacks.

Closes-bug: #1693621

Change-Id: I84e4fc3b6ad7fd966c4097a29678a0fd5b7a20a5

Merge "Containerized nova-compute working with Deployed Server"

Merge "Enable arp_accept for all interfaces"

Merge "Change database sync timeout from 300 to 900 in low-memory-usage environment file."

Merge "docker bootstrap service commands"

ceilometer-expirer: remove the crontab during upgrade

When running disabled/ceilometer-expirer.yaml, we want to remove the
crontab that used to run ceilometer-expirer binary in periodic way.
Let's use Puppet to remove this crontab.

We can't easily use Ansible tasks this time, because the Ansible cron
module can only remove Crontabs previously managed by Ansible:
https://docs.ansible.com/ansible/cron_module.html#examples

In this case, Puppet will erase the crontab in Pike. In Queens, we'll be
able to remove these environments files since we wouldn't need it
anymore.

Change-Id: Idb050c3b281d258aea52d6a3ef40441bb9c8bcbe

Containerized nova-compute working with Deployed Server

When using the Deployed Server feature, we rely on Puppet to install
packages. But nova-compute/libvirt puppet is running in a container, so
it cannot install anything on the host. We rely on virtlogd on the host,
so we need to install it there some way. This patch uses host_prep_tasks
for that, conditionally based on the EnablePackageInstall stack
parameter value.

Also multinode-container-upgrade.yaml env is copied as
multinode-containers.yaml, to remove the naming confusion, as the
environment file can be used for more than just upgrades. The old env
file will be removed once we make the upgrade job use the new one (catch
22 type of issue).

Change-Id: Ia9b3071daa15bc30792110e5f34cd859cc205fb8

Merge "Add RoleNetHostnameMap output"

Add sshd service to containerized compute role

This adds the sshd puppet service to the containerized compute role

All other roles already include this service from the defaults roles data,
it is only missing from the compute role.

As the sshd service runs on the docker host, this must remain as a
traditional puppet service. NB the sshd puppet service does not enable
sshd, it just enables the management of the sshd config via t-h-t/puppet.

Closes-bug: #1693837
Change-Id: I86ff749245ac791e870528ad4b410f3c1fd812e0

Merge "Store role_data in an OS::Heat::Value resource"

Merge "Add heat environment for disabling all telemetry services"

Merge "Add ignore_projects to filter gnocchi events"