Merge "Add support for Dell EMC VNX Manila Backend" into stable/pike

Merge "Add support for Dell EMC Unity Manila Backend" into stable/pike

Merge "Remove src_ceph from manila kolla_config" into stable/pike

Merge "Change ManageEventPipeline to true" into stable/pike

Merge "Use switch to containers instead of take over playbook for ceph-ansible" into stable/pike

Merge "Add DockerPuppetProcessCount defaults to 3" into stable/pike

Merge "Add missing Docker service" into stable/pike

Merge "Set docker-puppet --health-cmd = /bin/true" into stable/pike

Merge "container ovs-agent, ensure br-ex exists" into stable/pike

Merge "Use integers for rabbitmq ports" into stable/pike

Add support for Dell EMC VNX Manila Backend

This change adds support for manila::backend::dellemc_vnx

Change-Id: I5fa5c2d6956429d1b9c12a5af6d4a887ed0624d9
Implements: blueprint dellemc-vnx-manila
(cherry picked from commit a3debcfa8b2cbb3acaba292e082b0a3b0ee8ef54)

Add support for Dell EMC Unity Manila Backend

This change adds support for manila::backend::dellemc_unity

Change-Id: Idec67d190b12359e8e6f1c157577088fa84ef41d
Implements: blueprint dellemc-unity-manila
(cherry picked from commit c5ee7b7714c712807f33ca1645186d33103a2264)

Merge "Update UPPER_CONSTRAINTS_FILE for stable/pike" into stable/pike

Merge "Update .gitreview for stable/pike" into stable/pike

Change ManageEventPipeline to true

Since the event pipeline publisher defaults in the heat templates are
different from what puppet sets. We need to have the Manage to true so
override takes effect. Without this we keep defaulting back to puppet
defaults. We can flip this back to false once panko:// is droppped as
a supported option from the pipeline.

Change-Id: I2248c165783dddfb4cb7cf5644884dd8f6e6ed63
(cherry picked from commit 941b5d6797ea54afbc7b822ee045ce1186627e7c)

container ovs-agent, ensure br-ex exists

Currently the container neutron-ovs-agent is stuck in a restart loop
in many environments because the bridge br-ex is missing.

This bridge is created by running the puppet class
neutron::agents::ml2::ovs but limiting that run to tag
neutron::plugins::ovs::bridge.

The hiera neutron::agents::ml2::ovs::bridge_mappings should already
exists to create the bridge with the required settings.

This change should ensure br-ex exists after step 3.

Since br-ex is created regardless of the chosen network config,
environments/docker-network.yaml is not longer required. It can be
deleted once there are no more references to it in CI and
documentation.

Change-Id: Ie425148b0ad0f38e149c5fa0a97d98ec35d0a5bb
Closes-Bug: #1699261
Closes-Bug: #1691403
Closes-Bug: #1689556
(cherry picked from commit 76f130d6e8f7434433b2602af9794f1e9c742e1f)

Remove src_ceph from manila kolla_config

Pacemaker puppet module takes care of mounting /etc/ceph into
manila-share container (I23b6890b4cf7f1e6fe84b6be280dde82218275fc).

Change-Id: I1026b2436275b17cfe3ac85192d42c5268f0a630
Related-To: I23b6890b4cf7f1e6fe84b6be280dde82218275fc
(cherry picked from commit 0d8040ca33d42dbb7e06162f2b659ff6cbc0316f)

Use switch to containers instead of take over playbook for ceph-ansible

On upgrade we need to run a specific playbook for ceph-ansible
to be able to take over the pre-existing Ceph cluster deployed with
puppet-ceph and the migrate it into a containerized deployment.

This changes the playbook we use on upgrade so that it migrates
the cluster in containers in addition to taking over the cluster.

Change-Id: I353c219832c41328f298fa7b65768ecf26c37f29
(cherry picked from commit cab266c9b2b62c0033f8fb66e8e61b7aa46b3e2b)

Use integers for rabbitmq ports

They should be integers as specified in the parameter definition
of the class. Else it'll fail.

Change-Id: I06b6e46c0722516e28e8bff4d481fb4b7a08bd61
Closes-Bug: #1713659
(cherry picked from commit 4bea8cf918463c43c7d5f4e46984ab54271ea3e5)

Add missing Docker service

The example composable roles are missing the docker service declaration
so they currently do not work when trying to deploy with containerized
services.

Change-Id: I986ae561b950e74aacea10bce84673e8d0c9bd97
Closes-Bug: #1713755
(cherry picked from commit 50c975d1590930e6ce453942f99759a25ec08703)

Use Python to compute release notes version

Leave the version fields blank, since the release notes document
applies to all versions.
That will avoid manual changes in the future like we did until now.

Change-Id: Ibb33ade808c9866b5314b7dda60a44000089a467
(cherry picked from commit 4782394044a8f66de63db7772b7a5992a781cc57)

Merge "Support deploying OVN as container services" into stable/pike

Merge "Make archive policy configurable" into stable/pike

Add DockerPuppetProcessCount defaults to 3

docker-puppet.py is very aggressive about running concurrently.
It uses python multiprocessing to run multiple config generating
containers at once. This seems to work well in general, but
in some cases... perhaps when the registry is slow or under
heavy load can cause timeouts to occur. Lately I'm seeing
several 'container did not start before the specified timeout'
errors that always seem to occur when config files are generated
(docker-puppet.py is initially executed.

A couple of things:

 -when config files are generated this is the first time
  most of the containers are pulled to each host machine
  during deployment

 -docker-puppet.py runs many of these processes at once. Some
  of them run faster, other not.

 -docker daemon's pull limit defaults to 3. This would throttle
  the above a bit perhaps contributing the the likelyhood of a timeout.

One solution that seems to work for me is to set the PROCESS_COUNT
in docker-puppet.py to 3. As this matches docker daemon's default
it is probably safer at the cost of being slightly slower in some
cases.

Change-Id: I17feb3abd9d36fe7c95865a064502ce9902a074e
Closes-bug: #1713188
(cherry picked from commit 949d367ddeb42eff913cdbed733ccf6239b4864b)

Set docker-puppet --health-cmd = /bin/true

Change-Id: Idf627a348cad8d5287c82cb393367210f1c760cf
Closes-bug: #1713185
(cherry picked from commit 20e1f0e8c9a2bbc3734f6eec0ee9ac2d5156f166)

manila: set "host" to "hostgroup"

when running manila-share under control of pacemaker, as
is done for cinder-volume service in the same circumstance.

Change-Id: Ic97f01913bae2a388c962a38fa175eb1d763cdcb
Depends-On: Ie31f2d5ccf458f5fcfe8bec5f2c37f45070cfde2
Closes-Bug: #1712842
(cherry picked from commit 8fa6c6e58c7ac0d32bf2f0dfb586683cf006e3bf)

Merge "Enable ceilometer compute agent" into stable/pike

Merge "Handle failure of carrier check in configure_safe_defaults()" into stable/pike

Merge "Add panko publisher in the event pipeline" into stable/pike

Support deploying OVN as container services

This patch adds the support to containerize OVN services for the
base profile.

OVN db servers do not support active-active mode yet. It does support
master-slave mode supported through pacemaker, which will be supported
in a later patch.

Presently the tripleo container framework doesn't allow to start a
container in only controller 0 (or bootstrap node). OVN db servers and
ovn-northd are started on all the controllers, but only the OVN db
servers running in the boot strap controller are configured to listen
on the tcp ports 6641 and 6642. OVN neutron mechanism driver
and ovn-controller's use the ovn_dbs_vip to connect to the OVN db servers.
Haproxy configures all the controllers as back ends, but only OVN db
servers running on controller 0 respond since only they are configured
properly.

The OVN containers running on other controller nodes do not interact
any way, but are wasteful resources.

This patch also adds the scenario007-multinode-containers CI template.

Partial-bug: #1699085
Change-Id: I98b85191cc1fd8c2b166924044d704e79a4c4c8a
(cherry picked from commit e7cd03d2f0fcd8e3069246ced94f1a83869b8bea)

Make archive policy configurable

Change-Id: I603ce6922130fe32aa1a154df8146ee582bf1a45
(cherry picked from commit b1d7887ce710a98f061100e2878a54c06a5d09e2)

Handle failure of carrier check in configure_safe_defaults()

Configure_safe_defaults() should handle carrier check failures
in the same way as the change that was made to
dhcp-all-interfaces.sh in https://review.openstack.org/#/c/419527/.
That is, it should ignore failures when cat'ing the carrier file.

Change-Id: I100a40835d0ccecee9b4851aae6366c6ab4813a5
Closes-Bug: 1712687
(cherry picked from commit ed976d285caab1858f0b6e74e14a723113d27052)

Enable ceilometer compute agent

This service isn't being started by default and it's required in order
to ceilometer collect data about cpu, which is required to run tempest
integration tests

Closes-Bug: #1713038
Change-Id: I79ba7744db78636fba78e041443148c91e06f940
(cherry picked from commit a2ce6d238cd7e72029fdd6e6364a0501f3bfc835)

Add panko publisher in the event pipeline

Even though panko is deprecated, we still enable it by default.
So lets keep it in pipeline as well until its fully dead.

Change-Id: Idac89820a66c59b921551857cccae6dbc38241c3
(cherry picked from commit 3dbd5bfe86c2d6864c5678774fc7f910ab846300)

Containarise Barbican API

This containerises Barbican API in TripleO

Change-Id: Icc5e9841ea48c806af4db61cd6de5e9a7a40a988
Partial-Bug: 1668924
Depends-On: I6b5ec18ccdd51b90ff27ff7d4341260dfba71e4e
(cherry picked from commit 6d338b809accea4d3ba09ca8363b1a97ed79b658)

Update UPPER_CONSTRAINTS_FILE for stable/pike

Change-Id: If1376a7d802d79c2b7533c8f315f47c21f896476

Update .gitreview for stable/pike

Change-Id: I62443317bb2a7fbe84f6bb2aa769053b66edb022

Merge "Remove baremetal cron jobs on docker upgrade"

Merge "Docker: Enable TLS in the internal network for libvirt"

Merge "Specify the start count to 0 for the update step loop"

Merge "Do not install additional CentOS packages via ceph-ansible"

Merge "More fixes for the Ceph docker images url parsing"

Merge "Configure listen_address for libvirtd when TLS is enabled"

Do not install additional CentOS packages via ceph-ansible

EPEL is required by the Ceph RPM repo maintained at ceph.com but
not by the CentOS SIG repo. The other packages should be already
installed in the infra image.

This change overrides the list of required packages in ceph-ansible
so that it does not install epel-release nor additional unneeded
packages [1].

1. https://github.com/ceph/ceph-ansible/blob/master/group_vars/all.yml.sample#L67

Change-Id: I7b6d2794ebfc0df5b3d5ad9de1d1d55740a38ae0
Closes-Bug: #1712599

Merge "docker: Stop all active ceilometer services during compute upgrade"

Specify the start count to 0 for the update step loop

Force the count start to 0 to ensure that the
update step loop will start to 0 and execute the
update step0

Closes-Bug: #1712498

Change-Id: I71be55c1f56e53e5c565bec281795d63e5845ff6

Configure listen_address for libvirtd when TLS is enabled

It wasn't being configured, and the default is to listen on all
interfaces. This fixes that.

Change-Id: I00da25474fb1544eabdedaf126e67d5a6617f02f
Closes-Bug: #1712475

Docker: Enable TLS in the internal network for libvirt

Bind mounts the necessary certs and keys to enable live migrations
using TLS.

bp tls-via-certmonger-containers

Depends-On: I26a7748b37059ea37f460d8c70ef684cc41b16d3
Change-Id: I81efa85d916823f740bf320c88a248403743a45b

Merge "Accept multiple registries in DockerInsecureRegistryAddress"

Merge "Add Ceilometer API and Collector service to roles_data"

Merge "Render port templates via j2"

Merge "Zaqar: Match service name with service-net-map"

Merge "Fix configuration files path for logrotate container"

Zaqar: Match service name with service-net-map

This is required for t-h-t to generate the appropriate hieradata.

Change-Id: I9b451eac4427a52ad8eec62ff89acc6c6d3ab799
Closes-Bug: #1712328

Merge "Add nova metadata to TLS everywhere/docker services list"

Merge "change sriovnicswitch to be first with openvswitch"

Fix configuration files path for logrotate container

The config_volume is named 'crond', and so must me the path to
puppet-generated directory.

Change-Id: I13b4ad7642ddf3bc5d1f4aa979b4a91a89605fb1
Closes-Bug: #1712300

Merge "TLS everywhere/haproxy: Remove empty postsave command"

Render port templates via j2

Remove these from the j2 excludes and instead render all the networks
to avoid duplication.

Change-Id: Id8e14e06ffe959c50456b4c88fef306046a8b478
Partially-Implements: blueprint composable-networks

Merge "Add logrotate with crond service"

Merge "Let mds create manila key and fs"

Add nova metadata to TLS everywhere/docker services list

This is working, so we add it to the list.

bp tls-via-certmonger-containers

Change-Id: Ib545d4e6c130b73b4921eb9b6325d2e8d6ff1e2c

TLS for containerized horizon

bind mount the certificates needed for TLS.

bp tls-via-certmonger-containers

Change-Id: Ib9b533249be37665b77396a76133cc42fd15ee2b

Merge "Enable TLS for containerized RabbitMQ"

Add logrotate with crond service

Add a docker service template to provide containerized services
logs rotation with a crond job.
Add OS::TripleO::Services::LogrotateCrond to CI multinode-containers
and to all environments among with generic services like Ntp or Kernel.
Set it to OS::Heat::None for non containerized environments and
only enable it to the environments/docker.yaml.

Closes-bug: #1700912

Change-Id: Ic94373f0a0758e9959e1f896481780674437147d
Signed-off-by: Bogdan Dobrelya <bdobreli@redhat.com>

Merge "Add certmonger user profile to all overcloud roles"

Merge "Mount ceph config on gnocchi statsd"

Merge "Swith to the appropriate ceph-ansible playbook on upgrade"

Merge "Extend VNC port range"

Merge "Prepare reno for TripleO Pike RC1"

Merge "Convert scenario001-multinode-containers job to ceph-ansible"

Merge "ci: don't deploy swift on basic multinode job"

Merge "Enable TLS for nova-metadata"

Merge "Add params needed for the ceph-ansible switch to containers playbook"

Merge "Tag the ha containers with 'pcmklatest' at deploy time"

Merge "Add support for Dell EMC Unity Cinder backend"

Merge "scenario002/multinode: do not run containerized Zaqar"

Merge "scenario002/container: run Barbican non-containerized"

Merge "Workaround for RHEL registration as "localhost""

Mount ceph config on gnocchi statsd

gnocchi-statsd needs access to ceph config. lets mount the
ceph config files so it doesnt throw conf_read_file errors.

Change-Id: I1426d580c8d8d60e986ca859f89eeb8799ab6bd2

Prepare reno for TripleO Pike RC1

Change-Id: Ied1d57cd187ffe480912a3820587952aa88936c3

Merge "Also write an upgrade_tasks_playbook"

More fixes for the Ceph docker images url parsing

Existing code was still failing the following scenario:

  http://192.168.24.1:8787/ceph/rhceph-2-rhel7:latest

Now this has been tested with the following variations:

  http://192.168.24.1:8787/ceph/rhceph-2-rhel7:latest
  http://192.168.24.1:8787/rhceph-2-rhel7:latest
  192.168.24.1:8787/ceph/rhceph-2-rhel7:latest
  192.168.24.1:8787/rhceph-2-rhel7:latest
  192.168.24.1/ceph/daemon:latest

And then the same list without the custom registry host.

Change-Id: Ifc871de8c2678f6a6fc5d234bfb62e8273c1b0b7

Merge "Enable listening on TLS for the internal network for horizon"

ci: don't deploy swift on basic multinode job

Swift is already deployed on scenario002, and we want to keep
basic multinode as basic as possible with only the minimum so it runs
faster and we can use it for early tests in our CI.

Change-Id: I6d2f434305d7ca0d704a9454b758670c39a0af4a

Merge "Restore and split nova metadata docker service out of nova-api."

Let mds create manila key and fs

ceph-ansible will take care of setting up client keys both
in ceph and on client side. It will also create filesystem
for manila. To assure that manila manifest can work in future
both with puppet and with ceph-ansible, creation of filesystem
is moved to ceph-mds manifest and creation of manila key on ceph
side is moved to ceph-base (so manila key is always created),
manila key is added to ceph-external for external ceph deployments.
Key creation is removed from manila.pp in patch
I2b5567a39ac8737e80758b705818cc1807dc8bf1

Change-Id: I6308a317ffe0af244396aba5197c85e273e69f68
Related-To: Ia3ef9e9a2b159dacea01e38762145ff2bcc7ba27
Depends-On: I3f18bbe476c4f43fa4e162cc66c5df443122cd0c

Merge "TLS everywhere/docker: add nova services to environment"

Tag the ha containers with 'pcmklatest' at deploy time

We need to tag the HA containers with a special tag so
that the RA definition never changes. We do this step in THT
as opposed to puppet because we need to guarantee
that all images are tagged on all nodes *before* step 2 where the bundle
gets created.

NB: Getting the image name without the tag will require some more
yaql work to get all the cases right. Right now this works only
if we enforce that the image has a ':tag' at the end of the name.
So far this is always the case. If things change we will need to
amend this code.

Co-Authored-By: Damien Ciabrini <dciabrin@redhat.com>
Co-Authored-By: Sofer Athlan-Guyot <sathlang@redhat.com>
Change-Id: I362e6cf26fba77d3f949b7d2fc4b35a3eab9087e

Enable TLS for containerized RabbitMQ

Bind mounts and adds the appropriate permissions for the cert and
key that's used for TLS.

bp tls-via-certmonger-containers

Depends-On: I62ff89362cfcc80e6e62fad09110918c36802813
Change-Id: I48325893a00690e2f5d6f1d685f903234545d5b8

TLS everywhere/haproxy: Remove empty postsave command

This is addressed by the patch this depends on.

bp tls-via-certmonger
Depends-On: I62ff89362cfcc80e6e62fad09110918c36802813

Change-Id: Ibecc461b0c9af02500f590a1f7469d7e4ff20d95

Convert scenario001-multinode-containers job to ceph-ansible

Updates ci/environments/scenario001-multinode-containers.yaml
to use ceph-ansible instead of puppet-ceph.

Change-Id: Idbd02a3c7404daecdc6e2c45ea6d3478bf70552c
Depends-On: Ifa4937624ed14a3ece48dd92ba4f69b5e4928e77

Merge "Refactor setup_docker_host.sh as host_prep_tasks"

Merge "Provide sample environment for composable roles"

Merge "Containerize Manila Share for HA"

Enable listening on TLS for the internal network for horizon

This sets the flag that tells the horizon manifest to use TLS for the
configuration.

bp tls-via-certmonger

Depends-On: I7f2e11eb60c7b075e8a59f28682ecc50eeb95c3e
Change-Id: I13d59e7663538884b34b5a910b741de8721abbb9

Merge "Add support for installing Ceph MDS via ceph-ansible"

Merge "Make cinder-manage db sync run on only one controller during upgrade"

Merge "Remove iscsid from TLS everywhere docker environment"

Restore and split nova metadata docker service out of nova-api.

I2c39a2957fd95dd261b5b8c4df5e66e00a68d2f7 changed nova api to http from
eventlet, however we need to continue running the eventlet service as
it is required for the nova metadata api.

However this should be tied to the OS::TripleO::Services::NovaMetadata
service, so duplicate the required config in nova-metadata.yaml.

Change-Id: I398575d565d5527bcaa1c8b33b9de2e1e0f2f6fd
Depends-On: Id3407e151566d16c6ae1e1ea8c1b021dac22e727
Closes-bug: #1711425