Merge "Handle failure of carrier check in configure_safe_defaults()" into stable/pike

Merge "Add panko publisher in the event pipeline" into stable/pike

Handle failure of carrier check in configure_safe_defaults()

Configure_safe_defaults() should handle carrier check failures
in the same way as the change that was made to
dhcp-all-interfaces.sh in https://review.openstack.org/#/c/419527/.
That is, it should ignore failures when cat'ing the carrier file.

Change-Id: I100a40835d0ccecee9b4851aae6366c6ab4813a5
Closes-Bug: 1712687
(cherry picked from commit ed976d285caab1858f0b6e74e14a723113d27052)

Add panko publisher in the event pipeline

Even though panko is deprecated, we still enable it by default.
So lets keep it in pipeline as well until its fully dead.

Change-Id: Idac89820a66c59b921551857cccae6dbc38241c3
(cherry picked from commit 3dbd5bfe86c2d6864c5678774fc7f910ab846300)

Containarise Barbican API

This containerises Barbican API in TripleO

Change-Id: Icc5e9841ea48c806af4db61cd6de5e9a7a40a988
Partial-Bug: 1668924
Depends-On: I6b5ec18ccdd51b90ff27ff7d4341260dfba71e4e
(cherry picked from commit 6d338b809accea4d3ba09ca8363b1a97ed79b658)

Merge "Remove baremetal cron jobs on docker upgrade"

Merge "Docker: Enable TLS in the internal network for libvirt"

Merge "Specify the start count to 0 for the update step loop"

Merge "Do not install additional CentOS packages via ceph-ansible"

Merge "More fixes for the Ceph docker images url parsing"

Merge "Configure listen_address for libvirtd when TLS is enabled"

Do not install additional CentOS packages via ceph-ansible

EPEL is required by the Ceph RPM repo maintained at ceph.com but
not by the CentOS SIG repo. The other packages should be already
installed in the infra image.

This change overrides the list of required packages in ceph-ansible
so that it does not install epel-release nor additional unneeded
packages [1].

1. https://github.com/ceph/ceph-ansible/blob/master/group_vars/all.yml.sample#L67

Change-Id: I7b6d2794ebfc0df5b3d5ad9de1d1d55740a38ae0
Closes-Bug: #1712599

Merge "docker: Stop all active ceilometer services during compute upgrade"

Specify the start count to 0 for the update step loop

Force the count start to 0 to ensure that the
update step loop will start to 0 and execute the
update step0

Closes-Bug: #1712498

Change-Id: I71be55c1f56e53e5c565bec281795d63e5845ff6

Configure listen_address for libvirtd when TLS is enabled

It wasn't being configured, and the default is to listen on all
interfaces. This fixes that.

Change-Id: I00da25474fb1544eabdedaf126e67d5a6617f02f
Closes-Bug: #1712475

Docker: Enable TLS in the internal network for libvirt

Bind mounts the necessary certs and keys to enable live migrations
using TLS.

bp tls-via-certmonger-containers

Depends-On: I26a7748b37059ea37f460d8c70ef684cc41b16d3
Change-Id: I81efa85d916823f740bf320c88a248403743a45b

Merge "Accept multiple registries in DockerInsecureRegistryAddress"

Merge "Add Ceilometer API and Collector service to roles_data"

Merge "Render port templates via j2"

Merge "Zaqar: Match service name with service-net-map"

Merge "Fix configuration files path for logrotate container"

Zaqar: Match service name with service-net-map

This is required for t-h-t to generate the appropriate hieradata.

Change-Id: I9b451eac4427a52ad8eec62ff89acc6c6d3ab799
Closes-Bug: #1712328

Merge "Add nova metadata to TLS everywhere/docker services list"

Merge "change sriovnicswitch to be first with openvswitch"

Fix configuration files path for logrotate container

The config_volume is named 'crond', and so must me the path to
puppet-generated directory.

Change-Id: I13b4ad7642ddf3bc5d1f4aa979b4a91a89605fb1
Closes-Bug: #1712300

Merge "TLS everywhere/haproxy: Remove empty postsave command"

Render port templates via j2

Remove these from the j2 excludes and instead render all the networks
to avoid duplication.

Change-Id: Id8e14e06ffe959c50456b4c88fef306046a8b478
Partially-Implements: blueprint composable-networks

Merge "Add logrotate with crond service"

Merge "Let mds create manila key and fs"

Add nova metadata to TLS everywhere/docker services list

This is working, so we add it to the list.

bp tls-via-certmonger-containers

Change-Id: Ib545d4e6c130b73b4921eb9b6325d2e8d6ff1e2c

TLS for containerized horizon

bind mount the certificates needed for TLS.

bp tls-via-certmonger-containers

Change-Id: Ib9b533249be37665b77396a76133cc42fd15ee2b

Merge "Enable TLS for containerized RabbitMQ"

Add logrotate with crond service

Add a docker service template to provide containerized services
logs rotation with a crond job.
Add OS::TripleO::Services::LogrotateCrond to CI multinode-containers
and to all environments among with generic services like Ntp or Kernel.
Set it to OS::Heat::None for non containerized environments and
only enable it to the environments/docker.yaml.

Closes-bug: #1700912

Change-Id: Ic94373f0a0758e9959e1f896481780674437147d
Signed-off-by: Bogdan Dobrelya <bdobreli@redhat.com>

Merge "Add certmonger user profile to all overcloud roles"

Merge "Mount ceph config on gnocchi statsd"

Merge "Swith to the appropriate ceph-ansible playbook on upgrade"

Merge "Extend VNC port range"

Merge "Prepare reno for TripleO Pike RC1"

Merge "Convert scenario001-multinode-containers job to ceph-ansible"

Merge "ci: don't deploy swift on basic multinode job"

Merge "Enable TLS for nova-metadata"

Merge "Add params needed for the ceph-ansible switch to containers playbook"

Merge "Tag the ha containers with 'pcmklatest' at deploy time"

Merge "Add support for Dell EMC Unity Cinder backend"

Merge "scenario002/multinode: do not run containerized Zaqar"

Merge "scenario002/container: run Barbican non-containerized"

Merge "Workaround for RHEL registration as "localhost""

Mount ceph config on gnocchi statsd

gnocchi-statsd needs access to ceph config. lets mount the
ceph config files so it doesnt throw conf_read_file errors.

Change-Id: I1426d580c8d8d60e986ca859f89eeb8799ab6bd2

Prepare reno for TripleO Pike RC1

Change-Id: Ied1d57cd187ffe480912a3820587952aa88936c3

Merge "Also write an upgrade_tasks_playbook"

More fixes for the Ceph docker images url parsing

Existing code was still failing the following scenario:

  http://192.168.24.1:8787/ceph/rhceph-2-rhel7:latest

Now this has been tested with the following variations:

  http://192.168.24.1:8787/ceph/rhceph-2-rhel7:latest
  http://192.168.24.1:8787/rhceph-2-rhel7:latest
  192.168.24.1:8787/ceph/rhceph-2-rhel7:latest
  192.168.24.1:8787/rhceph-2-rhel7:latest
  192.168.24.1/ceph/daemon:latest

And then the same list without the custom registry host.

Change-Id: Ifc871de8c2678f6a6fc5d234bfb62e8273c1b0b7

Merge "Enable listening on TLS for the internal network for horizon"

ci: don't deploy swift on basic multinode job

Swift is already deployed on scenario002, and we want to keep
basic multinode as basic as possible with only the minimum so it runs
faster and we can use it for early tests in our CI.

Change-Id: I6d2f434305d7ca0d704a9454b758670c39a0af4a

Merge "Restore and split nova metadata docker service out of nova-api."

Let mds create manila key and fs

ceph-ansible will take care of setting up client keys both
in ceph and on client side. It will also create filesystem
for manila. To assure that manila manifest can work in future
both with puppet and with ceph-ansible, creation of filesystem
is moved to ceph-mds manifest and creation of manila key on ceph
side is moved to ceph-base (so manila key is always created),
manila key is added to ceph-external for external ceph deployments.
Key creation is removed from manila.pp in patch
I2b5567a39ac8737e80758b705818cc1807dc8bf1

Change-Id: I6308a317ffe0af244396aba5197c85e273e69f68
Related-To: Ia3ef9e9a2b159dacea01e38762145ff2bcc7ba27
Depends-On: I3f18bbe476c4f43fa4e162cc66c5df443122cd0c

Merge "TLS everywhere/docker: add nova services to environment"

Tag the ha containers with 'pcmklatest' at deploy time

We need to tag the HA containers with a special tag so
that the RA definition never changes. We do this step in THT
as opposed to puppet because we need to guarantee
that all images are tagged on all nodes *before* step 2 where the bundle
gets created.

NB: Getting the image name without the tag will require some more
yaql work to get all the cases right. Right now this works only
if we enforce that the image has a ':tag' at the end of the name.
So far this is always the case. If things change we will need to
amend this code.

Co-Authored-By: Damien Ciabrini <dciabrin@redhat.com>
Co-Authored-By: Sofer Athlan-Guyot <sathlang@redhat.com>
Change-Id: I362e6cf26fba77d3f949b7d2fc4b35a3eab9087e

Enable TLS for containerized RabbitMQ

Bind mounts and adds the appropriate permissions for the cert and
key that's used for TLS.

bp tls-via-certmonger-containers

Depends-On: I62ff89362cfcc80e6e62fad09110918c36802813
Change-Id: I48325893a00690e2f5d6f1d685f903234545d5b8

TLS everywhere/haproxy: Remove empty postsave command

This is addressed by the patch this depends on.

bp tls-via-certmonger
Depends-On: I62ff89362cfcc80e6e62fad09110918c36802813

Change-Id: Ibecc461b0c9af02500f590a1f7469d7e4ff20d95

Convert scenario001-multinode-containers job to ceph-ansible

Updates ci/environments/scenario001-multinode-containers.yaml
to use ceph-ansible instead of puppet-ceph.

Change-Id: Idbd02a3c7404daecdc6e2c45ea6d3478bf70552c
Depends-On: Ifa4937624ed14a3ece48dd92ba4f69b5e4928e77

Merge "Refactor setup_docker_host.sh as host_prep_tasks"

Merge "Provide sample environment for composable roles"

Merge "Containerize Manila Share for HA"

Enable listening on TLS for the internal network for horizon

This sets the flag that tells the horizon manifest to use TLS for the
configuration.

bp tls-via-certmonger

Depends-On: I7f2e11eb60c7b075e8a59f28682ecc50eeb95c3e
Change-Id: I13d59e7663538884b34b5a910b741de8721abbb9

Merge "Add support for installing Ceph MDS via ceph-ansible"

Merge "Make cinder-manage db sync run on only one controller during upgrade"

Merge "Remove iscsid from TLS everywhere docker environment"

Restore and split nova metadata docker service out of nova-api.

I2c39a2957fd95dd261b5b8c4df5e66e00a68d2f7 changed nova api to http from
eventlet, however we need to continue running the eventlet service as
it is required for the nova metadata api.

However this should be tied to the OS::TripleO::Services::NovaMetadata
service, so duplicate the required config in nova-metadata.yaml.

Change-Id: I398575d565d5527bcaa1c8b33b9de2e1e0f2f6fd
Depends-On: Id3407e151566d16c6ae1e1ea8c1b021dac22e727
Closes-bug: #1711425

Merge "Mount NFS volume to docker container."

Merge "Enable TLS configuration for containerized RabbitMQ"

Workaround for RHEL registration as "localhost"

Workaround systems getting registered as "localhost" during
RHEL registration if they don't have a fqdn set by first
rm'ing the /etc/rhsm/facts directory. When the directory does not
exist, the katello-rshm-consumer which runs when installing
the katello-ca-consumer will not set the hostname.override fact to
"localhost".

Change-Id: Ia29aa9c775f715f9745bb7e1e4022cc395a7d092
Partial-Bug: #1711435

Enable TLS for nova-metadata

This also tells the neutron metadata agent to use TLS for contacting
nova-metadata.

bp tls-via-certmonger
Depends-On: I97ac2da29be468c75713fe2fae7e6d84cae8f67c
Depends-On: I9df395dc699090bd73265d10395e155e9b8adb26

Change-Id: I9a8c54f6e052852b8f9d06a42da87773f4da3a15

Add certmonger user profile to all overcloud roles

This is needed for TLS everywhere, else the certs won't be requested.

Change-Id: I9849e009843683a75fefa6e9f4b8213bcff3a889
Closes-Bug: #1711424

Add Ceilometer API and Collector service to roles_data

Ceilometer api and collector are disabled in pike. During upgrade case,
if its not in the roles_data the disable task doesnt get picked
up and continue to run. This should be removed in Queen cycle.

Change-Id: I3bf555ac9488fc6622e6a62a809150082a85ea54

Merge "Enable TLS for containerized MySQL"

Merge "Enable TLS for containerized haproxy"

Merge "Render IP map and host maps according to network_data.yaml"

Merge "Enable TLS configuration for containerized HAProxy"

Refactor setup_docker_host.sh as host_prep_tasks

Previously what we've been doing with setup_docker_host.sh can now be
achieved with host_prep_tasks, and we can free up the NodeUserData
interface for other use cases.

Closes-Bug: #1711387
Change-Id: Iaac90efd03e37ceb02c312f9c15c1da7d4982510

Provide sample environment for composable roles

Creating a sample environment generator configuration to generate basic
environment files for the following architectures:

 * Monolithic HA (3 Controller, 3 Compute, 1 Ceph)
 * Monolithic Non-HA (1 Controller, 1 Compute, 1 Ceph)
 * Standalone (3 Controller, 3 Database, 3 Messaging, 2 Networker,
   1 Compute, 1 Ceph)

Change-Id: Id0b967d3b2356f38a51e1028b2dccc122d59888c
Related-Blueprint: example-custom-role-environments

Merge "README: Fix CI coverage layout"

Swith to the appropriate ceph-ansible playbook on upgrade

When performing an overcloud upgrade, we need to run a different
ceph-ansible playbook from what we run for fresh deployments.

This change adds the logic to parse StackUpdateType and set the
playbook path accordingly.

Change-Id: I2882f62a80954e6e7324bb86e5ac91c059698a60

Add support for Dell EMC Unity Cinder backend

This change adds a new define for cinder::backend::dellemc_unity.

Change-Id: I7f9dbb707cf9b5c90ec2f31dcff82cd578805b80
Implements: blueprint dellemc-unity-cinder

TLS everywhere/docker: add nova services to environment

Most nova services are working with TLS everywhere, so they can be
added to the environment.

The compute and libvirt services are still pending.

bp tls-via-certmonger-containers

Change-Id: I80745fff5fbd9a6ccd701c1d154b38ad41b0cc3c

Remove iscsid from TLS everywhere docker environment

Since nova-compute is not containerized with TLS yet, using containerized
iscsid causes errors when trying to spawn a VM with a volume. Since
the path is different in this case.

I will re-add iscsid to this environment once nova-compute is
containerized with TLS.

bp tls-via-certmonger-containers

Change-Id: Ida87b187e56ae852c5a4ef6f78cc04a0870fe3f4

Merge "Remove duplicate Iscsid service in resource registry"

scenario002/multinode: do not run containerized Zaqar

It doesn't work yet, see:
https://bugs.launchpad.net/tripleo/+bug/1710959

Change-Id: I05d5325aa704f8e18737e98d3bd6b4d00fc1dca6

scenario002/container: run Barbican non-containerized

... until https://review.openstack.org/#/c/474327 is merged.
In the meantime, let's test the scenario with Barbican like before.

Depends-On: Ib5c99482f62397fc5fb79a9dc537dfb06ee7f4df
Change-Id: Ia96736ad3ddabd33c5ee4518a3f63bafeffcf391

Merge "Set default OSD pool size to 1 in scenario 001/004 containers"

Merge "Containerize virtlogd"

Merge "Delete docker-centos-tripleoupstream.yaml"

Merge "Add ServiceData to hidden params"

Merge "Add NeutronOverlayIPVersion parameter to neutron-plugins-ml2 service"

Containerize Manila Share for HA

This service allows configuring and deploying manila-share
containers in a HA overcloud managed by pacemaker.

The containers are managed and run by pacemaker. Pacemaker runs the
standard Kolla image but overrides the initial command so that
it explicitely calls manila-share. This way, we shield ourselves
from any unexpected future change in Kolla.
This container needs to use the 'docker_config' section to invoke
puppet (as opposed to 'docker_puppet_tasks'), because due to the HA
composability each resource creation needs to happen on the bootstrap
node of that service and 'docker_puppet_tasks' will only run on the
controller/primary role.

Based on work done in fdb233e64e3d78014dd7e351abfed5aec5035866

Partial-Bug: #1668922

Change-Id: Ifa94c506db5eb667690a19d594115a93d2a790b2
Depends-On: I797eea2f7788f65411964ccb852b5707e916416f

README: Fix CI coverage layout

Change-Id: Ib892f54781e568fb267a34390fec1a7e0323de2c

Add params needed for the ceph-ansible switch to containers playbook

Pre existing Ceph clusters are migrated to containers using a
playbook in ceph-ansible which requires setting some 'ireallymeanit'
variable.

1. https://github.com/ceph/ceph-ansible/issues/1758

Change-Id: I5c2f46b91cf032913931275ce62315f293f21c8b
Closes-Bug: #1711159

Merge "Render VIPs dynamically based on network_data.yaml"

Add support for installing Ceph MDS via ceph-ansible

Based on puppet/services/ceph-mds.yaml. Nodes in the CephMds role
will already be in the Ansible inventory but this change provides
a way pass their parameters to ceph-ansible.

Co-Authored-By: Giulio Fidente <gfidente@redhat.com>
Change-Id: Ia3ef9e9a2b159dacea01e38762145ff2bcc7ba27

Render IP map and host maps according to network_data.yaml

This change renders the network IP maps and hostname maps for
all networks defined in network_data.yaml. This should make it
possible to create custom networks that will be rendered for
all applicable roles.

Note that at this time all networks will be rendered whether
they are enabled or not. All networks will be present in all
roles, but ports will be associated with noop.yaml in roles
that do not use the network. This is in accordance with
previous behavior, although we may wish to change this in
the future to limit the size of the role definitions and
reduce the number of placeholder resources in deployments
with many networks.

Note that this patch is a replacement for original patch
https://review.openstack.org/#/c/486280, which I was having
trouble rebasing to current.

Change-Id: I445b008fc1240af57c2b76a5dbb6c751a05b7a2a
Depends-on: I662e8d0b3737c7807d18c8917bfce1e25baa3d8a
Partially-implements: blueprint composable-networks

Set default OSD pool size to 1 in scenario 001/004 containers

When the OSD pool size is unset it defaults to 3, while we only
have a single OSD in CI so the pools are created but not writable.

We did set the default pool size to 1 in the non-containerized
scenarios but apparently missed it in the containerized version.

Change-Id: I1ac1fe5c2effd72a2385ab43d27abafba5c45d4d
Closes-Bug: #1710773