Separate config_volume for ringbuilder

Use a separate config_volume for swift_ringbuilder puppet_config tasks.
This is necessary so that the swift_ringbuilder and swift-storage
services don't both rsync files to the same bind mounted directory.

The rsync command from docker-puppet.py uses --delete-after, so when
they both use the same config_volume, they can end up deleting the files
generated by the other (depending on the order of execution).

Even though a separate config_volume is used, the rings must still end up
in /etc/swift for the swift services containers.  An additional
container init task is used to copy the ring files into
/var/lib/config-data/puppet-generated/swift/etc/swift so that they will
be present when the actual swift services containers are started.

Change-Id: I05821e76191f64212704ca8e3b7428cda6b3a4b7
Closes-Bug: #1710952
(cherry picked from commit cba00abb7517efa6a8d9b8fb954563204323ffed)

Merge "Convert enable-internal-tls.yaml to be generated" into stable/pike

Convert enable-internal-tls.yaml to be generated

All of the other SSL environments were converted, but this one was
missed.  That's an inconsistent user experience and should be
cleaned up.

This environment also exposed a bug in the tool where it did not
include the parameter_defaults section key if all the parameters
were marked static.

Change-Id: I19bc422c22b9f60f781e696ce703b026dc317786
Closes-Bug: 1713761
(cherry picked from commit 7c06db3d1c384773c4abccbce450c259f75e5e4a)

Fix hardcoded references to deprecated *ExtraConfig parameters

These were missed in the previous refactor in role.role.j2.yaml,
we shouldn't reference these via hard-coded values or they become
mandatory in the roles_data.yaml

Change-Id: I014e7d6679c5733b17243d647eaad228c276585a
Closes-Bug: #1711656
(cherry picked from commit 4a4f6783081d9c5b74cda5149bef7655102fcfd8)

Merge "Remove ipv6 specific network templates" into stable/pike

Merge "Add storage backends env files for containerized deployment" into stable/pike

Remove ipv6 specific network templates

This change renders the IPv6 versions of the isolated
networks using j2. To allow for backward compatibility,
there will be 2 versions of the network definitions,
<network>.yaml and <network>_v6.yaml. If the ip_subnet
contains an IPv6 address, or if ipv6: true is set on the
network definition in network_data.yaml, then the
<network>.yaml version will contain an IPv6 definition,
otherwise the <network>.yaml will be IPv4, and the
<network>_v6.yaml will be IPv6.

In a future follow-up patch, we will probably only
create the required versions of the networks, either
IPv4, IPv6, not both.

The ipv6_subnet, ipv6_allocation_pools, and ipv6_gateway
settings in the network_data.yaml definition file are
used for the <network>_v6.yaml network definition.
Note that these subnet/cidr/gateway definitions only set
the defaults, which can be overridden with parameters
set in an environment file.

Since the parameters for IP and subnet range are the
same (e.g. InternalApiNetCidr applies to both IPv4/v6),
only one version can be used at a time. If an operator
wishes to use dual-stack IPv4/IPv6, then two different
networks should be created, and both networks can be
applied to a single interface.

Note that the workflow for the operator is the same as
before this change, but a new example template has been
added to environments/network-environment-v6.yaml.

Change-Id: I0e674e4b1e43786717ae6416571dde3a0e11a5cc
Partially-Implements: blueprint composable-networks
Closes-bug: 1714115
(cherry picked from commit dd299f08bd6b1df43760148d83ce9b6e09ba6572)

Merge "Update generated ssl environments" into stable/pike

Merge "Telemetry specific config for scenario001" into stable/pike

Merge "Move deprecated SchedulerHints logic to overcloud.j2.yaml" into stable/pike

Add storage backends env files for containerized deployment

A storage backend has to be selected when deploying manila,
otherwise the manila-share service will fail to start. For this,
we have some environment files specifying the configuration for
different storage backends. We need a dockerized version
for this environment files.

In this patch set we add those environment files.

Change-Id: I9886016b02bec26699af1f8165d7b0702dfe8b9b
Partial-Bug: #1668922
(cherry picked from commit d7d54594410f60ea6ebf1301048d95f64c66f645)

Merge "Add --wsrep-provider=none to the mysql_bootstrap container" into stable/pike

Merge "Remove puppet run and workarounds from tripleo_upgrade_node.sh" into stable/pike

Update generated ssl environments

These were edited manually and the input file was not updated, which
is causing problems when trying to generate new/updated envs.

Change-Id: Ia2e53e52361e35d94e2dedf9b8885498693bc2e0
Partial-Bug: 1713761
(cherry picked from commit 406b1982ba530abdd6c629780130851e8e335ae8)

Remove puppet run and workarounds from tripleo_upgrade_node.sh

For bug 1708115 and the O..P upgrade, and for the upgrade of
'non-controlers' we are now generating ansible playbooks from
collected service upgrade_tasks and these are executed instead
of the legacy tripleo_upgrade_node.sh.

To clarify, by 'non-controllers' it is meant any node for which
the corresponding roles_data.yaml role has the
disable_upgrade_deployment flag set True.

As a first pass, I am removing the workarounds from the script but
keeping its delivery mechanism for now in case it is needed still.
We can either update here to remove it or keep it until next cycle

The most important part for now is that we no longer 'manually'
run puppet here. Instead the post_deploy_steps are also collected
into a playbook and will be executed after the upgrade_tasks
(see the bug for discussion of the mechanism and related reviews)

Change-Id: Ib017b0ab435ca9558cf8659d434489cdf01df955
Related-Bug: 1708115
(cherry picked from commit 4c5b9c5c967105536106fa4a7e1ec2352b14b08c)

Add --wsrep-provider=none to the mysql_bootstrap container

Depending on the version of mariadb/galera installed the mysql_bootstrap
command might fail. With the following unrevealing error:

openstack-mariadb-docker:2017-08-28.10 "bash -ec 'if [ -e /v" 3 hours ago Exited (124) 3 hours ago

The timeout is actually due to the fact that the following snippets does
not complete within 60 seconds:
"""
if [ -e /var/lib/mysql/mysql ]; then exit 0; fi
kolla_start
mysqld_safe --skip-networking --wsrep-on=OFF &
timeout ${DB_MAX_TIMEOUT} /bin/bash -c ''until mysqladmin -uroot -p"${DB_ROOT_PASSWORD}" ping 2>/dev/null; do sleep 1; done''
mysql -uroot -p"${DB_ROOT_PASSWORD}" -e "CREATE USER ''clustercheck''@''localhost'' IDENTIFIED BY '${DB_CLUSTERCHECK_PASSWORD}'';"
mysql -uroot -p"${DB_ROOT_PASSWORD}" -e "GRANT PROCESS ON *.* TO ''clustercheck'
"""

The problem is that with older mariadb versions:
galera-25.3.16-3.el7ost.x86_64
mariadb-5.5.56-2.el7.x86_64

The mysqld_safe process starts in galera mode (as opposed as to single
local mode):
170830 17:03:05 [Note] WSREP: Start replication
170830 17:03:05 [Note] WSREP: GMCast version 0
...
170830 17:03:05 [ERROR] WSREP: wsrep::connect() failed: 7
170830 17:03:05 [ERROR] Aborting

That means that even though we specified --wsrep-on=OFF it is still
starting in cluster mode. Let's add the extra --wsrep-provider=none
which older versions required.

Let's also add a '-x' to this transient container as that
would have helped a bit because we would have understood right away
that it was mysqld_safe that was not starting. I tested this
successfully on an environment that showed the problem. The new
option is still accepted by newer DB versions in any case.

Closes-Bug: #1714057

Change-Id: Icf67fd2fbf520e8a62405b4d49e8d5169ff3925b
Co-Authored-By: Mike Bayer <mbayer@redhat.com>
(cherry picked from commit c19968ca852ab608513fe692aab958af25276220)

Telemetry specific config for scenario001

- Set gnocchi archivepolicy in scenario001 job to high
- Set polling interval to 15 seconds instead of 300

Change-Id: Ie12abe1f03d000824c5fb1a46d74b94ce49d7876
(cherry picked from commit 0855d4c7b12d27721044ab09ca0d6e8f188d2e90)

Remove hard-coded image reference

This patch removes hard-coded reference to ODL related images.
Logic is implemented in TripleO-common to render images
based on the environment file specified.

Change-Id: I9a11072f98e1245dc32d27d0b0e9bc6e9e19399f
Partial-Bug: #1713685
(cherry picked from commit 21a6b66c8bb5377bc1391e3f582467de7f7b5562)

Move deprecated SchedulerHints logic to overcloud.j2.yaml

The changes in puppet/role.role.j2.yaml should have been made
to overcloud.j2.yaml, because we don't want the hard-coded reference
to the deprecated name in the parent template.  Note we need to
pass this value from the parent template so the %index% substitution
works, which is required for predictable placement via *SchedulerHints

Partial-Bug: #1711656
Change-Id: Ided1802daac48d737f53caa7093df814ba101dd0
(cherry picked from commit c6207379db07544240b699ba000537b58d9fb68f)

Merge "Add support for Dell EMC VNX Manila Backend" into stable/pike

Merge "Add support for Dell EMC Unity Manila Backend" into stable/pike

Merge "Remove src_ceph from manila kolla_config" into stable/pike

Merge "Change ManageEventPipeline to true" into stable/pike

Merge "Use switch to containers instead of take over playbook for ceph-ansible" into stable/pike

Merge "Add DockerPuppetProcessCount defaults to 3" into stable/pike

Merge "Add missing Docker service" into stable/pike

Merge "Set docker-puppet --health-cmd = /bin/true" into stable/pike

Merge "container ovs-agent, ensure br-ex exists" into stable/pike

Merge "Use integers for rabbitmq ports" into stable/pike

Add support for Dell EMC VNX Manila Backend

This change adds support for manila::backend::dellemc_vnx

Change-Id: I5fa5c2d6956429d1b9c12a5af6d4a887ed0624d9
Implements: blueprint dellemc-vnx-manila
(cherry picked from commit a3debcfa8b2cbb3acaba292e082b0a3b0ee8ef54)

Add support for Dell EMC Unity Manila Backend

This change adds support for manila::backend::dellemc_unity

Change-Id: Idec67d190b12359e8e6f1c157577088fa84ef41d
Implements: blueprint dellemc-unity-manila
(cherry picked from commit c5ee7b7714c712807f33ca1645186d33103a2264)

Merge "Update UPPER_CONSTRAINTS_FILE for stable/pike" into stable/pike

Merge "Update .gitreview for stable/pike" into stable/pike

Change ManageEventPipeline to true

Since the event pipeline publisher defaults in the heat templates are
different from what puppet sets. We need to have the Manage to true so
override takes effect. Without this we keep defaulting back to puppet
defaults. We can flip this back to false once panko:// is droppped as
a supported option from the pipeline.

Change-Id: I2248c165783dddfb4cb7cf5644884dd8f6e6ed63
(cherry picked from commit 941b5d6797ea54afbc7b822ee045ce1186627e7c)

container ovs-agent, ensure br-ex exists

Currently the container neutron-ovs-agent is stuck in a restart loop
in many environments because the bridge br-ex is missing.

This bridge is created by running the puppet class
neutron::agents::ml2::ovs but limiting that run to tag
neutron::plugins::ovs::bridge.

The hiera neutron::agents::ml2::ovs::bridge_mappings should already
exists to create the bridge with the required settings.

This change should ensure br-ex exists after step 3.

Since br-ex is created regardless of the chosen network config,
environments/docker-network.yaml is not longer required. It can be
deleted once there are no more references to it in CI and
documentation.

Change-Id: Ie425148b0ad0f38e149c5fa0a97d98ec35d0a5bb
Closes-Bug: #1699261
Closes-Bug: #1691403
Closes-Bug: #1689556
(cherry picked from commit 76f130d6e8f7434433b2602af9794f1e9c742e1f)

Remove src_ceph from manila kolla_config

Pacemaker puppet module takes care of mounting /etc/ceph into
manila-share container (I23b6890b4cf7f1e6fe84b6be280dde82218275fc).

Change-Id: I1026b2436275b17cfe3ac85192d42c5268f0a630
Related-To: I23b6890b4cf7f1e6fe84b6be280dde82218275fc
(cherry picked from commit 0d8040ca33d42dbb7e06162f2b659ff6cbc0316f)

Use switch to containers instead of take over playbook for ceph-ansible

On upgrade we need to run a specific playbook for ceph-ansible
to be able to take over the pre-existing Ceph cluster deployed with
puppet-ceph and the migrate it into a containerized deployment.

This changes the playbook we use on upgrade so that it migrates
the cluster in containers in addition to taking over the cluster.

Change-Id: I353c219832c41328f298fa7b65768ecf26c37f29
(cherry picked from commit cab266c9b2b62c0033f8fb66e8e61b7aa46b3e2b)

Use integers for rabbitmq ports

They should be integers as specified in the parameter definition
of the class. Else it'll fail.

Change-Id: I06b6e46c0722516e28e8bff4d481fb4b7a08bd61
Closes-Bug: #1713659
(cherry picked from commit 4bea8cf918463c43c7d5f4e46984ab54271ea3e5)

Add missing Docker service

The example composable roles are missing the docker service declaration
so they currently do not work when trying to deploy with containerized
services.

Change-Id: I986ae561b950e74aacea10bce84673e8d0c9bd97
Closes-Bug: #1713755
(cherry picked from commit 50c975d1590930e6ce453942f99759a25ec08703)

Use Python to compute release notes version

Leave the version fields blank, since the release notes document
applies to all versions.
That will avoid manual changes in the future like we did until now.

Change-Id: Ibb33ade808c9866b5314b7dda60a44000089a467
(cherry picked from commit 4782394044a8f66de63db7772b7a5992a781cc57)

Merge "Support deploying OVN as container services" into stable/pike

Merge "Make archive policy configurable" into stable/pike

Add DockerPuppetProcessCount defaults to 3

docker-puppet.py is very aggressive about running concurrently.
It uses python multiprocessing to run multiple config generating
containers at once. This seems to work well in general, but
in some cases... perhaps when the registry is slow or under
heavy load can cause timeouts to occur. Lately I'm seeing
several 'container did not start before the specified timeout'
errors that always seem to occur when config files are generated
(docker-puppet.py is initially executed.

A couple of things:

 -when config files are generated this is the first time
  most of the containers are pulled to each host machine
  during deployment

 -docker-puppet.py runs many of these processes at once. Some
  of them run faster, other not.

 -docker daemon's pull limit defaults to 3. This would throttle
  the above a bit perhaps contributing the the likelyhood of a timeout.

One solution that seems to work for me is to set the PROCESS_COUNT
in docker-puppet.py to 3. As this matches docker daemon's default
it is probably safer at the cost of being slightly slower in some
cases.

Change-Id: I17feb3abd9d36fe7c95865a064502ce9902a074e
Closes-bug: #1713188
(cherry picked from commit 949d367ddeb42eff913cdbed733ccf6239b4864b)

Set docker-puppet --health-cmd = /bin/true

Change-Id: Idf627a348cad8d5287c82cb393367210f1c760cf
Closes-bug: #1713185
(cherry picked from commit 20e1f0e8c9a2bbc3734f6eec0ee9ac2d5156f166)

manila: set "host" to "hostgroup"

when running manila-share under control of pacemaker, as
is done for cinder-volume service in the same circumstance.

Change-Id: Ic97f01913bae2a388c962a38fa175eb1d763cdcb
Depends-On: Ie31f2d5ccf458f5fcfe8bec5f2c37f45070cfde2
Closes-Bug: #1712842
(cherry picked from commit 8fa6c6e58c7ac0d32bf2f0dfb586683cf006e3bf)

Merge "Enable ceilometer compute agent" into stable/pike

Merge "Handle failure of carrier check in configure_safe_defaults()" into stable/pike

Merge "Add panko publisher in the event pipeline" into stable/pike

Support deploying OVN as container services

This patch adds the support to containerize OVN services for the
base profile.

OVN db servers do not support active-active mode yet. It does support
master-slave mode supported through pacemaker, which will be supported
in a later patch.

Presently the tripleo container framework doesn't allow to start a
container in only controller 0 (or bootstrap node). OVN db servers and
ovn-northd are started on all the controllers, but only the OVN db
servers running in the boot strap controller are configured to listen
on the tcp ports 6641 and 6642. OVN neutron mechanism driver
and ovn-controller's use the ovn_dbs_vip to connect to the OVN db servers.
Haproxy configures all the controllers as back ends, but only OVN db
servers running on controller 0 respond since only they are configured
properly.

The OVN containers running on other controller nodes do not interact
any way, but are wasteful resources.

This patch also adds the scenario007-multinode-containers CI template.

Partial-bug: #1699085
Change-Id: I98b85191cc1fd8c2b166924044d704e79a4c4c8a
(cherry picked from commit e7cd03d2f0fcd8e3069246ced94f1a83869b8bea)

Make archive policy configurable

Change-Id: I603ce6922130fe32aa1a154df8146ee582bf1a45
(cherry picked from commit b1d7887ce710a98f061100e2878a54c06a5d09e2)

Handle failure of carrier check in configure_safe_defaults()

Configure_safe_defaults() should handle carrier check failures
in the same way as the change that was made to
dhcp-all-interfaces.sh in https://review.openstack.org/#/c/419527/.
That is, it should ignore failures when cat'ing the carrier file.

Change-Id: I100a40835d0ccecee9b4851aae6366c6ab4813a5
Closes-Bug: 1712687
(cherry picked from commit ed976d285caab1858f0b6e74e14a723113d27052)

Enable ceilometer compute agent

This service isn't being started by default and it's required in order
to ceilometer collect data about cpu, which is required to run tempest
integration tests

Closes-Bug: #1713038
Change-Id: I79ba7744db78636fba78e041443148c91e06f940
(cherry picked from commit a2ce6d238cd7e72029fdd6e6364a0501f3bfc835)

Add panko publisher in the event pipeline

Even though panko is deprecated, we still enable it by default.
So lets keep it in pipeline as well until its fully dead.

Change-Id: Idac89820a66c59b921551857cccae6dbc38241c3
(cherry picked from commit 3dbd5bfe86c2d6864c5678774fc7f910ab846300)

Containarise Barbican API

This containerises Barbican API in TripleO

Change-Id: Icc5e9841ea48c806af4db61cd6de5e9a7a40a988
Partial-Bug: 1668924
Depends-On: I6b5ec18ccdd51b90ff27ff7d4341260dfba71e4e
(cherry picked from commit 6d338b809accea4d3ba09ca8363b1a97ed79b658)

Update UPPER_CONSTRAINTS_FILE for stable/pike

Change-Id: If1376a7d802d79c2b7533c8f315f47c21f896476

Update .gitreview for stable/pike

Change-Id: I62443317bb2a7fbe84f6bb2aa769053b66edb022

Merge "Remove baremetal cron jobs on docker upgrade"

Merge "Docker: Enable TLS in the internal network for libvirt"

Merge "Specify the start count to 0 for the update step loop"

Merge "Do not install additional CentOS packages via ceph-ansible"

Merge "More fixes for the Ceph docker images url parsing"

Merge "Configure listen_address for libvirtd when TLS is enabled"

Do not install additional CentOS packages via ceph-ansible

EPEL is required by the Ceph RPM repo maintained at ceph.com but
not by the CentOS SIG repo. The other packages should be already
installed in the infra image.

This change overrides the list of required packages in ceph-ansible
so that it does not install epel-release nor additional unneeded
packages [1].

1. https://github.com/ceph/ceph-ansible/blob/master/group_vars/all.yml.sample#L67

Change-Id: I7b6d2794ebfc0df5b3d5ad9de1d1d55740a38ae0
Closes-Bug: #1712599

Merge "docker: Stop all active ceilometer services during compute upgrade"

Specify the start count to 0 for the update step loop

Force the count start to 0 to ensure that the
update step loop will start to 0 and execute the
update step0

Closes-Bug: #1712498

Change-Id: I71be55c1f56e53e5c565bec281795d63e5845ff6

Configure listen_address for libvirtd when TLS is enabled

It wasn't being configured, and the default is to listen on all
interfaces. This fixes that.

Change-Id: I00da25474fb1544eabdedaf126e67d5a6617f02f
Closes-Bug: #1712475

Docker: Enable TLS in the internal network for libvirt

Bind mounts the necessary certs and keys to enable live migrations
using TLS.

bp tls-via-certmonger-containers

Depends-On: I26a7748b37059ea37f460d8c70ef684cc41b16d3
Change-Id: I81efa85d916823f740bf320c88a248403743a45b

Merge "Accept multiple registries in DockerInsecureRegistryAddress"

Merge "Add Ceilometer API and Collector service to roles_data"

Merge "Render port templates via j2"

Merge "Zaqar: Match service name with service-net-map"

Merge "Fix configuration files path for logrotate container"

Zaqar: Match service name with service-net-map

This is required for t-h-t to generate the appropriate hieradata.

Change-Id: I9b451eac4427a52ad8eec62ff89acc6c6d3ab799
Closes-Bug: #1712328

Merge "Add nova metadata to TLS everywhere/docker services list"

Merge "change sriovnicswitch to be first with openvswitch"

Fix configuration files path for logrotate container

The config_volume is named 'crond', and so must me the path to
puppet-generated directory.

Change-Id: I13b4ad7642ddf3bc5d1f4aa979b4a91a89605fb1
Closes-Bug: #1712300

Merge "TLS everywhere/haproxy: Remove empty postsave command"

Render port templates via j2

Remove these from the j2 excludes and instead render all the networks
to avoid duplication.

Change-Id: Id8e14e06ffe959c50456b4c88fef306046a8b478
Partially-Implements: blueprint composable-networks

Merge "Add logrotate with crond service"

Merge "Let mds create manila key and fs"

Add nova metadata to TLS everywhere/docker services list

This is working, so we add it to the list.

bp tls-via-certmonger-containers

Change-Id: Ib545d4e6c130b73b4921eb9b6325d2e8d6ff1e2c

TLS for containerized horizon

bind mount the certificates needed for TLS.

bp tls-via-certmonger-containers

Change-Id: Ib9b533249be37665b77396a76133cc42fd15ee2b

Merge "Enable TLS for containerized RabbitMQ"

Add logrotate with crond service

Add a docker service template to provide containerized services
logs rotation with a crond job.
Add OS::TripleO::Services::LogrotateCrond to CI multinode-containers
and to all environments among with generic services like Ntp or Kernel.
Set it to OS::Heat::None for non containerized environments and
only enable it to the environments/docker.yaml.

Closes-bug: #1700912

Change-Id: Ic94373f0a0758e9959e1f896481780674437147d
Signed-off-by: Bogdan Dobrelya <bdobreli@redhat.com>

Merge "Add certmonger user profile to all overcloud roles"

Merge "Mount ceph config on gnocchi statsd"

Merge "Swith to the appropriate ceph-ansible playbook on upgrade"

Merge "Extend VNC port range"

Merge "Prepare reno for TripleO Pike RC1"

Merge "Convert scenario001-multinode-containers job to ceph-ansible"

Merge "ci: don't deploy swift on basic multinode job"

Merge "Enable TLS for nova-metadata"

Merge "Add params needed for the ceph-ansible switch to containers playbook"

Merge "Tag the ha containers with 'pcmklatest' at deploy time"

Merge "Add support for Dell EMC Unity Cinder backend"

Merge "scenario002/multinode: do not run containerized Zaqar"

Merge "scenario002/container: run Barbican non-containerized"

Merge "Workaround for RHEL registration as "localhost""

Mount ceph config on gnocchi statsd

gnocchi-statsd needs access to ceph config. lets mount the
ceph config files so it doesnt throw conf_read_file errors.

Change-Id: I1426d580c8d8d60e986ca859f89eeb8799ab6bd2

Prepare reno for TripleO Pike RC1

Change-Id: Ied1d57cd187ffe480912a3820587952aa88936c3