Containerize Cinder-volume for HA

This service allows configuring and deploying cinder-volume
containers in a HA overcloud managed by pacemaker.

The containers are managed and run by pacemaker. Pacemaker runs the
standard Kolla image but overrides the initial command so that
it explicitely calls cinder-volume. This way, we shield ourselves
from any unexpected future change in Kolla.
This container needs to use the 'docker_config' section to invoke
puppet (as opposed to 'docker_puppet_tasks'), because due to the HA
composability each resource creation needs to happen on the bootstrap
node of that service and 'docker_puppet_tasks' will only run on the
controller/primary role.

Co-Authored-By: Michele Baldessari <michele@acksyn.org>
Partial-Bug: #1668920

Depends-On: I95ad4dd89b47396bea672813d87de35e64c04b2d

Change-Id: Ib6396219c3d9484c533f6f9995d565091a197bbb

Fix race condition between docker-puppet and container steps

GenerateConfigDeployment wasn't anchored with dependencies anywhere. If
it took too long to complete and step 1 of containers creation already
started executing, problems happened. This is now fixed by adding the
required dependency relationship.

Change-Id: Ie7dfd2a965e704ba278d4c2fad67f14a3a62799e
Closes-Bug: #1692503

Merge "Role Specific paramaeter support for neutron-ovs-dpdk-agent service"

Merge "Remove osd_pool_default_min_size to allow Ceph cluster to do the right thing by default"

Merge "docker/TLS-everywhere: Add metadata_settings output to templates"

Merge "Example environment file to use L2GW Neutron Driver with ODL"

Merge "Disable mongodb by default"

Merge "Updated from global requirements"

Merge "Use disabled suffix for disabled service names"

Remove osd_pool_default_min_size to allow Ceph cluster to do the right thing by default

The default value is 0 which has the minimum number be caluclated based on the replica count
from osd_pool_defaut_size. The default replica count is 3 and the calculated min_size is 2.
If the replica count is 1 then the min_size is 1. ie: min_size = replica - (replica/2)
Add CephPoolDefaultSize parameter to ceph-mon.yaml. This parameter defaults to 3 but can
be overriden. See puppet-ceph-devel.yaml for an example

Change-Id: Ie9bdd9b16bcb9f11107ece614b010e87d3ae98a9

Updated from global requirements

Change-Id: I468f654fa75b22aef398e2cba9c3625eb8f0767c

docker/TLS-everywhere: Add metadata_settings output to templates

This is needed since it's what writes the service metadata to the nova
server in order to create the kerberos principals. It worked in a base
controller since the keystone template does have this. But if we would
deploy these services on a separate role, it would break. So this output
is needed.

bp tls-via-certmonger-containers

Change-Id: I3ee8c65d356dcd092a3fbf79041e5c69ef23b721

Example environment file to use L2GW Neutron Driver with ODL

  Agent service is disabled and service_provider is configured
  to point to networking-odl

Change-Id: I570d15a092cff66666a74e95dee69f6531a58b22
Signed-off-by: Ricardo Noriega <rnoriega@redhat.com>

Merge "Re-Add ceilometer expirer to roles_data"

Merge "Add Neutron L2 Gateway service to scenario 004"

Disable mongodb by default

It's not used by any service that we enable by default. So instead, I
added it to the environment that enables the services that use it.

Change-Id: Id2e6550fb7c319fc52469644ea022cf35757e0ce

Use disabled suffix for disabled service names

This changes both the service names and the file names for disabled
services, adding the 'disabled' suffix to them.

This comes with the reasoning that, if a service requires a disabled
service, and checks for the name in the "service_names" hiera entry, it
will appear as if the service was enabled, when it's actually not. So
changing the name and using this convention prevents that issue.

Change-Id: I308d6680a4d9b526f22ba0d7d20e5db638aadb9a

Merge "TLS everywhere: configure mongodb's TLS settings"

Re-Add ceilometer expirer to roles_data

Even though this service was disabled by default in Pike[1], we still
want the entry in roles_data since it will actually disable the service
on upgrade.

A comment was added so we remember to remove it in Queens.

[1] Icffb7d1bb2cf7bd61026be7d2dcfbd70cd3bcbda

Change-Id: I2012d7494207bf3239f589bf80b8048abf72428f

Add Neutron L2 Gateway service to scenario 004

This submission installs the Neutron L2 Gateway service
in the scenario 004.

This is only to check that the service is installed correctly
no sanity check is running yet.

Change-Id: I421802e9aa1a9f192860a6d72b4bb7c729666c3a

Merge "Open ports 443 and 80 on haproxy's firewall when horizon is standalone"

Merge "Comment parameters for registry in docker.yaml"

Merge "Support Redfish hardware in the overcloud Ironic"

Merge "Add IronicInspector settings to the network map"

Merge "Dell SC: Add secondary DSM support"

Merge "Consolidate writing json configs with HostPrepTasks"

Merge "Add missing release note for cadf environment"

Merge "Update the template_version alias for all the templates to pike."

Merge "Make sure that manila share is created after share type"

Merge "Add containerized neutron-metadata agent"

Role Specific paramaeter support for neutron-ovs-dpdk-agent service

Merge the role specific parmaeter with the default parameter with the
higher precendece given to role specific parameters. Use the merged
settings to the hiera config settings.
Change-Id: I500558dfbf4ac4ddcf850064e654c4fab03d141b

Update the template_version alias for all the templates to pike.

Master is now the development branch for pike
changing the release alias name.

Change-Id: I938e4a983e361aefcaa0bd9a4226c296c5823127

Make sure that manila share is created after share type

The pingtest template creates both default share type and
a share which should use this type. Explicit reference of
the share type should assure that the share is always created
when share type exists.

Change-Id: I756e6a8e477de8d0e46302dda26265ae482dd2e5
Closes-Bug: #1691853

Merge "Add l2gw neutron agent support"

Merge "neutron: set enable_dvr = False if NeutronEnableDVR is false"

Merge "Enable splay for os-collect-config"

neutron: set enable_dvr = False if NeutronEnableDVR is false

This will make neutron-server stop advertising dvr extension if the
cloud is not configured to support this flavor of Neutron routers.

Change-Id: I38c8208edff07f7887887918729beb7710068078
Related-Bug: #1450067

Add containerized neutron-metadata agent

This patch adds support for running the neutron metadata agent in a
container.

Change-Id: I53c62516c95d62f5ced70818d4eb4c2c341df0d7
Partial-Bug: #1668922

Merge "TLS-everywhere: Configure CA for apache"

Merge "Default snmp to less verbose logging"

Comment parameters for registry in docker.yaml

These duplicate the defaults in puppet/services/docker.yaml and
break things if you include an environment file (e.g that generated
by quickstart containers-default-parameters.yaml) before the
docker.yaml.

Instead it's probably more helpful to include the commented lines
showing how to enable use of a local docker registry.

Change-Id: I3896fa2ea7caa603186f0af04f6d8382d50dd97a
Closes-Bug: #1691524

Add l2gw neutron agent support

L2 Gateway (L2GW) is an API framework for OpenStack that offers bridging
two or more networks together to make them look at a single broadcast
domain. This patch implements the l2gw agent which is one of the backend
of the l2 gateway service plugin.

Change-Id: I1ae8132ceff9410be7bd82caddf0d14251e720bf
Depends-On: If1501c153b1b170b9550cb7e5a23be463fba1fe9
Partially-Implements: blueprint l2gw-service-integration
Signed-off-by: Peng Liu <pliu@redhat.com>

Merge "Use upper-constraints for tox"

Merge "docker/internal TLS: spawn extra container for neutron server's TLS proxy"

Merge "Don't delete failed docker-puppet containers"

Use upper-constraints for tox

Use the openstack upper-constraints when running tox.

Change-Id: I9eef36eec749beec0effdb2309fe2ceb9bc557f8
Related-Bug: #1691511

Merge "Only set apache certificates if TLS everywhere is enabled"

Consolidate writing json configs with HostPrepTasks

We already have an ansible deployment that applies the per-service
host_prep_tasks, so we can simplify the dependencies here by just
doing the docker-steps host preparation at the same time.

The motivation behind this is to both simplify the depends_on web we
have here, reduce the number of discrete deployments, and also to
potentially make running ansible directly e.g for debugging easier.

In a future patch we'll convert the configuration steps to work in
a similar way, such that they can be more easily reapplied e.g for
rolling minor updates, possibly outside of heat.

Change-Id: I9a201fc5a9e82c7fba4c2de36eb5332e21a81d37

Merge "Containerize Ceilometer Agents"

Merge "Use neutron-server image for neutron services"

TLS-everywhere: Configure CA for apache

This tells apache which CA certificate was used to sign the certs it's
using. this setting is useful in case we want to enable OCSP stapling or
client authentication via TLS.

Change-Id: I97a7e5332aea8377c7662ca98beb71ed5e236640

Only set apache certificates if TLS everywhere is enabled

The Apache certs were were being set even if TLS everywhere isn't
enabled. This fixes that.

Change-Id: If143d1fdeb0102a1c13441f89acaa73af24bf48f

TLS everywhere: configure mongodb's TLS settings

This configures the mongodb server to use TLS in the internal network,
while also passing the necessary attributes to generate the needed cert
and key.

bp tls-via-certmonger

Depends-On: I85dda29bcad686372a74bd7f094bfd62777a3032
Change-Id: If6c603b074cfa7e122579cec29d034fd3312868d

Don't delete failed docker-puppet containers

This helps a bit with debugging issues, and the container will be
deleted on the next run when the same volume is configured.

Change-Id: I4f2f219bd7e40abafd0eb31c1275fdd8ed4db4da

Merge "Add params to manage and configure pipeline publisher"

Merge "Fix absolute paths in scenario001-multinode.yaml"

Merge "Optimize kernel neighbour table for large scale environments"

Containerize Ceilometer Agents

Depends-on: I30ba93f76171e5993b5f0e1d7f1f5533acb25740

Closes-bug: #1668925

Change-Id: I3cb61d2d8765f9c2601bb00c4bfa24162883b96a

docker/internal TLS: spawn extra container for neutron server's TLS proxy

This spawns an extra container that runs httpd to run the TLS proxy that
will go in front of neutron server.

bp tls-via-certmonger-containers

Change-Id: I2529d78e889835f48c51e12d28ecd7c48739b02b

Use neutron-server image for neutron services

For TLS everywhere, neutron-server needs httpd in the image, since
it'll use a separate container that runs a TLS proxy to terminate
the connection. This requires the image where the configuration is
ran to have httpd installed, since there are several directories
and the user/group that's needed.

So, we then switch the image to be used to be neutron-server instead
of the openvswitch-agent image.

Change-Id: Ie16de3004925b7624f106d6c015ec04ef6031a06
Depends-On: I82f10ac0e7e692e6ba4a06dc10da9eaf79c60e7e

Optimize kernel neighbour table for large scale environments

Changing the default values of neighbor table (also known as ARP table)
in the kernel to avoid neighbour table overflow and thus fix
communication errors between overcloud nodes.
default kernel values support L2 network up to 1024 hosts (/22).
The patch will allow up to 4096 hosts (/20).

Change-Id: I5fabc766dd75a38cd3d835deee7e168f04dd30ce
Closes-Bug: #1690087

Fix resource type in ObjectStorage role

The currently used resource type does not exist, therefore changing it.

Closes-Bug: 1691021
Change-Id: Iaf18af546817e0cf6cdfafcc5c54ab4d1a0f819d

Add missing type for RoleParameters parameter

This was forgotten in I72376a803ec6b2ed93903cc0c95a6ffce718b6dc and
broke containerized deployment.

Change-Id: I599a87bf06efbfefd3067c77ed6ca866505900f9
Closes-Bug: #1690870

Merge "Disable ComputeNeutron* for cisco-nexus-ucsm"

Fix absolute paths in scenario001-multinode.yaml

All paths should be relative as we should not rely on the package
location - this can easily be overridden via --templates, and this
is exactly what we do for the upgrades job, where this will break
because we'll include the wrong (newer) version of these services
when deploying the older pre-upgrade overcloud.

Change-Id: Id8aea09305c0857253c44477945e34377cca64ca

Merge "Update the services README documentation"

Default snmp to less verbose logging

Currently we just use what puppet-snmp provides in terms of defaults.
This means that currently every single snmp query gets logged with
the following:
May 15 10:51:30 centos.localdomain snmpd[5159]: Connection from UDP: [127.0.0.1]:57799->[127.0.0.1]:161
May 15 10:51:30 centos.localdomain snmpd[5159]: Connection from UDP: [127.0.0.1]:57799->[127.0.0.1]:161
May 15 10:51:32 centos.localdomain snmpd[5159]: Connection from UDP: [127.0.0.1]:50566->[127.0.0.1]:161

The reason is that we use '-LS0-6d' as the default content for
/etc/sysconfig/snmpd:
https://github.com/razorsedge/puppet-snmp/blob/master/manifests/params.pp#L322

This default means that we are logging from 0 (LOG_EMERG) to 6
(LOG_INFO). The above messages bring nothing in a default installation
and only spam the log files, so let's lower the upper log level to 5
(LOG_NOTICE) by default, so we properly do not see every single query in
the logs. We add an option so the operator can still configure the
desired log level via a Heat parameter.

Change-Id: I8d3dfdb4d549cd27131346fc477755ad72313449

Merge "Change neutron-metadata number of workers determination method"

Update the services README documentation

Service template's parameter documentation has been update by
correcting few of the wrong informations and added more
information with examples.

Change-Id: I2d92fd01cbeb6fdc6f030255dc4b71166509b4f6

Merge "Add role specific information to the service template"

Merge "multinode-container-upgrade.yaml usable for mixed upgrade"

Add role specific information to the service template

When a service is enabled on multiple roles, the parameters for the
service will be global. This change enables an option to provide
role specific parameter to services and other templates.

Two new parameters - RoleName and RoleParameters, are added to the
service template. RoleName provides the role name of on which the
current instance of the service is being applied on. RoleParameters
provides the list of parameters which are configured specific to the
role in the environment file, like below:

  parameters_default:
      # Default value for applied to all roles
      NovaReservedHostMemory: 2048
      ComputeDpdkParameters:
          # Applied only to ComputeDpdk role
          NovaReservedHostMemory: 4096

In above sample, the cluster contains 2 roles - Compute, ComputeDpdk.
The values of ComputeDpdkParameters will be passed on to the templates
as RoleParameters while creating the stack for ComputeDpdk role. The
parameter which supports role specific configuration, should find the
parameter first in in the RoleParameters list, if not found, then the
default (for all roles) should be used.
Implements: blueprint tripleo-derive-parameters

Change-Id: I72376a803ec6b2ed93903cc0c95a6ffce718b6dc

Merge "docker/internal TLS: spawn extra container for glance API's TLS proxy"

Merge "Deprecate Ceilometer Expirer"

Merge "docker/internal TLS: spawn extra container for swift's TLS proxy"

docker/internal TLS: spawn extra container for glance API's TLS proxy

This spawns an extra container that runs httpd to run the TLS proxy that
will go in front of glance-api.

bp tls-via-certmonger-containers

Change-Id: If902ac732479832b9aa3e4a8d063b5be68a42a9b

docker/internal TLS: spawn extra container for swift's TLS proxy

This spawns an extra container that runs httpd to run the TLS proxy that
will go in front of swift.

bp tls-via-certmonger-containers

Depends-On: Ib01137cd0d98e6f5a3e49579c080ab18d8905b0d
Change-Id: I9639af8b46b8e865cc1fa7249bf1d8b1b978adfe

Merge "Disabling replacing fernet keys from puppet"

Merge "Make docker-puppet.sh a static file."

Add params to manage and configure pipeline publisher

Change-Id: Ifaa3bb0400ee22601fd8f3e1f2f16192b5f8766b

Deprecate Ceilometer Expirer

We dont need expirer unless we have collector and standard
storage enabled. Lets turn it off by default and make it
an optional service. In upgrade scenario, we will kill the
process and stop the expirer, unless explicitly enabled.

Change-Id: Icffb7d1bb2cf7bd61026be7d2dcfbd70cd3bcbda

Merge "Fix paths for optional docker services"

Merge "Make upgrade steps unconditional to fix broken dependencies"

Disabling replacing fernet keys from puppet

Once puppet has written the initial fernet keys, if a deployer wants to
rotate them, the keys will be overwritten when another overcloud deploy
is executed (for instance, for updates or upgrades). This disables
replacing this keys via puppet, so now the operator can rotate the keys
out of band.

Change-Id: I01fd46ba7c5e0db12524095dc9fe29e90cb0de57

Merge "Add networking-vpp ML2 mechanism driver support"

Fix paths for optional docker services

Change-Id: I3583a9a3bb04df2aebf06a566a2bdc4afdbfc9f3

Merge "Use httpd in Zaqar docker service"

Add missing release note for cadf environment

A previous change was enabling cadf environment on TripleO,
but missed release notes. Adding that as a follow up.

Change-Id: I5e5a5267707537ae7c78685dc3d371ae5f80f4aa

Change neutron-metadata number of workers determination method

neutron-metadata number of workers will be taken from NeutronWorkers parameter
if not empty. when empty, all keys related to NeutronWorkers value will be
set with empty dictionary instead empty string ({}).

Change-Id: I18347639c188bbf085e2f3c739465e52c94b9d77
Closes-bug: #1689571

multinode-container-upgrade.yaml usable for mixed upgrade

We need Docker service mapping defined and set to OS::Heat::None so that
we can reuse multinode-container-upgrade.yaml service list both for
initial deployment and for the upgrade. The upgrade will not be broken
by this as its env files are being passed later on the command line, and
they'll take priority and effectively enable the Docker service on
upgrade.

Another change we need for mixed upgrade is to add the TripleoPackages
service, which will take care of updating RPMs on the bare metal and
prevent docker installation from failing with outdated
puppet-tripleo ("Could not find class ::tripleo::profile::base::docker").

Related-Bug: #1685795
Closes-Bug: #1689772
Change-Id: Idb6917f22d0e9f74f8853972c6a08bffb01be410

Merge "Containers: Bind mount directories with the key/certs for heat"

Make docker-puppet.sh a static file.

Variables are now passed in with --env in the docker run call.

This will allow docker-puppet.sh to be baked into the image instead of
having it as a custom entrypoint.

Change-Id: Icbaefe033becc6b2226535f28ee202917bdc1074

Use httpd in Zaqar docker service

Move the Zaqar WSGI service to use httpd in docker deployment.

Depends-On: I35cfd1c2320eb972890b44668c8f9f0a047a65dc

Change-Id: I56a6469a9179b5c023738f447e7665d0d3c73d0b
Co-Authored-By: Martin André <m.andre@redhat.com>
Co-Authored-By: Thomas Herve <therve@redhat.com>

Make upgrade steps unconditional to fix broken dependencies

Change I5c8b0c4abfc0607f42fd3f2da9f5ef2702b1bbe1 introduced conditions
to optimize upgrade times and fix related bugs. Unfortunately the
conditional inclusion would have to be paired with support in depends_on
to work as we need. Currently we can hit this bug if the batch upgrade
steps are undefined for some role, but upgrade steps are definied:

The specified reference "ControllerUpgradeBatch_Step2" (in
ControllerUpgradeConfig_Step0) is incorrect.

To fix this we have to make the steps unconditional. This isn't fully
reverting the original change because that change also addressed
ordering issues.

Change-Id: I369591f4757c10142f5b455e64aa778e1a9a5611
Closes-Bug: #1689553

Containers: Bind mount directories with the key/certs for heat

This is only done when TLS-everywhere is enabled, and depends on those
directories being exclusive for services that run over httpd.

bp tls-via-certmonger-containers

Change-Id: I194c33992c7f3628f7858ecf5e472ecfdee969ed

Add syslog socket to common containers volumes

Partial blueprint containerized-services-logs

Change-Id: Idbf1884226503aca9072b12d050500af407973cf
Signed-off-by: Bogdan Dobrelya <bdobreli@redhat.com>

Merge "Set puppet-redis managed_by_cluster_manager to true"

Merge "Use the make_url function to build URLs"

Set puppet-redis managed_by_cluster_manager to true

Via https://github.com/arioch/puppet-redis/pull/192 puppet-redis grew
ulimit support also for pacemaker managed redis instances. To be able to
use that we need to set redis::managed_by_cluster_manager to true.

We also allow redis::ulimit to be configurable and we set a default of
10420 which was the default value before the above change.

Change-Id: I06129870665d7d3bfa09057fd9f0a33a99f98397
Depends-On: I4ffccfe3e3ba862d445476c14c8f2cb267fa108d
Closes-Bug: #1688464

Merge "Fix up pacemaker_status test in yum_update.sh"