Allow log path transformation in fluentd glue

Logs in a containerized deployment are not in the same location as on
a baremetal deployment. This commit adds the $fluentd_path_transform
paramter to the fluentd glue module. This is a regular expression that
is used to transform log paths.  To use this feature, include in your
hiera configuration something like:

    tripleo::profile::base::logging::fluentd::fluentd_path_transform:
      - /var/log/
      - /var/log/containers/

Change-Id: I585b6877074353b5de62e5efaabfbe62432c473d
Partial-bug: #1716427
(cherry picked from commit 1ff0903a3950bc4adbc8c84b5153df6ca0fb6a3d)

Release 7.4.1

Change-Id: I7686a2a9132f2770f7fd0bf0e5d4f235e2b1b82b

Support for Ocata-Pike live-migration over ssh

In Ocata all live-migration over ssh is performed on the default ssh port (22).
In Pike the containerized live-migration over ssh is on port 2022 as the
docker host's sshd is using port 22.
To allow live migration during upgrade we need to temporarily pin the Pike
computes to port 22 and in the final converge we can switch over to port 2022.

This patch make the necessary puppet-tripleo change to allow this:
 - Adds support in sshd profile for listening on multiple ports.
 - Adds a profile to allow proxying to the containerized sshd from the
   baremetal sshd

Change-Id: I0b80b81711f683be539939e7d084365ff63546d3
Related-bug: 1714171
(cherry picked from commit 05a413c34fa1266d38bf991a1f5ed2795631f0b7)

Merge "added release note for new haproxy_socket_access" into stable/pike

added release note for new haproxy_socket_access

Change-Id: I4024177fdf97bef929d6a699662acbf56abdb0af
(cherry picked from commit 9939df4c177040e67433ca19f55dca18067d9923)

Added new parameter for HAProxy configuration

This allow to set the socket access level to admin instead of default
"user".
This "admin" access adds the capability to interact with HAproxy in
order to manage its configuration, at least temporarly.

This changes keeps the default "user" access level, as "admin" might
break things if misused.

Change-Id: I1a4612b9f8aacc410b48a04dac3bf300bbb0e08e
Closes-bug: #1716692
(cherry picked from commit 33479418eec7c1a18d57d755be47eca800b918a6)

Move manila backend configuration from pacemaker to base

There is no reason to keep backend configuration in pacemaker-specific
manifest. This configuration is used no matter whether pacemaker is
used or not.

Change-Id: I63b53d230372a323db1d35a3774283ad2e29fbb1
Closes-Bug: #1714310
(cherry picked from commit 7327cc88246abe6473b7b29703af408adeccc88d)

Merge "Change references from nsx_v3 to nsx" into stable/pike

Merge "Use TLS proxy for Redis' internal TLS" into stable/pike

Merge "Enable TLS for rabbitmq's replication traffic" into stable/pike

Change references from nsx_v3 to nsx

This patch changes references from nsx_v3 to nsx since the nsx_v3 functionality
is the only one supported at this time.

Change-Id: Id73f675844b0df2eafa45507d1c28f16cd0b15b2
Closes-Bug: #1713191
(cherry picked from commit f27c45a0925546f3b9627fce7d223a1bba140ce0)

Use TLS proxy for Redis' internal TLS

This uses the tls_proxy resource in front of the Redis server when
internal TLS is enabled.

bp tls-via-certmonger

Co-Authored-By: Juan Antonio Osorio Robles <jaosorior@redhat.com>
Change-Id: Ia50933da9e59268b17f56db34d01dcc6b6c38147
(cherry picked from commit 2d1d7875aa6f0b68005c84189627bc0716a7693f)

Enable TLS for rabbitmq's replication traffic

This follows the RabbitMQ docs [1] for enabling TLS for the replication
traffic. It reuses the certificate that rabbitmq already has.

Unfortunately, pacemaker uses the shortname for the rabbitmq nodes, so
we are not able to do proper verification of the certificates, since we
can't allocate a certificate for shortnames. So, until pacemaker can
track the rabbit nodes through their FQDNs, we don't set any verification
options.

[1] https://www.rabbitmq.com/clustering-ssl.html

Depends on: https://github.com/voxpupuli/puppet-rabbitmq/pull/574

bp tls-via-certmonger
Co-Authored-By: Alex Schultz <aschultz@redhat.com>
Change-Id: I265c89cb8898a6da78a606664a22c50f5e57a847
(cherry picked from commit 52404b85dc140d9ddc4605365454df0e052ee2cb)

Support for Dell EMC VNX Manila Driver

This changes adds Dell EMC VNX backend as composable service
and matches the tripleo-heat-templates.

Change-Id: Iab80dc636913610704e1ceb2642ce738b68bb827
Implements: blueprint support-dellemc-vnx-manila
(cherry picked from commit eca5b4dfb22a9e9476cd835d2e211def4c9bd5c9)

Prepare 7.4.0 (pike-rc2)

Change-Id: I6e1b8c305aad3fb03bd62072b376b34303ecfe24

Merge "Fix enabling zaqar keystone endpoint and MySQL database" into stable/pike

Merge "Add manifests to install and configure stunnel" into stable/pike

Merge "Repair immediate VF configuration for PCI SR-IOV" into stable/pike

Fix enabling zaqar keystone endpoint and MySQL database

The zaqar service name switched to zaqar-api[1], so the hieradata key
is zaqar_api_enabled now instead of zaqar_enabled.

[1] I9b451eac4427a52ad8eec62ff89acc6c6d3ab799

Closes-Bug: #1714213
Change-Id: I692658337e7afc9d0a99b245f8b0b4f76a076bc4
(cherry picked from commit bc6a526f91c156e1cecfb9226ae3686102e655d4)

Add manifests to install and configure stunnel

Some services (such as Redis) can't use mod_proxy as a TLS proxy,
since they're not HTTP services. So stunnel is necessary for these.

Thus, we add manifests to configure it as such.

bp tls-via-certmonger

Change-Id: Ic4a2dac7b3831e4780105e3b05e9c5afcf15c79c
(cherry picked from commit f85199c77826017e383534051ada57ef1ea4ddcc)

Use Python to compute release notes version

Leave the version fields blank, since the release notes document
applies to all versions.
That will avoid manual changes in the future like we did until now.

Change-Id: I9c64787b278b53a0f4125275678ded3f46d05be2
(cherry picked from commit aefd5f7afd238b50eff71fe6f583ef7cadb54d12)

Merge "HAProxy: Make certmonger bundle the cert and key on renewal" into stable/pike

Merge "Certmonger: Only attempt to reload haproxy is it's active" into stable/pike

Merge "Support for Dell EMC Unity Manila Driver" into stable/pike

Merge "Support for Dell EMC Isilon Manila Driver" into stable/pike

HAProxy: Make certmonger bundle the cert and key on renewal

the postsave command is ran by certmonger when a certificate is
requested (which will happen on certificate renewal). The previous
command given didn't take into account the file that haproxy expects,
which is a bundled PEM file with both the certificate and the key. Thus,
certmonger would have never generated a new bundle that haproxy would
use, resulting in haproxy always having an old bundle after certificate
expiration.

This fixes that.

Change-Id: Idb650d35f56abaf6a17e17794a068dd5933e6a62
Closes-Bug: #1712514
(cherry picked from commit e1791a37d557b14bb8f833363cabe5c98e151548)

Certmonger: Only attempt to reload haproxy is it's active

Previously, certmonger tried to reload haproxy every time after a
certificate is requested. This is useful for certificate resubmits or
renewals. However, it turned out problematic on installation, when
haproxy is not yet active, as it would try many times and end up having
a race-condition with puppet.

This checks if haproxy is active and only then will it attempt to reload
it.

Change-Id: I51f9cccb5d1518a9647778e7bf6f9426a02ceb60
Closes-Bug: #1712377
(cherry picked from commit 351ab932514f13d7a139b0b41fdc4f6f7e990c8f)

Support for Dell EMC Unity Manila Driver

This changes adds Dell EMC Unity backend as composable service
and matches the tripleo-heat-templates.

Change-Id: I0df1e16db89cd53e4f16cd08ccb975d8e7e9a470
Implements: blueprint dellemc-unity-manila
(cherry picked from commit 2f93b4fc3aa63d99b7dcb0302e9ee48bda1f4282)

Support for Dell EMC Isilon Manila Driver

This changes adds Dell EMC Isilon backend as composable service
and matches the tripleo-heat-templates.

Change-Id: I30f6b4c4ebe0a708a5eb34cd016544f4d2b9c2bb
Implements: blueprint dellemc-isilon-manila
(cherry picked from commit 75ee7f12f165d4ef6e47600d8c0ec93dff3b610d)

Add /etc/ceph into pacemaker bundles

We missed to mount the Ceph config files into the docker/pacemaker
profiles.

Change-Id: I23b6890b4cf7f1e6fe84b6be280dde82218275fc
Closes-Bug: #1713421
(cherry picked from commit b18ae72c6aaad9eb98d7e4490a6572441f63b9a1)

Enable config for docker daemon debug

Exposes a way to configure the docker daemon with debug enabled.

Change-Id: I654a70c8bb7753679be83d78ca653ed44c3a7395
Related-Bug: #1710533
(cherry picked from commit 44b90c9a79146139cbcbe7f560bd1df667cca780)

Merge "Fix panko port to match tht" into stable/pike

Repair immediate VF configuration for PCI SR-IOV

Change I71edc135432ab2193741c37ce977dd11172401e6 broke the host VF
configuration that set VF counts when the puppet is applied. This patch
re-adds the ensure => present property required for proper behavior.

Change-Id: Ibd18c4f3b7f0d8cee330f94f87e7ad4ea7ceeffb
Closes-Bug: #1712903
(cherry picked from commit 1e133f31466bf17df66b0f552a2ce5b3b056e666)

Merge "Update UPPER_CONSTRAINTS_FILE for stable/pike" into stable/pike

Merge "Update .gitreview for stable/pike" into stable/pike

Fix panko port to match tht

In templates we use 13977 as the port for panko. The
old 13779 is reserved for trove so it conflicts.

Closes-bug: #1712566

Change-Id: I77444199eef6c2b9abbd819829b4fea2d698e2db
(cherry picked from commit 5064677dda8e4f140df6d024089e95afe11a91f1)

Add /bin to PATH for CRL cronjob

Checking the root's mail (/var/mail/root) I finally saw the root cause
of the CRL cronjob not working.

/bin/sh: curl: command not found

now, curl, (and most commands used by that cronjob) is in the /bin bash,
so we need to add it to the environment's PATH for the cronjob.

Change-Id: If10855b801782eeaf2006cd57071d74d13daf8c2
Closes-Bug: #1712404
(cherry picked from commit 139ac85028947f476a085e89bd54f3dfacd886cf)

Update UPPER_CONSTRAINTS_FILE for stable/pike

Change-Id: Ibc02e4e87593f18c4c48a9e8197a4cd3c16d9cd4

Update .gitreview for stable/pike

Change-Id: Ib750ba8a4e76a25ffd2352b420e97548447eae97

Merge "Use resource collector for the fencing -> stonith ordering"

Merge "TLS-everywhere/libvirt: Make postsave command configurable"

TLS-everywhere/libvirt: Make postsave command configurable

This is requires for when libvirt is running over a container, since
we shouldn't try to restart the libvirt process, but the container
itself.

bp tls-via-certmonger-containers

Change-Id: I26a7748b37059ea37f460d8c70ef684cc41b16d3

Merge "Add OVN DBs bundle support for pacemaker HA"

Use resource collector for the fencing -> stonith ordering

Change Ifef08033043a4cc90a6261e962d2fdecdf275650 moved the stonith
property definition to the pacemaker_master node. This means that the
Class['tripleo::fencing'] -> Class['pacemaker::stonith'] ordering
breaks on non-boostrap pacemaker nodes because the pacemaker::stonith
property is not defined there any longer.

Let's fix this by simply using a resource collector and set the ordering
on that instead of adding yet anoth if statement. Ordering on
enablement of stonith is actually more correct formally.

Tested this on a broken setup successfully.

Closes-Bug: #1712605
Change-Id: I616d340bdf75da9d9eb8b83b2e804dff3d07d58e

Add -s (silent) to curl command for CRL refresh

Without it, it doesn't reload the services it should.

Change-Id: I43e6188700deb585f905ca700e69b6875f0ded45
Closes-Bug: #1712404

Merge "Do not create fs and server side key from manila"

Merge "Certmonger: Make postsave command configurable"

Merge "Support for Dell EMC VMAX Manila Driver"

Merge "Support for Dell EMC VMAX ISCSI Cinder Driver"

Merge "Allow configuring multiple insecure registries"

Merge "Add TLS for nova metadata service"

Certmonger: Make postsave command configurable

We need to make it configurable since these commands don't apply for
containerized environments. This way we can restart containers or
disable restarting and rely on other means.

This stems from the issue that some services get accidentally started by
certmonger on containerized environments, which makes the container
initialization fail.

bp tls-via-certmonger-containers

Change-Id: I62ff89362cfcc80e6e62fad09110918c36802813

Merge "Enable TLS in the internal network for horizon"

Merge "Create separate resource for HAProxy horizon endpoint"

Merge "Move barbican's database creation to mysql profile"

Merge "Release Pike rc1 - 7.3.0"

Add TLS for nova metadata service

This adds a TLS proxy in front of it so it serves TLS in the internal
network.

bp tls-via-certmonger

Change-Id: I97ac2da29be468c75713fe2fae7e6d84cae8f67c

Merge "Remove extra keystone admin haproxy listen and allow TLS"

Allow configuring multiple insecure registries

If we're using local registries, we may want to use different
registries e.g. for Ceph and for OpenStack. We allow multiple
registries in general for this purpose, and we should also allow it in
the insecure registry configuration.

Change-Id: I5cddd20a123a85516577bde1b793a30d43171285
Related-Bug: #1709310

Merge "HAProxy: Set listen options for internal services too"

Merge "Add logrotate-crond configuration"

Enable TLS in the internal network for horizon

This enables the usage of TLS by the apache vhost that hosts horizon.

bp tls-via-certmonger

Change-Id: I7f2e11eb60c7b075e8a59f28682ecc50eeb95c3e

Create separate resource for HAProxy horizon endpoint

This removes clutter from the main haproxy manifest and allows TLS in
the internal network as well. Trying to keep the previous behavior.

bp tls-via-certmonger-containers
Change-Id: I1a68771cc7be7fb2b32abbad81db7890bd2c5502

Release Pike rc1 - 7.3.0

Change-Id: Id3277c97052e1dd88e6d2de6c5f92b32b95fa210

Move barbican's database creation to mysql profile

This makes sure that the database creation is only executed on the mysql
profile (or container if that's enabled), and stops the conflicts and
errors that were happening when barbican was deployed in containerized
environments.

Change-Id: Ib5c99482f62397fc5fb79a9dc537dfb06ee7f4df
Closes-Bug: #1710928

Add OVN DBs bundle support for pacemaker HA

It uses the control-port 3125.

Partial-bug: #1699085
Change-Id: I4787321e10cc35beeb5ec3f585dafb2268ea4f21

Add logrotate-crond configuration

Generate a cron job and a config for logrotate
to be run against containerized services logs.

Related-bug: #1700912

Change-Id: Ib9d5d8ca236296179182613e1ff625deea168614
Signed-off-by: Bogdan Dobrelya <bdobreli@redhat.com>

Remove extra keystone admin haproxy listen and allow TLS

The current code exposes an unused public listen directive in HAProxy
for the keystone admin endpoint. This is not ideal and should be
removed, as it exposes the service unnecessarily. We should stick to
just exposing it to the ctlplane network as is the default.

If folks really need to expose it to the public network, they can do so
by modifying the ServiceNetMap through t-h-t and setting the keystone
admin endpoint's network to external.

Now, for "single" or "internal" haproxy endpoints, this adds the ability
to detect if they're using the external network, and thus use TLS on it.
Which is something a deployer would want if they exposed the keystone
admin endpoint in such a way.

Change-Id: I79563f62fd49a4f7654779157ebda3c239d6dd22
Closes-Bug: #1710909
Closes-Bug: #1639996

Merge "Replace enabled languages with excluded languages in UI"

Merge "Enable TLS configuration for containerized HAProxy"

Merge "Use rabbitmq ipv6 flag"

Merge "Fix legacy nova/cinder encryption key manager configuration"

Use rabbitmq ipv6 flag

The internal details of enabling IPv6 have moved upstream[1], so just
set the ipv6 flag when desired and don't worry about the details
anymore!

[1] https://github.com/puppetlabs/puppetlabs-rabbitmq/pull/552

Closes-Bug: #1710658

Change-Id: Ib22507c4d02f0fae5c0189ab7e040efac3df7e2f

Support for Dell EMC VMAX Manila Driver

This changes adds Dell EMC VMAX backend as composable service
and matches the tripleo-heat-templates.

Change-Id: I6e3b4ed6477c7ee56aef4e9849893229ca648c85
Implements: blueprint dellemc-vmax-manila

Support for Dell EMC VMAX ISCSI Cinder Driver

This changes adds Dell EMC VMAX ISCSI backend as composable service
and matches the tripleo-heat-templates.

Change-Id: Ifc169c60994856e382b76b72e020624ca64eef9f
Implements: blueprint dellemc-vmax-isci

Merge "Run online_data_migrations for Ironic on upgrade"

Merge "Enable TLS configuration for containerized Galera"

Merge "Do not include manila ceph key resource twice"

Merge "Modify resource dependencies of certmonger_user resources"

Do not create fs and server side key from manila

Both fs and key are handled by ceph-ansible, move fs and key
creation out of manila manifest to assure that it works with and
without ceph-ansbile.

Client-side manila key is created from ceph-mds and ceph-external
templates in I6308a317ffe0af244396aba5197c85e273e69f68.

Depends-On: I6308a317ffe0af244396aba5197c85e273e69f68
Partially-Implements: blueprint nfs-ganesha
Change-Id: I2b5567a39ac8737e80758b705818cc1807dc8bf1

HAProxy: Set listen options for internal services too

This was missed from a previous commit, as described in the bug report.
We need to set this variable in this case as well, else it will use the
undefined variable, thus ignoring anything that the user had set.

Change-Id: I6810e7bb3eed16a6478974ac759c3f720a41120a
Closes-Bug: #1709332

Modify resource dependencies of certmonger_user resources

In a containerized environment the haproxy class might not be defined,
so this was made optional. On the other hand, this also retrieves the
CRL before any certmonger_certificate resources are created.

bp tls-via-certmonger-containers
Change-Id: I2078da7757ff3af1d05d36315fcebd54bb4ca3ec

Do not include manila ceph key resource twice

When mds creates manila key [1], then manila manifest needs to check
first if this resource already exists otherwise puppet fails.

[1] I6308a317ffe0af244396aba5197c85e273e69f68

Change-Id: I3f18bbe476c4f43fa4e162cc66c5df443122cd0c

Merge "Enable TLS configuration for containerized RabbitMQ"

Merge "Use clustercheck credentials to poll galera state in container"

Enable TLS configuration for containerized HAProxy

In non-containerized deployments, HAProxy can be configured to use TLS
for proxying internal services.

Fix the creation of the of the haproxy bundle resource to enable TLS
when configured. The keys and certs files, as well as the crl file are
all passed as configuration files and must be copied by Kolla at
container startup.

Change-Id: I4b72739446c63f0f0ac9f859314a4d6746e20255
Partial-Bug: #1709563

Merge "Enable innodb_buffer_pool_size configuration"

Enable TLS configuration for containerized RabbitMQ

In non-containerized deployments, RabbitMQ can be configured to use TLS for
serving and mirroring traffic.

Fix the creation of the rabbitmq bundle resource to enable TLS when configured.
The key and cert are passed as other configuration files and must be copied by
Kolla at container startup.

Change-Id: Ia64d79462de7012e5bceebf0ffe478a1cccdd6c9
Partial-Bug: #1709558

Merge "Update swift-proxy unit tests for puppet5"

Run online_data_migrations for Ironic on upgrade

This only enables correct offline upgrade for now, proper rolling
upgrade support will follow in the Queens release.

Change-Id: Iebbd0c6dfc704ba2e0b5176d607354dd31f13a0d
Depends-On: I548c80cf138b661ba3a5e45a6dfe8711f3322ed0
Partial-Bug: #1708149

Merge "Update link addresses in README.md"

Update swift-proxy unit tests for puppet5

The latest version of puppet now require the class dependencies included
in the unit tests.

Change-Id: I0b6462f697f2d8012f8a785660c004f3efb13fdc

Enable TLS configuration for containerized Galera

In non-containerized deployments, Galera can be configured to use TLS
for gcomm group communication when enable_internal_tls is set to true.

Fix the creation of the mysql bundle resource to enable TLS when
configured. The key and cert are passed as other configuration files
and must be copied by Kolla at container startup.

Change-Id: If845baa7b0a437c28148c817b7f94d540ca15814
Partial-Bug: #1708135

Merge "Enable encryption of pacemaker traffic by default"

Merge "Update openstackdocstheme>=1.16.0"

Merge "Configure dockerd with --iptables=false"

Merge "Ensure directory exists for certificates for haproxy"

Enable innodb_buffer_pool_size configuration

Adds a hiera-enabled setting for mysql.pp to
allow configuration of innodb_buffer_pool_size, a key
configurational element for MySQL performance tuning.

Change-Id: Iabdcb6f76510becb98cba35c95db550ffce44ff3
Closes-bug: #1704978

Configure dockerd with --iptables=false

This change defaults --iptables=false for dockerd to avoid
having Docker create its own FORWARD iptables rules. These
rules can interact with normal OS networking rules and disable
communications between hosts on reboot.

Change-Id: I875fa14f7d810c7f0aba3b3a1b04b60a19470f0f
Closes-bug: #1708279

Update link addresses in README.md

Change-Id: I0ad611bd669e9fb5f119237034dca347641c74b5