Merge "Repair immediate VF configuration for PCI SR-IOV" into stable/pike

Use Python to compute release notes version

Leave the version fields blank, since the release notes document
applies to all versions.
That will avoid manual changes in the future like we did until now.

Change-Id: I9c64787b278b53a0f4125275678ded3f46d05be2
(cherry picked from commit aefd5f7afd238b50eff71fe6f583ef7cadb54d12)

Merge "HAProxy: Make certmonger bundle the cert and key on renewal" into stable/pike

Merge "Certmonger: Only attempt to reload haproxy is it's active" into stable/pike

Merge "Support for Dell EMC Unity Manila Driver" into stable/pike

Merge "Support for Dell EMC Isilon Manila Driver" into stable/pike

HAProxy: Make certmonger bundle the cert and key on renewal

the postsave command is ran by certmonger when a certificate is
requested (which will happen on certificate renewal). The previous
command given didn't take into account the file that haproxy expects,
which is a bundled PEM file with both the certificate and the key. Thus,
certmonger would have never generated a new bundle that haproxy would
use, resulting in haproxy always having an old bundle after certificate
expiration.

This fixes that.

Change-Id: Idb650d35f56abaf6a17e17794a068dd5933e6a62
Closes-Bug: #1712514
(cherry picked from commit e1791a37d557b14bb8f833363cabe5c98e151548)

Certmonger: Only attempt to reload haproxy is it's active

Previously, certmonger tried to reload haproxy every time after a
certificate is requested. This is useful for certificate resubmits or
renewals. However, it turned out problematic on installation, when
haproxy is not yet active, as it would try many times and end up having
a race-condition with puppet.

This checks if haproxy is active and only then will it attempt to reload
it.

Change-Id: I51f9cccb5d1518a9647778e7bf6f9426a02ceb60
Closes-Bug: #1712377
(cherry picked from commit 351ab932514f13d7a139b0b41fdc4f6f7e990c8f)

Support for Dell EMC Unity Manila Driver

This changes adds Dell EMC Unity backend as composable service
and matches the tripleo-heat-templates.

Change-Id: I0df1e16db89cd53e4f16cd08ccb975d8e7e9a470
Implements: blueprint dellemc-unity-manila
(cherry picked from commit 2f93b4fc3aa63d99b7dcb0302e9ee48bda1f4282)

Support for Dell EMC Isilon Manila Driver

This changes adds Dell EMC Isilon backend as composable service
and matches the tripleo-heat-templates.

Change-Id: I30f6b4c4ebe0a708a5eb34cd016544f4d2b9c2bb
Implements: blueprint dellemc-isilon-manila
(cherry picked from commit 75ee7f12f165d4ef6e47600d8c0ec93dff3b610d)

Add /etc/ceph into pacemaker bundles

We missed to mount the Ceph config files into the docker/pacemaker
profiles.

Change-Id: I23b6890b4cf7f1e6fe84b6be280dde82218275fc
Closes-Bug: #1713421
(cherry picked from commit b18ae72c6aaad9eb98d7e4490a6572441f63b9a1)

Enable config for docker daemon debug

Exposes a way to configure the docker daemon with debug enabled.

Change-Id: I654a70c8bb7753679be83d78ca653ed44c3a7395
Related-Bug: #1710533
(cherry picked from commit 44b90c9a79146139cbcbe7f560bd1df667cca780)

Merge "Fix panko port to match tht" into stable/pike

Repair immediate VF configuration for PCI SR-IOV

Change I71edc135432ab2193741c37ce977dd11172401e6 broke the host VF
configuration that set VF counts when the puppet is applied. This patch
re-adds the ensure => present property required for proper behavior.

Change-Id: Ibd18c4f3b7f0d8cee330f94f87e7ad4ea7ceeffb
Closes-Bug: #1712903
(cherry picked from commit 1e133f31466bf17df66b0f552a2ce5b3b056e666)

Merge "Update UPPER_CONSTRAINTS_FILE for stable/pike" into stable/pike

Merge "Update .gitreview for stable/pike" into stable/pike

Fix panko port to match tht

In templates we use 13977 as the port for panko. The
old 13779 is reserved for trove so it conflicts.

Closes-bug: #1712566

Change-Id: I77444199eef6c2b9abbd819829b4fea2d698e2db
(cherry picked from commit 5064677dda8e4f140df6d024089e95afe11a91f1)

Add /bin to PATH for CRL cronjob

Checking the root's mail (/var/mail/root) I finally saw the root cause
of the CRL cronjob not working.

/bin/sh: curl: command not found

now, curl, (and most commands used by that cronjob) is in the /bin bash,
so we need to add it to the environment's PATH for the cronjob.

Change-Id: If10855b801782eeaf2006cd57071d74d13daf8c2
Closes-Bug: #1712404
(cherry picked from commit 139ac85028947f476a085e89bd54f3dfacd886cf)

Update UPPER_CONSTRAINTS_FILE for stable/pike

Change-Id: Ibc02e4e87593f18c4c48a9e8197a4cd3c16d9cd4

Update .gitreview for stable/pike

Change-Id: Ib750ba8a4e76a25ffd2352b420e97548447eae97

Merge "Use resource collector for the fencing -> stonith ordering"

Merge "TLS-everywhere/libvirt: Make postsave command configurable"

TLS-everywhere/libvirt: Make postsave command configurable

This is requires for when libvirt is running over a container, since
we shouldn't try to restart the libvirt process, but the container
itself.

bp tls-via-certmonger-containers

Change-Id: I26a7748b37059ea37f460d8c70ef684cc41b16d3

Merge "Add OVN DBs bundle support for pacemaker HA"

Use resource collector for the fencing -> stonith ordering

Change Ifef08033043a4cc90a6261e962d2fdecdf275650 moved the stonith
property definition to the pacemaker_master node. This means that the
Class['tripleo::fencing'] -> Class['pacemaker::stonith'] ordering
breaks on non-boostrap pacemaker nodes because the pacemaker::stonith
property is not defined there any longer.

Let's fix this by simply using a resource collector and set the ordering
on that instead of adding yet anoth if statement. Ordering on
enablement of stonith is actually more correct formally.

Tested this on a broken setup successfully.

Closes-Bug: #1712605
Change-Id: I616d340bdf75da9d9eb8b83b2e804dff3d07d58e

Add -s (silent) to curl command for CRL refresh

Without it, it doesn't reload the services it should.

Change-Id: I43e6188700deb585f905ca700e69b6875f0ded45
Closes-Bug: #1712404

Merge "Do not create fs and server side key from manila"

Merge "Certmonger: Make postsave command configurable"

Merge "Support for Dell EMC VMAX Manila Driver"

Merge "Support for Dell EMC VMAX ISCSI Cinder Driver"

Merge "Allow configuring multiple insecure registries"

Merge "Add TLS for nova metadata service"

Certmonger: Make postsave command configurable

We need to make it configurable since these commands don't apply for
containerized environments. This way we can restart containers or
disable restarting and rely on other means.

This stems from the issue that some services get accidentally started by
certmonger on containerized environments, which makes the container
initialization fail.

bp tls-via-certmonger-containers

Change-Id: I62ff89362cfcc80e6e62fad09110918c36802813

Merge "Enable TLS in the internal network for horizon"

Merge "Create separate resource for HAProxy horizon endpoint"

Merge "Move barbican's database creation to mysql profile"

Merge "Release Pike rc1 - 7.3.0"

Add TLS for nova metadata service

This adds a TLS proxy in front of it so it serves TLS in the internal
network.

bp tls-via-certmonger

Change-Id: I97ac2da29be468c75713fe2fae7e6d84cae8f67c

Merge "Remove extra keystone admin haproxy listen and allow TLS"

Allow configuring multiple insecure registries

If we're using local registries, we may want to use different
registries e.g. for Ceph and for OpenStack. We allow multiple
registries in general for this purpose, and we should also allow it in
the insecure registry configuration.

Change-Id: I5cddd20a123a85516577bde1b793a30d43171285
Related-Bug: #1709310

Merge "HAProxy: Set listen options for internal services too"

Merge "Add logrotate-crond configuration"

Enable TLS in the internal network for horizon

This enables the usage of TLS by the apache vhost that hosts horizon.

bp tls-via-certmonger

Change-Id: I7f2e11eb60c7b075e8a59f28682ecc50eeb95c3e

Create separate resource for HAProxy horizon endpoint

This removes clutter from the main haproxy manifest and allows TLS in
the internal network as well. Trying to keep the previous behavior.

bp tls-via-certmonger-containers
Change-Id: I1a68771cc7be7fb2b32abbad81db7890bd2c5502

Release Pike rc1 - 7.3.0

Change-Id: Id3277c97052e1dd88e6d2de6c5f92b32b95fa210

Move barbican's database creation to mysql profile

This makes sure that the database creation is only executed on the mysql
profile (or container if that's enabled), and stops the conflicts and
errors that were happening when barbican was deployed in containerized
environments.

Change-Id: Ib5c99482f62397fc5fb79a9dc537dfb06ee7f4df
Closes-Bug: #1710928

Add OVN DBs bundle support for pacemaker HA

It uses the control-port 3125.

Partial-bug: #1699085
Change-Id: I4787321e10cc35beeb5ec3f585dafb2268ea4f21

Add logrotate-crond configuration

Generate a cron job and a config for logrotate
to be run against containerized services logs.

Related-bug: #1700912

Change-Id: Ib9d5d8ca236296179182613e1ff625deea168614
Signed-off-by: Bogdan Dobrelya <bdobreli@redhat.com>

Remove extra keystone admin haproxy listen and allow TLS

The current code exposes an unused public listen directive in HAProxy
for the keystone admin endpoint. This is not ideal and should be
removed, as it exposes the service unnecessarily. We should stick to
just exposing it to the ctlplane network as is the default.

If folks really need to expose it to the public network, they can do so
by modifying the ServiceNetMap through t-h-t and setting the keystone
admin endpoint's network to external.

Now, for "single" or "internal" haproxy endpoints, this adds the ability
to detect if they're using the external network, and thus use TLS on it.
Which is something a deployer would want if they exposed the keystone
admin endpoint in such a way.

Change-Id: I79563f62fd49a4f7654779157ebda3c239d6dd22
Closes-Bug: #1710909
Closes-Bug: #1639996

Merge "Replace enabled languages with excluded languages in UI"

Merge "Enable TLS configuration for containerized HAProxy"

Merge "Use rabbitmq ipv6 flag"

Merge "Fix legacy nova/cinder encryption key manager configuration"

Use rabbitmq ipv6 flag

The internal details of enabling IPv6 have moved upstream[1], so just
set the ipv6 flag when desired and don't worry about the details
anymore!

[1] https://github.com/puppetlabs/puppetlabs-rabbitmq/pull/552

Closes-Bug: #1710658

Change-Id: Ib22507c4d02f0fae5c0189ab7e040efac3df7e2f

Support for Dell EMC VMAX Manila Driver

This changes adds Dell EMC VMAX backend as composable service
and matches the tripleo-heat-templates.

Change-Id: I6e3b4ed6477c7ee56aef4e9849893229ca648c85
Implements: blueprint dellemc-vmax-manila

Support for Dell EMC VMAX ISCSI Cinder Driver

This changes adds Dell EMC VMAX ISCSI backend as composable service
and matches the tripleo-heat-templates.

Change-Id: Ifc169c60994856e382b76b72e020624ca64eef9f
Implements: blueprint dellemc-vmax-isci

Merge "Run online_data_migrations for Ironic on upgrade"

Merge "Enable TLS configuration for containerized Galera"

Merge "Do not include manila ceph key resource twice"

Merge "Modify resource dependencies of certmonger_user resources"

Do not create fs and server side key from manila

Both fs and key are handled by ceph-ansible, move fs and key
creation out of manila manifest to assure that it works with and
without ceph-ansbile.

Client-side manila key is created from ceph-mds and ceph-external
templates in I6308a317ffe0af244396aba5197c85e273e69f68.

Depends-On: I6308a317ffe0af244396aba5197c85e273e69f68
Partially-Implements: blueprint nfs-ganesha
Change-Id: I2b5567a39ac8737e80758b705818cc1807dc8bf1

HAProxy: Set listen options for internal services too

This was missed from a previous commit, as described in the bug report.
We need to set this variable in this case as well, else it will use the
undefined variable, thus ignoring anything that the user had set.

Change-Id: I6810e7bb3eed16a6478974ac759c3f720a41120a
Closes-Bug: #1709332

Modify resource dependencies of certmonger_user resources

In a containerized environment the haproxy class might not be defined,
so this was made optional. On the other hand, this also retrieves the
CRL before any certmonger_certificate resources are created.

bp tls-via-certmonger-containers
Change-Id: I2078da7757ff3af1d05d36315fcebd54bb4ca3ec

Do not include manila ceph key resource twice

When mds creates manila key [1], then manila manifest needs to check
first if this resource already exists otherwise puppet fails.

[1] I6308a317ffe0af244396aba5197c85e273e69f68

Change-Id: I3f18bbe476c4f43fa4e162cc66c5df443122cd0c

Merge "Enable TLS configuration for containerized RabbitMQ"

Merge "Use clustercheck credentials to poll galera state in container"

Enable TLS configuration for containerized HAProxy

In non-containerized deployments, HAProxy can be configured to use TLS
for proxying internal services.

Fix the creation of the of the haproxy bundle resource to enable TLS
when configured. The keys and certs files, as well as the crl file are
all passed as configuration files and must be copied by Kolla at
container startup.

Change-Id: I4b72739446c63f0f0ac9f859314a4d6746e20255
Partial-Bug: #1709563

Merge "Enable innodb_buffer_pool_size configuration"

Enable TLS configuration for containerized RabbitMQ

In non-containerized deployments, RabbitMQ can be configured to use TLS for
serving and mirroring traffic.

Fix the creation of the rabbitmq bundle resource to enable TLS when configured.
The key and cert are passed as other configuration files and must be copied by
Kolla at container startup.

Change-Id: Ia64d79462de7012e5bceebf0ffe478a1cccdd6c9
Partial-Bug: #1709558

Merge "Update swift-proxy unit tests for puppet5"

Run online_data_migrations for Ironic on upgrade

This only enables correct offline upgrade for now, proper rolling
upgrade support will follow in the Queens release.

Change-Id: Iebbd0c6dfc704ba2e0b5176d607354dd31f13a0d
Depends-On: I548c80cf138b661ba3a5e45a6dfe8711f3322ed0
Partial-Bug: #1708149

Merge "Update link addresses in README.md"

Update swift-proxy unit tests for puppet5

The latest version of puppet now require the class dependencies included
in the unit tests.

Change-Id: I0b6462f697f2d8012f8a785660c004f3efb13fdc

Enable TLS configuration for containerized Galera

In non-containerized deployments, Galera can be configured to use TLS
for gcomm group communication when enable_internal_tls is set to true.

Fix the creation of the mysql bundle resource to enable TLS when
configured. The key and cert are passed as other configuration files
and must be copied by Kolla at container startup.

Change-Id: If845baa7b0a437c28148c817b7f94d540ca15814
Partial-Bug: #1708135

Merge "Enable encryption of pacemaker traffic by default"

Merge "Update openstackdocstheme>=1.16.0"

Merge "Configure dockerd with --iptables=false"

Merge "Ensure directory exists for certificates for haproxy"

Enable innodb_buffer_pool_size configuration

Adds a hiera-enabled setting for mysql.pp to
allow configuration of innodb_buffer_pool_size, a key
configurational element for MySQL performance tuning.

Change-Id: Iabdcb6f76510becb98cba35c95db550ffce44ff3
Closes-bug: #1704978

Configure dockerd with --iptables=false

This change defaults --iptables=false for dockerd to avoid
having Docker create its own FORWARD iptables rules. These
rules can interact with normal OS networking rules and disable
communications between hosts on reboot.

Change-Id: I875fa14f7d810c7f0aba3b3a1b04b60a19470f0f
Closes-bug: #1708279

Update link addresses in README.md

Change-Id: I0ad611bd669e9fb5f119237034dca347641c74b5

Use normal socket file permissions instead of polkit

The default (on RHEL/CentOS) is to use polkit but this is only useful
for GUI support or for fine grained API access control.  As we don't
require either we can achieve identical control using plain old unix
filesystem permissions.

I've merged Sven's changes from https://review.openstack.org/484979
and https://review.openstack.org/487150.

As we need to be careful with the libvirtd option quoting I think it's
best to do this in puppet-tripleo instead of t-h-t yaml.

The option to override the settings from t-h-t remains.

Co-Authored-By: Sven Anderson <sven@redhat.com>
Reverts I91be1f1eacf8eed9017bbfef393ee2d66771e8d6

Closes-bug: 1696504

Change-Id: I507bdd8e3a461091562177403a2a55fcaf6694d2
Depends-On: I17f6c9b5a6e2120a53bae296042ece492210597a

Merge "Support for Dell EMC Unity Cinder Driver"

Ensure directory exists for certificates for haproxy

We used to rely on a standard directory for the certificates and keys
that are requested by certmonger. However, given the approach we plan to
take for containers that's described in the blueprint, we need to use
service-specific directories for the certs/keys, since we plan to
bind-mount these into the containers, and we don't want to bind mount
any keys/certs from other services.

Thus, we start by creating this directories if they don't exist in the
filesystem and adding the proper selinux labels.

bp tls-via-certmonger-containers

Change-Id: Iba3adb9464a755e67c6f87d1233b3affa8be565a

Enable encryption of pacemaker traffic by default

We already are setting a pre-shared key by default for the pacemaker
cluster. This was done in order to communicate with TLS-PSK with
pacemaker-remote clusters. This key is also useful for us to enable
encrypted traffic for the regular cluster traffic, which we enable by
default with this patch.

Change-Id: I349b8bf79eeeaa4ddde1c17b7014603913f184cf

Merge "Enable TLS for the HAProxy stats interface"

Use clustercheck credentials to poll galera state in container

The clustercheck service currently connects to mysql as root
to poll the state of the galera cluster.

Update the generated config to use clustercheck credentials.

Depends-On: If8e0b3f9e4f317fde5328e71115aab87a5fa655f
Closes-Bug: #1707683

Change-Id: I4ee6e1f56a7880ccf456f5c08d26a267fb810361

Merge "Prevent haproxy to run iptables during docker-puppet configuration"

Enable TLS for the HAProxy stats interface

This creates a new class for the stats interface and furtherly
configures it to also use the certificates that are provided by
certmonger (via the internal_certificates_specs variable).

Note that the already existing haproxy_stats_certificate still works and
will take precedence if it's set.

bp tls-via-certmonger

Change-Id: Iea65d91648ab13dbe6ec20241a1a7c95ce856e3e

Update openstackdocstheme>=1.16.0

Change-Id: I69f9af4191cf7148d517f56c77da739c1a06b49f

Fix legacy nova/cinder encryption key manager configuration

Recent changes in Nova [0] and Cinder [1] result in Barbican being selected
as the default encryption key manager, even when TripleO is not deploying
Barbican.

This change ensures the legacy key manager is enabled when no key manager
(such as Barbican) has been specified. This restores the previous behavior,
where the legacy key manager was enabled by default.

[0] https://review.openstack.org/484501
[1] https://review.openstack.org/485322

Closes-Bug: #1706389
Change-Id: Idc92f7a77cde757538eaac51c4ad8dc397f9c3d3

Support for Dell EMC Unity Cinder Driver

This changes adds Dell EMC Unity backend as composable service
and matches the tripleo-heat-templates.

Change-Id: I015f7dfec4bedf72332d91b91cda3ef1dc8caf8c

Replace enabled languages with excluded languages in UI

Change-Id: I14d2c8d11abb1df17759e2a9d4ae6b9ccebbe30f
Depends-On: Idf5a3314c19be18ca6cabbae1e94bc7cb1d1fe94

Handle SSL options for Zaqar

This allows running Zaqar with SSL under Apache.

Change-Id: I4c68a662c2433398249f770ac50ba0791449fe71

Prevent haproxy to run iptables during docker-puppet configuration

When docker-puppet runs module tripleo::haproxy to generate haproxy
configuration file, and tripleo::firewall::manage_firewall is true,
iptables is called to set up firewall rules for the proxied services
and fails due to lack of NET_ADMIN capability.

Make the generation of firewall rule configurable by exposing a
new argument to the puppet module. That way, firewall management can
be temporarily disabled when being run through docker-puppet.

Change-Id: I2d6274d061039a9793ad162ed8e750bd87bf71e9
Partial-Bug: #1697921

Fix nova and selinux unit tests

The unit tests jobs are failing because of missing pre conditions for
the new shared class introduced by
Ib233689fdcdda391596d01a21f77bd8e1672ae04.  Additionally this change
moved some classes around so that the tests are now failing due to
duplicate class declarations for nova::compute::libvirt::services. This
change moves the include that pulls in the declaration first prior to
the include that exists in tripleo::profile::base::nova::libvirt.

The selinux test was also failing due to a type issue with the fact
being used (boolean vs string)

Change-Id: I5bd4b61d6008820729d58f7743e7e61955dd6f51
Closes-Bug: #1707034

Merge "Move gnocchi::api resource to run with wsgi setup"

Merge "Configure redis as incoming storage driver in gnocchi"

Move gnocchi::api resource to run with wsgi setup

Having this run in step 4 causes a refresh (restart) for httpd, which
in turn is problematic for the gnocchi db upgrade command, since when
it runs httpd is not available at that point. This fixes the issue,
since the API configuration is now ran at the same time as the wsgi
bits.

Change-Id: Ie0ab389a4450bb940757e34d1964423911885fa3

Pass 'false' docroot to vhost for tls_proxy

passing undef causes a failure since due to a recent commit [1] the
resource now does proper validation of the parameters.

[1] https://github.com/puppetlabs/puppetlabs-apache/commit/d6952b21ec66d7ce8b69dd0c2f2a0debca54e18f

Change-Id: I6dc1e5820a1f4fe449d254d301738e1073f4b82b
Closes-Bug: #1706026