Remove limits for redis in /etc/security/limits.d

Now that puppet-redis supports ulimit for cluster managed redis (via
https://github.com/arioch/puppet-redis/pull/192), we need to remove the
file snippet as otherwise we will get a duplicate resource error.

We will need to create a THT change that at the very least sets the
redis::managed_by_cluster_manager key to true so that
/etc/security/limits.d/redis.conf gets created.
We also add code to not break backwards compatibility with the old hiera
key.

Change-Id: I4ffccfe3e3ba862d445476c14c8f2cb267fa108d
Partial-Bug: #1688464

Merge "Restrict nova migration ssh tunnel"

Merge "MySQL client: Make CA file configurable"

Merge "snmp: remove useless parameter for binding"

Restrict nova migration ssh tunnel

This change enhances the security of the migration ssh tunnel:
- The ssh authorized_keys file is only writeable by root.
- Creates a new user for migration instead of using root/nova.
- Disables SSH forwarding for this user.
- Optionally restricts the networks that this user can connect from.
- Uses an ssh wrapper command to whitelist the commands that this user can run
  over ssh.

Requires the openstack-nova-migration package from
https://review.rdoproject.org/r/6327

bp tripleo-cold-migration

Change-Id: Idb56acd1e1ecb5a5fd4d942969be428cc9cbe293

Merge "IPv6 VIP addresses need to be /128"

MySQL client: Make CA file configurable

It used to be hardcoded to use the OpenSSL default CA Bundle, however,
this will be changed in t-h-t.

Change-Id: I75bdaf71d88d169e64687a180cb13c1f63418a0f

IPv6 VIP addresses need to be /128

We currently hardcode /64 as our VIP addresses when using IPv6.
The problem with this is that some server code might bind to that
IP as a source address when doing inter-cluster communication
(rabbitmq/galera for example). So when the VIP moves there will
be effectively a network outage between the nodes, which should not
happen.

Likely this was hardcoded to /64 because the RA IPaddr2 needs a nic
parameter when /128 is specified. This is due to:
https://bugzilla.redhat.com/show_bug.cgi?id=1445628

We also make sure we use the ipv6_addrlabel option set to 99 so that
they will never be used as source ip addresses.

Depends-On: I7fcf15a00aedbdcfb21db501ad46c69fb97ec30c
Partial-Bug: #1686357

Change-Id: Ibefde870512ad1e03ff12f7aea91b3734f03f96f
Co-Authored-By: Sofer Athlan-Guyot <sathlang@redhat.com>
Co-Authored-By: Marios Andreou <mandreou@redhat.com>
Co-Authored-By: Damien Ciabrini <dciabrin@redhat.com>

Merge "firewall: generally accept "jump" param and use tripleo:firewall for log rule"

snmp: remove useless parameter for binding

Binding is now done in THT via Hiera directly, so users can change the
option more easily.

Depends-On: Iccf0a8d35cc05d34272c078c97a5dddfb8e7d614
Change-Id: I9d5fd152bb73ea54c4d0d3bab862f11eaa4ebd79
Closes-Bug: #1687628

Merge "Fix wrong notify in swift proxy profile"

Merge "Add linuxbridge agent profile"

Merge "Include base apache module in tls_proxy resource"

Fix wrong notify in swift proxy profile

the TLS proxy was notifying neutron::server instead of swift proxy.

Change-Id: I212978c107a75209d5b7c266e608eb9a9e9cdc76

Include base apache module in tls_proxy resource

Other services include it by using the vhost resource from openstacklib.
If we include a service (such as swift-proxy) that uses the tls_proxy
resource, and we do so in a separate node or in its own container, it
will fail since the base apache module hadn't been included.

Change-Id: I0167e08b0b652618d8a1af792376bcf02c8fcd82

Add a flag to rabbitmq so that we can deploy with ha-mode: all again

In change Ib62001c03e1e08f58cf0c6e0ba07a8879a584084 we switched the
rabbitmq queues HA mode from ha-all to ha-exactly. While this gives us a
nice performance boost with rabbitmq, it makes rabbit less resilient to
network glitches as we painfully found out via
https://bugzilla.redhat.com/show_bug.cgi?id=1441635.

Will propose another THT change to actually change the default to
-1 so we get this ha-mode:all by default.

Change-Id: I9a90e71094b8d8d58b5be0a45a2979701b0ac21c
Partial-Bug: #1686337
Co-Authored-By: Damien Ciabrini <dciabrin@redhat.com>
Co-Authored-By: John Eckersberg <jeckersb@redhat.com>

Merge "Enable internal network TLS for etcd"

Merge "Update puppet-etcd version"

Merge "Add support for Redfish hardware in Ironic"

Merge "Include zaqar apache module"

Merge "Dell SC: Add secondary DSM support"

Update puppet-etcd version

Include the yaml config file for containers

Change-Id: I3ad463217ed3f2d6374627248236b274cfed72fb
Signed-off-by: Bogdan Dobrelya <bdobreli@redhat.com>

Add support for Redfish hardware in Ironic

Part of blueprint redfish-support

Depends-On: Icd065cec7114fc026b658ede0d78be2e777c15aa
Change-Id: Ib14f87800ae7657cf6176a4820248a2ce048241d

Merge "Enable setting SubjectaltNames for haproxy and httpd certs"

Move ceilometer upgrade re-run out of collector

Since collector is deprecated, lets move this out of collector.pp
so it gets run and resource types are created appropriately even
when collector is not included.

Closes-bug: #1676961

Change-Id: I32445a891c34f519ab16dcecc81993f8909f6481

Merge "Allow to configure haproxy daemon's status"

Merge "Cover gnocchi api step 4 and 5"

Merge "Add resource profile for vmware nsx_v3"

Merge "Add ML2 configuration for Bagpipe BGPVPN extension"

Merge "Refactor SSHD config to allow both SSHD options and banner/motd to be set"

Merge "Update UI language list"

Include zaqar apache module

This includes the Zaqar apache module, allowing to run Zaqar behind
httpd.

Depends-On: I69b923dd76a60e9ec786cae886c137ba572ec906
Change-Id: Ib52144e5877d9293057713d6bdca557724baad5c

Merge "Haproxy: When using TLS everywhere, use verifyhost for the balancermembers"

Refactor SSHD config to allow both SSHD options and banner/motd to be set

In https://review.openstack.org/#/c/444622/7 the sshd_options and banner/motd
are mutually exclusive. This patch, and the next patchset of that review,
resolves the conflict.

Related-Bug: 1668543

Change-Id: I1d09530d69e42c0c36311789166554a889e46556

Cover gnocchi api step 4 and 5

Update the gnocchi api to expose the redis information as a class
parameter so it can be tested correctly.

Change-Id: I075b4af5e7bb35f90f7b82f8fb1b6d6ad6363b71

Ensure /etc/docker/daemon.json

A recent Centos docker packaging change removed the default
/etc/docker/daemon.json file. As such we need to create an empty
json file if none exists before running Augeas to configure
the settings.

Change-Id: Ibfe04b468639002f55da7bb65d2606f730c700b7
Closes-bug: #1684297

Dell SC: Add secondary DSM support

Adds support for a secondary DSM in case the primary becomes
unavailable.

Change-Id: Ibf8c333f62556d421d67c853f1f0740d7f9985bf
Depends-On: I331466e4f254b2b8ff7891b796e78cd30c2c87f7

Allow to configure haproxy daemon's status

Currently we hard-code the fact that haproxy starts as a daemon.
When running haproxy in a container we need this to be configurable
because the haproxy process will be pid number 1.

We are not changing the current semantics which have the 'daemon'
option always set, but we are allowing its disabling.

Change-Id: I51c482b70731f15fee4025bbce14e46a49a49938

Merge "Ensure we configure ssl.conf"

Add linuxbridge agent profile

Add a tripleo profile for neutron linuxbridge agent configuration.

Change-Id: Ie3ac03052f341c26735b423701e1decf7233d935
Partial-Bug: #1652211

Merge "Create bigswitch agent profile"

Merge "Added release note for "Support for external swift proxy""

Ensure we configure ssl.conf

Every time we call apache module regardless of using SSL we have to
configure mod_ssl from puppet-apache or we'll hit issue during package
update. File /etc/httpd/conf.d/ssl.conf from mod_ssl package contains
Listen 443 while apache::mod::ssl just configures SSL bits but does not
add Listen. If the apache::mod::ssl is not included the ssl.conf file is
removed and recreated during mod_ssl package update. This causes
conflict on port 443.

Change-Id: Ic5a0719f67d3795a9edca25284d1cf6f088073e8
Related-Bug: 1682448
Resolves: rhbz#1441977

Enable setting SubjectaltNames for haproxy and httpd certs

This enables setting the subjectAltNames for HAProxy and httpd certs.
These will eventually replace the usage of many certs, to have instead
just one that has several subjectAltNames.

Change-Id: Icd152c8e0389b6a104381ba6ab4e0944e9828ba3

Added release note for "Support for external swift proxy"

Change-Id: I7feac65bf814099ab591b473be962e64dec85cbd

Haproxy: When using TLS everywhere, use verifyhost for the balancermembers

This checks that the subjectAltName in the backend server's certificate
matches the server's name that was intended to be used.

Change-Id: If1c61e1becf9cc84c9b18835aef1eaaa8c0d4341

Merge "Allow setting of keepalived router ID"

Merge "HAproxy/heat_api: increase timeout to 10m"

HAproxy/heat_api: increase timeout to 10m

Default timeout is 2min but it doesn't reflect the rpc_response_timeout
value that we set in THT and instack-undercloud, which is 600 (10 min).

In some cases (in low-memory environments), Heat needs more than 2
minutes to reply to the client, when deploying the overcloud.
It makes sense to increase the timeout to the value of rpc_timeout to
give a chance to Heat to reply to the client, otherwise HAproxy will
kill the connection and send 504 to the client.

Depends-On: I9669d40d86d762101734704fcef153e360767690
Change-Id: I32c71fe7930c8798d306046d6933e4b20c22740c
Related-Bug: 1666072

Merge "Support for external swift proxy"

Merge "Move ceilometer wsgi to step 3"

Merge "Move gnocchi wsgi configuration to step 3"

Merge "Dell SC: Add exclude_domain_ip option"

Support for external swift proxy

Users may have an external swift proxy already available (i.e. radosgw
from already existing ceph, or hardware appliance implementing swift
proxy). With this change user may specify an environment file that
registers the specified urls as endpoint for the object-store service.
The internal swift proxy is left as unconfigured.

Change-Id: Ia568c3a5723d8bd8c2c37dbba094fc8a83b9d67e

Merge "Make install of kolla optional on the undercloud"

Merge "etcd: Make HAProxy terminate TLS connections"

Allow setting of keepalived router ID

By default the undercloud and the overcloud share virtual_router_id
definition, leading to errors like "ip address associated with VRID not
present in received packet". This allows setting the range for the IDs.

Change-Id: I0c822777824b469b0f8ef0f31b3708fe47d5b2d7

Dell SC: Add exclude_domain_ip option

This option allows users to exclude some fault domains.
Otherwise all domains are returned.

Change-Id: I6eb2bcc7db003a5eebd3924e3e4eb44e35f60483
Depends-On: I8ac91e6720e52da9cf7480f80bcfb456bf0c2433

Make install of kolla optional on the undercloud

This defaults to 'True' to keep backward compatibility and can be
disabled by setting 'enable_container_images_built' to false in
undercloud.conf.

Depends-On: Ia3379cf66b1d6b180def69c2a5b22b2602baacef
Change-Id: I33e7e9a6a3865fed38f7ed6490455457da67782b

Move gnocchi wsgi configuration to step 3

We configure apache in step3 so we need to configure the gnocchi api in
step 3 as well to prevent unnecessary service restarts during updates.

Change-Id: I30010c9cf0b0c23fde5d00b67472979d519a15be
Related-Bug: #1664418

Move ceilometer wsgi to step 3

Apache is configured in step 3 so if we configure ceilometer in step 4,
the configuration is removed on updates. We need to configure it in step
3 with the other apache services to ensure we don't have issues on
updates.

Change-Id: Icc9d03cd8904c93cb6e17f662f141c6e4c0bf423
Related-Bug: #1664418

Merge "Stop SSHD profile clobbering SSH client config"

Add ML2 configuration for Bagpipe BGPVPN extension

Change-Id: I9e1a56782e258fb6982b70d9a07f35808f2b2de5
Depends-On: Ic975ec1d6b2bf6e6bd28b47ba9dd2a3ae629d149
Signed-off-by: Ricardo Noriega <rnoriega@redhat.com>

Merge "Ensure directory exists for certificates for httpd"

Enable internal network TLS for etcd

bp secure-etcd

Change-Id: I0759deef7cbcf13b9056350e92f01afd33e9c649
Signed-off-by: Feng Pan <fpan@redhat.com>

Stop SSHD profile clobbering SSH client config

Including the ::ssh manifest will manage both client and server config.
Managing the client config was not intended and will clobber the OS
default config with the puppet ssh moduled defaults.

Follow up for https://review.openstack.org/443113 where I found the issue after
the changes merged.

Change-Id: I6329f5ebbe8fc3950449e325e56293872d11e1b5
Related-Bug: 1668543

Ensure directory exists for certificates for httpd

We used to rely on a standard directory for the certificates and keys
that are requested by certmonger. However, given the approach we plan to
take for containers that's described in the blueprint, we need to use
service-specific directories for the certs/keys, since we plan to
bind-mount these into the containers, and we don't want to bind mount
any keys/certs from other services.

Thus, we start by creating this directories if they don't exist in the
filesystem and adding the proper selinux labels.

bp tls-via-certmonger-containers

Change-Id: I0b71902358b754fa8bd7fdbb213479503c87aa46

Update UI language list

Change-Id: I848b3cc747f1be06aeda57ba15d4ec557c23ad46
Depends-On: Idf3d82058d87d9c8a3b6d8973d5166043dad2252

Merge "Add registry_mirror to base::docker profile"

Merge "Use docker profile in docker_registry"

etcd: Make HAProxy terminate TLS connections

When TLS is enabled for the internal network, HAProxy needs to handle
etcd's TLS termination. Else it will use plain text.

bp secure-etcd

Change-Id: I20651240edcff0953741d4e8e01fa9a7ab185863

Merge "Move etcd to step 2"

Add registry_mirror to base::docker profile

This patch adds a new registry_mirror option to help
configure /etc/docker/daemon.json so that we can make use
of HTTP docker mirrors within upstream TripleO CI (infra).

Change-Id: I4b966e9b9b174ca5a6f57974185e0149ea12f232

Use docker profile in docker_registry

The docker_registry profile has resources to configure
the docker service and package. These conflict with the
entries in the tripleo::profile::base::docker class which
exists specifically to manage these resources (and has
unit tests).

This patch removes the duplicate resources and updates
the docker_registry profile to simply include the
base docker profile instead.

This instack-undercloud change below needs to land first.
Depends-On: I6154f4c7435b02b92f6f64687e9ee89d6b86186a

Change-Id: I75c740e7efc6662861c28caeb7fa965ba55438cb

Merge "Adding listen_options for Contrail Webui https in haproxy"

Merge "TLS-everywhere: Add resources for libvirt's cert for live migration"

Merge "Stop including ironic::drivers::ssh in the ironic-conductor profile"

Merge "Enable creation of keystone domain when ldap backends are created"

Merge "syntax error extra comma in rabbitmq.pp"

Merge "Add networking-vpp ML2 mechanism driver support"

Merge "Add missing octavia auth include to keystone manifest"

Merge "Make galera-ready exec refreshonly"

syntax error extra comma in rabbitmq.pp

bundle rake syntax

Could not parse for environment *root*: Syntax error at ')'; expected '}'

Change-Id: Idfb254df068b3d7342a6ea3c71dabd1316a61bdf

Stop including ironic::drivers::ssh in the ironic-conductor profile

The SSH drivers are deprecated, pxe_ipmitool + virtualbmc should be used instead.
This is a follow-up to blueprint switch-to-virtualbmc.

Change-Id: I4fd567dffa3992042eebcf495334b8130e1bdc9f

TLS-everywhere: Add resources for libvirt's cert for live migration

This merely requests the certificates that will be used for libvirt's
live migration if TLS-everywhere is enabled.

bp tls-via-certmonger

Change-Id: If18206d89460f6660a81aabc4ff8b97f1f99bba7

Merge "Don't try and create the my.cnf.d dir everytime"

Enable creation of keystone domain when ldap backends are created

This sets the flag create_domain_entry for the ldap_backend resource,
which will create the domain for the ldap backend (this was previously
not the case since only the configuration was created). Furtherly, this
flag will also refresh the keystone server, so the changes come into
effect.

Note that this is only done in step 3, so the domains are created there
and the refresh happens in that step. Also, this is only done for the
bootstrap node, since when the other nodes start, they will already have
the domains available in the keystone database and there won't be a need
to restart.

Related-Bug: #1677603
Depends-On: Ib6c633b6a975e4b760c10a2aef3c252885b05e28
Change-Id: Id879cf5c5ae39d37bf58b73c78733001d2b03d9c

Merge "Composable services support for Cinder Pure Storage FlashArray"

Merge "Adjust UI manifest (language list)"

Merge "Migrate Swift ring handling from tripleo-heat-templates to puppet-tripleo"

Merge "Adding OVNDBs vip to keepalive"

Merge "Make the cluster-check property configurable"

Merge "Add httpchk for http services"

Merge "Include ironic::drivers::interfaces in the ironic-conductor profile"

Merge "Adding support for Bagpipe Agent as BGPVPN driver"

Merge "Add a trigger to call ldap_backend define"

firewall: generally accept "jump" param and use tripleo:firewall for log rule

Tentative fix for bug #1669763, trying to use the same class for every
rule we want to add to the chain.

Change-Id: I4ba451c1b258391c8f1cfb4d73e38828c437b1c1
Closes-Bug: #1669763

Make galera-ready exec refreshonly

Previously we were always run the galera-ready exec every step. This
change switches it to be refreshonly so we only wait when the service is
setup or restarted.

Change-Id: I5ff9d49c2590751913b96777bcd72c8a15627a01
Closes-Bug: #1680586

Add missing octavia auth include to keystone manifest

This patch adds the appropriate include to make sure that appropriate
keystone user, services, etc. are created when octavia is selected.

Closes-bug: #1680588

Change-Id: I0b6d657a0300538292223923d8808c23f936c193

Don't try and create the my.cnf.d dir everytime

The creation of /etc/my.cnf.d is not idempotent and is run anytime the
mysql client profile is included. This change adds an unless parameter
to ensure it is only run if not used.

Change-Id: I4a30eaccf72f5687dc22ba93c19136e55d36dcab
Closes-Bug: #1680570