Set memcache_servers in /etc/swift/object-expirer.conf

This defaults to 127.0.0.1:11211 without setting these explicitly. The
object-expirer is working without a correct memcache server, however it
is slower and warnings will be logged.

Related-Bug: 1627927
Depends-On: Ie139f018c4a742b014dd4d682970e154d66a8c6d
Change-Id: I89a879592a264d541cf42f007584e2e78058c867

Enable object-expirer on Swift proxy profile

This service is required to delete expired automatically. It is often
run on the proxy nodes, therefore adding it to the Swift proxy profile.

Change-Id: I3250c205ffc166ae628bc427de2e3492d086c3bb
Closes-Bug: 1645657

Merge "Enable TLS in the internal network for Panko API"

Merge "adding new swift middleware that is typically enabled by default"

Merge "Enable internal TLS for MySQL"

Merge "Do not configure state matching when using GRE"

Enable TLS in the internal network for Panko API

This optionally enables TLS for Panko API in the internal network.
If internal TLS is enabled, each node that is serving the Panko API
service will use certmonger to request its certificate.

bp tls-via-certmonger

Change-Id: Ie9be7ce19601435b1b83b4ba58d9c7e8d53f23ba

Enable internal TLS for MySQL

this adds the necessary code in the manfiest to configure TLS
if internal TLS is enabled. this also adds the capability of
auto-generating the certificate via certmonger.

bp tls-via-certmonger

Change-Id: I7275e5afb3a6550cf2abbb9a8007dedb62ada4b4

Do not configure state matching when using GRE

The firewall rule quite reasonably sets up a default state matching rule
but this is invalid for GRE. This patch conditionally adds the state
matching if the protocol is not GRE.

Closes-Bug: #1644360
Change-Id: Ie4ca41d0f36e79ba6822c358e21b827105736dd7

Merge "Remove Combination alarms support"

Merge "Proxy manila in http mode"

Merge "Move calculation of neutron l3_ha into puppet profile"

Merge "Use mode 'http' in haproxy for ceilometer, neutron, aodh and gnocchi"

Proxy manila in http mode

It needs it so HAProxy will be able to set the X-Forwarded-Proto header.
Related-Bug: #1640126
Change-Id: I1726fa1742bc70518338b80fc6d27567bb020e7c

Use mode 'http' in haproxy for ceilometer, neutron, aodh and gnocchi

HAProxy won't pass X-Forwarded-Proto to these services in mode tcp, so we need
to switch it to http in order for it to work and for the services to properly
set the protocol in the links they serve.

Change-Id: Ib10282159fb9269eebe81af23171ec9fb1297cd0
Closes-Bug: #1640126

Merge "firewall: stop using stdlib stages"

Merge "Adds auto-detection for VIP interfaces"

Merge "Add panko service support"

firewall: stop using stdlib stages

Using Puppet stdlib in TripleO is risky because it exposes deployments
to dependency cycles in the catalog.
We should rather use native functions to make orchestrations, like
ordering and dependencies management.

This patch:

- removes usage of stages from stdlib
- use ordering to make sure we run pre rules before post
- use ordering to make sure we start all Services in catalog before post
  rules. It ensure that we don't drop all traffic before starting the
  services, which could lead to services errors (e.g. trying to reach database
  or amqp)

Change-Id: Iec4705d6b785a40ccf6f43809b94b726ccd47fef
Closes-Bug: #1643575

Move calculation of neutron l3_ha into puppet profile

This is currently calculated in t-h-t but has a hard-coded reference
to the ControllerCount which is incompatible with custom-roles.

So instead calculate the setting based on the number of neutron API
services running (on any role, not just Controller), combined with
whether DVR is enabled (equivalent to current t-h-t logic).

To avoid breaking the NeutronL3HA parameter in t-h-t we maintain an
optional parameter to override the calculated value.

Change-Id: I01c50973eec8138ec61304f2982d5026142f267c
Partial-Bug: #1629187

Adds auto-detection for VIP interfaces

Previously the ctrl plane VIP would default to 'br-ex' which in non-vlan
deployments ends up being the wrong interface.  The public VIP interface
was also defaulted to 'br-ex' which would be incorrect for vlan based
deployments.  Since a user has already given the nic template (and in
most cases the subnet that corresponds to the nic) the installer should
be able to figure out which interface the public/control vip should be
on.

These changes enable that type of auto-detection, unless a user
explicitly overrides the heat parameters for ControlVirtualInterface and
PublicVirtualInterface.  Also removes calling keepalived from haproxy
now that the services are composed separately on the Controller role.

Partial-Bug: 1606632

Change-Id: I05105fce85be8ace986db351cdca2916f405ed04
Signed-off-by: Tim Rozet <trozet@redhat.com>

Replace hard-coded haproxy/keepalived coupling

We have a variable in hiera which tells us if the keepalived
service is enabled, so use it here.  Without this any deployment
disabling OS::TripleO::Services::Keepalived will fail.

Change-Id: I90faf51881bd05920067c1e1d82baf5d7586af23
Closes-Bug: #1642677

Remove Combination alarms support

combination alarms are completely removed in Ocata.
Remove this from tripleo.

Change-Id: Icdf81d2f489db33533a1a0979cba3b5a652535d5

Merge "Sort parameters in keystone profile alphabetically"

Merge "Prepare 6.0.0 (ocata-1)"

Sort parameters in keystone profile alphabetically

Change-Id: I035c26e0f50e4b3fc0f6085fa5a4bf524e4852b7

Remove explicit hiera calls for heat in keystone profile

These are now passed via the heat profiles in t-h-t (via
heat-base.yaml and heat-engine.yaml) and use the actual names of
keystone parameters instead.

Change-Id: Id0f5dd03b6757df989339c93b58a5b7eac3402a2
Depends-On: I0e5124d57fdc519262fdec2dbeaaac85afaeebdf

Prepare 6.0.0 (ocata-1)

Prepare the first release of Ocata.

Change-Id: Ib8173d1ce26752216aeaab835f483503cf82b217

Merge " Enable TLS in the internal network for Barbican API"

Add panko service support

Change-Id: I35f283bdf8dd0ed979c65633724f0464695130a4

Merge "Fix barbican server name to not use aodh hiera"

 Enable TLS in the internal network for Barbican API

 This optionally enables TLS for Barbican API in the internal network.
 If internal TLS is enabled, each node that is serving the Barbican API
 service will use certmonger to request its certificate.

 bp tls-via-certmonger

Change-Id: I1c1d3dab9bba7bec6296a55747e9ade242c47bd9

Merge "Normalize civetweb binding address if IPv6"

Merge "Enable TLS in the internal network for Cinder API"

Merge "Ensure keepalived is restarted when necessary."

Normalize civetweb binding address if IPv6

The civetweb binding format is IP:PORT; this change ensures the IP
is enclosed in brackets if IPv6.

To do so we add the bind_ip and bind_port parameters to the
rgw service class.

Change-Id: Ib84fa3479c2598bff7e89ad60a1c7d5f2c22c18c
Co-Authored-By: Lukas Bezdicka <social@v3.sk>
Related-Bug: #1636515

Fix barbican server name to not use aodh hiera

this looks like a copy/paste error. Let barbican use its own
hiera data.

Change-Id: I84118c1a561c3db2f18504b55c5a8c4f042e7e3b

Fix puppet lint failure

I'm not sure how this merged, but it's causing failures in other
patches to puppet-tripleo.

Change-Id: Ib20d349fa9abd6347739190bb29a02b6e3eb839d

adding new swift middleware that is typically enabled by default

These are features that are typically enabled by default
in any swift cluster.

Change-Id: Ie323f68255a73d46e774cbf49d9353c3bf90c35e
Signed-off-by: Thiago da Silva <thiago@redhat.com>

Merge "Enable TLS in the internal network for Nova API"

Merge "Better way to ensure keepalived before haproxy."

Merge "Wrong default in docstring"

Merge "Pass X-Forwarded-Proto for missing services"

Ensure keepalived is restarted when necessary.

If os-collect-config/config.json is updated before an upgrade/update,
then the os-net-config run will automatically erase the keepalived
managed ips.

This is a hackish way to ensure that keepalived is restarted during the
next phase in order to have the ip recreated.

It basically adds a comment line to the keepalived.conf file (making it
different than the puppet one) if it's there. This will force a puppet
restart of the keepalive service puting the ips back on the undercloud.

Change-Id: I56b706ff44ba31aa87a63f870940831ce02a6e77
Closes-Bug: #1640213
Related-Bug: #1638029

Merge "Add proper handling of IPv6 addresses for rabbit host/port handling"

Better way to ensure keepalived before haproxy.

The lastest patchset of https://review.openstack.org/393361 was actually
not working.

The `if defined` idiom depends on *evaluation* order.

At the time it's red in the haproxy.pp class, the line that loads the
class 'haproxy' has still not yet been reached and thus the `defined`
result is false. The constraint is not added.

For this reason, the use of `defined` in module is not advised by
puppetlabs[1].

[1] https://docs.puppet.com/puppet/latest/reference/function.html#defined

Change-Id: Ibd352cb313f8863d62db8987419378bed5b87256
Relates-To: #1638029

Merge "Enable TLS in the internal network for gnocchi"

Merge "Improve failed mysql node removal time in HA deploys."

Wrong default in docstring

Update default doc default for bind_host to match previous change
http://review.openstack.org/386817/

Change-Id: Iff048ba7152c1b7e945f284311215c8f872c1409
Closes-bug: #1640104

Pass X-Forwarded-Proto for missing services

aodh, ceilometer, gnocchi and neutron need the X-Forwarded-Proto in
order to return links with the correct protocol when SSL is enabled.
This enables it in HAProxy

Change-Id: Icceab92f86b1cc40d42195fa4ba0c75f302795b8
Closes-Bug: #1640126

Improve failed mysql node removal time in HA deploys.

In HA deployments, we now check mysql nodes every 1s and removed them
immediately if they are failed. Previously we would check every 2s and
allow them to fail 5 checks before being removed, producing errors from
other OpenStack services for 10s, which causes confusion and delay for
operators.
Additionally, these check options are now also a class parameter so can
be overridden by operators.

Closes-Bug: #1639189

Change-Id: I0b915f790ae5a4b018a212d3aa83cca507be05e9

Add proper handling of IPv6 addresses for rabbit host/port handling

This patch changes the rabbit_hosts config generation to work properly
with IPv6 addresses.

Closes-Bug: #1639881
Change-Id: I07cd983880a4a75a051e081dcb96134cb5c6f5e8

Increase haproxy timeouts

It's been proposed this may help with the
('Connection aborted.', BadStatusLine("''",)) errors.

This patch increase queue, server and client timeouts to 2m (default is 1m)
Related-Bug: #1638908

Change-Id: Ie4f059f3fad2271bb472697e85ede296eee91f5d

swift/proxy: configure rabbitmq properly

Use rabbitmq_node_ips to find out where rabbitmq nodes are, and have
correct ipv6 syntax if required.

Closes-Bug: 1637443
Change-Id: Ibc0ed642931dd3ada7ee594bb8c70a1c3462206d

Merge "Fix default for barbican documentation"

Merge "Make sure keepalived is restarted before haproxy."

Create heat user in keystone profile

Rather than use the heat::keystone::domain class which also includes the
configuration options, we should just create the user for heat in
keystone independently of the configuration.

Change-Id: I7d42d04ef0c53dc1e62d684d8edacfed9fd28fbe
Related-Bug: #1638350
Closes-Bug: #1638626

Enable TLS in the internal network for Cinder API

This optionally enables TLS for Cinder API in the internal network.
If internal TLS is enabled, each node that is serving the Cinder API
service will use certmonger to request its certificate.

bp tls-via-certmonger

Change-Id: Ib4a9c8d3ca57f1b02e1bb0d150f333db501e9863

Fix default for barbican documentation

Change-Id: Id4dc2379b0c423012a0b3aaf49d1e1a7d633a03b

Merge "Add barbican profile rspec testing"

Merge "Add barbican profile"

Merge "Fixes transparent binding to OpenDaylight in HA Proxy"

Merge "NFS mounting for Glance file backend"

Enable TLS in the internal network for Nova API

This optionally enables TLS for Nova API in the internal network.
If internal TLS is enabled, each node that is serving the Nova API
service will use certmonger to request its certificate.

Note that this doesn't enable internal TLS for the nova metadata
service since it doesn't run over httpd. This will be handled in
a later commit.

bp tls-via-certmonger

Change-Id: I88380a1ed8fd597a1a80488cbc6ce357f133bd70

Make sure keepalived is restarted before haproxy.

When using SSL setup for undercloud, the admin and public vip required
for ssl binding by haproxy are created by keepalived.

This makes sure that keepalived is started before haproxy and thus that
the interfaces are indeed present.

This patch also ensures this is happening for overcloud ssl
configuration. The case where another load-balancing technology other
than haproxy is used is not covered.

Closes-Bug: #1638029

Change-Id: I98cb0dcd7f389a1dd38ec8324429bfef4979aa66

Merge "Release 5.4.0"

Merge "Calculate zaqar mongo from mongodb_node_ips"

Merge "Reload haproxy if any configuration changes on HA"

Merge "Enable TLS in the internal network for aodh"

Release 5.4.0

New Newton release

Change-Id: I152fbd1dcaac37474183d60654db15a9a4918209

Merge "Enable TLS in the internal network for ceilometer"

Fixes transparent binding to OpenDaylight in HA Proxy

ODL was missing transparent binding mode, which causes HA deployments to
fail since HA Proxy will try to come up on every node (even without
VIP).

Closes-Bug: 1637833

Change-Id: I0bb7839cdcfeacb4ca1a9fc6f878e8b51330be92
Signed-off-by: Tim Rozet <trozet@redhat.com>

Clean up service name from cinder api

Since the service_name is now being passed from t-h-t, we can clean
it up from the profile in puppet.

Change-Id: I724af8c355c3077be64cf472cedbca80af55da01
Depends-On: I13638cd1af52537bef8540f0d5fa5f5f7decd392

Calculate zaqar mongo from mongodb_node_ips

In order to make the zaqar service fully composable, the mongo ips need
to be calculated without assuming that mongo and zaqar are on the same
node.

Change-Id: I0b077e85ba5fcd9fdfd33956cf33ce2403fcb088

Merge "Set redis file descriptor limit when run via pacemaker"

Reload haproxy if any configuration changes on HA

In some cases, for instance, when updating from a non-SSL setup in
HAProxy to an SSL setup, we don't reload haproxy's configuration.
This is problematic since we need HAProxy to serve the certificates
and the new endpoints.

This forces the reload when puppet notices changes.

Change-Id: Ie1dd809e6beef33fadad48de55e488219fb7d686
Closes-Bug: #1636921

Merge "Deploy cinder over Apache httpd"

Merge "Only restart haproxy services when enable_load_balancer is defined"

Merge "Remove the hardcoded tcp_keepalive false parameter"

Only restart haproxy services when enable_load_balancer is defined

If we upgrade a cloud that was configured with external load balancer
the process will fail during convergence step because it will try to
restart haproxy which is not configured when an external load balancer
is configured.

Closes-Bug: #1636527

Change-Id: I6f6caec3e5c96e77437c1c83e625f39649a66c48

Set redis file descriptor limit when run via pacemaker

The current redis file descriptor limit is 4096 because of two reasons:
- It is run via the redis user
- It is not started via systemd which has explicit LimitNOFILE set to
  10240 (which matches the default configuration of maximum 10000
  clients)

Create an /etc/security/limits.d/redis.conf file in order to increase
the fd limit value  With this change we correctly get the following
limits:
[root@overcloud-controller-0 ~]# pcs status |grep -A2 redis
 Master/Slave Set: redis-master [redis]
     Masters: [ overcloud-controller-2 ]
     Slaves: [ overcloud-controller-0 overcloud-controller-1 ]

[root@overcloud-controller-0 ~]# cat /proc/`pgrep redis`/limits | grep open
Max open files            10240                10240   files

Previously this limit was set to 4096.

Change-Id: I7691581bad92ad9442cecd82cf44f5ac78ed169f
Closes-Bug: #1635334

Merge "Enable communication between UI and the Undercloud by making HAProxy proxy for the UI"

Merge "Enable haproxy statistics unix socket"

Merge "Increase haproxy client/server timeout for swift-proxy"

Merge "Use HAProxy for docker-registry endpoint"

Merge "Deploy monitoring/logging agents sooner"

Merge "Add zaqar profiles"

NFS mounting for Glance file backend

Previously we did this with Pacemaker, but with move to NG HA
architecture we lost the ability to use NFS mounts as image storage for
Glance. This reimplements the mounting without utilizing Pacemaker. The
mount is by default also written to /etc/fstab so that it persists over
reboot, but this behavior can be disabled.

This could also go to puppet-glance eventually, but not yet -- we need
this backported to Newton because it's a TripleO regression. I don't
think puppet-glance would allow backporting this to Newton, because from
their point of view it would be a RFE rather than a regression.

Change-Id: I45ad34c36587a8d695069368cf791f1efb68256c
Related-Bug: #1635606

Increase haproxy client/server timeout for swift-proxy

The upload and extraction for the plan tarball to swift can take
longer than the default one minute in slower environments. Doubling
the timeout to two minutes has proven to help.

This is only a partial fix, because the error reporting for this
issue also needs to be improved.

Change-Id: I06592d38fdfefacc8bdf76289a0bfa20eb33a89b
Partial-Bug: 1635269

Merge "Removes logic dependent on 'odl_on_controller'"

Merge "Enable TLS in the internal network for keystone"

Deploy monitoring/logging agents sooner

To be able to monitor during deployment, we need sensu clients
and fluentd collectors be deployed as soon as it is possible.

Change-Id: I952f0d6de6f6327d5c923b8f1d7a5979758dbc59

Remove the hardcoded tcp_keepalive false parameter

In change I35921652bd84d1d6be0727051294983d4a0dde10 we want to remove
all those duplicate tcp_listen_option entries. One consequence of that
is that we need to set rabbitmq::tcp_keepalive to true via hiera
(as opposed to forcing it via the tcp_listen_option hash).

For this to work we need to remove this forced parameter override.
Note that even if I35921652bd84d1d6be0727051294983d4a0dde10 and this
change don't merge at the exact same time it is still okay because
we do force tcp_keepalive to true via the tcp_listen_options.

Change-Id: I608477d5714a5081b3b4ab3b9fc2932bdd598301

Merge "pacemaker/mysql: wait step 2 to remove default accounts"

Merge "Fixes missing ODL ML2 Authentication info"

Use HAProxy for docker-registry endpoint

The docker tooling has a preference for interacting with encrypted
endpoints. Terminating the docker-registry endpoint with HAProxy
allows the SSL VIP to be used for this purpose.

Change-Id: Ifebfa7256e0887d6f26a478ff8dc82b0ef5f65f6

Enable TLS in the internal network for gnocchi

This optionally enables TLS for gnocchi in the internal network.
If internal TLS is enabled, each node that is serving the gnocchi
service will use certmonger to request its certificate.

bp tls-via-certmonger

Change-Id: Ie983933e062ac6a7f0af4d88b32634e6ce17838b

Enable TLS in the internal network for aodh

This optionally enables TLS for aodh in the internal network.
If internal TLS is enabled, each node that is serving the aodh
service will use certmonger to request its certificate.

This, in turn should also configure a command that should be ran when
the certificate is refreshed (which requires the service to be
restarted).

bp tls-via-certmonger

Change-Id: I50ef0c8fbecb19d6597a28290daa61a91f3b13fc

Enable TLS in the internal network for ceilometer

This optionally enables TLS for aodh in the internal network.
If internal TLS is enabled, each node that is serving the ceilometer
service will use certmonger to request its certificate.

This, in turn should also configure a command that should be ran when
the certificate is refreshed (which requires the service to be
restarted).

bp tls-via-certmonger

Change-Id: Ib5609f77a31b17ed12baea419ecfab5d5f676496

Enable TLS in the internal network for keystone

This optionally enables TLS for keystone in the internal network.
If internal TLS is enabled, each node that is serving the keystone
service will use certmonger to request its certificate.

This, in turn should also configure a command that should be ran when
the certificate is refreshed (which requires the service to be
restarted).

bp tls-via-certmonger
Change-Id: I303f6cf47859284785c0cdc65284a7eb89a4e039