Fixes transparent binding to OpenDaylight in HA Proxy

ODL was missing transparent binding mode, which causes HA deployments to
fail since HA Proxy will try to come up on every node (even without
VIP).

Closes-Bug: 1637833

Change-Id: I0bb7839cdcfeacb4ca1a9fc6f878e8b51330be92
Signed-off-by: Tim Rozet <trozet@redhat.com>

Merge "Set redis file descriptor limit when run via pacemaker"

Merge "Deploy cinder over Apache httpd"

Merge "Only restart haproxy services when enable_load_balancer is defined"

Merge "Remove the hardcoded tcp_keepalive false parameter"

Only restart haproxy services when enable_load_balancer is defined

If we upgrade a cloud that was configured with external load balancer
the process will fail during convergence step because it will try to
restart haproxy which is not configured when an external load balancer
is configured.

Closes-Bug: #1636527

Change-Id: I6f6caec3e5c96e77437c1c83e625f39649a66c48

Set redis file descriptor limit when run via pacemaker

The current redis file descriptor limit is 4096 because of two reasons:
- It is run via the redis user
- It is not started via systemd which has explicit LimitNOFILE set to
  10240 (which matches the default configuration of maximum 10000
  clients)

Create an /etc/security/limits.d/redis.conf file in order to increase
the fd limit value  With this change we correctly get the following
limits:
[root@overcloud-controller-0 ~]# pcs status |grep -A2 redis
 Master/Slave Set: redis-master [redis]
     Masters: [ overcloud-controller-2 ]
     Slaves: [ overcloud-controller-0 overcloud-controller-1 ]

[root@overcloud-controller-0 ~]# cat /proc/`pgrep redis`/limits | grep open
Max open files            10240                10240   files

Previously this limit was set to 4096.

Change-Id: I7691581bad92ad9442cecd82cf44f5ac78ed169f
Closes-Bug: #1635334

Merge "Enable communication between UI and the Undercloud by making HAProxy proxy for the UI"

Merge "Enable haproxy statistics unix socket"

Merge "Increase haproxy client/server timeout for swift-proxy"

Merge "Use HAProxy for docker-registry endpoint"

Merge "Deploy monitoring/logging agents sooner"

Merge "Add zaqar profiles"

Increase haproxy client/server timeout for swift-proxy

The upload and extraction for the plan tarball to swift can take
longer than the default one minute in slower environments. Doubling
the timeout to two minutes has proven to help.

This is only a partial fix, because the error reporting for this
issue also needs to be improved.

Change-Id: I06592d38fdfefacc8bdf76289a0bfa20eb33a89b
Partial-Bug: 1635269

Merge "Removes logic dependent on 'odl_on_controller'"

Merge "Enable TLS in the internal network for keystone"

Deploy monitoring/logging agents sooner

To be able to monitor during deployment, we need sensu clients
and fluentd collectors be deployed as soon as it is possible.

Change-Id: I952f0d6de6f6327d5c923b8f1d7a5979758dbc59

Remove the hardcoded tcp_keepalive false parameter

In change I35921652bd84d1d6be0727051294983d4a0dde10 we want to remove
all those duplicate tcp_listen_option entries. One consequence of that
is that we need to set rabbitmq::tcp_keepalive to true via hiera
(as opposed to forcing it via the tcp_listen_option hash).

For this to work we need to remove this forced parameter override.
Note that even if I35921652bd84d1d6be0727051294983d4a0dde10 and this
change don't merge at the exact same time it is still okay because
we do force tcp_keepalive to true via the tcp_listen_options.

Change-Id: I608477d5714a5081b3b4ab3b9fc2932bdd598301

Merge "pacemaker/mysql: wait step 2 to remove default accounts"

Merge "Fixes missing ODL ML2 Authentication info"

Use HAProxy for docker-registry endpoint

The docker tooling has a preference for interacting with encrypted
endpoints. Terminating the docker-registry endpoint with HAProxy
allows the SSL VIP to be used for this purpose.

Change-Id: Ifebfa7256e0887d6f26a478ff8dc82b0ef5f65f6

Enable TLS in the internal network for keystone

This optionally enables TLS for keystone in the internal network.
If internal TLS is enabled, each node that is serving the keystone
service will use certmonger to request its certificate.

This, in turn should also configure a command that should be ran when
the certificate is refreshed (which requires the service to be
restarted).

bp tls-via-certmonger
Change-Id: I303f6cf47859284785c0cdc65284a7eb89a4e039

Merge "Add port to rabbitmq node ip list"

Merge "Include ::swift::config in Swift API and Storage roles"

Merge "Fix broken rabbitmqctl commands when using ipv6"

Merge "Set memcached_servers for nova API"

Fixes missing ODL ML2 Authentication info

Without this, neutron-server fails to start and communication will not
work to ODL REST.

Parital-Bug: 1633630

Change-Id: Ifd906db4e6062ac271c2147fe1149b1009d06ae2
Signed-off-by: Tim Rozet <trozet@redhat.com>

Merge "Remove explicit service_name setting from nova manifest"

Set memcached_servers for nova API

This patch updates the Nova profile so that we set memcached
servers correctly for the Nova keystone auth_token middleware.

Most of the hiera settings for ::nova::keystone::authtoken are
already included in the t-h-t nova-api service.

Change-Id: I3b7ff02abbd0d5e0c38232d02b33e4c7bc411120
Closes-bug: #1633595

Merge "Remove faulty migration logic to stop nova-api"

Fix broken rabbitmqctl commands when using ipv6

When deploying via ipv6, rabbitmq-ctl commands have the following
issues:

- `rabbitmq cluster_status` shows nodedown alerts
- list_queues / list_connections hang
- `rabbitmqctl node_health_check` fails with an error.

* There is no any issue while performing activity on RHOS setup(From
* horizon/cli). i.e. RHOS environment is functioning as expected.

For example:
sudo rabbitmqctl node_health_check -n rabbit@node1
Checking health of node 'rabbit@node1' ...
Heath check failed:
health check of node 'rabbit@node1' fails: nodedown

The problem is that we are missing the following in
/etc/rabbitmq/rabbitmq-env.conf:
RABBITMQ_CTL_ERL_ARGS="-proto_dist inet6_tcp"

Fix these by setting the appropriate RABBITMQ_CTL_ERL_ARGS when
deploying ipv6.

Closes-Bug: #1633693
Change-Id: I53f4e76e687b3966fbb74fd0c2d83f05176630de

Enable communication between UI and the Undercloud by making HAProxy
proxy for the UI

Change-Id: I74eac4bbfc16720eeb6e2bf0ee251689dde3bafc
Implements: enable-communication-ui-undercloud

Add port to rabbitmq node ip list

We use the rabbit_hosts configuration for most of our services but we
haven't been adding the configured port. This patch appends the IP port
used provided to the service's heat template to the IPs in the list.

Note: while we could use the value set for the rabbitmq server in
rabbitmq::port, it doesn't allow for dealing with SSL. This also is also
backwards compatible with the RabbitClientPort parameters used in the
heat templates.

Change-Id: I0000f039144a6b0e98c0a148dc69324f60db3d8b
Closes-Bug: #1633580

Removes logic dependent on 'odl_on_controller'

Since moving to composable service/roles there was some logic here that
was relying on a variable to enable ODL rather than enabling the service
itself to decide where ODL was enabled.  Now that ODL and ODL OVS
configuration are split into 2 different services we can make these
truly composable.

Partial-Bug: 1633625

Change-Id: Ia55c05e12d5d434111a13e1ed795da530e3ff4a5
Signed-off-by: Tim Rozet <trozet@redhat.com>

Merge "packages: run upgrade at 'setup' stage"

Add zaqar profiles

Change-Id: Ie215289a7be681a2b1aa5495d3f965c005d62f52
Depends-On: Ia863b38bbac1aceabe6b7deb6939c9db693ff16d

Deploy cinder over Apache httpd

This adds the necessary resources to the manifest to run cinder
to run over httpd. The service name will be moved to t-h-t in a
subsequent commit, but since this patch depends on t-h-t, we try to
avoid circular dependencies of repos.

Change-Id: I950257e3b5d8db071752e53557115429574e98e2
Depends-On: Ic1967a6f4f60a273965811516f33121115d518b4

Remove faulty migration logic to stop nova-api

The patch making nova run over httpd had added migration logic to
stop nova-api, However, this doesn't work since nova-metadata is
running over the same process. Now, the fact that is was running
seems to be just luck, since the systemctl runs, then we start the
service via the nova::api resource. So this is fragile in it's
current state.

This then removes the exec, as we don't need it for the migration.

Change-Id: I4603b81d30a704b07eef461b3cdbfe164614b04f

Enable haproxy statistics unix socket

By enabling the statistics socket we allow the collection
of statistics over time for haproxy.

This socket is set to "user" level, so this socket is limited
to read-only. The "stats timeout" line is optional, but since the
default timeout of the stats socket is 10s, we set this higher.

Change-Id: I22d3ab771e981be0d2c74b60443d276973bc1639

Merge "Move heat domain/user creation into keystone profile"

packages: run upgrade at 'setup' stage

Instead of using an operator to make sure we upgrade package before any
service, which causes dependency cycles with iptables puppet module,
let's do another approach where we upgrade rpms in the 'setup' stage,
which is a stage that runs before configure and running services.

In that way, we'll remove dependency cycles and make sure packages are
upgrades before configure and running TripleO services.

Change-Id: I1be83f88be1959885c980ab4f428477d412751f7

Merge "pacemaker: increase timeouts for rabbitmq and redis"

Move heat domain/user creation into keystone profile

This needs to happen on the node running keystone, or things break
when you try to deploy e.g the heat_engine service on a non Controller
role.  We check the enabled flag for heat engine so this only happens
if the heat_engine service is running on some (any) role.

Partial-Bug: #1631130
Change-Id: Ib088a572b384b479f51d56555734d78ab840a1f3

Remove explicit service_name setting from nova manifest

We can now get this parameter from t-h-t, so it's not needed here.

Change-Id: I014e7b3a6feb5609ace2e8ef1e4df11448b0a0cc
Depends-On: Ic229182cc5c887b57f6182c3db1bac8bed330f7c

Merge "Deploy nova over Apache httpd"

Merge "Add part_power and min_part_hours for Swift"

Merge "Only run ceilometer::db::sync on bootstrap node"

Add part_power and min_part_hours for Swift

Change-Id: I78049105adf52226d47cc6764b1ba6c2c06e91e5
Related-Bug: 1631926

Merge "Ensure presence of pacemaker restart directory."

pacemaker/mysql: wait step 2 to remove default accounts

remove_default_accounts is a mysql::server parameter that, set to True,
will execute some MySQL commands to cleanup MySQL defaults accounts
created by packaging.
In order to successfully run the commands, we need MySQL up and running,
which is not the case at step 1 but at step 2.

This patch make sure we run the commands at step 2 on pacemaker master
only.

No change for scenarios without Pacemaker.

Change-Id: Ifad3cb40fd958d7ea606b9cd2ba4c8ec22a8e94e
Closes-Bug: #1633113

Ensure presence of pacemaker restart directory.

Currently the /var/lib/tripleo/pacemaker-restarts directory is created
only when base/pacemaker.pp file is included in the manifest. There is a
notification that ensures precedence order and trigger the touch.

The trigger and the dependency on the base/pacemaker.pp should not be
required as someone using the tripleo::pacemaker::resource_restart_flag
would expect the file to be created no matter what.

For instance in the Cinder upgrade in the convergence step has this
defined:

        Cinder_config<||> ~> Tripleo::Pacemaker::Resource_restart_flag["${::cinder::params::volume_service}"]

but in the convergence step, the base/pacemaker.pp is not included and
the above trigger fails as the directory is not created.

It looks the same for manilla.pp.

This patch removes the trigger and ensures the directory is created when
needed.

Change-Id: Ic3aa82c818662e9e88e21c8381d657adef5b43ac
Closes-Bug: #1632232

Deploy nova over Apache httpd

This adds the necessary resources to the manifest to migrate nova
to run over httpd. The service name will be moved to t-h-t in a
subsequent commit, but since this patch depends on t-h-t, we try to
avoid circular dependencies of repos.

Change-Id: I91d430a3871672f90b0f885736f067ddae3c238c
Depends-On: I57fb20cf0d58b3376243ba4aeb04e995e7152ce3

Merge "Fix eqlx chap password"

Merge "Add versioned_writes to Swift proxy config"

pacemaker: increase timeouts for rabbitmq and redis

When we observe the 'stop timeout' values of pacemaker resources:
rabbitmq and redis, they are set to 90s. But for all other services, it
is set to 200s.
The overcloud deployment sometimes fails due to this with the error:
Error: Could not complete shutdown of rabbitmq-clone, 1 resources
remaining
Error performing operation: Timer expired

This patch updates the timeout for Redis and RabbitMQ to avoid this
error.

Change-Id: I8a3b3951a896ee3e8e5e09778e8ea4717e76a1b4

Merge "Update websocket service name in config template"

Add versioned_writes to Swift proxy config

Tempest expects object versioning to be enabled by default in Swift;
if not it has to be disabled explicitly in the Tempest config.

This is a commonly used middleware, therefore it should be enabled
in the overcloud proxy nodes as well.

Closes-Bug: 1632215
Change-Id: I07a206473ff7939749e3eba1dfe3ea8c4526eb5c

Merge "Fetch internal certificates for HAProxy based on network"

Merge "Use Heat role *_enabled hiera to check Manila backends"

Fix eqlx chap password

The hiera key generated by THT is eqlx_chap_password and not
eql_san_password.

https://github.com/openstack/tripleo-heat-templates/blob/master/puppet/extraconfig/pre_deploy/controller/cinder-eqlx.yaml#L63

Change-Id: Ic062d9060f0ce437336e2bd6aaca3887fc33c8cf
Closes-Bug: #1631527

Only run ceilometer::db::sync on bootstrap node

The ceilometer::db::sync is included by default in ceilometer::db but we
only want it to run on the bootstrap node.  This change passes the
sync_db parameter to ceilometer::db to manage the db sync process rather
than trying to manage the inclusion of ceilometer::db::sync within the
profile class.

Change-Id: Ib56db1a90dd6fbfe7582fc57b7728df81942cce2
Closes-Bug: #1629373

Merge "Release 5.3.0 (RC3)"

Include ::swift::config in Swift API and Storage roles

This changes makes the Swift API and Storage roles to include the
::swift::config class, as we do for the other OpenStack services,
which is useful to push arbitrary config settings into Swift.

Change-Id: Iaf2c2f0f0103fe9264ce875099a1578b353a5558

Release 5.3.0 (RC3)

Release Newton RC3 5.3.0
Change-Id: I1b367dcaba4c2c0bffa9eae0b81ee81f1676d754

Use Heat role *_enabled hiera to check Manila backends

Aligns the way how we check for enabled backends in
pacemaker/manila.pp with what we did in base/manila/api.pp with [1].

The benefit is that we don't need to emit from the templates
custom hiera.

1. I86ba8b9d5872c0f1a94e74215e97b796ad129bfb

Change-Id: I04e28a95e8d69a24cd3df109bf1802bfcbd941db

Set enabled_share_protocols based on enabled backends

When deploying manila with cephfs, share creation fails because
'enabled_share_protocols' sticks to NFS,CIFS and does not get updated
with CEPHFS. This change aims at fixing it by building the list of
enabled protocols based on the list of enabled backends.

Co-Authored-By: Tom Barron <tbarron@redhat.com>
Closes-Bug: 1630564
Change-Id: I86ba8b9d5872c0f1a94e74215e97b796ad129bfb

Merge "Add ceph profile rspec testing"

Merge "Add ceilometer profile rspec testing"

Merge "Add aodh profile rspec testing"

Merge "Enable usage of "short names" for Ceph cluster"

Update websocket service name in config template

The name was changed to "zaqar-websocket" recently. Having the old name
in the configuration file leads to errors and confusion when overriding
URLs, as the override won't get picked up with the old name.

Change-Id: I7acf900d094e41862958b3cddbb66ff0d8a3e46f
Closes-Bug: #1630965

Merge "Enable usage of "short names" for Galera cluster"

Merge "Explicitly use Keystone v2 endpoint in the UI"

Add ceph profile rspec testing

This change adds rspec testing for the ceph profiles in puppet-tripleo.

Change-Id: I08954e011848d6b747735f11b3cbff5707460c26

Fetch internal certificates for HAProxy based on network

The service profile in HAProxy has the capability of creating
certificates based on a map. The idea is to standardize this, as
some of those certificates should match certain networks the services
are listening on (with the exception of the external network which is
handled differently and the tenant network which doesn't need a
certificate). So, based on which network a certain service is
listening on, we fetch the appropriate certificate.

bp tls-via-certmonger

Change-Id: I89001ae32f46c9682aecc118753ef6cd647baa62

Merge "Use service-specific servernames for haproxy"

Enable usage of "short names" for Ceph cluster

We're not able to use FQDNs yet, so to work around this, we give
precedence to a "short name" list we'll get from t-h-t. We can
migrate to using FQDNs in the next cycle.

Change-Id: Ic6fec1057439ed9122d44ef294be890d3ff8a8ee
Related-Bug: #1628521

Merge "Change rabbitmq queues HA mode from ha-all to ha-exactly"

Explicitly use Keystone v2 endpoint in the UI

The UI expects a Keystone endpoint URL that includes the version
(without it, it is not possible to log in). Looking at the
dist/tripleo_ui_config.js.sample configuration sample in the tripleo-ui
repository, the current expectation is a v2.0 URL so let's use that for
now.

Change-Id: I4ca04b16251fbee264cd4ce5e5433c2c1cb6d2f0
Closes-Bug: #1630546

Use service-specific servernames for haproxy

Right now we're hardcoding the server names for the services to be
the controllers. This is problematic if we start  using custom roles
for services, which listen on nodes that are not controllers.

We already have the server names for each service, so using this
mapping instead fixes the issue.

Change-Id: Ic4b65edb3dc1b75abbc3421a87cab97425b058c4
Closes-Bug: #1629098

Enable usage of "short names" for Galera cluster

We're not able to use FQDNs yet, so to work around this, we give
precedence to a "short name" list we'll get from t-h-t.

Change-Id: I4ef7786474c229d5212a0deb2ca02ee992b030d8
Related-Bug: #1628521

Change rabbitmq queues HA mode from ha-all to ha-exactly

It turns out that reducing number of rabbitmq queues in cluster
significantly improves performance of cluster especially in the case of
failover recovery time. Right now the cluster uses ha-all mode for rabbitmq
queues.

It is best to change this to "ha-exactly" mode and reduce the number
of queue copies to ceil(N/2) where N is number of controllers in the
cluster - so in typical scenario of 3 controller It would be 2 by
default.

It does not make much sense to keep the copies of queues over whole
cluster since if the quorum of nodes is lost then the rest of cluster
nodes will be stopped anyway. We let the user override this with a
parameter.

I.e. for a 3 node controlplane cluster we will go from this:
pcs resource show rabbitmq
 Resource: rabbitmq (class=ocf provider=heartbeat type=rabbitmq-cluster)
  Attributes: set_policy="ha-all ^(?!amq\.).* {"ha-mode":"all"}"

To this:
pcs resource show rabbitmq
 Resource: rabbitmq (class=ocf provider=heartbeat type=rabbitmq-cluster)
  Attributes: set_policy="ha-all ^(?!amq\.).* {"ha-mode":"exactly","ha-params":2}"

According to Marin Krcmarik's testing recovery time from failure was
reduced significantly.

Co-Authored-By: Marian Krcmarik <mkrcmari@redhat.com>
Change-Id: Ib62001c03e1e08f58cf0c6e0ba07a8879a584084
Partial-Bug: #1628998

Cleanup the firewall logic.

We added code in t-h-t to strip empty services from the service_names
list. (These are often the result of a service set to OS::Heat::None).

As such we can now drop this puppet reject statement.

Change-Id: Ie66f14f183de7e44a1f69af862f7d4be9a14c904

Merge "Fix the timeout for pacemaker systemd resources"

Clean out UI httpd configuration file

When updating the package with yum directly, a new httpd config file is
created with a different name than the one used by Puppet, causing
httpd to fail. Cleaning out the package config file and keeping it
around means it won't get overwritten on update, and is the way other
projects such as puppet-horizon handle this.

Change-Id: I539729ce4cd0898f8b0f3f26266e4e6d55b99e37
Closes-Bug: #1628983

Merge "Use FallbackResource instead of Rewrite for UI"

Fix the timeout for pacemaker systemd resources

Back in the Mitaka cycle via the change If6b43982c958f63bc78ad997400bf1279c23df7e
we made sure that the default start and stop timeouts for pacemaker
systemd resources is 200s (>= twice the default 90s DefaultTimeoutStopSec
in systemd). We did this change by setting puppet resource defaults for
the Pacemaker::Resource::Service class:

Pacemaker::Resource::Service {
  op_params => 'start timeout=200s stop timeout=200s',
}

The problem is that after the composable services rework, this does not
work anymore and the pacemaker systemd resources that still exist do not
have these timeouts set.

We want to move away from resource defaults for this because its results
are dependent on the inclusion order which in tripleo is not guaranteed
any longer (https://docs.puppet.com/puppet/latest/reference/lang_scope.html#scope-lookup-rules)

The only services affected in Newton are: cinder-volume,
cinder-backup, manila-share, haproxy. I preferred fixing all the
pacemaker resources because it seems the cleanest and most logical
commit.

Change-Id: If89a95706514e536a7a2949871a0002c79b6046e
Closes-Bug: #1629366

Merge "Add swift proxy for ceilometer middleware"

Merge "Cinder: Add iSCSI protocol parameter"

Merge "Added X-Forwarded-Proto headers for horizon"

Add ceilometer profile rspec testing

This change adds rspec testing for the ceilometer profiles. While
writing these tests, the tripleo::profile::base::ceilometer::collector
class needed to have the hiera lookups moved to class parameters to
allow for testing the possible options around the database backend.
These tests add coverage for ipv4 and ipv6 configurations for the
collector profile as well as excluding mongodb on the backend.

Change-Id: I1abae040104e8492a9fe266de74080e1e7701731

Add aodh profile rspec testing

This change adds rspec testing for the aodh profile and serves as an
example as to how to add in spec testing using hieradata to provide some
required parameters.  This testing adds improved coverage for
expectations around computed configuration items as well as for
conditions around the steps within the tripleo deployment

Change-Id: Ic763a544289a222fea97020a98821c1e375651a3

telemetry: normalize coordination_url

Normalize coordination_url for Telemetry services, so we can deploy them
with IPv6.

Change-Id: Ic6de09acf0d36ca90cc2041c0add1bc2b4a369a5
Partial-Bug: #1629279
Depends-On: I038e2bac22e3bfa5047d2e76e23cff664546464d

Use FallbackResource instead of Rewrite for UI

The original configuration produced a 400 error for all requests.  The
new FallbackResource directive accomplishes our task in a more elegant
fashion.

Change-Id: Ib5d77d158e73acc63d5c0c85d6aa6d99d2176333
Closes-Bug: 1628484

metadata.json: prepare RC2 release

Bump to 5.2.0 which is RC2 release.

Change-Id: If5e650c52fa3d7701d3079712a9cc8db3a431e36

Merge "Move db syncs into mysql base role"

Move db syncs into mysql base role

This patch moves the various DB syncs into the MySQL role.

Database creation needs to occur on the MySQL server to
avoid permission issues.

This patch also moves database creation to step 2 so we can
guarantee that all per-service databases exist at this time.
This avoids complex ordering needed during step 3 where
services, on different hosts, can run their own db sync's
in a distributed fashion.

Change-Id: I05cc0afa9373429a3197c194c3e8f784ae96de5f
Partial-bug: #1620595

Merge "Add pameter for gmcast.listen_addr configuration"

Merge "Make mysql bind-address configurable"

Merge "Move inclusion of ::manila::db::mysql in manila/api profile"