Refactor HAproxy and VIP creation.

In tripleo heat template, overcloud_controller_pacemaker.pp has a lot of
duplicate code to define haproxy and vip creation.  This is an attempt
to refactor this.

Change-Id: I4cc6711911c1bfa1bc6063979e2b2a7ab5b8d37b

Merge "Fix Sahara SSL default port"

Fix Sahara SSL default port

There were two issues with the SSL port for sahara.
* It was conflicting with Manila's port
* It was documented incorrectly

This has been fixed

Change-Id: I9f710e014890b6daa6b3e511fd811c1e25bd0de3

Map gnocchi vip to haproxy_listen_bind_param

Change-Id: I7d2eb9405e0171fc54fa0b616122f69db5f51ce2

Merge "Fix comparison to control_virtual_ip"

Remove individual service certificates

They are not being used and add extra logic and unnecessary clutter
to the code. So this CR removes them in favor of just configuring
TLS with the service_certificate. The only individual cert left was
the one for haproxy stats.

Change-Id: Ic3b769423917e723ecc83e32bcbae17568345661

Add missing services ports to service_ports map

AODH, Gnocchi, Sahara and Trove were missing from the service_ports
maps and thus had hardcoded ports in the listener configuration. The
addition of those ports to the map is required to give the
possibility to deployers to configure those ports if needed. This
commit adds them to that map.

Change-Id: Id009d65bf68ba91f97b0d60d32028da50fc88fc3

Fix comparison to control_virtual_ip

When managing the vip's, we were incorrectly comparing the vip to
$control_virtual_interface instead of $controller_virtual_ip when
determining if we needed to actually create the vip or not.

This caused the vips for internal api, storage, and storage mgmt to
always be created even if they were the same as the control vip. Afaict,
this didn't actually cause any problems, other than having extra vip's
created when they weren't needed. Still, this corrects the code to do
what it was intended to do.

Change-Id: I29aee95afcba25008b8b7bee37ba636eb2595cca

Merge "Make cipher suite and SSL options configurable"

Merge "Redirect to https for horizon"

Merge "Add keystone and db sync profiles"

Allow the Redis specific monitor to use authentication

When accessing Redis, if password protected, we need to update
the HAProxy checks so that they use a password or we won't be able
to gather which node is the replica master.

Also adds PING/PONG and QUIT/OK sequence before and after the info
command is sent.

More at https://bugzilla.redhat.com/show_bug.cgi?id=1320036

Change-Id: Ia9e61e66c5426061eab8172f0a25820989597780

Make cipher suite and SSL options configurable

This CR enables the ability to set the cipher suite to be used by
HAproxy and the SSL options. So now the user can enable these through
hiera.  The cipher suite comes from the Fedora system crypto policy.

Change-Id: Ia5751d4049026683fa13d4bc4cbf4eaffe054b48
Depends-On: I4943c6c74e0be96c1d7e190908b9262df05d059a

Add keystone and db sync profiles

Implements: blueprint refactor-puppet-manifests

Add keystone profiles for both pacemaker and non-ha.
Add db sync profiles for pacemaker and non-ha.

HA profiles are designed such that they include the base
profiles, disabling features as needed, while the base
profile can be used independently.

Change-Id: I2faf5a78db802549053ec41678bf83bf28108189

Redirect to https for horizon

This adds a TLS binding listening on the internal network for
horizon. And on the other hand, if the public binding for horizon is
accessed via non-https, it will redirect to https.

Change-Id: I1f92ecd0c4845450df4b24f6b621d313ba9cbfc4
Depends-On: I4943c6c74e0be96c1d7e190908b9262df05d059a

Hack to fix IPv6 parsing in facter.

This kludge fixes the wrong regexp used in facter to report all IPv6
addresses.

While the upstream bug[1] is being work out, this should do the job.

Closes-Bug: 1558490

[1] https://tickets.puppetlabs.com/browse/FACT-1372

Change-Id: I85dabbd26bf8f25b2a03d22f547618b666421a83

Allow enabling authentication on haproxy.stats

Right now we always deploy the haproxy.stats endpoint with no
authentication, which is a security concern.  Allow setting a
password on the endpoint so it isn't accessible to the world.

While this allows configuring SSL on the stats endpoint, it does
not use the service_certificate parameter because that certificate
is intended to be used only for public endpoints, and the stats
endpoint is actually on the admin VIP.  Once we have support for
SSL on admin endpoints we can have stats use it by default.

Change-Id: I8a5844e89bd81a99d5101ab6bce7a8d79e069565

Merge "Make OpenStack service ports configurable in HAProxy"

Make OpenStack service ports configurable in HAProxy

Some deployments were expecting specific ports for the OpenStack
services; In case the default ports are not meeting those needs, we
need to provide the means of changing the defaults.

Change-Id: Idbbcc90e2af1b3a731b0b5ea955df6082541a9f7

Merge "loadbalancer: fix Redis timeout HAproxy config"

Always override X-Forwarded-Proto header for Heat

Heat has the ssl middleware to handle the X-Forwarded-Proto header by
default. We override this header when SSL is enabled because we need
to, but overriding it even when we won't be terminating SSL will
prevent some attacks using this header.

Change-Id: I0b2c61cd4f47c8c08a84402af310983af752d3f2

loadbalancer: fix Redis timeout HAproxy config

Current HAproxy config is broken for Redis timeout parameters. This is what we
have today by default in HAproxy logs:
[WARNING] 238/115010 (13878) : config : missing timeouts for proxy 'redis'.
| While not properly invalid, you will certainly encounter various problems
| with such a configuration. To fix this, please ensure that all following
| timeouts are set to a non-zero value: 'client', 'connect', 'server'.

This patch removes the explicit setting of client and server timeouts to 0,
which is the cause of the above warning.  Instead, Redis will simply inherit the
haproxy defaults, which should be a more reasonable setting, and result in no
warnings.

Change-Id: Ibe7941bec02f5facf21732910c9ad96f547ff8e5

Override X-Forwarded-Proto header

Right now, the only manipulation done to the X-Forwarded-Proto header
is done if an SSL connection is established. This is not sufficient as
one might be able to erroneously put values through that header.

This patch disables that behaviour by defaulting to plain http if an
SSL connection is not established.

Change-Id: I4bf6def21e21148834c2baa9669190bab8fa95ef

Merge "packages: secure upgrade workflow from dependency cycles"

Merge "Handle redirects for Horizon"

Merge "Enable X-Forwarded-Proto header for keystone admin endpoint"

Handle redirects for Horizon

As for Heat, we need to be able to handle 30X redirects from Horizon
when configured to use SSL.  Because Horizon's redirects are
handled directly by Apache, we can't use middleware to handle the
X-Forwarded-Proto header like we are planning to do for the other
services.  However, in this case we don't need to worry about
rewriting urls in the payload like we do for the other services
because Horizon is just serving standard web pages, not custom
HTTP bodies with JSON contents.

One other change from the previous Heat patch is to drop the IP
from the rewrite regex.  This is because Horizon will generally be
accessed via a DNS name, so the IP won't appear in the Location
header.  The heat regex should probably be changed as well since
we now support registering endpoints with DNS names, but since we
plan to move all the other services to the X-Forwarded-Proto header
middleware anyway we can probably just wait until that happens and
then remove the Heat rule entirely.

Change-Id: I039a3036be17eeabe3cff68e0ef24f70907cc568

Merge "Use HAProxy 'transparent' bind option for compat with IPv6"

Merge "Make haproxy balancer default options configurable"

Merge "loadbalancer: add Gnocchi API support"

Merge "SSL/Cinder: enable ssl_header_handler filter"

Drop webmock dependency

webmock is not used anywhere in puppet-tripleo, let's clean it.

Change-Id: Idd8646e69e31a63791a345765c459d094a23f813

SSL/Cinder: enable ssl_header_handler filter

Enable oslo_middleware.http_proxy_to_wsgi:HTTPProxyToWSGI.factory in
ssl_header_handler middlewarefilter so we can run Nova API with SSL
support.

Change-Id: If88dcdf9f4905e2a792b2fdc656eab51c85f637e

packages: secure upgrade workflow from dependency cycles

Change the workflow to be:
Upgrade all packages before any services that is notified & managed by
Puppet.
It also disable the Exec timeout so we rely on Heat timeout and not on
the 300s that are the default in Puppet [1]

Example: we upgrade and OpenStack config will change (obviously).
         Puppet catalog will contain 3 important things:
           * config resources
           * service resources
           * package-upgrade Exec resource
         with that patch, what will happen:
           * puppet will update config first or second and notify
             services
           * puppet will run package-upgrade first or second but before
             the package-upgrade Exec resource
           * at the very end, puppet will restart services

That way, we avoid complications with Puppet dependency cycle issues.

[1] https://docs.puppetlabs.com/references/latest/type.html#exec-attribute-timeout

Closes-Bug: 1536349
Change-Id: I07310bdfc5b07b03ac9fa5f8c13e87eaa2bfef4d

Enable X-Forwarded-Proto header for keystone admin endpoint

This is useful for handling URLs properly when TLS is enabled.

Change-Id: I4defed679cf3b2980dcc4ce1db030c0fdf154bfe

Use HAProxy 'transparent' bind option for compat with IPv6

Change-Id: Iddf1fdaabc1c758546999e7af7e7412158400e7f

Enable X-Forwarded-Proto header for cinder

Change-Id: I3bd836140537fc5b7e3fba600a712d6a9d6f1185

Make haproxy balancer default options configurable

Change-Id: Id5e119e0949d27a6e3b3f21ecd5e2eb39f1eeb13

Merge "Haproxy has non-working Horizon session persistence."

Merge "Upgrade all packages after puppet managed ones"

Merge "loadbalancer: fix MySQL timeout HAproxy config"

Merge "Trove integration"

Merge "Sahara integration"

Merge "Enable X-Forwarded-Proto header for Heat and Nova"

Merge "Enable X-Forwarded-Proto header for keystone_public"

Haproxy has non-working Horizon session persistence.

Haproxy is using session persistence[1] for horizon.  It is not
correctly configured though.  The cookie is not properly set.  This add
the necessary code.

[1]: http://blog.haproxy.com/2012/03/29/load-balancing-affinity-persistence-sticky-sessions-what-you-need-to-know/

Change-Id: Ic9d79475cf84c25fb8146ecbc5f0a45862c106f0
Closes-Bug: 1526786

Trove integration

Adds configuration for Trove to loadbalancer class.

Partially-implements: blueprint trove-integration
Change-Id: I3cdf43b6d63ad0ee68db047518743c62b6689f56

Sahara integration

Adds configuration for Sahara to loadbalancer class.

Change-Id: I0f0a1dc2eaa57d8226bad8cfb250110296ab9614
Partially-implements: blueprint sahara-integration

Upgrade all packages after puppet managed ones

This updates tripleo::packages so that when enable_upgrade
is used it will:

 1) upgrade puppet managed packages (will trigger puppet dependencies)
 2) then upgrade all packages via exec
 3) then restart services

NOTE: the intention here is that the Exec['update-packages'] will
always execute if enable_upgrade is set. It is not idempotent
in this regard because I think we always want to execute it
if enable_upgrade is set.

Change-Id: I02f7cf07792765359f19fdf357024d9e48690e42
Related-bug: #1522943

Merge "Adds IPv6 support for interface_for_ip function"

Enable X-Forwarded-Proto header for Heat and Nova

Change-Id: Icd666d9988d14ac1e9581f55589bf95243cc7641

Merge "Allows customization of the HAProxy default timeouts"

Adds IPv6 support for interface_for_ip function

Proper interface matching when an IPv6 address is provided.

If Facter version used is < 3 then it adds the netmask6 facts as custom facts.

Fix bugs https://bugzilla.redhat.com/show_bug.cgi?id=1280523

Change-Id: Ide26ca1740dc12ea5f47a28f4cecacd6ef0b18f9

Modify cassandra dependency

Switch to locp/cassandra module since it has much more options than
midonet/puppet-cassandra and it is already defined on the
openstack-puppet-modules packages in RHEL. More info:

https://bugzilla.redhat.com/show_bug.cgi?id=1285718

Depends-On: I72f21036fda795b54312a7d39f04c30bbf16c41b
Change-Id: Icea9bd96e4c80a26b9e813d383f84099c736d7bf

Adding psych on Gemfile explicitly

It seems like bundle has a bug[1] that, somehow, it unloads the psych
library unless is installed through bundle itself. It will be fixed on
bundle 1.2.

[1]: http://github.com/bundler/bundler/issues/2068

Change-Id: Ic2fa8a8f114c3183a656bfdb1bc2d6d6413dbb75

Merge "Remove all 'validate_array' statements"

Adding MidoNet LoadBalancing options

MidoNet API needs to be loadbalanced if the midonet environment is
activated.

Change-Id: I6f1ac659297b8cf6671e11ad23284f8f543568b0

Remove all 'validate_array' statements

Unfortunately, some distributions like CentOS 7 (I guess RedHat 7 as
well) still using puppet < 3.7, which experience the annoying 'PUP-1299'
bug:

https://tickets.puppetlabs.com/browse/PUP-1299

So passing a single array element, it magically transforms to a string
(or whatever the inside elements are) and the validate_array fails. We
need to get rid of these validations.

Change-Id: Icc22ee575b7c236d1a6358f8593cf813d339a4b5

Merge "loadbalancer: add Aodh API support"

Allows customization of the HAProxy default timeouts

Change-Id: I3fdb705bbac26b4bc43a18131407a0a86d36a8a5

Enable X-Forwarded-Proto header for keystone_public

One of the ways to make use of TLS in keystone is through the usage of
the X-Fowarded-Proto header, which will be forwarded with the request
by the loadbalancer, and it will tell keystone what protocol was used
to access it. This also requires configuration from the keystone side.

Change-Id: I9b899ba95e28b7dfae0c1ed84ca8431054673925

Merge "Fix unit tests failing against Puppet 4.3.x"

Fix unit tests failing against Puppet 4.3.x

Change-Id: Ie2f3e29005570805fbf2ca75a930fab746f5f299
Related-bug: #1517805
Signed-off-by: Gael Chamoulaud <gchamoul@redhat.com>

loadbalancer: add Gnocchi API support

Add Gnocchi (OpenStack Metric storage) support in TripleO Loadbalancer config.

Change-Id: Ia991819f57616a9a11bd4dfb77893748130268a0

Remove `validate_ip_address` validator.

It is already merged on the puppetlabs-stdlib module:

https://github.com/puppetlabs/puppetlabs-stdlib/commit/88a9a314c3e9cccbea5add95081655f2c14ec4c1

And we don't need to carry with this validation anymore.

Change-Id: I2cee12e7601c546e616e2c249157e7739af29490

Merge "Fix unit tests failing against Puppet 4.3.0"

Merge "MidoNet services manifests"

Merge "Set tunnel timeout for nova_novncproxy"

Fix unit tests failing against Puppet 4.3.0

Change-Id: I10c0d35b473026a5e1ede265099f73c803402adc
Related-bug: #1517805
Signed-off-by: Gael Chamoulaud <gchamoul@redhat.com>

loadbalancer: add Aodh API support

Add Aodh (Ceilometer Alarming) support in TripleO Loadbalancer config.

Change-Id: I891985da9248a88c6ce2df1dd186881f582605ee

MidoNet services manifests

Provide TripleO overcloud manifests to deploy MidoNet and the cluster
services that needs to run.

Change-Id: I24f852e74fc4652d4609e1a71897e813448055fe

Remove class_parameter_defaults puppet-lint check

Change-Id: I9c6fafa4b7b57cc0941040e899bcdd2e89fc9d58
Signed-off-by: Gael Chamoulaud <gchamoul@redhat.com>

Resolve repeated ports for ssl frontends (nova vnc and swift proxy)

Nova vnc and swift proxy were listening on the same port if SSL is
enabled in the load balancer

Change-Id: Ibf4aa118d6c8e94f8f2a68bf270d5445ebda7593

Merge "Resolve repeated ports for ssl frontends"

Resolve repeated ports for ssl frontends

keystone and heat_cfn were listening on the same port if SSL is enabled
inm the load balancer.

Change-Id: I099119198ebf3322a783581f0c6758417e705a2e

Set tunnel timeout for nova_novncproxy

When using websockets in HAProxy, like nova_novncproxy does, we
need to set "timeout tunnel" to avoid disconnections after a short
period without traffic.

Change-Id: I1b66cd9a1d20cbbe35a2ada5782a76a01b14bcd1
Closes-BZ: 1267043

loadbalancer: fix MySQL timeout HAproxy config

Current HAproxy config is broken for MySQL timeout parameters.
This is what we have today by default in HAproxy logs:
--------------
[WARNING] 238/115010 (13878) : config : missing timeouts for proxy
'mysql'.
| While not properly invalid, you will certainly encounter various
problems
| with such a configuration. To fix this, please ensure that all
following
| timeouts are set to a non-zero value: 'client', 'connect', 'server'.
--------------

This patch aims to:
* Use the correct parameters to configure puppetlabs-haproxy
* Update the database timeouts to higher values to prevent the
services from disconnecting too frequently by setting the Galera HAProxy
timeout to 90 minutes.

Change-Id: I06dd4bf81d4f4fd3c01bb681f6f0b3152f2b8eea

Merge "Automatically install packages when upgrading"

Fix manila conditional statement

- s/manila/$manila

Change-Id: I7aaa8f83fe758484ab39af28c914fa3d78464633
Signed-off-by: Gael Chamoulaud <gchamoul@redhat.com>

Automatically install packages when upgrading

This simplifies use of tripleo::packages so that when
enable_upgrade is set to true you no longer have to enable_install
as well.

Change-Id: Ic3050a64530be9e2b6827ed8566f59d28547ae81

Merge "Allow a user to specify the syslog address for HAProxy"

loadbalancer: use http mode for Horizon haproxy config

The haproxy configuration for horizon does not have 'mode http' set.
This proxy needs to be in http mode since it is using a cookie for
persistence. The default section has 'mode tcp', which is fine, but
horizon proxy needs to override this setting to get http mode. Without
this, you will likely see an error like this:

[WARNING] 238/115010 (13878) : config : cookie will be ignored for proxy
'horizon' (needs 'mode http').'

Closes BZ-1257687

Change-Id: I397986ea022f47a33a5210696752509f4a2731a5

Merge "Initial msync run for all Puppet OpenStack modules"

Allow a user to specify the syslog address for HAProxy

Currently the address of the syslog server for HAProxy is hardcoded to
/dev/log without a way to customize this setting.

This commit aims to give a user more flexibility about which syslog
server address to use.

Change-Id: If7f7c8154e544e5d8a49f79f642e1ad01644a66d

Merge "Add package_manifest resource."

loadbalancer: use 'source' for novnc balance mode

When establishing a connection from the client (Web Browser) to the
novncproxy (loadbalanced by HAproxy), we need to make sure the client
will stick on the same server the time he's connected, because HAproxy
load-balance to another novncproxy node, the client will loose the
connection and timeout like 'Connection Reset By Peer error'.

This patch aims to configure novnc HAproxy configuration to balance
using 'source' mode, so it will make sure the server remains the same
while the connection is established.

Change-Id: Ibbb7162b763f1fd2854a10a92a681910e0683c0a
Closes-BZ: 1257324

Add package_manifest resource.

This patch converts the write_package_names function into
a proper resource. Using the write_package_names only works
if the function comes last in the puppet manifest. By
making the same functionality a custom resource we allow
for it to exist anywhere in the manifest and provide the
same functionality.

 The new syntax would be:

 package_manifest{'/tmp/foo': ensure => present}

Co-Authored-By: Martin Mágr <mmagr@redhat.com>
Change-Id: If3e03b1983fed47082fac8ce63f975557dbc503c

Initial msync run for all Puppet OpenStack modules

This patch is the initial modulesync run, it impacts:

* gitignore: just a sync between projects
* gemfile:
  - update and allow to setup facter version and gem source
  - split beaker gems with a dedicated group
  - switch to rspec-puppet 2.2.0
* rakefile:
  - use the new syntax for lint configuration
  - add a acceptance target
* acceptance:
  - sync nodesets
  - update tests in order to use zuul-cloner
* spec: added rspec coverage report

Change-Id: Iadefbe2cc0525224e9917c6712712c67ce1e0fff

Remove httpchk option from haproxy listeners

To make sure we don't use the ssl-hello-chk option set by the
puppet-haproxy module we used to redefine the listener options
for all listeners.

With this change a default for the options hash is provided to
the puppet class instead.

This change also configures use of tcpka only where wanted, as
documented by [1], removing it from the haproxy defaults section,
given it wasn't used anyway by the other listeners which were
indeed overriding options.

1. https://github.com/beekhof/osp-ha-deploy/blob/master/pcmk/lb.scenario

Change-Id: Ic8deb77533f561cea7ce7db1d20f6be5e2dc0d33

Enable Manila Service

Adds bindings to the Manila service for HAProxy.

Change-Id: I175d5b7e35a781d04452fc6aee610e8dca005419

Fix HAProxy config for Nova EC2 API

EC2 API returns 400 for unauthenticated requests, making HAProxy believe
that the service is down. We'll use TCP check instead of HTTP check for
EC2 API.

Change-Id: Ide7f9390603c9893b95cacd51d468461255dcf07

Merge "Implement firewalling in tripleo::firewall"

Listener options for Ironic/ceilometer/glance_registry

This updates some of the listener options set by loadbalancer.pp.

Iroinc needs to pass in the option to do a httpchk, otherwise
puppet-haproxy defaults it to doing a ssl-hello-chk, which won't work
against the non-ssl loadbalancer server.

Ceilometer and glance_registry both don't support a httpchk against the
root (/) of their webservers (they return a straight 401) so disable
those checks completely.

Change-Id: Ibfc81175842a748eb077b132b0818c4ea17bbcf6

Add param to configure HAProxy default maxconn (per frontend)

The default per frontend maxconn is set to 2000, which can easily
be reached with modern hardware with multiple logic cores; this
change adds a parameter to configure the default maxconn value,
default it to 4096 and also increases the global maxconn to 20480
to preserve the 1:5 ratio.

Change-Id: I3fffc51ecc704ceccb86ca008ecba02578c29eb5

Implement firewalling in tripleo::firewall

Currently firewalling is implemented in tripleo/init.pp this commit
moves it to its own scope tripleo/firewall.pp.

This is done so that in tripleo-heat-templates we can have a simple and
generic `include tripleo::firewall` in every manifest - unconditional.
The rest of the behavior will all be managed by hiera.

If a user wants to enable firewalling:

```
tripleo::firewall::manage_firewall: true
```

If a user wants to specify firewall rules:

```
tripleo::firewall::firewall_rules:
  '103 mongod':
    port: 27017
```

Change-Id: I144c60db2a568a94dce5b51257f1d10980173325

Merge "Add missing options to Ceilometer/Ironic/Horizon"

Merge "Remove mode tcp enforcement where unneeded, we default to mode tcp"

Merge "Implement Advanced Firewalling support"

Merge "Add a function to write package names"

Add missing options to Ceilometer/Ironic/Horizon

Backend options for Ceilometer and Ironic are aligned with what we
use for the other OpenStack services.

Listener options for Horizon is updated so that we do cookie
tracking as suggested by refarch doc.

Change-Id: I4640d974a3ab8188919eaae79dde71463234b5ff