Deprecate loabalancer profiles

Deprecate loadbalancer profiles so we have a profile for HAproxy and
another for keepalived.

Once THT uses the new profiles, we'll remove loadbalancer profiles here.

Change-Id: I8aa9045fc80205485abab723968b26084f60bf71

Merge "Composable roles within services - Redis"

Remove tripleo::loadbalancer

The split has been done on both undercloud & overcloud, they now use
tripleo::haproxy and tripleo::keepalived. We can move forward with
removing tripleo::loadbalancer and tripleo::loadbalancer::endpoint, not
used anymore.

Simplify tripleo::profile::base::loadbalancer to just include
tripleo::haproxy and rely on Hiera for parameters.

Change-Id: Ieeb1e94117ae9cb8b11320306de3a9b236bd989a

loadbalancer: remove controller_host

controller_host was deprecated and is not used anymore anywhere.
Let's drop it.
Also make controller_hosts really required, by not setting a default
paramter, so Puppet catalog will fail if no value is given.

Change-Id: Iad760115f925e848e4b72009db5177f88ceb4ad8

Merge "Add Cinder API/Scheduler/Volume roles"

Composable roles within services - Redis

Implements: blueprint refactor-puppet-manifests

Co-Authored-By: Carlos Camacho <ccamacho@redhat.com>
Change-Id: I60493a3aa64e5136b763e8e2084d728f5f812f8a

Add Cinder API/Scheduler/Volume roles

Includes both the base and the pacemaker roles.

Change-Id: I3c6d5226eed5f0f852b0ad9476c7cd9a959fda69

Apply RabbitMQ rabbitmq_* static hiera in nonha with single controller

We were not consuming the rabbitmq_* static hiera settings when
deploying without pcmk and with a single controller.

Change-Id: I1506093e3d4365e2617521737c8f53edfb022133

Merge "Add Sahara profiles"

Merge "Update profiles for loadbalancer split"

Add puppet profile for swift proxy

Breaks out the swift proxy configuration from t-h-t to a
composable profile

Change-Id: I6bd72284911f3f449157a6fc00b76682dd53bd8c
Partially-Implements: blueprint refactor-puppet-manifests

Update profiles for loadbalancer split

Update loadbalancer (nonha and ha) and midonet profiles to consume new
tripleo::haproxy class.

Keep it backward compatible with old interface until we update THT by
using stdlib function: pick. So we first try to get new parameters
otherwise we fallback to the old interface.

Change-Id: I46ed8348dc990d9aa0d896e1abea3b30a8292634

glance: known_stores -> stores

known_stores is deprecated in favor of stores.
This patch aims to update it.

Change-Id: Iaf83b847fbe9e8a78c6bf7f534c955eae357d95f

Merge "Remove cinder resource for setting SSL middleware"

Remove cinder resource for setting SSL middleware

Now that cinder enables http_proxy_to_wsgi by default[1], we no
longer need to add it ourselves. So this is now safe to remove.

[1] If5aab9cc25a2e7c66a0bb13b5f7488a667b30309
Depends-On: I6141b6caf9b04ee73fae3ae2b94b3001b21b9999

Change-Id: I3581d11519b664863f47c5aeeec6efcc4182a5fc

Add Sahara profiles

Add Sahara profiles for non-ha & ha scenarios.

Implements: blueprint refactor-puppet-manifests

Change-Id: I0c8bd68f9a98626e9d67ef713c72c9dd05b7cc12

Explode loadbalancer role in 2 sub-roles

Split loadbalancer role into 2 sub-roles:
- HAproxy
- Keepalived

Change-Id: I84dfa9d409d390c6f549d62cb3634931e4cb432c

loadbalancer: make sure controller_* are array-typed

Make sure controller_hosts_real and controller_hosts_names_real become
array-types anyway, so we don't need to add brackets in Hiera lookups
(example on both undercloud & overcloud where we do [hiera('controller_host')]).

Change-Id: I2fe899482acfd51919262bc7a6a1c9f450e173f4

Merge "Add lookup_hiera_hash function"

Merge "Add Heat profiles"

Add lookup_hiera_hash function

The lookup_hiera_hash function is meant to lookup for the value
of a given key from a given Hiera hash. In the manifests this is
possible by saving the value of the hash in a variable first but
when driving lookups from the Heat templates we can't do it.

Change-Id: Ie31bb70314db44a0a18e86090cc74aa4df5de169

Change default CloudFormation ssl port to 13005

The current default of 13800 is a bit out of line with the other Heat
SSL ports. This makes it a more sane default of 13005.

Change-Id: Ic9aa71bfc80ca5fdb3b3c48dc55be7b98cf22ada

Merge "Adds the base and pacemaker profile for the memcached service"

Merge "Add loadbalancer profile for ha & non-ha"

Add Heat profiles

Add Heat profiles for non-ha & ha scenarios.

Implements: blueprint refactor-puppet-manifests

Change-Id: I194cbb6aa307c2331597147545cf10299cab132f

Adds the base and pacemaker profile for the memcached service

Implements: blueprint refactor-puppet-manifests

This is the puppet-tripleo side for the memcached as a composable
service.  The related tht review that uses this is at
I8802c2a0cf1e5fa1a6d1fab5e87f6014bea2f517

Change-Id: Icd504aef7dda144582c286c56c925a78566af72c

Add loadbalancer profile for ha & non-ha

The profile contains Puppet classes to deploy loadbalancer services
(HAproxy & Keepalived) for ha & non-ha scenarios.

A future iteration will split HAproxy & keepalived, but for now, we just
want to move out the code from THT to puppet-tripleo.

Change-Id: I9b106dcc1a4d446ab5dea8430ed295e6ec209cbd
Implements: blueprint refactor-puppet-manifests

Merge "Composable role for RabbitMQ"

Merge "Remove manage_service and enabled from TripleO manifests"

Composable role for RabbitMQ

Add RabbitMQ composable role, and keep the same logic that we had in
THT.

Implements: blueprint refactor-puppet-manifests
Change-Id: I961bdbe1cc6dd1d4a315de616439f9fc77d793ae

Remove Nova EC2 HAproxy endpoint

THT does not deploy Nova EC2 anymore, so we don't need the HAproxy
endpoint anymore.

Change-Id: Ia888fe7e14c736ef3678d9a7cf69a2deb9233342
Depends-On: Ief2d0e5c77b5ac58560606fee930fbd66c40ffc3

Update keystone service name for signing keys

Since keystone is being run under apache, the signing keys should notify
apache and not the keystone service.  The keystone service is actually
disabled, so if the keys get updated nothing happens.

Change-Id: Idfebeabf03d010956569c32b24437245e2b93c2a
Related-Bug: #1581591

Merge "Add the neutron-dnsmasq.conf to neutron profile"

Add the neutron-dnsmasq.conf to neutron profile

This was in the initial neutron profile patches but got removed
mid-way (see patch 16 comments here:
Ida781badbcd63bbcb481a2170638aefe262b717b). The file is in fact
required in order to get the ping test properly passing with TripleO.

Change-Id: Ibbfd79421f871e41f870745a593cca65e8c0e58a

keystone: drop usage of step 6

* Manage roles & endpoints at step 5
* Set correct orchestration for Pacemaker resources within a single
  step.

Change-Id: I079e65f535af069312b602e8ff58be80ab2f2226

Merge "Add tripleo::selinux"

Remove manage_service and enabled from TripleO manifests

These can be controlled via the specific Pacemaker role template.

Depends-On: I91a4267f0fc230f63df3333747d28463c7ae55fe
Change-Id: I8ef7bb94e048b998712b3534ceb51a7d10d016e9

Merge "Add neutron profiles"

Merge "add metadata.json file"

Merge "Add dport/sport parameter to firewall rule"

add metadata.json file

This file will be useful to contain the release tag so we can
automatically generate tarballs in OpenStack Infra.
No requirements have been set, on purpose, because we won't use
puppetlabs forge to install the module.

Change-Id: Iada2ba5ff37760537cd15630333d2e80550fc031

Add tripleo::selinux

Adds a class to configure SELinux. The code is taken from
puppet-openstack-cloud:
https://github.com/redhat-cip/puppet-openstack-cloud

This allows to share the same code for usage by both the Undercloud and
Overcloud.

Co-Authored By: Emilien Macchi <emilien@redhat.com>
Co-Authored By: Yanis Guenane <yguenane@redhat.com>

blueprint undercloud-elements
Change-Id: If214005df733d41c2fa4e197df247d8a14baaa14

Add dport/sport parameter to firewall rule

The port parameter to puppetlabs-firewall is actually deprecated[1].
This adds support for using the new parameter names dport and sport. The
port parameter is still retained in puppet-tripleo for backwards
compatibily for anyone using that interface. It is marked deprecated in
the documentation, however no deprecation warning is needed because
there is already a warning from from puppetlabs-firewall.

blueprint undercloud-elements
Change-Id: I0598007f90018f80a3266193bb24dbf112de49b7

Add neutron profiles

Implements: blueprint refactor-puppet-manifests

Add neutron profiles for both pacemaker and non-ha.

HA profiles are designed such that they include the base
profiles, disabling features as needed, while the base
profile can be used independently.

Co-Authored-By: Dan Prince <dprince@redhat.com>
Change-Id: Ida781badbcd63bbcb481a2170638aefe262b717b

Create dbs in step 3 for the roles

Before the roles we could make the create db operation depend on a
'galera-ready' resource [1]. We can't do it anymore from the role so
we need to do create in step 3, when we do sync as well.

1. https://github.com/openstack/tripleo-heat-templates/blob/master/puppet/manifests/overcloud_controller_pacemaker.pp#L382

Change-Id: Id065a9180f1f1a41ab225ec5f755498ec7d9a827

Noop start/stop/restart action for Glance and Keystone in the roles

Change-Id: I1d95746cb990292462106c191987147eba30ee61

Move databases creation and sync with the role

This change moves the database creation and sync with the role
profile, so that it's only executed when the role is enabled and
by the role itself.

It also calls the non-pacemaker profiles out of the 'step'
conditional because the non-pacemaker profiles know how to deal with
'step' already.

Change-Id: I6c752cb53090e7ef8e0319bade462f2453ed7660
Related-Bug: 1572952

Add aodh and gnocchi to schema profiles

Change-Id: Ifb0cc7769ef99e4c7142c8f955f0ca721d61e9b5

Merge "Add steps to database profiles"

Merge "Enable HAProxy forwardfor option for Horizon."

Merge "Add destination parameter to firewall rule"

Merge "Add Glance profiles"

Add destination parameter to firewall rule

Specifying a destination cidr is already supported by
puppetlabs-firewall, we just need to pass through the parameter in
rule.pp in puppet-tripleo.

This will allow creating iptables rules that forward network traffic for
a given cidr via puppet-tripleo.

Change-Id: I23582a55cd97248be52f45e14de7e813ff499ff7

Add steps to database profiles

Database schema profiles were missing step information, causing
schemas to be created too early.

Change-Id: Ic381804ce5f1aa257ece75d2e079f4b02f446344

IPv6 dual-stack support

TL;DR:
If keystone_public_api_vip and/or public_virtual_ip is an array of IPs,
HAproxy will be configured to listen on all IPs that are given in the
arrays.
It allows to specify an array for keystone_public_api_vip and/or
public_virtual_ip where one IP is v4 and another one is v6.
HAproxy will configured to listen on both and redirect the traffic to
the IPv6 network (Dual-Stack).

Implementation & background:
HAproxy requires binding options as an hash where each IP contains an
array of binding options.
TripleO does not support Puppet Parser [1] (yet) so we can't manipulate
data iterations inside the manifests.
This patch creates a custom function, called list_to_hash.

Example:
keystone_vips = ['192.168.0.1:5000', '192.168.0.2:5000']
$keystone_bind_opts = ['transparent']

Using this function:
$keystone_vips_hash = list_to_hash($keystone_vips,
$keystone_bind_opts)

Would return:
$keystone_vips_hash = {
  '192.168.0.1:5000' => ['transparent'],
  '192.168.0.2:5000' => ['transparent'],
}

This function will help us in loadbalancer.pp to construct binding
options in dynamic way.
It's backward compatible, so you don't have to give an array.
But if you do, multiple binding will be configured in HAproxy and you'll
also be able to deploy IPv6 Dual-Stack.

[1] https://docs.puppetlabs.com/puppet/latest/reference/lang_iteration.html

Change-Id: I003b6d7d171652654745861d4231882f9e0d373e

Merge "Disable ip_nonlocal_bind (rely on the HAProxy 'transparent' option)"

Enable HAProxy forwardfor option for Horizon.

Horizon's backends (httpd) see IP address of the haproxy in the logs instead
of the client address.
Adding forwardfor option allows to add the client address to the
X-Forwarded-For HTTP header and can be replace in the logs by configured the
backend servers with this header.

Change-Id: I54f0f5549d64768dacca71539c71a28cc99d9d95

Merge "Add support for internal/admin endpoint TLS in HAProxy"

Merge "Add generic manifest for loadbalancer endpoints"

Refactor HAproxy and VIP creation.

In tripleo heat template, overcloud_controller_pacemaker.pp has a lot of
duplicate code to define haproxy and vip creation.  This is an attempt
to refactor this.

Change-Id: I4cc6711911c1bfa1bc6063979e2b2a7ab5b8d37b

Merge "Fix Sahara SSL default port"

Add Glance profiles

Add Glance profiles for non-ha & ha scenarios.

Change-Id: Ifc388f7058ccfff2818f531bcbc00c7179874bbc
Implements: blueprint refactor-puppet-manifests

Add support for internal/admin endpoint TLS in HAProxy

This commits adds the option to pass an internal certificate.
The aforementioned certificate will be used to terminate TLS
connections for the internal and admin endpoints.

Change-Id: I9d781b42c63cf34bd1f5ba2c71014c6b9de0f990

Add generic manifest for loadbalancer endpoints

In order to reduce repeated code in the loadbalancer manifest, the
repeated parts were moved into one manifest that contains the
endpoint resource.

Change-Id: Ib72abe9de7ab073dcbd780298385b0c519f363aa

Fix Sahara SSL default port

There were two issues with the SSL port for sahara.
* It was conflicting with Manila's port
* It was documented incorrectly

This has been fixed

Change-Id: I9f710e014890b6daa6b3e511fd811c1e25bd0de3

Map gnocchi vip to haproxy_listen_bind_param

Change-Id: I7d2eb9405e0171fc54fa0b616122f69db5f51ce2

Merge "Fix comparison to control_virtual_ip"

Remove individual service certificates

They are not being used and add extra logic and unnecessary clutter
to the code. So this CR removes them in favor of just configuring
TLS with the service_certificate. The only individual cert left was
the one for haproxy stats.

Change-Id: Ic3b769423917e723ecc83e32bcbae17568345661

Add missing services ports to service_ports map

AODH, Gnocchi, Sahara and Trove were missing from the service_ports
maps and thus had hardcoded ports in the listener configuration. The
addition of those ports to the map is required to give the
possibility to deployers to configure those ports if needed. This
commit adds them to that map.

Change-Id: Id009d65bf68ba91f97b0d60d32028da50fc88fc3

Fix comparison to control_virtual_ip

When managing the vip's, we were incorrectly comparing the vip to
$control_virtual_interface instead of $controller_virtual_ip when
determining if we needed to actually create the vip or not.

This caused the vips for internal api, storage, and storage mgmt to
always be created even if they were the same as the control vip. Afaict,
this didn't actually cause any problems, other than having extra vip's
created when they weren't needed. Still, this corrects the code to do
what it was intended to do.

Change-Id: I29aee95afcba25008b8b7bee37ba636eb2595cca

Merge "Make cipher suite and SSL options configurable"

Merge "Redirect to https for horizon"

Merge "Add keystone and db sync profiles"

Allow the Redis specific monitor to use authentication

When accessing Redis, if password protected, we need to update
the HAProxy checks so that they use a password or we won't be able
to gather which node is the replica master.

Also adds PING/PONG and QUIT/OK sequence before and after the info
command is sent.

More at https://bugzilla.redhat.com/show_bug.cgi?id=1320036

Change-Id: Ia9e61e66c5426061eab8172f0a25820989597780

Make cipher suite and SSL options configurable

This CR enables the ability to set the cipher suite to be used by
HAproxy and the SSL options. So now the user can enable these through
hiera.  The cipher suite comes from the Fedora system crypto policy.

Change-Id: Ia5751d4049026683fa13d4bc4cbf4eaffe054b48
Depends-On: I4943c6c74e0be96c1d7e190908b9262df05d059a

Add keystone and db sync profiles

Implements: blueprint refactor-puppet-manifests

Add keystone profiles for both pacemaker and non-ha.
Add db sync profiles for pacemaker and non-ha.

HA profiles are designed such that they include the base
profiles, disabling features as needed, while the base
profile can be used independently.

Change-Id: I2faf5a78db802549053ec41678bf83bf28108189

Redirect to https for horizon

This adds a TLS binding listening on the internal network for
horizon. And on the other hand, if the public binding for horizon is
accessed via non-https, it will redirect to https.

Change-Id: I1f92ecd0c4845450df4b24f6b621d313ba9cbfc4
Depends-On: I4943c6c74e0be96c1d7e190908b9262df05d059a

Hack to fix IPv6 parsing in facter.

This kludge fixes the wrong regexp used in facter to report all IPv6
addresses.

While the upstream bug[1] is being work out, this should do the job.

Closes-Bug: 1558490

[1] https://tickets.puppetlabs.com/browse/FACT-1372

Change-Id: I85dabbd26bf8f25b2a03d22f547618b666421a83

Allow enabling authentication on haproxy.stats

Right now we always deploy the haproxy.stats endpoint with no
authentication, which is a security concern.  Allow setting a
password on the endpoint so it isn't accessible to the world.

While this allows configuring SSL on the stats endpoint, it does
not use the service_certificate parameter because that certificate
is intended to be used only for public endpoints, and the stats
endpoint is actually on the admin VIP.  Once we have support for
SSL on admin endpoints we can have stats use it by default.

Change-Id: I8a5844e89bd81a99d5101ab6bce7a8d79e069565

Merge "Make OpenStack service ports configurable in HAProxy"

Make OpenStack service ports configurable in HAProxy

Some deployments were expecting specific ports for the OpenStack
services; In case the default ports are not meeting those needs, we
need to provide the means of changing the defaults.

Change-Id: Idbbcc90e2af1b3a731b0b5ea955df6082541a9f7

Merge "loadbalancer: fix Redis timeout HAproxy config"

Always override X-Forwarded-Proto header for Heat

Heat has the ssl middleware to handle the X-Forwarded-Proto header by
default. We override this header when SSL is enabled because we need
to, but overriding it even when we won't be terminating SSL will
prevent some attacks using this header.

Change-Id: I0b2c61cd4f47c8c08a84402af310983af752d3f2

loadbalancer: fix Redis timeout HAproxy config

Current HAproxy config is broken for Redis timeout parameters. This is what we
have today by default in HAproxy logs:
[WARNING] 238/115010 (13878) : config : missing timeouts for proxy 'redis'.
| While not properly invalid, you will certainly encounter various problems
| with such a configuration. To fix this, please ensure that all following
| timeouts are set to a non-zero value: 'client', 'connect', 'server'.

This patch removes the explicit setting of client and server timeouts to 0,
which is the cause of the above warning.  Instead, Redis will simply inherit the
haproxy defaults, which should be a more reasonable setting, and result in no
warnings.

Change-Id: Ibe7941bec02f5facf21732910c9ad96f547ff8e5

Override X-Forwarded-Proto header

Right now, the only manipulation done to the X-Forwarded-Proto header
is done if an SSL connection is established. This is not sufficient as
one might be able to erroneously put values through that header.

This patch disables that behaviour by defaulting to plain http if an
SSL connection is not established.

Change-Id: I4bf6def21e21148834c2baa9669190bab8fa95ef

Merge "packages: secure upgrade workflow from dependency cycles"

Merge "Handle redirects for Horizon"

Merge "Enable X-Forwarded-Proto header for keystone admin endpoint"

Handle redirects for Horizon

As for Heat, we need to be able to handle 30X redirects from Horizon
when configured to use SSL.  Because Horizon's redirects are
handled directly by Apache, we can't use middleware to handle the
X-Forwarded-Proto header like we are planning to do for the other
services.  However, in this case we don't need to worry about
rewriting urls in the payload like we do for the other services
because Horizon is just serving standard web pages, not custom
HTTP bodies with JSON contents.

One other change from the previous Heat patch is to drop the IP
from the rewrite regex.  This is because Horizon will generally be
accessed via a DNS name, so the IP won't appear in the Location
header.  The heat regex should probably be changed as well since
we now support registering endpoints with DNS names, but since we
plan to move all the other services to the X-Forwarded-Proto header
middleware anyway we can probably just wait until that happens and
then remove the Heat rule entirely.

Change-Id: I039a3036be17eeabe3cff68e0ef24f70907cc568

Merge "Use HAProxy 'transparent' bind option for compat with IPv6"

Merge "Make haproxy balancer default options configurable"

Merge "loadbalancer: add Gnocchi API support"

Merge "SSL/Cinder: enable ssl_header_handler filter"

Drop webmock dependency

webmock is not used anywhere in puppet-tripleo, let's clean it.

Change-Id: Idd8646e69e31a63791a345765c459d094a23f813

SSL/Cinder: enable ssl_header_handler filter

Enable oslo_middleware.http_proxy_to_wsgi:HTTPProxyToWSGI.factory in
ssl_header_handler middlewarefilter so we can run Nova API with SSL
support.

Change-Id: If88dcdf9f4905e2a792b2fdc656eab51c85f637e

packages: secure upgrade workflow from dependency cycles

Change the workflow to be:
Upgrade all packages before any services that is notified & managed by
Puppet.
It also disable the Exec timeout so we rely on Heat timeout and not on
the 300s that are the default in Puppet [1]

Example: we upgrade and OpenStack config will change (obviously).
         Puppet catalog will contain 3 important things:
           * config resources
           * service resources
           * package-upgrade Exec resource
         with that patch, what will happen:
           * puppet will update config first or second and notify
             services
           * puppet will run package-upgrade first or second but before
             the package-upgrade Exec resource
           * at the very end, puppet will restart services

That way, we avoid complications with Puppet dependency cycle issues.

[1] https://docs.puppetlabs.com/references/latest/type.html#exec-attribute-timeout

Closes-Bug: 1536349
Change-Id: I07310bdfc5b07b03ac9fa5f8c13e87eaa2bfef4d

Enable X-Forwarded-Proto header for keystone admin endpoint

This is useful for handling URLs properly when TLS is enabled.

Change-Id: I4defed679cf3b2980dcc4ce1db030c0fdf154bfe

Disable ip_nonlocal_bind (rely on the HAProxy 'transparent' option)

Change-Id: Ib57a4bf463900e68cbf97900027f972e590799c2

Use HAProxy 'transparent' bind option for compat with IPv6

Change-Id: Iddf1fdaabc1c758546999e7af7e7412158400e7f

Enable X-Forwarded-Proto header for cinder

Change-Id: I3bd836140537fc5b7e3fba600a712d6a9d6f1185