Merge "Fix unit tests failing against Puppet 4.3.x"

Fix unit tests failing against Puppet 4.3.x

Change-Id: Ie2f3e29005570805fbf2ca75a930fab746f5f299
Related-bug: #1517805
Signed-off-by: Gael Chamoulaud <gchamoul@redhat.com>

Remove `validate_ip_address` validator.

It is already merged on the puppetlabs-stdlib module:

https://github.com/puppetlabs/puppetlabs-stdlib/commit/88a9a314c3e9cccbea5add95081655f2c14ec4c1

And we don't need to carry with this validation anymore.

Change-Id: I2cee12e7601c546e616e2c249157e7739af29490

Merge "Fix unit tests failing against Puppet 4.3.0"

Merge "MidoNet services manifests"

Merge "Set tunnel timeout for nova_novncproxy"

Fix unit tests failing against Puppet 4.3.0

Change-Id: I10c0d35b473026a5e1ede265099f73c803402adc
Related-bug: #1517805
Signed-off-by: Gael Chamoulaud <gchamoul@redhat.com>

MidoNet services manifests

Provide TripleO overcloud manifests to deploy MidoNet and the cluster
services that needs to run.

Change-Id: I24f852e74fc4652d4609e1a71897e813448055fe

Remove class_parameter_defaults puppet-lint check

Change-Id: I9c6fafa4b7b57cc0941040e899bcdd2e89fc9d58
Signed-off-by: Gael Chamoulaud <gchamoul@redhat.com>

Resolve repeated ports for ssl frontends (nova vnc and swift proxy)

Nova vnc and swift proxy were listening on the same port if SSL is
enabled in the load balancer

Change-Id: Ibf4aa118d6c8e94f8f2a68bf270d5445ebda7593

Merge "Resolve repeated ports for ssl frontends"

Resolve repeated ports for ssl frontends

keystone and heat_cfn were listening on the same port if SSL is enabled
inm the load balancer.

Change-Id: I099119198ebf3322a783581f0c6758417e705a2e

Set tunnel timeout for nova_novncproxy

When using websockets in HAProxy, like nova_novncproxy does, we
need to set "timeout tunnel" to avoid disconnections after a short
period without traffic.

Change-Id: I1b66cd9a1d20cbbe35a2ada5782a76a01b14bcd1
Closes-BZ: 1267043

Merge "Automatically install packages when upgrading"

Fix manila conditional statement

- s/manila/$manila

Change-Id: I7aaa8f83fe758484ab39af28c914fa3d78464633
Signed-off-by: Gael Chamoulaud <gchamoul@redhat.com>

Automatically install packages when upgrading

This simplifies use of tripleo::packages so that when
enable_upgrade is set to true you no longer have to enable_install
as well.

Change-Id: Ic3050a64530be9e2b6827ed8566f59d28547ae81

Merge "Allow a user to specify the syslog address for HAProxy"

loadbalancer: use http mode for Horizon haproxy config

The haproxy configuration for horizon does not have 'mode http' set.
This proxy needs to be in http mode since it is using a cookie for
persistence. The default section has 'mode tcp', which is fine, but
horizon proxy needs to override this setting to get http mode. Without
this, you will likely see an error like this:

[WARNING] 238/115010 (13878) : config : cookie will be ignored for proxy
'horizon' (needs 'mode http').'

Closes BZ-1257687

Change-Id: I397986ea022f47a33a5210696752509f4a2731a5

Merge "Initial msync run for all Puppet OpenStack modules"

Allow a user to specify the syslog address for HAProxy

Currently the address of the syslog server for HAProxy is hardcoded to
/dev/log without a way to customize this setting.

This commit aims to give a user more flexibility about which syslog
server address to use.

Change-Id: If7f7c8154e544e5d8a49f79f642e1ad01644a66d

Merge "Add package_manifest resource."

loadbalancer: use 'source' for novnc balance mode

When establishing a connection from the client (Web Browser) to the
novncproxy (loadbalanced by HAproxy), we need to make sure the client
will stick on the same server the time he's connected, because HAproxy
load-balance to another novncproxy node, the client will loose the
connection and timeout like 'Connection Reset By Peer error'.

This patch aims to configure novnc HAproxy configuration to balance
using 'source' mode, so it will make sure the server remains the same
while the connection is established.

Change-Id: Ibbb7162b763f1fd2854a10a92a681910e0683c0a
Closes-BZ: 1257324

Add package_manifest resource.

This patch converts the write_package_names function into
a proper resource. Using the write_package_names only works
if the function comes last in the puppet manifest. By
making the same functionality a custom resource we allow
for it to exist anywhere in the manifest and provide the
same functionality.

 The new syntax would be:

 package_manifest{'/tmp/foo': ensure => present}

Co-Authored-By: Martin Mágr <mmagr@redhat.com>
Change-Id: If3e03b1983fed47082fac8ce63f975557dbc503c

Initial msync run for all Puppet OpenStack modules

This patch is the initial modulesync run, it impacts:

* gitignore: just a sync between projects
* gemfile:
  - update and allow to setup facter version and gem source
  - split beaker gems with a dedicated group
  - switch to rspec-puppet 2.2.0
* rakefile:
  - use the new syntax for lint configuration
  - add a acceptance target
* acceptance:
  - sync nodesets
  - update tests in order to use zuul-cloner
* spec: added rspec coverage report

Change-Id: Iadefbe2cc0525224e9917c6712712c67ce1e0fff

Remove httpchk option from haproxy listeners

To make sure we don't use the ssl-hello-chk option set by the
puppet-haproxy module we used to redefine the listener options
for all listeners.

With this change a default for the options hash is provided to
the puppet class instead.

This change also configures use of tcpka only where wanted, as
documented by [1], removing it from the haproxy defaults section,
given it wasn't used anyway by the other listeners which were
indeed overriding options.

1. https://github.com/beekhof/osp-ha-deploy/blob/master/pcmk/lb.scenario

Change-Id: Ic8deb77533f561cea7ce7db1d20f6be5e2dc0d33

Enable Manila Service

Adds bindings to the Manila service for HAProxy.

Change-Id: I175d5b7e35a781d04452fc6aee610e8dca005419

Fix HAProxy config for Nova EC2 API

EC2 API returns 400 for unauthenticated requests, making HAProxy believe
that the service is down. We'll use TCP check instead of HTTP check for
EC2 API.

Change-Id: Ide7f9390603c9893b95cacd51d468461255dcf07

Merge "Implement firewalling in tripleo::firewall"

Listener options for Ironic/ceilometer/glance_registry

This updates some of the listener options set by loadbalancer.pp.

Iroinc needs to pass in the option to do a httpchk, otherwise
puppet-haproxy defaults it to doing a ssl-hello-chk, which won't work
against the non-ssl loadbalancer server.

Ceilometer and glance_registry both don't support a httpchk against the
root (/) of their webservers (they return a straight 401) so disable
those checks completely.

Change-Id: Ibfc81175842a748eb077b132b0818c4ea17bbcf6

Add param to configure HAProxy default maxconn (per frontend)

The default per frontend maxconn is set to 2000, which can easily
be reached with modern hardware with multiple logic cores; this
change adds a parameter to configure the default maxconn value,
default it to 4096 and also increases the global maxconn to 20480
to preserve the 1:5 ratio.

Change-Id: I3fffc51ecc704ceccb86ca008ecba02578c29eb5

Implement firewalling in tripleo::firewall

Currently firewalling is implemented in tripleo/init.pp this commit
moves it to its own scope tripleo/firewall.pp.

This is done so that in tripleo-heat-templates we can have a simple and
generic `include tripleo::firewall` in every manifest - unconditional.
The rest of the behavior will all be managed by hiera.

If a user wants to enable firewalling:

```
tripleo::firewall::manage_firewall: true
```

If a user wants to specify firewall rules:

```
tripleo::firewall::firewall_rules:
  '103 mongod':
    port: 27017
```

Change-Id: I144c60db2a568a94dce5b51257f1d10980173325

Merge "Add missing options to Ceilometer/Ironic/Horizon"

Merge "Remove mode tcp enforcement where unneeded, we default to mode tcp"

Merge "Implement Advanced Firewalling support"

Merge "Add a function to write package names"

Add missing options to Ceilometer/Ironic/Horizon

Backend options for Ceilometer and Ironic are aligned with what we
use for the other OpenStack services.

Listener options for Horizon is updated so that we do cookie
tracking as suggested by refarch doc.

Change-Id: I4640d974a3ab8188919eaae79dde71463234b5ff

Merge "Add class to set noop on various puppet resources"

Merge "Add tripleo::packages"

Remove mode tcp enforcement where unneeded, we default to mode tcp

Change-Id: Ic0ae6b743a732ccd2cf7e395b5ab172bf3daaf7d

Merge "Fix Heat 302 redirects"

Merge "Remove database code from puppet-tripleo"

Add class to set noop on various puppet resources

This patch adds a new tripleo::noop class that can be
used to help switch all resources of a given type
to noop mode. The class does this via Puppet resource
collectors to enable the noop metaparam on all resources
of the specified type.

When a resource is in noop mode no action
will get taken (however puppet stdout will log information
about what would happen if noop were removed).

The motivation for this patch is to be able to do something
like this and run puppet to configure select resources
(like only config files):

 class {'tripleo::noop':
   file => false
 }

It is important to note that when tripleo::noop is used all common
resources default to noop mode.

This could be used alongside docker containers to provide
a mechanism to pre-configure all related config files for
a set of docker containers ahead of time.

Change-Id: I67f9dbbf33a2d6bcee5005ae0b6b1aa7091039ad

Fix Heat 302 redirects

When doing a heat stack-show, Heat initially returns a 302 redirect.
With the existing loadbalancer config for SSL, this results in a
redirect to an http:// address pointing at the SSL port, which
naturally doesn't work.

The fix for this is to use the rsprep haproxy option to rewrite the
Location header in responses from the Heat api server.  This allows
us to properly handle redirect traffic as https.

Also note that http header rewriting requires "mode http", so that
is added here as well.

Change-Id: I7e5c5b1877e9aa46c4b88dfba45c1fddf61727fc

Enable support for loadbalancing Ironic

Just like any other OpenStack API endpoint.

Change-Id: Iaa45d7bef94c3c42df0988a58f146bb8a530f74e

Add a function to write package names

This function writes out package names that have been
defined in a given puppet catalog.

In order to work this should be place last (or very late)
in a manifest to ensure it picks up packages.

Change-Id: Ie21b5bf7df71337da02ea43915dc4e70d3052bb7

Add tripleo::packages

This adds a new class to help configure package installation
and upgrades.

The previous approach was to use a global package declaration
at the top of each manifest within the tripleo-heat-templates.

The new approach is to use a Package collector (<| |>) to
allow us to configure the package provider within a
class. This should help remove some of the duplicated logic
within the triplo-heat-template manifests and is
also a good fit for puppet-tripleo in that is generic
and unlikely to change that often.

In addition to installation this class also support upgrades
to puppet managed packages as well.

Change-Id: Ie8fbc344149bc8c9977e127de77636903607617a

Merge "Introduce param to enable use of clustercheck"

Merge "Use mode tcp for glance-registry balancing"

Use mode tcp for glance-registry balancing

The glance-registry service is returning 401 to httpchk, which
makes haproxy think it is down. This change switches the check
mode to tcp.

Closes-Bug: https://bugzilla.redhat.com/show_bug.cgi?id=1234637
Closes-Bug: 1468566

Change-Id: Icdd80aa9cd56e5afd3707eb7fa38aaedb8535af6

Introduce param to enable use of clustercheck

In the pacemaker scenario we want to use the clustercheck script
to evict galera nodes which are out of sync. This change adds a
parameter meant to enable use of clustercheck for the mysql service.

Change-Id: I7199c7e5d759a76f58c0f48b40e9d460a3163886
Closes-Bug: 1456701

Remove control over the galera_master_node

We do not want to give users control over the galera_master_node,
this should be gathered using the clustercheck script instead.

Depends-On: I56ebd2d8405ac35c707666d993b396f04aeb683e
Change-Id: Ib6a36e9283b73133251fb9ff3f33e71c50edb3db
Closes-Bug: 1467918
Closes-Bug: https://bugzilla.redhat.com/show_bug.cgi?id=1234817

Merge "Configure fencing devices"

Update .gitreview file for project rename

Change-Id: I682bac7726393da66b8da9c17fa638f02d4b0a1b

Implement Advanced Firewalling support

* Provide a Define function which will allow to manage IPtables rules.
* Manage rules in 'pre' and 'post' Puppet stages, it allows to create
  rules before and after regular Puppet stages (ie: to make sure no rule
  exists *before* and everything is blocked *after* regular Puppet
  stages)

Change-Id: I84fc79096f6fc3db76a61d012d8cb62dd12bdd89

Configure fencing devices

Adds a class to configure fence devices and a helper function which
helps to select the devices for configuration on appropriate nodes.

Depends on patches outside OpenStack's Gerrit:
https://github.com/redhat-openstack/puppet-pacemaker/pull/50
https://github.com/redhat-openstack/puppet-pacemaker/pull/52

Change-Id: I819fc8c126ec47cd207c59b3dcf92ff699649c5a

Configure virtual IPs for split out networks

This patch optionally creates new virtual IPs for
the storage, storage_mgmt, and internal_api
networks if ip addresses are provided.

Additionally the HAproxy configuration is updated
to use hiera lookups to obtain virtual IPs for
alternate networks. By default the ctlplane
VIP is still used.

Change-Id: I20483574920a1da689374b0eb1b39b0391c3d243

Add interface_for_ip function

This patch adds a custom Puppet function called interface_for_ip
This function will be used within the TripleO puppet implementation
to help obtain the correct interface for a given IP address.

Change-Id: I0979f69a49052fda888277fa64ebeadc038bc778

Use node IP lists for HA Proxy ipaddresses

This patch updates the loadbalancer class so that it
defaults to trying to use the node IP list for each
respective service. This data is provided via Hiera
directly (all-nodes-config provides it via the Heat
templates).

By default the ctlplane IP address list is still used
if no service node IP list is provided.

Change-Id: I34cbdf8bd525e6ab61859fe8b8c18fe613dabbfe

Drop nova_meta and glance_registry on public vip

This patch removes the public VIP for the nova metadata
and glance registry services.

Change-Id: I0878f7b3eeed6e16c5d30bdf76ebca56eb49d042

Allow use of ssl for public api endpoints

There are two methods included: Setting $service_certificate will
enable SSL for all public endpoints with the same cert file, while
service-specific certificate settings allow using a cert file for
just one service.

Change-Id: I6f87ed2ebbea08ff1a0dff981559c8f4fc8b67cc

Increase global maxconn to 10000 and remove per-instance limit

The per-instance limit to 150 can easily be reached for the
database when OpenStack services are running on hosts with many
CPUs. The global maxconn is increased as per astapor. See [1].

1. https://bugzilla.redhat.com/show_bug.cgi?id=1218322

Change-Id: Ia9258372ca4f707929f11097193a91c138069725

Remove database code from puppet-tripleo

The Galera code has been merged upstream directly into
tripleo-heat-templates[1], since this code is not used we can remove it.

[1] https://review.openstack.org/#/c/177765/

Change-Id: I536cf9b561b93ff26d03183331b6a527ab851286

Add support for haproxy_service_manage

We want to let the caller decide upon having the haproxy
service started and enabled or not on boot.

Change-Id: I24a9fd2245a974120892a8887c8b58647c65cba9

Merge "Make setup of keepalived optional via manage_vip parameter"

Merge "Bump rspec-puppet to 2.1.0"

Bump rspec-puppet to 2.1.0

rspec-puppet 2.1.0 includes Puppet 4.0 support [1].

[1] https://github.com/rodjek/rspec-puppet/commits/v2.1.0

Change-Id: I101785506c7f450c3a6146eee1e76ead28933e7a

Merge "Enable access to HAProxy stats page"

Merge "Add $::galera_bootstrapped fact"

Merge "Do not make RabbitMQ listen on public vip"

Merge "Loadbalancer: Add support for Redis"

Do not make RabbitMQ listen on public vip

Currently RabbitMQ is listening on both private vip and public vip.
There is no need for RabbitMQ to listen on the public vip, so we remove
it.

Change-Id: I82ea2e1e18b7710ae391ffe4903439a9330b1461

Loadbalancer: Add support for Redis

Add support for Redis in the loadbalancer setup.
Redis loadbalancing system is particular as it does not provide
clustering capabilities yet, hence this pattern[1] will be applied.

[1] https://github.com/falsecz/haredis

Change-Id: I80a6c284af9eceb6b669a03c5d93256261523331

Make setup of keepalived optional via manage_vip parameter

Change-Id: I98b9b3dbc48009ce255d964ac580e1a31f279f1e

Enable access to HAProxy stats page

Enable access to the HAProxy stats page. The listen directive is bound
to the controller virtual IP address.

Change-Id: Ie0012da77ffdd9bfa8f06341aca2d70991558a28

Add $::galera_bootstrapped fact

This fact let puppet know if the node is part of a Galera cluster
already or not.

Change-Id: I4ff0512a0d15ac4797c8c64ed76c0fd3fc31b45c

Rethink the backup option for Galera

Initial logic for the backup option in the HAProxy was wrong and
wouldn't do what expected.

Current logic is implemented as follow

1. User passes an array of Galera IP addresses
2. User passes an array of Galera hostnames
3. User passes a Galera master IP and Galera master hostname

Result :

* Set a backend line with Galera master IP and Galera master hostname
* Remove those data from the two arrays of IP and Hostnames
* Set backend lines for whatever is left on those array with the backup
  option on

Change-Id: Idfd72de4fafdce2a9c16945961fee996a98049b7

Fix backend line syntax

Currently since only one node was the backend until this commit[1],
servername was deducted from the $::hostname fact. Since commit[1],
several node can be the backend for a service, so we need to provide
their servername also.

The current situation result with HAProxy refusing to start because
current lint look like

server  192.0.2.2:8776 check fall 5 inter 2000 rise 2

when they really should look like

server MYHOSTNAME  192.0.2.2:8776 check fall 5 inter 2000 rise 2

Resulting in error message : 'server' expects <name> and <addr>[:<port>]
as arguments.

[1] https://review.openstack.org/#/c/168044/

Change-Id: I75424cf02f2d24308f33105f67d82a8d411e372d

Rename controller_host to controller_hosts

Since we can have many controller_hosts backend in a setup, we use the
plural term to define it.

Change-Id: I2a46c250bc3325eef9c3128cac2ab45c88b1ae75

loadbalancer: Enable backup mode for Galera

This commit allows to enable backup mode for non master galera node.

Change-Id: I8b27f470ae171d77c8c8283797ff1502ef44e17f

Merge "loadbalancer: drop undef on required params"

loadbalancer: drop undef on required params

This should allow puppet to validate the required params.

Change-Id: I16b6ae1a9fbcb388bfe5a2a95022a2fdffbf0cd1

spec: updates for rspec-puppet 2.x and rspec 3.x

- This patch aim to update our specs test in order to work with the
  rspec-puppet release 2.0.0, in the mean time, we update rspec syntax order
  to be prepared for rspec 3.x move.

Change-Id: If67d5d39d7b94785c811a16703cdfe9782df2d24
Signed-off-by: Gael Chamoulaud <gchamoul@redhat.com>

Add Puppet 4.x lint checks

- This changes the puppet-lint requirement to 1.1.x, so that we can use
  puppet-lint plugins. Most of these plugins are for 4.x compat, but some just
  catch common errors.

Change-Id: I2660b960b6ef696bd5dc8a6965b4a9aa25409b66
Signed-off-by: Gael Chamoulaud <gchamoul@redhat.com>

loadbalancer: document required parameters

Removes the (optional) comment from some of the required
parameters.

Change-Id: I0f2c96e0d77dfdb96d6b246c5f24511773592623

First commit on Stackforge: fix lint & Gerrit config

* Fix Gerrit config to be able to contribute at this module.
* Fix lint issues in adding documentation for tripleo::loadbalancer

Change-Id: If4d40962a4e5612410df441e8862e1870ec123c0

Drop package_provider

The Package provider scope needs to be global so this class
won't really help us much. Removing for now.

Merge pull request #3 from dprince/norpm

Add norpm package provider and helper class.

Add norpm package provider and helper class.

This patch adds a new norpm package provider that extends the
Puppet provided default RPM package provider and stubs out
all of the package install, update, purging so that no
packages will get installed. This may be useful when
deploying pre-built images where we effectively just
want to use Puppet for configuration (not installation).

Includes a ::tripleo::package_provider class that will assist
in cleanly disabling package installation via hiera.

Merge pull request #2 from enovance/mysql

First implementation of tripleo::database::mysql

First implementation of tripleo::database::mysql

Moved loadbalancer.pp to top level.

Merge pull request #1 from dprince/loadbalancer

Add tripleo::loadbalancer.

Add tripleo::loadbalancer.

This class configures an HAProxy/keepalived setup for TripleO.

README: basic words for now.

Add basic structure for a Puppet module

Add .gitreview file

We prepare the repo for being hosting by OpenStack infra.

Initial commit