Unit tests for HAproxy dual stack

Change-Id: I6a959609523bd7fa681cd86522a56fff7c92352b

Merge "Implement tripleo::network::os_net_config class"

Merge "Add firewall::service_rules define"

Merge "Add base constraint so gnocchi metricd is tied to core-clone"

Merge "Add swift ringbuilder profile"

Implement tripleo::network::os_net_config class

This class will be used on the undercloud to deploy os_net_config.

Change-Id: I507c237a35250b660b37ea8cfc4e8e7f97ae21e2

Merge "use parameter to lookup the step instead of hiera again"

Merge "Remove unused redis_vip parameter"

use parameter to lookup the step instead of hiera again

In some profiles, we were looking up the $step by using Hiera
again, while we already do it in the parameter definition.
When using this class outside THT, it will fail but with this patch, we
could use just set the $step parameter and the rest of the manifest will
work.

Change-Id: I7082f47204fb4e529b164e4c4f1032e7bdd88f02

Generate HAProxy certificates in base profile

This gives the option to generate the service certificate(s) that
HAProxy will use. This will be used for both the overcloud and the
undercloud.

bp tls-via-certmonger

Change-Id: I3d0b729d0bad5252c1ae8852109c3a70c0c6ba7d

Merge "Deploy Keystone and Gnocchi API with new Apache profile"

Merge "Include gnocchi config on non-bootstrap nodes"

Add firewall::service_rules define

This patch updates the tripleo::firewall class so that it will
support loading firewall rules defined in composable services
via the following hiera keys (for nova-api for example):

  tripleo.nova_api.firewall_rules

This patch relies on a new 'service_names' hiera array that should be
provided on all TripleO overcloud nodes.

Depends-On: I60861c5aa760534db3e314bba16a13b90ea72f0c
Change-Id: Id370362ab57347b75b1ab25afda877885b047263

Merge "deploy composable firewall rules for HAproxy"

Merge "Ensure the Heat Domain parameters before starting heat-engine pcmk service"

Merge "Add class to use certmonger's local CA"

Deploy Keystone and Gnocchi API with new Apache profile

Deploy Keystone and Gnocchi API with the new Apache/Pacemaker profile.

Change-Id: Id28c618133e53e28dfac7e3e9cf9f5f5a6b2421a

Remove unused redis_vip parameter

Change-Id: I6ba962c682dc2ab8c6ee5238e0c176d9ae05d696

Merge "nova/api: purge archive_deleted_rows via cron"

Merge "Implement Apache pacemaker profile"

Add class to use certmonger's local CA

This class extracts the certificate and adds it to the trusted certs.

bp tls-via-certmonger

Change-Id: I6dc1e0469cd7dbbb51659c8f29975d25b2941ec3

Include gnocchi config on non-bootstrap nodes

Change I67a15dc83a754fb6f5fe25c64ae9e7d29c58fcec removed the
gnocchi configuration completely from non-bootstrap nodes.  This
changes it so the configuration is included on all nodes, but the
db sync is only included on bootstrap.

Change-Id: If402becc900c175f5b3bb95c3413276e5a04b4f7
Closes-Bug: 1604708

Implement Apache pacemaker profile

Deploy Apache with Pacemaker in a new profile.

Change-Id: I9ae6cee2bfb0f8974d41d700454cfde2df06c2d1

Remove templates/database

Not used anymore anywhere.

Change-Id: Iae0709cca8faa62698bed977e0e364eb8f88f4f7

Add base constraint so gnocchi metricd is tied to core-clone

Currently if we manually restart the cluster saometimes gnocchi statsd
doesnt comeup as galera is not up yet. This should tie the metrics to
core and follow the order.

Closes-bug: #1604860

Change-Id: I5ec29622938336410b91785ca49b410bcdd30cdd

Ensure the Heat Domain parameters before starting heat-engine pcmk service

Heat needs stack_user_domain_id or stack_user_domain_name config
options set in the heat.conf before starting. The domain itself
doesn't need to exist until a stack is actually created, but the
value needs to be there. This patch ensures that the heat domain
parameters are configured before starting the heat-engine service
with Pacemaker at step3 and 4, and at step5, Pacemaker will start
the services and Puppet will create the domains.
(note: commit message copied from
https://review.openstack.org/#/c/331652/ to mitaka tht, which came
first)

Change-Id: I58fa53357265c1607d2df1b04cc2296083212ab7
Closes-Bug: 1599232

Merge "Make ::tripleo::profile::base classes work with multiple nodes"

Merge "make sure we start nova-compute after nova-conductor"

Merge "openstack-core resource does not have interleave=true"

Only sync the gnocchi db on the pacemaker master

The gnocchi db sync is being run from multiple controllers causing errors in
CI. See the bug for more details.

Change-Id: I67a15dc83a754fb6f5fe25c64ae9e7d29c58fcec
Closes-Bug: #1604624

Make ::tripleo::profile::base classes work with multiple nodes

In the Next Generation HA architecture a number of active/active services
will be run via systemd. In order for this to work we need to make sure that
the sync_db operation only takes place on the bootstrap node, just like it is
done today for the pacemaker profiles.

We do this by removing sync_db as a parameter and instead set it to true
or false depending if the hostname matches the bootstrap_node as it is done
today in the pacemaker role.

Note that we call hiera('bootstrap_nodeid', undef) because if a profile
is included on a non controller node that variable will be undefined.

The following testing was done:
- HA puppet-pacemaker.yaml scenario with three computes
- NonHA with one controller
- NonHA with three controllers

Fixes-Bug: 1600149

Co-Author: cmsj@tenshu.net

Change-Id: I04a7b9e3c18627ea512000a34357acb7f27d6e0e
Implements: blueprint ha-lightweight-architecture

Add principal to certmonger's haproxy helper

The principal is needed for kerberos-based solutions like FreeIPA.

bp tls-via-certmonger

Change-Id: Ie27848f522d11135b061aef766de2b696c77fcb9

nova/api: purge archive_deleted_rows via cron

The code was in THT before but now in the Nova API profile.

Change-Id: I7035f7998c11dc5508dae8c1a750b93c2944b2d4

Merge "Add MySQL profiles"

Merge "Add resource for requesting certificates for HAProxy"

openstack-core resource does not have interleave=true

The dummy openstack-core resource was meant to replace keystone so that
restarting keystone would not restart the whole cloud. When this
resource was introduced the paramter interleave=true was mistakenly left
out.

This causes a simple promote operation on the galera resource to restart
openstack-core and its children.

Change-Id: Ic590005a9419be87e6e6ea131b0ac0630c5afc19
Closes-Bug: 1603381

Merge "Add Mistral profiles"

Add Mistral profiles

Add Mistral profiles for non-ha and ha scenarios

Change-Id: I1a072326091fd3b0c21d2f78041e3532b67c60eb
Implements: blueprint refactor-puppet-manifests
Depends-On: I6ce61054384c15876c498ba8cf582f88d9f7f54c

Add swift ringbuilder profile

I think this will need refinement in future, but for now this is
just a copy of what we have in t-h-t

Change-Id: I427f0b5ee93a0870d43419009178e0690ac66bd6
Partially-Implements: blueprint refactor-puppet-manifests

Merge "Add base certmonger class"

Merge "Implement Pacemaker service profile"

Merge "Fix retrieval of hostname fact based on network."

Add MySQL profiles

Add MySQL profiles, for non-ha and ha scenarios.

Change-Id: I7ddae28a6affd55c5bffc15d72226a18c708850e
Closes-Bug: #1601853

Add resource for requesting certificates for HAProxy

This resource will be used in both the overcloud and the undercloud,
and can be called in several instances (for public-facing or
internal-facing certificates).

bp tls-via-certmonger

Change-Id: I0410fe0dbbed97d16909e911f7318d78a5bd7d7b

Add base certmonger class

This base class just executes the main certmonger include (which gets
the package and starts the service) and configures the global CA, as
well as some options for the certificates that it will be issuing.

bp tls-via-certmonger

Change-Id: Ib748946130209bf9ccf6670b6f3fbbe0424400ec

Merge "Drop the neutron dnsmasq config file options"

Merge "Move gnocchi clustercheck to step 2"

Merge "profile/nova/compute: add iscsi bits"

Implement Pacemaker service profile

Change-Id: I46215f82480854b5e04aef1ac1609dd99455181b
Closes-Bug: #1601970

Move gnocchi clustercheck to step 2

As not having guarantee of being installed on same node, the dbsync
will be on step 3 and the clustercheck on 2.

Change-Id: Id728aae79442c45ab48fe0914c065f1807e8890d

Merge "Composable Horizon service - puppet-tripleo"

Merge "Add ironic inspector as a terminated HAProxy endpoint"

Composable Horizon service - puppet-tripleo

Change-Id: Iff6508972edfd5f330b239719bc5eb14d3f71944
Implements: blueprint refactor-puppet-manifests

Fix retrieval of hostname fact based on network.

When Facter.value(:domain) is nil the facts fqdn_<network> are failing
with :

Could not retrieve fact='fqdn_external', resolution='<anonymous>': undefined method `empty?' for nil:NilClass

Change-Id: I3e7fa983d4cf91c6ab25f9aa4c353b364f44826e
Closes-bug: 1595125

Merge "Split Sahara pacemaker roles into separate services"

Merge "Add new nuage agent profile."

Merge "Fix Ceilometer profiles"

Add new nuage agent profile.

The Nuage agent will also get used on compute nodes.

Change-Id: Ic842ebdc183918ec9a24f83ae39adfba27bc799c

Add new midonet_agent profile.

We include this from the midonet profile (which is for the controller).
Agent will also get used on compute nodes as well.

Change-Id: I2393fc3c360f5f5786411f64dbcd06f380376093

Use include for base neutron profile

Simplify the base neutron profile so that we always include
the neutron and neutron::config classes at step 3. In doing so
we can now simplify the pacemaker version to use a simple include
which will avoid duplicate class errors.

Change-Id: I95b9188607ab6c599ad4cde6faa1deb081618f3e

Split Sahara pacemaker roles into separate services

In order for each service to operate independently when used with Pacemaker,
the roles needed to be separated.

This also drops all pacemaker constraints, as they do not make much sense
in the composable realm.

Change-Id: Id61eb15b1e2366f5b73c6e7d47941651e40651b1
Partial-Bug: #1592284

Fix Ceilometer profiles

* Configure ceilometer to default mongodb backend.
* remove useless sync_db parameter in pacemaker class.
* Remove duplicated resource for ceilometer central agent service with
  pcmk.
* Remove pacemaker delay resource dependency, the resource does not
  exist anymore.

Change-Id: Ie337bfe770c5b22158dc307eb36e39c2b93b95a9

make sure we start nova-compute after nova-conductor

When nova-compute and nova-conductor are collocated, we need to make
sure nova-conductor starts before nova-compute otherwise nova-compute
will just fail to start.

Change-Id: Icc3ed768af2a08e2db78d9c9278d309a62d26850

deploy composable firewall rules for HAproxy

Deploy composable iptables rules for HAproxy.
Note: we can't use Hiera here because we have some logic in
puppet-tripelo that select the services that we actually deploy.
Using this code in the Define will easily create IPtables rules that we
actually need. Some other services will be able to create IPtables rules
in Hiera (in THT), but not HAproxy now.

Change-Id: If03b18992c68461e97789c0318078a0b243c84fe

Merge "Add non-pcmk Trove API/Conductor/Taskmanager profiles"

Merge "Create kernel profile"

Merge "Add gnocchi profiles"

Merge "neutron/plugins/ml2/bigswitch: do not require agent"

Merge "nova: do not manage nova-compute with pacemaker"

Merge "Split Heat pacemaker roles into separate services"

Add gnocchi profiles

Implements: blueprint refactor-puppet-manifests

Co-Authored-By: Carlos Camacho <ccamacho@redhat.com>
Co-Authored-By: Juan Antonio Osorio Robles <jaosorior@redhat.com>
Change-Id: I38f218da118c45f3af1938eb17298017f4c70e24

Create kernel profile

It will load and configure kernel modules.

Change-Id: If4f1047ff8c193a14b821d8b826f637872cf62bd

nova: do not manage nova-compute with pacemaker

In the case where all services are installed on the same node
(All-In-One), we don't want Pacemaker to manage nova-compute. This patch
makes the Nova service more specific for overriding start/stop/restart
actions, to be applied only for services that usually run on
controllers.

Change-Id: I81a86331cff4e7988e035ada82834a45a6bb99c1

Merge "nova/compute: add NFS bits"

Merge "Set bootstrap_nodeid to undef by default"

Merge "Replace reference to cinder:: parameter with nova:: parameter"

Merge "Default ceph_osd_selinux_permissive to false"

Merge "Support deprecated enable_ceph_storage boolean"

Set bootstrap_nodeid to undef by default

bootstrap_nodeid is a parameter looked-up with Hiera but only set on
controllers. With the transition to composable roles, we don't need to
set this parameter on compute nodes, so let's just default this value by
undef so we can deploy Neutron classes on compute nodes.

Change-Id: I94034f696c163969a7489d9cb0a20423210d3b84

Replace reference to cinder:: parameter with nova:: parameter

Changes a reference to a cinder:: parameter into the nova compute
class to a nova:: parameter, which makes sure we're not trying
to access "out of bound" parameters.

Change-Id: I871ef420700e6d0ee5c1e444e019d58b3a9a45a6

Merge "Set manage_roles for all steps in Keystone/Pacemaker"

Merge "nova: manage migration bits in a composable way"

Default ceph_osd_selinux_permissive to false

We don't set selinux in 'permissive' mode by default anymore.

Change-Id: I1aa46086f69e7c3efd2782da62fd18ade8343fde
Partial-Bug: 1595518

Support deprecated enable_ceph_storage boolean

This was missing in the initial revision of the Ceph modules but we
want to support usage of the old parameter for a cycle.

Change-Id: I7ac096feb9f5655003becd79d2eea355a047c90b

nova/compute: add NFS bits

Deploy NFS bits that were in THT before.

Change-Id: I75d68cc766ad274b16b22f43b7d34d02ab26de13

Merge "Nova API and Neutron server should run database creation in step 3"

Merge "neutron plugins: include neutron base"

Merge "Remove base/neutron/ml2.pp"

Resolve duplicate base::ceilometer issues

We are seeing CI failures in Ia0a59121b9ffd5e07647f66137ce53870bc6b5d6
due to duplicate Tripleo::Profile::Base::Ceilometer.

Also, this patch gets the pacemaker_master variable out of the
'base' tree.

Change-Id: I2cf3362528235fcdeaef1491f86c05f4995938da

Nova API and Neutron server should run database creation in step 3

We perform the Galera setup in step 2 so there is no guarantee that the
database will be available in that same step [1].

We used to implement a dependency in puppet using the 'galera-ready'
resource (clustercheck) but this is not possible with roles because we
also don't have any guarantee about clustercheck being installed on the
same node.

Because of the above all services must create/sync their databases
in a later step. This patch fixes Nova API and Neutron Server, the other
services use step 3 already.

1. https://github.com/openstack/tripleo-heat-templates/blob/master/puppet/services/README.rst

Change-Id: I22750ffb64afbe40b5560a6a0d0dabc5b8927d32

nova: manage migration bits in a composable way

Allow to enable/disable migration bits from a single place, and select
which services are running on a node.
The use case here is to allow container deployements where libvirt &
nova-compute are separated.
Also support collocation for backward compatibility.

Change-Id: I0b765f8cb08633005c1fc5a5a2a8e5658ff44302

profile/nova/compute: add iscsi bits

Add iscsi bits allowing live migration.

Change-Id: I495a7af4220f0b35e9fd0a6cfc146610d8f46d10

neutron/plugins/ml2/bigswitch: do not require agent

A change in puppet-neutron now makes sure what agent has
python-networking-bigswitch package which was required on the agent, so
we don't need to load the plugin on the agent node anymore.

Change-Id: Ibde20ddb74da10e6eb0637a9ae37a550d33c038f
Depends-On: I651515b865802e59fa1234b87f82a0020e3bb9ca

Merge "Add puppet profile for swift storage"

Set manage_roles for all steps in Keystone/Pacemaker

We the base::keystone profile is trying to create users and roles
before step 5, this change will set the a value for manage_roles
from the pacemaker profile for all steps.

Change-Id: I7aca8d6418988160641b29f9396a0fbe33b64e51

neutron plugins: include neutron base

neutron base is required by plugins to work correctly. Let's add it here
so we don't have to deal with it in THT.

Change-Id: Icaf6b0479297983220874d7ee9ea2c3336706332

Remove base/neutron/ml2.pp

Not used anymore.

Change-Id: Id3f943132fce235a5a4888da30332b8fc2434a78
Depends-On: I6436c5c36ac0081a720cb8a737a573b1246127a1

Merge "Add base ironic profiles"

Revert "Pin puppet-lint-absolute_classname-check to 0.1.3"

This reverts commit b546ad26fbdc98e6ae09d41b2ab2982db4c55135.
Bug was fixed, see:
https://github.com/voxpupuli/puppet-lint-absolute_classname-check/releases/tag/0.2.2

Change-Id: I95727fa7763064ab06bbccead9bf80d913863b5d

Merge "Add Ceph profiles"