Added Contrail Composable Services

changed parameter order

for tripleo heat templates see https://review.openstack.org/#/c/346799/

Implements: blueprint contrail-services

Change-Id: I8de63b6e21f8fdf3c2fd13bf5475cce4a85311d6

Merge "Handle redirects for keystone"

Handle redirects for keystone

If keystone sends a redirect and we have TLS enabled, we need to
modify the response in order to indicate https.

Change-Id: Icd61f527473bfe5153e058e94f9ed141cf13812d

Merge "Fix use of bootstrap_node in cinder base profile"

Merge "Fix mistral sync_db profile steps"

Merge "Only db-sync sahara is included in the bootstrapnode"

Fix mistral sync_db profile steps

The services in the mistral profiles were
limited to be executed only in the
bootstrap master node.

Change-Id: Iae42ffa37c4c9b1e070b7c3753e04c45bb97703f

Only db-sync sahara is included in the bootstrapnode

Currently, sahara's db-sync is run on every node. We should instead
run it if we're on the bootstrap node as race conditions may occur
and these will cause issues.

Change-Id: I5db281caae17402ff198cb4cd46304338d98c52e

Use modern auth options for Neutron

auth plugins should be used instead of deprecated admin_* options

Change-Id: I80da7ce0a3d11859dd9f2ae02cd9761b9b28ac27
Depends-on: I3018932a106df562e94067e037b3bc862be97b51

Fix use of bootstrap_node in cinder base profile

By inspecting bootstrap_nodeid in cinder base profile we can
set sync_db appropriately and not always default to true.

Change-Id: I2484b1d70a17436c0d8eab9ea8df927d57783784

Fix parameters and headers inconsistency in the puppet manifests.

As we are staring to manually check overcloud services
the first step is to check that the puppet profiles
are all aligned.

Changes applied:

  No logic added or removed in this submission.

  Removed unused parameters.

  Align header comments structure.

  All profiles parameters sorted following:
  "Mandatory params first sorted alphabetically
  then optional params sorted alphabetically."

Note: Following submissions will check pacemaker,
cinder, mistral and redis services in the base profiles
as some of them has the $pacemaker_master parameter
defaulted to true.

Change-Id: I2f91c3f6baa33f74b5625789eec83233179a9655

Merge "Convert ceph_pools into a hash type"

Convert ceph_pools into a hash type

By using create_resources we can create ceph::pool resources from
a hash. This will make it possible to define custom attributes
for the single pool from the heat templates.

Change-Id: I38978f0f3119e4ab7dd45021e598253cb066cb5a

New composable service: Sensu

Depends-On: Ic095cd1248cc2ffcef363893b20ff57f7befd6fc
Change-Id: Ia09d14fa9db07595d2e904bd9918e5645ea590c7

Merge "Add passing of X-Forwarded-Proto to Glance API endpoint"

Merge "Add zaqar API endpoint in HAProxy"

Merge "Remove keystone PKI cert generation"

Merge "Implement aodh profiles"

Remove keystone PKI cert generation

We don't currently offer any parameter interface to enable
PKI certs, and these have all been deprecated by keystone, so
remove them.

Change-Id: I8232262b928c91dcde7bea2f23fa2a7c2660719e

Merge "Fix mistral profile steps"

Merge "Configure Ceph/OSD after Ceph/Mon when on same node"

Add passing of X-Forwarded-Proto to Glance API endpoint

Glance supports the http_proxy_to_wsgi middlware, and it was recently
enabled in the overcloud [1]. However, for it to work properly, we
need to add the X-Forwarded-Proto header which was missing from the
HAProxy configuration.

[1] I4a8f7fc079ca93c50aa0ef7b0548dc64f6c5cfa0

Change-Id: I82e2db1145b0476cec27676fdfbb97e86cbd8182

Add zaqar API endpoint in HAProxy

This will enable us to terminate SSL connections for Zaqar's API.

Change-Id: If75e2947a2dca95b3e53e1b1ffd93f36fc7fb1cc

Merge "Next generation HA architecture work"

Implement aodh profiles

Change-Id: Ie48a123cc5bc402aee635a5daf118b158c6f3b6a
Implements: blueprint refactor-puppet-manifests

Merge "Add base nova-ironic profile"

Merge "Fix Ironic dbsync ordering"

Merge "Remove unnecessary certmonger manifest"

Fix mistral profile steps

Fixing Mistral profile
when deploying the service.

Change-Id: I942d419be951651e305d01460f394870c30a9878

Remove unused parameter in sahara

Remove unused parameter in sahara

Change-Id: I46c033b410ab850289b798ee93990b6fb10c80ea

Merge "Fixup nit in manila pacemaker profile, duplicate variable"

Merge "Run local CA trust before haproxy deployment"

Fixup nit in manila pacemaker profile, duplicate variable

See discussion at https://review.openstack.org/#/c/342961/8

Change-Id: I571b65a5402c1028418476a573ebeb9450ed00c9

Remove unnecessary certmonger manifest

The original intent of this manifest was to set the defaults for the
CA and some other values when requesting certificates via certmonger.
However, this approach doesn't work and in the undercloud we ended up
doing this via hieradata instead. So this file is not used.

Change-Id: I552d504091acc0d5588e30d14bc2fc85d7b7ecea

Next generation HA architecture work

This change moves the cinder-volume/cinder-scheduler constraints in the
cinder-scheduler profile as these can't be applied by the cinder-volume
service when cinder-scheduler isn't managed by Pacemaker.

Blueprint:
https://blueprints.launchpad.net/tripleo/+spec/ha-lightweight-architecture

Change-Id: I5e7585c08675d8a4bd071523b94210d325d79b59
Implements: blueprint ha-lightweight-architecture
Co-Author: cmsj@tenshu.net

New composable service: FluentD

Change-Id: I278dfee01ed24713dec29aae55d2c7bdcb7e74bc

Run local CA trust before haproxy deployment

Before haproxy tries to use the TLS certificates it should already
trust the CA. So it's necessary for the local CA-related manifest to
notify the ::tripleo::haproxy class.

This works for newly set deployments. deployments that have already
ran the ca-trust section will already trust the CA and thus won't
need that part.

Change-Id: I32ded4e33abffd51f220fb8a7dc6263aace72acd

Move constraints to their respective services

The openstack-core-then-httpd constraint needs to live in the apache
pacemaker manifest and not in the main controller manifest file.
The same goes for those specific vsm/cisco neutron resources.

Change-Id: I2041d4d163f051427b62eec07b8345ad7006cc1d

Merge "Move nova constraints from controller manifest to each service"

Merge "Remove global openstack-core resource"

Merge "Create role for the fake openstack-core resource"

Move nova constraints from controller manifest to each service

Currently we are still creating all the pacemaker constraints for nova
in the main overcloud_controller_pacemaker.pp manifest file.

Let's move those to each role where they belong. Note that given
that a constraint depends on two separate pacemaker resources it is
a bit arbitrary in which file they end up being (the one of the first
resource or the second one).

Change-Id: I96a3a313d15fac820b020feae0568437c2cbade3

Remove global openstack-core resource

The openstack-core resource is not needed by the NG Pacemaker
architecture. It was moved into an isolated role by [1] so that
it could optionally be enabled when wanting the older architecture.

This submission removes the old openstack-core global resource.

1. I74a62973146c0261385ecf5fd3d06db51e079caa

Change-Id: I16a786ce167c57848551c7245f4344c382c55b3d

Create role for the fake openstack-core resource

Change-Id: I74a62973146c0261385ecf5fd3d06db51e079caa

profile/base/nova: declare nova class and configure cache correctly.

Nova {} workaround is not working correctly, we need to merge this patch
so we can move out ::nova from THT completely.

Also we need to use nova::cache to configure memcached parameters.

Co-Authorized-By: Giulio Fidente <gfidente@redhat.com>
Co-Authorized-By: Sven Anderson <sven@redhat.com>
Co-Authorized-By: Emilien Macchi <emilien@redhat.com>
Depends-On: I52d5badb9960124bb8fcb54983db2853c4185e77
Depends-On: I3e400a5f64b85f0d374fc02cc5e4080d19d0f2e4
Depends-On: Iee5f8015cbf40ca0e9a435a7de919ebdb74cf93f

Change-Id: Ie4e72e765f6a8ade48d4b2b766f067872554d1a2

Unit tests for HAproxy dual stack

Change-Id: I6a959609523bd7fa681cd86522a56fff7c92352b

Merge "Implement tripleo::network::os_net_config class"

Merge "Add firewall::service_rules define"

Merge "Add base constraint so gnocchi metricd is tied to core-clone"

Merge "Add swift ringbuilder profile"

Implement tripleo::network::os_net_config class

This class will be used on the undercloud to deploy os_net_config.

Change-Id: I507c237a35250b660b37ea8cfc4e8e7f97ae21e2

Merge "use parameter to lookup the step instead of hiera again"

Merge "Remove unused redis_vip parameter"

use parameter to lookup the step instead of hiera again

In some profiles, we were looking up the $step by using Hiera
again, while we already do it in the parameter definition.
When using this class outside THT, it will fail but with this patch, we
could use just set the $step parameter and the rest of the manifest will
work.

Change-Id: I7082f47204fb4e529b164e4c4f1032e7bdd88f02

Generate HAProxy certificates in base profile

This gives the option to generate the service certificate(s) that
HAProxy will use. This will be used for both the overcloud and the
undercloud.

bp tls-via-certmonger

Change-Id: I3d0b729d0bad5252c1ae8852109c3a70c0c6ba7d

Merge "Deploy Keystone and Gnocchi API with new Apache profile"

Merge "Include gnocchi config on non-bootstrap nodes"

Add firewall::service_rules define

This patch updates the tripleo::firewall class so that it will
support loading firewall rules defined in composable services
via the following hiera keys (for nova-api for example):

  tripleo.nova_api.firewall_rules

This patch relies on a new 'service_names' hiera array that should be
provided on all TripleO overcloud nodes.

Depends-On: I60861c5aa760534db3e314bba16a13b90ea72f0c
Change-Id: Id370362ab57347b75b1ab25afda877885b047263

Merge "deploy composable firewall rules for HAproxy"

Merge "Ensure the Heat Domain parameters before starting heat-engine pcmk service"

Merge "Add class to use certmonger's local CA"

Deploy Keystone and Gnocchi API with new Apache profile

Deploy Keystone and Gnocchi API with the new Apache/Pacemaker profile.

Change-Id: Id28c618133e53e28dfac7e3e9cf9f5f5a6b2421a

Remove unused redis_vip parameter

Change-Id: I6ba962c682dc2ab8c6ee5238e0c176d9ae05d696

Merge "nova/api: purge archive_deleted_rows via cron"

Merge "Implement Apache pacemaker profile"

Add class to use certmonger's local CA

This class extracts the certificate and adds it to the trusted certs.

bp tls-via-certmonger

Change-Id: I6dc1e0469cd7dbbb51659c8f29975d25b2941ec3

Include gnocchi config on non-bootstrap nodes

Change I67a15dc83a754fb6f5fe25c64ae9e7d29c58fcec removed the
gnocchi configuration completely from non-bootstrap nodes.  This
changes it so the configuration is included on all nodes, but the
db sync is only included on bootstrap.

Change-Id: If402becc900c175f5b3bb95c3413276e5a04b4f7
Closes-Bug: 1604708

Implement Apache pacemaker profile

Deploy Apache with Pacemaker in a new profile.

Change-Id: I9ae6cee2bfb0f8974d41d700454cfde2df06c2d1

Remove templates/database

Not used anymore anywhere.

Change-Id: Iae0709cca8faa62698bed977e0e364eb8f88f4f7

Add base constraint so gnocchi metricd is tied to core-clone

Currently if we manually restart the cluster saometimes gnocchi statsd
doesnt comeup as galera is not up yet. This should tie the metrics to
core and follow the order.

Closes-bug: #1604860

Change-Id: I5ec29622938336410b91785ca49b410bcdd30cdd

Ensure the Heat Domain parameters before starting heat-engine pcmk service

Heat needs stack_user_domain_id or stack_user_domain_name config
options set in the heat.conf before starting. The domain itself
doesn't need to exist until a stack is actually created, but the
value needs to be there. This patch ensures that the heat domain
parameters are configured before starting the heat-engine service
with Pacemaker at step3 and 4, and at step5, Pacemaker will start
the services and Puppet will create the domains.
(note: commit message copied from
https://review.openstack.org/#/c/331652/ to mitaka tht, which came
first)

Change-Id: I58fa53357265c1607d2df1b04cc2296083212ab7
Closes-Bug: 1599232

Merge "Make ::tripleo::profile::base classes work with multiple nodes"

Merge "make sure we start nova-compute after nova-conductor"

Add base nova-ironic profile

Configures a nova-compute instance to use Ironic.

Change-Id: I4f817aba542cfaa386b3c0617feae90c61579b43
Partially-Implements: blueprint ironic-integration

Fix Ironic dbsync ordering

Including ::ironic runs ironic-dbsync by default, so we end up with
ironic-dbsync run before the database is created. This patch fixes it.

Change-Id: I6fef1de18e52b68caaf4cbd55c0408b98b5c26e0
Partially-Implements: blueprint ironic-integration

Merge "openstack-core resource does not have interleave=true"

Only sync the gnocchi db on the pacemaker master

The gnocchi db sync is being run from multiple controllers causing errors in
CI. See the bug for more details.

Change-Id: I67a15dc83a754fb6f5fe25c64ae9e7d29c58fcec
Closes-Bug: #1604624

Make ::tripleo::profile::base classes work with multiple nodes

In the Next Generation HA architecture a number of active/active services
will be run via systemd. In order for this to work we need to make sure that
the sync_db operation only takes place on the bootstrap node, just like it is
done today for the pacemaker profiles.

We do this by removing sync_db as a parameter and instead set it to true
or false depending if the hostname matches the bootstrap_node as it is done
today in the pacemaker role.

Note that we call hiera('bootstrap_nodeid', undef) because if a profile
is included on a non controller node that variable will be undefined.

The following testing was done:
- HA puppet-pacemaker.yaml scenario with three computes
- NonHA with one controller
- NonHA with three controllers

Fixes-Bug: 1600149

Co-Author: cmsj@tenshu.net

Change-Id: I04a7b9e3c18627ea512000a34357acb7f27d6e0e
Implements: blueprint ha-lightweight-architecture

Add principal to certmonger's haproxy helper

The principal is needed for kerberos-based solutions like FreeIPA.

bp tls-via-certmonger

Change-Id: Ie27848f522d11135b061aef766de2b696c77fcb9

nova/api: purge archive_deleted_rows via cron

The code was in THT before but now in the Nova API profile.

Change-Id: I7035f7998c11dc5508dae8c1a750b93c2944b2d4

Merge "Add MySQL profiles"

Merge "Add resource for requesting certificates for HAProxy"

openstack-core resource does not have interleave=true

The dummy openstack-core resource was meant to replace keystone so that
restarting keystone would not restart the whole cloud. When this
resource was introduced the paramter interleave=true was mistakenly left
out.

This causes a simple promote operation on the galera resource to restart
openstack-core and its children.

Change-Id: Ic590005a9419be87e6e6ea131b0ac0630c5afc19
Closes-Bug: 1603381

Merge "Add Mistral profiles"

Add Mistral profiles

Add Mistral profiles for non-ha and ha scenarios

Change-Id: I1a072326091fd3b0c21d2f78041e3532b67c60eb
Implements: blueprint refactor-puppet-manifests
Depends-On: I6ce61054384c15876c498ba8cf582f88d9f7f54c

Add swift ringbuilder profile

I think this will need refinement in future, but for now this is
just a copy of what we have in t-h-t

Change-Id: I427f0b5ee93a0870d43419009178e0690ac66bd6
Partially-Implements: blueprint refactor-puppet-manifests

Merge "Add base certmonger class"

Merge "Implement Pacemaker service profile"

Merge "Fix retrieval of hostname fact based on network."

Add MySQL profiles

Add MySQL profiles, for non-ha and ha scenarios.

Change-Id: I7ddae28a6affd55c5bffc15d72226a18c708850e
Closes-Bug: #1601853

Add resource for requesting certificates for HAProxy

This resource will be used in both the overcloud and the undercloud,
and can be called in several instances (for public-facing or
internal-facing certificates).

bp tls-via-certmonger

Change-Id: I0410fe0dbbed97d16909e911f7318d78a5bd7d7b

Add base certmonger class

This base class just executes the main certmonger include (which gets
the package and starts the service) and configures the global CA, as
well as some options for the certificates that it will be issuing.

bp tls-via-certmonger

Change-Id: Ib748946130209bf9ccf6670b6f3fbbe0424400ec

Merge "Drop the neutron dnsmasq config file options"

Merge "Move gnocchi clustercheck to step 2"

Merge "profile/nova/compute: add iscsi bits"

Implement Pacemaker service profile

Change-Id: I46215f82480854b5e04aef1ac1609dd99455181b
Closes-Bug: #1601970

Move gnocchi clustercheck to step 2

As not having guarantee of being installed on same node, the dbsync
will be on step 3 and the clustercheck on 2.

Change-Id: Id728aae79442c45ab48fe0914c065f1807e8890d

Merge "Composable Horizon service - puppet-tripleo"

Merge "Add ironic inspector as a terminated HAProxy endpoint"

Composable Horizon service - puppet-tripleo

Change-Id: Iff6508972edfd5f330b239719bc5eb14d3f71944
Implements: blueprint refactor-puppet-manifests