Convert service_name to underscore syntax

Currently we use hyphens, e.g cinder-api, but in overcloud.yaml
we have a lot of references to services (e.g for AllNodesConfig)
by underscore, e.g cinder_api.  To enable dynamic generation of
this data, we need the service name in underscore format.

Change-Id: Ief13dfe5d8d7691dfe2534ad5c39d7eacbcb6f70

Force a tty for sudo in get-occ-config.sh

This script will sometimes fail with "you must have a tty to run sudo"
depending on how it was executed. Add -tt to the $SSH_OPTIONS to always
force a tty.

Change-Id: Ic1144b9ba90d4af35db826a78e637da965569841
Closes-Bug: #1606544

Merge "Set MDS/OSD firewall ports from ceph-osd template"

Merge "Cleanup templates from the shared CephCluster config"

Merge "Composable firewall rules"

Merge "Convert Swift ringbuilder to composable services format"

Merge "Explicitly set nova and neutron host on controllers"

Merge "Remove tenant_id from nova v2.1 endpoint"

Set MDS/OSD firewall ports from ceph-osd template

Change-Id: Ie8d1678e6e32271ff31ea9dd7fcf7ef9e8956b86

Composable firewall rules

Split out the firewall rules in puppet/hieradata/controller.yaml
into the composable services

Depends-On: Id370362ab57347b75b1ab25afda877885b047263
Change-Id: Icaecab100d3f278035fbbb3facb9bf6c62c76c03

Cleanup templates from the shared CephCluster config

Removes from the templates the old CephCluster configuration and
deployment which before roles was distributing the shared settings
for the Ceph cluster configuration.

Change-Id: Ia704f5d7add85e52dd477f4bc758aa0a02e4b39b

Convert Swift ringbuilder to composable services format

This moves the ringbuilder puppet code to puppet-tripleo
and migrates to the composable services format.

Closes-Bug: #1601857
Change-Id: I0ea2230072d3ff61a4047ffff1f4187951370f67
Depends-On: I427f0b5ee93a0870d43419009178e0690ac66bd6

Merge "Move nova::db data within service template"

Merge "Fixes type and description for NeutronL3HA"

Merge "Remove unused redis_vip parameter"

Merge "Move mysql::host param from MysqlInternal to MysqlNoBracketsInternal"

Move nova::db data within service template

Change-Id: I86752248e59a2e98f8ff9b2c5998839f9ade4779

Add 'service_name' to composable services

This patch adds a new service_name section to each composable
service. We now have an explicit unit test check to ensure that
service_name exists in tools/yaml-validate.py.

This patch also wires service_names into hieradata on each
of the roles so that tools can access the deployed services locally
during deployment and upgrades.

Change-Id: I60861c5aa760534db3e314bba16a13b90ea72f0c

Merge "Deploy Horizon with composable apache service"

Fixes type and description for NeutronL3HA

puppet-neutron takes this variable as boolean.  Although it doesn't
change the behavior in master (because the variable is used directly as
config), in mitaka it is used as a conditional and should be properly
fixed.

Also a fix is needed in python-tripleoclient because it is hard coded to
be True there based on number of controllers being greater than 1.
Therefore we shoudl remove that logic from tripleoclient and implement
it in THT.  In order to do that the pacemaker version of the variable is
defaulted to true.

Partial-Bug: 1605379

Change-Id: I0b797dbe188382e2dc32506913aaa60a0a21bd68
Signed-off-by: Tim Rozet <trozet@redhat.com>

Explicitly set nova and neutron host on controllers

In I7d07c57b7276815c72d08acaa86f673e43eb0498 we set this for compute
nodes, but we also need it for controllers.  Otherwise when a
controller reboots it may come back up with a different host value,
which seems to break networking for anything that was created before
the reboot.  In my case, it changes from the short hostname (without
domain name) to the fqdn.  Since we set it to fqdn for the compute
nodes, let's do the same for controllers.

This moves all of the host setting to the base yaml of the nova
and neutron profiles.

Change-Id: Ieb793b9e9fd2dfc98584691412f9991aa99e0b47
Closes-Bug: 1604907

Move mysql::host param from MysqlInternal to MysqlNoBracketsInternal

The ::host parameter expects IPv6 addresses withouth brackets; this
change aligns the remaining services to use MysqlNoBracketsInternal
as it happens already for the others (eg. Keystone).

Change-Id: Ia72d325447408b1cb5fea836034bbcd75d17ddf1

Merge "Remove ::nova::cron::archive_deleted_rows"

Deploy Horizon with composable apache service

Deploy Horizon with composable apache service and don't include:
::tripleo::profile::pacemaker::apache

Because it's already included in the profiles in puppet-tripleo.

Change-Id: I5382d5cc95ba10805019142a9a223dbd4a4b8074
Depends-On: Id28c618133e53e28dfac7e3e9cf9f5f5a6b2421a

Merge "Include new apache pacemaker profile"

Merge "Remove the ControllerCount contraint"

Remove unused redis_vip parameter

Depends-On: I6ba962c682dc2ab8c6ee5238e0c176d9ae05d696
Change-Id: I796524128c49fe1927e96288d40b257a4d862ee7

Merge "Fix KeystoneWorkers default value"

Merge "Fix ceilometer auth url for compute"

Include new apache pacemaker profile

In https://review.openstack.org/345013 we are working to create a new
profile for Apache with Pacemaker. We can't include this class in the
profiles (keystone, etc) yet because it would cause a duplicate resource
error in Puppet catalog.

So we need to first clean the code in overcloud_controller_pacemaker.pp
and include the new class, and then we can either create a new
composable service in THT for apache or include the class directly in
puppet-tripleo profiles that need it (keystone, horizon, etc).

Change-Id: I1222fbf099b4268e33ec8ee32380f0a6b1d5e1af
Depends-On: I9ae6cee2bfb0f8974d41d700454cfde2df06c2d1

Fix KeystoneWorkers default value

The current default doesn't get expanded to its real value correctly,
the new one should work better, it's according to hiera docs:

https://docs.puppet.com/hiera/3.2/variables.html

Change-Id: I8d1df131d2f1eee4ae0f725358d33a3ecfa3175a

Fix ceilometer auth url for compute

Due to a recent change introduced in puppet ceilometer[1]
ceilometer auth type defaults to password type and v2
auth_url doesnt work with domain. This fixes the url to
not include suffix.

[1] https://review.openstack.org/#/c/320454/

Change-Id: If672b78b8ce9addf831f5b72a702447e1422f30e

Remove the ControllerCount contraint

Some deployments want to deploy zero controllers, and this will become
a more likely configuration when support for custom roles lands (e.g
a set of decomposed custom roles vs the monolithic controller role
may be deployed instead).

Change-Id: Idb21779f3ad9d875576bdb5e6502ed27a72600ba

Remove ::nova::cron::archive_deleted_rows

::nova::cron::archive_deleted_rows is not called in puppet-tripleo Nova
API profile.

Change-Id: Idc343e481ca04b404be5311b2908f016e4517aad
Depends-On: I7035f7998c11dc5508dae8c1a750b93c2944b2d4

Fix gnocchi::storage::ceph::ceph_keyring

This change configures gnocchi::storage::ceph::ceph_keyring to a
valid ceph keyring location.

Change-Id: I29fb0cb8a865353a43246a09d1c08eb0cf872cea
Closes-Bug: 1604508

Merge "Repurpose KeystoneWorkers add keystone::wsgi::apache::threads"

Merge "gnocchi: configure db_sync command in the profile"

Merge "Add MysqlNoBracketsInternal to enable-tls.yaml"

Merge "Remove enable_load_balancer on nonha manifest"

Merge "Don't collect gnocchi-service tag in THT"

Merge "Remove useless mongodb variables in ha manifest"

Merge "overcloud_compute.pp: remove nova_config params"

gnocchi: configure db_sync command in the profile

Configure db_sync extra command in the profile itself

Change-Id: Ia27068907a2149da2cb87b50ffe65b27a0542ed7

Remove enable_load_balancer on nonha manifest

The parameter is not used anywhere.

Change-Id: I31bd2b0524038b3a3b45f1c5b95fb02ef6cfa903

Merge "Missing CephClientKey parameter in puppet-ceph-devel and storage-environment"

Remove useless mongodb variables in ha manifest

Remove useless parameters that move to puppet-tripleo some time ago.

Change-Id: I54e99f2012f0dd12eb9e1cbad5bc73827019934a

Don't collect gnocchi-service tag in THT

The gnocchi-service tag is already collected in puppet-tripleo Pacemaker
Gnocchi profile and was not removed here.

Change-Id: Ic38aeae849d16db36663f16156d1c9fbcf86784a

overcloud_compute.pp: remove nova_config params

Remove usage of nova_config for 2 parameters. The parameters were here
for legacy and should not be useful anymore.

Change-Id: Ifd4e89ff43ab7ebc5c69dec526696eb9902aa621

Add MysqlNoBracketsInternal to enable-tls.yaml

Change-Id: Ife466e6a8b8112777d4c0e845e31fa633da5e53d

Move MySQL Galera within composable services

This patch just moves the Puppet code into puppet-tripleo.
A future iteration will be to move parameters within the service
template.

Closes-Bug: #1601853
Depends-On: I7ddae28a6affd55c5bffc15d72226a18c708850e
Change-Id: I51a05dbf53f516b200c146b35529ce563ce9ac7b

Merge "Composable Pacemaker service"

Composable Pacemaker service

Deploy Pacemaker using composable services.

Change-Id: I038514812af5a9f30260a81ea3366d46bee4ee4e
Depends-On: I46215f82480854b5e04aef1ac1609dd99455181b
Closes-Bug: #1601970

Ceilometer Compute Agent composable service

Implement the service for ceilometer agent compute.

Change-Id: I5ab3887832588ce26e2d258d05f725d87d2c103d

Remove ceilometer mysql db hieradata

We already moved this to service templates

Change-Id: Ic3c59a8ef753d8ea09900e9020779ccb55f3bd07

Merge "Gnocchi composable roles"

Merge "Fix network-isolation.yaml to stop clobbering Management net"

Merge "Combine BootstrapNodeDeployment with AllNodesDeployment"

Merge "compute: moving out iscsi bits, now in puppet-tripleo"

Merge "Composable OpenContrail compute plugin"

Merge "Composable Plumgrid compute plugin"

Merge "Composable Midonet compute plugin"

Merge "Composable Nuage Compute Plugin"

Merge "Composable Neutron Core Compute Plugin"

Merge "Use already Deployed/Installed servers"

Merge "Add a second proxy-logging middleware entry to swift-proxy"

Fix network-isolation.yaml to stop clobbering Management net

The network-isolation.yaml file explicitly set the Management
network to None and the ports to noop.yaml. This resulted in the
Management network being disabled if network-management.yaml was
included before network-isolation.yaml.

These changes comment out the Management declarations to show the
default, and mention that network-management.yaml may be included.
Since the Management network is disabled by default, it isn't
necessary to noop it here. This change also places the Redis VIP
in a more logical place next to the controller ports.

Change-Id: I50a71b3ddf77bda2d213821da5e4260b503a6cb7
Fixes-bug: 1602283

Composable OpenContrail compute plugin

Adds a new neutron compute plugin used to help configure opencontrail
for use on compute nodes.

Change-Id: I67a649445d5f1cb21ab9483bae7f5f4c2c657142

Composable Plumgrid compute plugin

Adds a new neutron compute plugin used to help configure plumgrid
for use on compute nodes.

Change-Id: Ied6493aba826a602b2ce73359d1acf26ebe89869

Composable Midonet compute plugin

Adds a new neutron compute plugin used to help configure midonet
for use on compute nodes.

Change-Id: I3a6996d3d9557ecad5ccd26a3901caccbf111468

Composable Nuage Compute Plugin

Adds a new neutron compute plugin used to help configure nuage
for use on compute nodes.

Change-Id: I732ec85d1f0605e562dacb02624a355e425d911a
Depends-On: Ic842ebdc183918ec9a24f83ae39adfba27bc799c

Composable Neutron Core Compute Plugin

Create a new resource registry entry for a Neutron "compute plugin".

For ML2 this may be the same os the NeutronComputePlugin but patches
for other vendors will follow that require extra bits on nodes
where VMs will be created.

This patch removes the ML2 code from the compute role and instead
uses the existing composable services.

NOTE: we are able to remove the puppet resource chain to force OVS to
get restarted due to puppet-neutron commit:
Idb1332dd498bb3065720f2ccaf68e6b0e9fa80c3 which should resolve that
issue.

Co-Authored-By: Emilien Macchi <emilien@redhat.com>
Depends-On: I95b9188607ab6c599ad4cde6faa1deb081618f3e
Change-Id: I2496372ca6e6ba9f52e9a8bb6e8dc731c125af13

compute: moving out iscsi bits, now in puppet-tripleo

Move bits from THT to puppet-tripleo.

Implements: blueprint composable-services-within-roles

Change-Id: I9866506b120afdf35891a396ea1bbe1c0f592b3f
Depends-On: I495a7af4220f0b35e9fd0a6cfc146610d8f46d10

Gnocchi composable roles

Implements: blueprint composable-services-within-roles

Co-Authored-By: Juan Antonio Osorio Robles <jaosorior@redhat.com>
Co-Authored-By: Carlos Camacho <ccamacho@redhat.com>
Depends-On: Id728aae79442c45ab48fe0914c065f1807e8890d

Closes-Bug: #1601846
Change-Id: I40a3815923099d00a0f3fc1d88a942784e7c6fb9

Composable Horizon service - tripleo-heat-templates

Add horizon as a composable service

Depends-on: Iff6508972edfd5f330b239719bc5eb14d3f71944
Change-Id: I734c3e0784c25f30adff2e13faf1155a3e45cefd
Partially-implements: blueprint composable-services-within-roles

Merge "Combine parameter_default fields"

Merge "Re-enable Ceilometer composable roles for controller"

Use already Deployed/Installed servers

This patch provides a set of templates that enables
tripleo-heat-templates to be used with a set of already deployed,
installed, and running servers. In this method, Nova and Ironic are not
used to deploy any servers.

This approach is attractive for POC deployments where dedicated
provisioning networks are not available, or other server install methods
are dictated for various reasons.

There are also assumptions that currently have to be made about the software
installed on the already deployed servers.  Effectively, they must match the
standard TripleO overcloud-full image.

Co-Authored-By: Steve Hardy <shardy@redhat.com>
Change-Id: I4ab1531f69c73457653f1cca3fe30cc32a04c129

Merge "neutron: remove tenant MTU configuration options"

Merge "Move ironic::db data within service template"

Missing CephClientKey parameter in puppet-ceph-devel and storage-environment

This change adds the CephClientKey parameter to puppet-ceph-devel.yaml
and storage-environment.yaml environment files. This is needed when
--ceph-storage is not passed to the openstack overcloud deploy command
as the tripleo client doesn't generate the keys.

Change-Id: Idfdce190c2ad4ae198fe17474aee19cb76dac5fb
Closes-Bug: #1601864

Re-enable Ceilometer composable roles for controller

This patch brings back Ceilometer composable roles for controller,
module some adjustments to make it work.

Fixes 3 issues in Ceilometer composable services

1) This patch fixes the hiera maps in the pacemaker ceilometer*
templates. These were lists and should be a map.

2) fixes a critical issue in ceilometer-base.yaml where the
password was incorrectly coded in the YAML using get_param on
a string which wasn't actually a parameter.

3) Fixes the ceilometer_coordination_url so that it uses a YAML anchor
as was implied instead of get_param on a string which wasn't a
parameter.

4) Fixes the default database connection to use mongodb and configured
in puppet-tripleo profile appropriately.

Co-Authored-By: Dan Prince <dprince@redhat.com>
Co-Authored-By: Pradeep Kilambi <pkilambi@redhat.com>
Closes-Bug: #1601844
Change-Id: Ia0a59121b9ffd5e07647f66137ce53870bc6b5d6

Add a second proxy-logging middleware entry to swift-proxy

Its absence results in swift using up all the memory available to it when
certain objects are requested, we are not sure exactly what triggers the
problem but we know this fixes it.

Change-Id: Iaf00a8a2a947e0683cc60fef2e75fd7c444d07a8
Closes-Bug: #1595916

Repurpose KeystoneWorkers add keystone::wsgi::apache::threads

Now that keystone is run with wsgi apache the KeystoneWorkers
param has no efffect [1]. This repurposes KeystoneWorkers to now
set wsgi::apache::workers and adds the
keystone::wsgi::apache::threads hardcoding to 1 (can overrride
via extraconfig data)

[1] https://github.com/openstack/puppet-keystone/blob/51c68fb127c28b9748b352871783c3ec6ef5c83b/manifests/init.pp#L396

Closes-Bug: 1598092
Change-Id: I503d1f0d3f4c56abfaf4609ea8290e78668013b6

Merge "Include bulk in swift proxy pipeline"

Move ironic::db data within service template

Change-Id: If0b8fbc783e694f4f744ad848103d40df985fc04

Merge "Move neutron::db data within service template"

Merge "Move sahara::db data within service template"

Merge "Move heat::db data within service template"

Merge "Move cinder::db data within service template"

Merge "Move glance::db data within service template"

Merge "Move keystone::db data within service template"

Merge "Pass MysqlVirtualIP without brackets to EndpointMap"

Merge "Set os-refresh-config timeout to 4 hours"

Merge "Template param for what command occ runs"

Move neutron::db data within service template

Change-Id: I07a81a2e1cc29df007bba11da82cf6661a55aadf

Move sahara::db data within service template

Change-Id: Ifb87f79e8cd692e6553d03df8394c74f51821e11

Move heat::db data within service template

Change-Id: I3fada6c5b0265bc6536c89da0ef4b709ead13b7d

Move cinder::db data within service template

Change-Id: I2aaf30289cc792e8860ca9c962d80baf7e804cbf

Move glance::db data within service template

Change-Id: I405bc9895160cc867f933e6b0d56546d460d2e3a

Composable Midonet for Neutron

Depends-On: I2393fc3c360f5f5786411f64dbcd06f380376093

Change-Id: I606cb1f7ef7d651b5d145bfa10ef3aa1561b1590
Partially-implements: blueprint composable-services-within-roles