Add 'service_name' to composable services

This patch adds a new service_name section to each composable
service. We now have an explicit unit test check to ensure that
service_name exists in tools/yaml-validate.py.

This patch also wires service_names into hieradata on each
of the roles so that tools can access the deployed services locally
during deployment and upgrades.

Change-Id: I60861c5aa760534db3e314bba16a13b90ea72f0c

Merge "Deploy Horizon with composable apache service"

Merge "Remove ::nova::cron::archive_deleted_rows"

Deploy Horizon with composable apache service

Deploy Horizon with composable apache service and don't include:
::tripleo::profile::pacemaker::apache

Because it's already included in the profiles in puppet-tripleo.

Change-Id: I5382d5cc95ba10805019142a9a223dbd4a4b8074
Depends-On: Id28c618133e53e28dfac7e3e9cf9f5f5a6b2421a

Merge "Include new apache pacemaker profile"

Merge "Remove the ControllerCount contraint"

Merge "Fix KeystoneWorkers default value"

Merge "Fix ceilometer auth url for compute"

Include new apache pacemaker profile

In https://review.openstack.org/345013 we are working to create a new
profile for Apache with Pacemaker. We can't include this class in the
profiles (keystone, etc) yet because it would cause a duplicate resource
error in Puppet catalog.

So we need to first clean the code in overcloud_controller_pacemaker.pp
and include the new class, and then we can either create a new
composable service in THT for apache or include the class directly in
puppet-tripleo profiles that need it (keystone, horizon, etc).

Change-Id: I1222fbf099b4268e33ec8ee32380f0a6b1d5e1af
Depends-On: I9ae6cee2bfb0f8974d41d700454cfde2df06c2d1

Fix KeystoneWorkers default value

The current default doesn't get expanded to its real value correctly,
the new one should work better, it's according to hiera docs:

https://docs.puppet.com/hiera/3.2/variables.html

Change-Id: I8d1df131d2f1eee4ae0f725358d33a3ecfa3175a

Fix ceilometer auth url for compute

Due to a recent change introduced in puppet ceilometer[1]
ceilometer auth type defaults to password type and v2
auth_url doesnt work with domain. This fixes the url to
not include suffix.

[1] https://review.openstack.org/#/c/320454/

Change-Id: If672b78b8ce9addf831f5b72a702447e1422f30e

Remove the ControllerCount contraint

Some deployments want to deploy zero controllers, and this will become
a more likely configuration when support for custom roles lands (e.g
a set of decomposed custom roles vs the monolithic controller role
may be deployed instead).

Change-Id: Idb21779f3ad9d875576bdb5e6502ed27a72600ba

Remove ::nova::cron::archive_deleted_rows

::nova::cron::archive_deleted_rows is not called in puppet-tripleo Nova
API profile.

Change-Id: Idc343e481ca04b404be5311b2908f016e4517aad
Depends-On: I7035f7998c11dc5508dae8c1a750b93c2944b2d4

Fix gnocchi::storage::ceph::ceph_keyring

This change configures gnocchi::storage::ceph::ceph_keyring to a
valid ceph keyring location.

Change-Id: I29fb0cb8a865353a43246a09d1c08eb0cf872cea
Closes-Bug: 1604508

Merge "Repurpose KeystoneWorkers add keystone::wsgi::apache::threads"

Merge "gnocchi: configure db_sync command in the profile"

Merge "Add MysqlNoBracketsInternal to enable-tls.yaml"

Merge "Remove enable_load_balancer on nonha manifest"

Merge "Don't collect gnocchi-service tag in THT"

Merge "Remove useless mongodb variables in ha manifest"

Merge "overcloud_compute.pp: remove nova_config params"

gnocchi: configure db_sync command in the profile

Configure db_sync extra command in the profile itself

Change-Id: Ia27068907a2149da2cb87b50ffe65b27a0542ed7

Remove enable_load_balancer on nonha manifest

The parameter is not used anywhere.

Change-Id: I31bd2b0524038b3a3b45f1c5b95fb02ef6cfa903

Merge "Missing CephClientKey parameter in puppet-ceph-devel and storage-environment"

Remove useless mongodb variables in ha manifest

Remove useless parameters that move to puppet-tripleo some time ago.

Change-Id: I54e99f2012f0dd12eb9e1cbad5bc73827019934a

Don't collect gnocchi-service tag in THT

The gnocchi-service tag is already collected in puppet-tripleo Pacemaker
Gnocchi profile and was not removed here.

Change-Id: Ic38aeae849d16db36663f16156d1c9fbcf86784a

overcloud_compute.pp: remove nova_config params

Remove usage of nova_config for 2 parameters. The parameters were here
for legacy and should not be useful anymore.

Change-Id: Ifd4e89ff43ab7ebc5c69dec526696eb9902aa621

Add MysqlNoBracketsInternal to enable-tls.yaml

Change-Id: Ife466e6a8b8112777d4c0e845e31fa633da5e53d

Move MySQL Galera within composable services

This patch just moves the Puppet code into puppet-tripleo.
A future iteration will be to move parameters within the service
template.

Closes-Bug: #1601853
Depends-On: I7ddae28a6affd55c5bffc15d72226a18c708850e
Change-Id: I51a05dbf53f516b200c146b35529ce563ce9ac7b

Merge "Composable Pacemaker service"

Composable Pacemaker service

Deploy Pacemaker using composable services.

Change-Id: I038514812af5a9f30260a81ea3366d46bee4ee4e
Depends-On: I46215f82480854b5e04aef1ac1609dd99455181b
Closes-Bug: #1601970

Ceilometer Compute Agent composable service

Implement the service for ceilometer agent compute.

Change-Id: I5ab3887832588ce26e2d258d05f725d87d2c103d

Remove ceilometer mysql db hieradata

We already moved this to service templates

Change-Id: Ic3c59a8ef753d8ea09900e9020779ccb55f3bd07

Merge "Gnocchi composable roles"

Merge "Fix network-isolation.yaml to stop clobbering Management net"

Merge "Combine BootstrapNodeDeployment with AllNodesDeployment"

Merge "compute: moving out iscsi bits, now in puppet-tripleo"

Merge "Composable OpenContrail compute plugin"

Merge "Composable Plumgrid compute plugin"

Merge "Composable Midonet compute plugin"

Merge "Composable Nuage Compute Plugin"

Merge "Composable Neutron Core Compute Plugin"

Merge "Use already Deployed/Installed servers"

Merge "Add a second proxy-logging middleware entry to swift-proxy"

Fix network-isolation.yaml to stop clobbering Management net

The network-isolation.yaml file explicitly set the Management
network to None and the ports to noop.yaml. This resulted in the
Management network being disabled if network-management.yaml was
included before network-isolation.yaml.

These changes comment out the Management declarations to show the
default, and mention that network-management.yaml may be included.
Since the Management network is disabled by default, it isn't
necessary to noop it here. This change also places the Redis VIP
in a more logical place next to the controller ports.

Change-Id: I50a71b3ddf77bda2d213821da5e4260b503a6cb7
Fixes-bug: 1602283

Composable OpenContrail compute plugin

Adds a new neutron compute plugin used to help configure opencontrail
for use on compute nodes.

Change-Id: I67a649445d5f1cb21ab9483bae7f5f4c2c657142

Composable Plumgrid compute plugin

Adds a new neutron compute plugin used to help configure plumgrid
for use on compute nodes.

Change-Id: Ied6493aba826a602b2ce73359d1acf26ebe89869

Composable Midonet compute plugin

Adds a new neutron compute plugin used to help configure midonet
for use on compute nodes.

Change-Id: I3a6996d3d9557ecad5ccd26a3901caccbf111468

Composable Nuage Compute Plugin

Adds a new neutron compute plugin used to help configure nuage
for use on compute nodes.

Change-Id: I732ec85d1f0605e562dacb02624a355e425d911a
Depends-On: Ic842ebdc183918ec9a24f83ae39adfba27bc799c

Composable Neutron Core Compute Plugin

Create a new resource registry entry for a Neutron "compute plugin".

For ML2 this may be the same os the NeutronComputePlugin but patches
for other vendors will follow that require extra bits on nodes
where VMs will be created.

This patch removes the ML2 code from the compute role and instead
uses the existing composable services.

NOTE: we are able to remove the puppet resource chain to force OVS to
get restarted due to puppet-neutron commit:
Idb1332dd498bb3065720f2ccaf68e6b0e9fa80c3 which should resolve that
issue.

Co-Authored-By: Emilien Macchi <emilien@redhat.com>
Depends-On: I95b9188607ab6c599ad4cde6faa1deb081618f3e
Change-Id: I2496372ca6e6ba9f52e9a8bb6e8dc731c125af13

compute: moving out iscsi bits, now in puppet-tripleo

Move bits from THT to puppet-tripleo.

Implements: blueprint composable-services-within-roles

Change-Id: I9866506b120afdf35891a396ea1bbe1c0f592b3f
Depends-On: I495a7af4220f0b35e9fd0a6cfc146610d8f46d10

Gnocchi composable roles

Implements: blueprint composable-services-within-roles

Co-Authored-By: Juan Antonio Osorio Robles <jaosorior@redhat.com>
Co-Authored-By: Carlos Camacho <ccamacho@redhat.com>
Depends-On: Id728aae79442c45ab48fe0914c065f1807e8890d

Closes-Bug: #1601846
Change-Id: I40a3815923099d00a0f3fc1d88a942784e7c6fb9

Composable Horizon service - tripleo-heat-templates

Add horizon as a composable service

Depends-on: Iff6508972edfd5f330b239719bc5eb14d3f71944
Change-Id: I734c3e0784c25f30adff2e13faf1155a3e45cefd
Partially-implements: blueprint composable-services-within-roles

Merge "Combine parameter_default fields"

Merge "Re-enable Ceilometer composable roles for controller"

Use already Deployed/Installed servers

This patch provides a set of templates that enables
tripleo-heat-templates to be used with a set of already deployed,
installed, and running servers. In this method, Nova and Ironic are not
used to deploy any servers.

This approach is attractive for POC deployments where dedicated
provisioning networks are not available, or other server install methods
are dictated for various reasons.

There are also assumptions that currently have to be made about the software
installed on the already deployed servers.  Effectively, they must match the
standard TripleO overcloud-full image.

Co-Authored-By: Steve Hardy <shardy@redhat.com>
Change-Id: I4ab1531f69c73457653f1cca3fe30cc32a04c129

Merge "neutron: remove tenant MTU configuration options"

Merge "Move ironic::db data within service template"

Missing CephClientKey parameter in puppet-ceph-devel and storage-environment

This change adds the CephClientKey parameter to puppet-ceph-devel.yaml
and storage-environment.yaml environment files. This is needed when
--ceph-storage is not passed to the openstack overcloud deploy command
as the tripleo client doesn't generate the keys.

Change-Id: Idfdce190c2ad4ae198fe17474aee19cb76dac5fb
Closes-Bug: #1601864

Re-enable Ceilometer composable roles for controller

This patch brings back Ceilometer composable roles for controller,
module some adjustments to make it work.

Fixes 3 issues in Ceilometer composable services

1) This patch fixes the hiera maps in the pacemaker ceilometer*
templates. These were lists and should be a map.

2) fixes a critical issue in ceilometer-base.yaml where the
password was incorrectly coded in the YAML using get_param on
a string which wasn't actually a parameter.

3) Fixes the ceilometer_coordination_url so that it uses a YAML anchor
as was implied instead of get_param on a string which wasn't a
parameter.

4) Fixes the default database connection to use mongodb and configured
in puppet-tripleo profile appropriately.

Co-Authored-By: Dan Prince <dprince@redhat.com>
Co-Authored-By: Pradeep Kilambi <pkilambi@redhat.com>
Closes-Bug: #1601844
Change-Id: Ia0a59121b9ffd5e07647f66137ce53870bc6b5d6

Add a second proxy-logging middleware entry to swift-proxy

Its absence results in swift using up all the memory available to it when
certain objects are requested, we are not sure exactly what triggers the
problem but we know this fixes it.

Change-Id: Iaf00a8a2a947e0683cc60fef2e75fd7c444d07a8
Closes-Bug: #1595916

Repurpose KeystoneWorkers add keystone::wsgi::apache::threads

Now that keystone is run with wsgi apache the KeystoneWorkers
param has no efffect [1]. This repurposes KeystoneWorkers to now
set wsgi::apache::workers and adds the
keystone::wsgi::apache::threads hardcoding to 1 (can overrride
via extraconfig data)

[1] https://github.com/openstack/puppet-keystone/blob/51c68fb127c28b9748b352871783c3ec6ef5c83b/manifests/init.pp#L396

Closes-Bug: 1598092
Change-Id: I503d1f0d3f4c56abfaf4609ea8290e78668013b6

Merge "Include bulk in swift proxy pipeline"

Move ironic::db data within service template

Change-Id: If0b8fbc783e694f4f744ad848103d40df985fc04

Merge "Move neutron::db data within service template"

Merge "Move sahara::db data within service template"

Merge "Move heat::db data within service template"

Merge "Move cinder::db data within service template"

Merge "Move glance::db data within service template"

Merge "Move keystone::db data within service template"

Merge "Pass MysqlVirtualIP without brackets to EndpointMap"

Merge "Set os-refresh-config timeout to 4 hours"

Merge "Template param for what command occ runs"

Move neutron::db data within service template

Change-Id: I07a81a2e1cc29df007bba11da82cf6661a55aadf

Move sahara::db data within service template

Change-Id: Ifb87f79e8cd692e6553d03df8394c74f51821e11

Move heat::db data within service template

Change-Id: I3fada6c5b0265bc6536c89da0ef4b709ead13b7d

Move cinder::db data within service template

Change-Id: I2aaf30289cc792e8860ca9c962d80baf7e804cbf

Move glance::db data within service template

Change-Id: I405bc9895160cc867f933e6b0d56546d460d2e3a

Composable Midonet for Neutron

Depends-On: I2393fc3c360f5f5786411f64dbcd06f380376093

Change-Id: I606cb1f7ef7d651b5d145bfa10ef3aa1561b1590
Partially-implements: blueprint composable-services-within-roles

Include bulk in swift proxy pipeline

With bulk delete enabled for gnocchi, this option should
be included in pipeline as well.

Change-Id: I5786c6f14e3aab9e167c22d8f72c5c1688440e95

Move keystone::db data within service template

Change-Id: I934aff4960588a3957b7a7bcc90385ae48d34d1e

Pass MysqlVirtualIP without brackets to EndpointMap

While the endpoints do need brackets around IPv6 addresses these
are not wanted by some of the puppet classes so we must pass the
non bracketed version as well.

It will allow us to remove the need for the MysqlVirtualIP param
passed to the controller role thouh when hieradata/database.yaml
is emptied.

Change-Id: If264b02a134b96368035f032e05d02e84f6499ed

Add StepConfig to docker compute-post.yaml

Change I84c97a76159704c2d6c963bc4b26e365764b1366 missed
`docker/compute-post.yaml`.

Change-Id: I680eabf2f316c7fccc9d53d75dc16139c9959c64

Merge "Parametrize and increase default of swift-proxy node_timeout"

Merge pacemaker_master/sync_db conditionals

By condensing the pacemaker_master and sync_db conditions we ensure
there won't be unrelevant (clustercheck) execs deployed on
non-bootstrap nodes.

Closes-Bug: 1598907

Change-Id: Iae6aa13682d63096265f4751b2f71019a49f6fa6

Merge "Convert AllNodesExtraConfig to OS::Heat::None"

Merge "Remove config_identifier from all_nodes extraconfig examples"

Merge "Restore the NtpServer parameter name"

Merge "Add kernel service"

Merge "Allow neutron_options customization for dashboard"

Restore the NtpServer parameter name

In 296bffde893dbbf36c62d664e24e2584b89b8070 we moved the NTP
into a composable service but changed the name of the parameter
to NtpServers. This will break upgrades for users of the previous
parameter name.

Closes-bug: #1599526

Change-Id: I896b9427416f01b603ac9cc4d8c9ebf5e019cb32

Merge "Split Heat pacemaker roles into separate services"

Merge "pacemaker: don't override Service resource for Nova & Neutron"

Convert AllNodesExtraConfig to OS::Heat::None

Instead of creating a nested stack, as it's slightly lower overhead
and will make things easier when adding custom roles (where a
hard-coded default template can't work)

Change-Id: If9f8294ba477d1c1364e19a52152905a2c02e959

Remove config_identifier from all_nodes extraconfig examples

Since https://review.openstack.org/#/c/315616 this is no longer
required.

Change-Id: I0452d1577a25d19b4351bfe7830a6c7bbe485e67

Merge "Use create-legacy-resource-types during gnocchi-upgrade"

neutron: remove tenant MTU configuration options

Since Mitaka, Neutron and Nova do the right thing for MTU, correctly
calculating and applying MTU per network, considering its network type
and underlying physical network MTU (1500 by default). Neutron now also
correctly advertise proper MTU to instances through DHCP and RA
mechanisms. With that, there is no reason to have those MTU hacks in
deployment tools. Actually, they not only do no good, but break some
setups (Jumbo frame aware infrastructure), or at least make them
non-optimal (lowering instance MTU to 1400 when it's not needed, or when
tunnel overhead does not require 100 bytes).

Note that Neutron still has a set of configuration options to allow for
custom physical network MTUs (global_physnet_mtu, path_mtu,
physical_network_mtus). Those options define underlying infrastructure
though, not tenant MTUs. To support Jumbo frames, TripleO should allow
to set those options. That said, it's not the immediate goal of the
patch, and hence such an effort would require a separate patch.

Mitaka+ documentation on MTU configuration for Neutron:
http://docs.openstack.org/mitaka/networking-guide/adv-config-mtu.html

Change-Id: I540ba5dc69d0506f71b59746efcce94c73f9317f

Merge "overcloud_volume: cleanup unused Puppet code"

Merge "volume: deploy snmp using composable role"

Add kernel service

Add a new service that will load and configure kernel modules.

Depends-On: If4f1047ff8c193a14b821d8b826f637872cf62bd
Change-Id: I8f771712595d0f4826858b855985f65d3621c3f1