Move Nova settings out of puppet/compute.yaml

This finishes moving most of the config settings out of
compute.yaml for Nova and into the proper nova-* services.

Only the bind port/VIP related Nova settings remain now and those
will be dealt with in a follow up patch.

Change-Id: I1c40e7d54c11dfff2aaa6438c7701e98da17ebe6
Related-Bug: #1604412

Merge "Convert ServiceNetMap to a nested template"

Merge "Remove NeutronEnableTunnelling from templates"

Merge "Remove KeystoneRegion from controller.yaml"

Remove NeutronEnableTunnelling from templates

As described in https://bugs.launchpad.net/tripleo/+bug/1532830,
the OVS agent no longer uses enable_tunneling, which is controlled by
NeutronEnableTunnelling, so this change removes NeutronEnableTunnelling
from the Heat templates.

This change depends on NeutronEnableTunnelling also being removed
from python-tripleoclient and puppet-neutron no longer using the
enable_tunneling hieradata.

Change-Id: I1ff6902ebd15041fc57ffff20a07455f171a004b
Closes-Bug: 1532830
Depends-On: I28d33592374f60cb5222a866efaf9d137aca1c5a
Depends-On: I73630653330c67444827f32740c44e9d25b5db31

Convert ServiceNetMap to a nested template

We introduce a new ServiceNetMap resource which enables some more flexible
mappings between the services and their networks.

Specifically this patch means:

1. ServiceNetMap no longer has to specify the entire list of all services,
operators may if they wish, but a subset is now valid where you want to
accept the defaults for some services (the defaults are now accessible via
the ServiceNetMapDefaults parameter.

2. We can map some keys which don't fit a pattern that enables conversion
from CamelCase to snake_case which is required for compatibility with the
service_names in puppet/services*

This should be backwards compatible, and in future when we remove internal
dependency on the CamelCase names, we could also enable operators to
specify e.g heat_api_network in ServiceNetMap which would be more consistent.

Change-Id: Ib60198adf76bb69ffbafbfac739e356d153f6194
Partially-Implements: blueprint custom-roles

Merge "Add parameter for enabling purging configuration files"

Merge "Align node_ips hiera keys with the service name."

Merge "Move gnocchi's kestone::auth parameters to API profile"

Merge "Convert EndpointMap to not require per-service VIP parameters"

Reinstate CloudDomain properties for Controller/Compute roles

These were removed in https://review.openstack.org/#/c/347050
but it turns out the defaults in the role templates is bad, as
an empty string results in a malformed hosts file fqdn.

So, partially revert that patch so we always pass the global
CloudDomain from overcloud.yaml, accepting the default configured
there, and remove the empty-string defaults in the role templates.

Change-Id: I0ea4190a23488986a3ee9e887328e0e7a03fe3aa

Convert EndpointMap to not require per-service VIP parameters

Currently we have a hard-coded set of per-service parameters, which
will cause problems for custom roles and full composability.

As a first step towards making this more configurable, remove the
hard-coded per-service parameters from overcloud.yaml, and adjust
the EndpointMap generation to instead accept two mappings, the
ServiceNetMap and a mapping of networks to IPs (effectively this
just moves the map lookup inside the endpoint map instead of
inside overcloud.yaml)

Change-Id: Ib522e89c36eed2115a6586dd5a6770907d9b33db
Partially-Implements: blueprint custom-roles

Merge "Add hieradata for Manila v1 and v2 endpoints"

Align node_ips hiera keys with the service name.

To enable composable generation of this switch the key names
to align with the service_name of each service.

Note that this should depend on I423b544df174254ac511b906b0c570e701678022
and previously passed CI with that defined, but because we now run
gate validation jobs on puppet-tripleo it's impossible to land, so
this now contains both old and new hiera keys temporarily, which will
be removed when the puppet-tripleo patch lands.

Change-Id: I7febf28bf409e25e8e5961ab551b6d56bb11e0c6
Partially-Implements: blueprint custom-roles

Merge "Add support for cinder v3 endpoint"

Add hieradata for Manila v1 and v2 endpoints

manila::keystone::auth assumes that two endpoints will be created;
one for each version of Manila. This is not consistent with what we
provide to the manifest. So we then add the needed endpoint to the
EndpointMap.

v2 is left as the default (not needing to specify a version when
getting the value from the endpoint map), and v1 was added as an
extra suffix.

Change-Id: Ie8754fbb21f50c2613a2c05a52d771f4d1aeb4bb

Merge "Remove Compute role parameters from overcloud.yaml"

Merge "Allow map_replace substitution of network names"

Add support for cinder v3 endpoint

This adds the needed parts for the keystone endpoint of cinder v3
API.

Change-Id: Ic56446095e72b9e469a7b0e9ea5159fa31847381

Add parameter for enabling purging configuration files

This patch adds a parameter, EnableConfigPurge, to the base nova and
neutron service files. The value is passed to their respective puppet
modules to control whether resources not managed by puppet are purged
from the config files. The default value is set to true.

Change-Id: I32732dc2ed7a7b3187e8727592cb4add0c6b9cf6
Closes-Bug:  #1611800

Merge "Retain existing ComputeHostnameFormat when upgrading older envs"

Allow map_replace substitution of network names

To allow per-node data such as bind_ip's to move into the
composable services templates, we do a value substitution
on the config settings hiera map, where e.g internal_api
will be replaced with the NetIpMap IP assigned to that.

To enable subnet/uri lookup via the same method, we add
all the subnet/uri mappings to the main net_ip_map output.

Change-Id: I7850d4dc8bf4db5f7ac6a6b53c1d900b561b4580

Remove KeystoneRegion from controller.yaml

this is no longer needed here as it's not used anymore.

Change-Id: I8aa9cc5f991fccc8c9acc81fb96e71b7e3fc145e

Move gnocchi's kestone::auth parameters to API profile

In the move to composable services, these parameters are not
necessary in the controller, but in the profile itself. They are not
yet in use but will be used to populate the keystone endpoint.

Change-Id: Iab3ab05e16872d94d3b3ab4827e2f87f4970aee3

Merge "Disable mistral services by default."

Remove Compute role parameters from overcloud.yaml

To enable custom-roles we need to pass these directly into th
role template (where these are already defined with the same
names).  The remaining parameters which will be removed in
subsequent patches, as some will require additional work to
ensure backwards compatibility.

Change-Id: I5a7e4f12aa7b9697086c1e19a4f7fcb24198c1d4
Partially-Implements: blueprint custom-roles

Merge "Remove outdated Neutron auth options"

Merge "Remove static hieradata"

Merge "Move neutron-related options for nova to base profile"

Merge "Move nova's kestone::auth parameters to API profile"

Merge "Move setting of Glance's keystone region to API profile"

Merge "Configure project name for keystone::auth resource in heat"

Merge "Move cinder's kestone::auth parameters to API profile"

Merge "Move neutron's kestone::auth parameters to server profile"

Move neutron-related options for nova to base profile

Change-Id: I21c09b2b0bad7736f3c84c55bf14ef7986c2d108

Move nova's kestone::auth parameters to API profile

In the move to composable services, these parameters are not
necessary in the controller, but in the profile itself. They are not
yet in use but will be used to populate the keystone endpoint.

Change-Id: I42e30243b631c10d9454da444afdb50e551bbb2c

Merge "Move *Flavor parameters into per-role templates"

Merge "Support arbitrary attributes for the Ceph pools"

Merge "Make deployed-server OS::Neutron::Port optional"

Remove static hieradata

Static hieradata moved to composable services, we don't need the files
anymore. It also cleanup how we construct Hieradata configuration by
removing unused hiera files.

Change-Id: I19f85b6c1b734473cf908ddaca29ad966f9f5405

Support arbitrary attributes for the Ceph pools

This change adds a CephPools parameter which can be used to
provide custom settings for any Ceph pool.

It also removes our custom setting for the default pg_num,
pgp_num and size so that these are used for the managed
pools (and can be overridden) but aren't enforced globally.

Change-Id: Idcf28bec46beabb1b590fc8e78b43e58d8e35717
Closes-Bug: 1517969
Depends-On: I38978f0f3119e4ab7dd45021e598253cb066cb5a

Merge "Set Coordination url for central agent"

Move setting of Glance's keystone region to API profile

This is not necessary in the controller.yaml and is more appropriate
in the profile.

Change-Id: Ie2badbd87eabb8404acff77e9aa5d091fbdd1499

Configure project name for keystone::auth resource in heat

Heat API and CFN API both need to have teh keystone::auth*::tenant
parameters configured.

Change-Id: Ibdc3d693f5a63362add3fc71064fc01bb4593403

Move cinder's kestone::auth parameters to API profile

In the move to composable services, these parameters are not
necessary in the controller, but in the profile itself. They are not
yet in use but will be used to populate the keystone endpoint.

Change-Id: Ib9b0e474f875a4b2ffbda11c01cb882149997b0c

Move neutron's kestone::auth parameters to server profile

In the move to composable services, these parameters are not
necessary in the controller, but in the profile itself. They are not
yet in use but will be used to populate the keystone endpoint.

Change-Id: Ia0866d893c2f3258b0e00efcb8894c7643980173

Merge "Update cinder-api with new authtoken parameters"

Remove outdated Neutron auth options

Currently Keystone auth plugins should be used to perform authorization.
admin_* parameters as well as identity_uri are deprecated and not needed

Change-Id: I3018932a106df562e94067e037b3bc862be97b51

Merge "Convert AllNodesConfig hosts config to a map"

Merge "Add EnabledServices output to overcloud.yaml"

Make deployed-server OS::Neutron::Port optional

This patch makes it possible to set
OS::TripleO::DeployedServer::ControlPlanePort: OS::Heat::None
in your resource_registry and thereby avoid the creation of
a neutron port for the deployed server. This is useful if
you are bootstrapping things in an environment without
Neutron.

Also, includes a new deployed-server-noop-ctlplane.yaml
environment file.

Change-Id: I2990dc816698e0f6e3193a8fc7c9c6767c6e50e5

Add Sahara services to ControllerServices list

https://review.openstack.org/#/c/318840/ decomposed the Sahara services
but they weren't added to the ControllerServices list, thus are now disabled.

Since we shipped mitaka with sahara enabled by default, we should probably add
them so the behavior is consistent when folks upgrade.

This also fixes a couple of issues we missed when landing the initial service
templates (partly because CI didn't test them).

In order for each service to operate independently when used with Pacemaker,
the roles needed to be separated. This commit also does this.

Depends-On: Id61eb15b1e2366f5b73c6e7d47941651e40651b1
Change-Id: I0846b328e9d938275e373d58f0b99219b19b326c
Closes-Bug: #1592284
Co-Authored-By: Brad P. Crochet <brad@redhat.com>

Disable mistral services by default.

Optional services should be disabled by default in the overcloud nodes.
This submission makes mistral disabled by default and allows to enable
it base on an environment file.

Depends-On: I942d419be951651e305d01460f394870c30a9878

Change-Id: I0dd245b75142834f71f3bd591b43c3f69d63217b

Merge "Remove keystone PKI related parameters"

Update cinder-api with new authtoken parameters

Puppet OpenStack modules are moving to a new class to configure Keystone
authtoken parameters, so we can more easily enable Keystone v3 from a
single interface. It's consistent across all modules and does support
both Keystone v2 and v3 parameters.

This patch updates Cinder now, but more will follow when we'll add
support to all modules.

Change-Id: I5aa3f2b03672c14c0dbeac222f421ab94221ecf7

Add Aodh composable roles

Implements: blueprint composable-services-within-roles
Depends-On: Ie48a123cc5bc402aee635a5daf118b158c6f3b6a
Closes-Bug: #1601850

Change-Id: Ifcfe0e3937fa8577635d803d46c3dfc2e873e553

Merge "Add environment file to enable DVR"

Remove keystone PKI related parameters

These interfaces have all been deprecated by keystone, and we don't
offer any parameter interface to select PKI token format anyway,
so remove these to align with keystone reccomendations.

The keystone.conf.sample says these values may be silently ignored or
removed, so it seems reasonable to do the same here (parameter_defaults
should be ignored from old stacks).

Change-Id: Ic88d584863a98ed49fc335825fbfba7a52b0f14e
Depends-On: I8232262b928c91dcde7bea2f23fa2a7c2660719e

Merge "Move *Image parameters into role templates"

Merge "Remove KeyName parameter from overcloud template"

Merge "Move per-role *SchedulerHints parameters into role templates"

Merge "Next generation HA architecture work"

Merge "Remove some properties from overcloud.yaml Controller group"

Set Coordination url for central agent

Use the redis_vip value from hiera.

Change-Id: I3b354012c8c054633497a6d80ff325f55e7b7142

Add environment file to enable DVR

This patch adds support for conditionally enabling DVR by deploying the
L3 and metadata agents on the compute node and setting the proper
configuration values throughout.

Implements: blueprint neutron-dvr-support
Change-Id: I24099795e76ecd520c990ba49d3511288dec7a12

Next generation HA architecture work

This is the THT part that brings us the next generation architecture
as described in the following spec:
https://review.openstack.org/#/c/299628/

Blueprint:
https://blueprints.launchpad.net/tripleo/+spec/ha-lightweight-architecture

So far we tested deployment + tripleo.sh --overcloud-pingtest and
failover + tripleo.sh --overcloud-pingtest

Note that many of the Pacemaker template files become redundant with
this change, but to simplify the process of getting this change landed,
those templates will not be removed until a future commit.

Depends-On: I5e7585c08675d8a4bd071523b94210d325d79b59

Change-Id: I00bccb2563c006f80baed623b64f1e17af20dd4e
Implements: blueprint ha-lightweight-architecture
Co-Author: cmsj@tenshu.net

Merge "Replace hard-coded regionOne with parameter references"

Merge "Enable Manila integration - as a composable controller service"

Replace hard-coded regionOne with parameter references

In a few places we hard-code the config values to regionOne, but
there is a parameter available to set this.

Change-Id: I9f5138103deb45f7432ee44e03a08dcf54c2990d

Enable Manila integration - as a composable controller service

Allows the installation and configuration of Manila.
Supports the generic driver only. This has a dependency on the
puppet-tripleo classes for manila where the puppet specific
config now lives.

The review at https://review.openstack.org/#/c/315658/ has been
merge into this one, as of v68, so manila lands as a composable
service. This was brought up on the mailing list at [1]

[1] http://lists.openstack.org/pipermail/openstack-dev/2016-May/096126.html

Co-Authored-By: Marios Andreou <marios@redhat.com>
Implements: blueprint composable-services-within-roles
Depends-On: I444916d60a67bf730bf4089323dba1c1429e2e71
Depends-On: I9eda4b3364e5c59342761a1ec71b0eb567c69cf1
Depends-On: I571b65a5402c1028418476a573ebeb9450ed00c9
Change-Id: I7acebac4354fca1f8d7ff6c343c1346bf29b81c6

Merge "Enable glance to use the SSL middleware"

Merge "Enable keystone to use the SSL middleware"

Merge "Update heat-agents setup files"

Merge "move hieradata/ceph into ceph-base service"

Merge "Add default value for `RoleData`"

Remove usage of ::nova class in THT

The ::nova class definition is now done in puppet-tripleo.

Depends-On: Ie4e72e765f6a8ade48d4b2b766f067872554d1a2
Change-Id: Ic394e50aa2e288f12d7287a68ea5f691fb7ef07c

Enable glance to use the SSL middleware

The http_proxy_to_wsgi middleware was recently added to glance as
default in the pipeline [1].

We already enable this middleware for nova, cinder and heat.

[1] I481d88020b6e8420ce4b9072dd30ec82fe3fb4f7

Change-Id: I4a8f7fc079ca93c50aa0ef7b0548dc64f6c5cfa0
Depends-On: I51fbc6050dfbdc72f7ee56a2d17dd5223a208a17

Enable keystone to use the SSL middleware

The http_proxy_to_wsgi middleware was recently added to keystone as
default in the pipeline [1]. So this takes it into use instead of the
non-standard option we were using before, which will be deprecated.

We already enable this middleware for nova, cinder and heat.

[1] Iad628a863e55cbf20c89ef23ebc7527ba8e1a835

Depends-On: I0fec98a6e1d9c8be4d8b8df382b78ba2815790f9
Change-Id: I8c1b84adc828a2b8c9ea11c4e2b8349427b1b206

move hieradata/ceph into ceph-base service

Part of composable roles work, move hieradata/ceph into the ceph-base
profile directly.
Also add a comment in all hieradata files to stop adding more data and
use composable services.

Change-Id: I97cc22a253b547be6b99312b6072f53b428aae2c

Merge "Move constraints to their respective services"

Merge "Stop passing charset=utf8 for neutron database connection option"

Convert AllNodesConfig hosts config to a map

Currently we have hard-coded parameters for each role, but to enable
custom roles, we need to pass a generic hosts list that can be joined
for all enabled roles.

Change-Id: I0606f462ff61c3a541342b63fee7d46ebfd1f4e0
Partially-Implements: blueprint custom-roles

Add EnabledServices output to overcloud.yaml

This is essentially the same data as defined in the *Services parameter,
but it shows what's enabled for all roles in the format output from the
service templates, so is useful for debugging, and possibly for things
like conditional endpoint generation in future.

Change-Id: Ia4b1694e419533b05d2757d2925471cae75fb5b6

Merge "Filter null/None service names"

Update heat-agents setup files

This patch moves the image pull step out of the service heat-agent
service script to ease the service init process and to make it more
reliable. By doing this outside of the service script, it's possible to
know when the `firstboot` script failed and report back.

It also updates the firstboot yaml file to point to the
`tripleoupstream` org.

Co-Authored-By: Flavio Percoco <flavio@redhat.com>
Co-Authored-By: Martin André <m.andre@redhat.com>
Change-Id: I2f0b8092ec69320ee370e1d7d20b8c15c95a1d0d

Add default value for `RoleData`

This just adds a default value for `RoleData` in
docker/compute-post.yaml

Change-Id: I96a01dc22e03980b93b32f0f9990f35b83ecfb24

Move constraints to their respective services

The openstack-core-then-httpd constraint needs to live in the apache
pacemaker manifest and not in the main controller manifest file.
The same goes for those specific vsm/cisco neutron resources.

Change-Id: Ifce6c253db004a98f8feb51b84a2f1731253f178
Depends-On: I2041d4d163f051427b62eec07b8345ad7006cc1d

Merge "We don't need to set a default for the CephX keys and cluster FSID"

Merge "Convert service_name to underscore syntax"

Merge "Move nova constraints from controller manifest to each service"

We don't need to set a default for the CephX keys and cluster FSID

Change-Id: I28021f27a5adc8433df8abdadf0b571b20674fa6
Partial-Bug: 1607407

Convert service_name to underscore syntax

Currently we use hyphens, e.g cinder-api, but in overcloud.yaml
we have a lot of references to services (e.g for AllNodesConfig)
by underscore, e.g cinder_api.  To enable dynamic generation of
this data, we need the service name in underscore format.

Change-Id: Ief13dfe5d8d7691dfe2534ad5c39d7eacbcb6f70

Merge "Allow to manually disable post-puppet restarts"

Merge "Create role for the fake openstack-core resource"

Move nova constraints from controller manifest to each service

Currently we are still creating all the pacemaker constraints for nova
in the main overcloud_controller_pacemaker.pp manifest file.

Let's move those to each role where they belong. Note that given
that a constraint depends on two separate pacemaker resources it is a
bit arbitrary in which file they end up being (the one of the first
resource or the second one).

Depends-On: I96a3a313d15fac820b020feae0568437c2cbade3

Change-Id: I4f15485b1f355b3b38fc6c16552f204aa8bba7bc

Create role for the fake openstack-core resource

Change-Id: Iacd94294b8a66bc082bb2b3e8d3364ec1bf053b8
Depends-On: I16a786ce167c57848551c7245f4344c382c55b3d

Migrate Puppet Hieradata to composable services

Migrate puppet/hieradata/*.yaml parameters to puppet/services/*.yaml
except for some services that are not composable yet.

Co-Authored-By: Juan Antonio Osorio Robles <jaosorior@redhat.com>
Change-Id: I7e5f8b18ee9aa63a1dffc6facaf88315b07d5fd7

Move *Flavor parameters into per-role templates

We have some inconsistent naming here, but move them with their
current names for backwards compatibility, we can address the
deprecation of the inconsistent names at a future time.

This is required to enable jinja templating of roles in overcloud.yaml

Change-Id: I2ea673d9bc52967f9b7c25555059b964abf66966
Partially-Implements: blueprint custom-roles

Move *Image parameters into role templates

We've got some inconsistent naming here, but I'm not attempting to
fix that yet, only move the current parameters inside each role template.

This should be backwards compatible because the parameter names
don't change, but also enable progress on custom-roles.  We can
figure out a strategy for deprecating these and aligning per-role
parameter naming in a subsequent patch.

Also moves ImageUpdatePolicy, which wasn't consistently passed to
all roles anyway, and aligns the default image and constraints
for each role.

Change-Id: I85ec979934df220acbab9f7c3a6055f23e3bfc29
Partially-Implements: blueprint custom-roles

Remove KeyName parameter from overcloud template

This is already defined in all the per-role templates and is passed
via parameter_defaults:

Change-Id: Ifde54d3d29a3f0754f0f05740d6b6030aa871d38
Partially-Implements: blueprint custom-roles