Permit usage of raw disks as backends for Swift storage

Adds a SwiftRawDisks parameter which can be used to provide a map
disk-keyed with properties for each additional disk to be used
as backend for Swift storage.

Change-Id: I65ff488c8eb62c03fc45f04e70e18a5f4022d6b6
Depends-On: Id450e777930bb0b749c0ecfab0679a52a84fd7fe
Depends-On: Iac75cf2244339fae444be5859b7583e80bafc4e2

Merge "Add DefaultPasswords to composable services"

Merge "Pass ServiceNetMap to services"

Merge "Disable Sahara by default"

Merge "Remove OS::Tripleo::Services::ManilaShare: from puppet-pacemaker.yaml"

Disable Sahara by default

Users who want Sahara enable now can simply include the
environments/services/sahara.yaml Heat environment.

Change-Id: I3df96b6e78ba3eddb62e79d854862a7e2d614c51

Disable cinder-backup by default

The cinder-backup service was not configured in mitaka, so
having it disabled by default does not change the existing
behavior.

Also adds an environment file to enable it in the pacemaker
scenario.

Change-Id: I9a238e0d4601c9f59aff94fdac837c7d0e90afa0

Add DefaultPasswords to composable services

This patch adds a new DefaultPasswords parameter to
composable services. This is needed to help provide
access to top level password resources that overcloud.yaml
currently manages (passwords for Rabbit, Mysql, etc.).

Moving the RandomString resources into composable services
would cause them to regenerate within the stack. With this
approach we can leave them where they are while we deprecate
the top level mechanism and move the code that uses the
passwords into the composable services.

Change-Id: I4f21603c58a169a093962594e860933306879e3f

Pass ServiceNetMap to services

This will be needed to pick the network where the service has
to bind to from within the service template.

Change-Id: I52652e1ad8c7b360efd2c7af199e35932aaaea8c

Merge "Add management network to list of networks to ping"

Merge "Upgrade scripts to migrate aodh alarm data"

Merge "Add tripleo-firewall composable service"

Remove OS::Tripleo::Services::ManilaShare: from puppet-pacemaker.yaml

Already with the same value in overcloud-resource-registry-puppet.yaml

Change-Id: Ic274abddef5e229a3517f4f77d8192d6abf81044

Merge "Make sahara run via systemd"

Merge "Add tripleo-packages composable service"

Merge "Rename NeutronServer to NeutronApi to align with ServiceNetMap"

Merge "Remove deprecated node_ips hiera keys"

Merge "Decouple EndpointMap from SSL certificate params"

Merge "gnocchi: use new authtoken parameters"

Make sahara run via systemd

Via commit 0327fc2bbb1be9972d99e2e83d54d07410ad01d9 we added sahara
as a composable service. Let's make sure sahara-api and sahara-engine
run via systemd and not as a pacemaker resource. This is inline with the
HA NG spec.

Change-Id: I5634ad43771fba798892df6d2297c2634dcb6756

Upgrade scripts to migrate aodh alarm data

In Newton, Aodh will be using its own mysql DB rather than
using ceilometer's mongo instance. This means we need to
migrate any existing alarm and alrm history data from
ceilometer DB to aodh mysqlDB. Upstream aodh provides us
with a aodh-data-migration utility. We need to invoke this
during the mitaka->newton upgrade procedure so data is
migrated as expected and aodh mysql backend takes over.

Closes-bug: #1611794

Change-Id: I17888b57ecf98cd83e92af2f9cdbead066b03aa3

Add tripleo-firewall composable service

This creates a new service to help manage the puppet-tripleo
class that enables firewall features. Currently has no settings
but this will keep our interfaces consistent.

Change-Id: I5ac85fa1e460b19ee2b1a9280413aebefe300845

Add tripleo-packages composable service

This creates a new service to help manage the puppet-tripleo
class that enables and disables package installation features.

NOTE: we can't move the upgrade setting into the new composable
service yet due to coupling with the UpgradeDeployment resources.

Change-Id: If35cf6a6f023e12ae8ebbc2d9929d244eb3ffa3a

Merge "Update Ironic composable services"

Merge "Remove unneeded net_ip_map dump into hieradata"

Merge "Remove deprecated net_ip_uri_map output"

Merge "Remove deprecated net_ip_subnet_map output"

Merge "Add cinder-backup service as role"

gnocchi: use new authtoken parameters

Configure Gnocchi with authtoken new class in the Puppet module, and
also remove the useless parameters that didn't exist in the module.

Change-Id: I414990c4fd5c5c1cd43d50c7a3947a4a29f4587a

Merge "Set coordination url for gnocchi storage"

Merge "Move neutron settings out of puppet/compute.yaml"

Merge "Mv Ceilometer settings out of puppet/compute.yaml"

Merge "Move Nova settings out of puppet/compute.yaml"

Remove unneeded net_ip_map dump into hieradata

We will lookup bind addresses using map_replace within the templates
so dumping net_ip_map as hieradata is unneeded.

Change-Id: If54c9033fc58d2cfaa040e30adeed7f58e44fd88

Remove deprecated net_ip_uri_map output

Takes the net_ip_uri_map value from the *_uri values emitted
by net_ip_map instead.

Also removes TenantIp and TenantIpUri from net_vip_map_external
templates as there won't be any VIP on the tenant network.

Change-Id: Icdac3d58162891f5ca3d5c20f14fcdff1781996f

Remove deprecated net_ip_subnet_map output

Change-Id: I83ca923140d7f8ca3101e851e88ca3107a99555a

Merge "Remove deprecated hdp plugin and add ambari"

Move neutron settings out of puppet/compute.yaml

This finishes moving most of the config settings out of
compute.yaml for Neutron and Rabbit. Also removes some
other misc unused parameters.

Change-Id: Ie340c33fb3434eb70e131ff6e252d0909aabd37c
Related-Bug: #1604412

Mv Ceilometer settings out of puppet/compute.yaml

This finishes moving most of the config settings out of
compute.yaml for Ceilometer.

Change-Id: I96369ebba28f0af4eb2d6d520b478213d8021822
Related-Bug: #1604412

Move Nova settings out of puppet/compute.yaml

This finishes moving most of the config settings out of
compute.yaml for Nova and into the proper nova-* services.

Only the bind port/VIP related Nova settings remain now and those
will be dealt with in a follow up patch.

Change-Id: I1c40e7d54c11dfff2aaa6438c7701e98da17ebe6
Related-Bug: #1604412

Merge "Convert ServiceNetMap to a nested template"

Merge "Remove NeutronEnableTunnelling from templates"

Merge "Remove KeystoneRegion from controller.yaml"

Remove NeutronEnableTunnelling from templates

As described in https://bugs.launchpad.net/tripleo/+bug/1532830,
the OVS agent no longer uses enable_tunneling, which is controlled by
NeutronEnableTunnelling, so this change removes NeutronEnableTunnelling
from the Heat templates.

This change depends on NeutronEnableTunnelling also being removed
from python-tripleoclient and puppet-neutron no longer using the
enable_tunneling hieradata.

Change-Id: I1ff6902ebd15041fc57ffff20a07455f171a004b
Closes-Bug: 1532830
Depends-On: I28d33592374f60cb5222a866efaf9d137aca1c5a
Depends-On: I73630653330c67444827f32740c44e9d25b5db31

Rename NeutronServer to NeutronApi to align with ServiceNetMap

The new composable service name conflicts with the existing ServiceNetMap
naming, so align with NeutronApi since ServiceNetMap exists in current
released versions.

This is required so we can correctly generate the neutron_api_node_ips
list (needed by puppet-tripleo) based on the service_name.

Change-Id: Ic1d45cbaa77bc6ac9ca247c880a9845ca49905da
Partially-Implements: blueprint custom-roles

Remove deprecated node_ips hiera keys

This aligns with the new naming conventions in puppet-tripleo, so
the keys can be more easily generated from the service_names.

Change-Id: Idb4a740e70257e3c69d8ec7d0c88594cc091b6a7
Partially-Implements: blueprint custom-roles
Depends-On: I423b544df174254ac511b906b0c570e701678022

Convert ServiceNetMap to a nested template

We introduce a new ServiceNetMap resource which enables some more flexible
mappings between the services and their networks.

Specifically this patch means:

1. ServiceNetMap no longer has to specify the entire list of all services,
operators may if they wish, but a subset is now valid where you want to
accept the defaults for some services (the defaults are now accessible via
the ServiceNetMapDefaults parameter.

2. We can map some keys which don't fit a pattern that enables conversion
from CamelCase to snake_case which is required for compatibility with the
service_names in puppet/services*

This should be backwards compatible, and in future when we remove internal
dependency on the CamelCase names, we could also enable operators to
specify e.g heat_api_network in ServiceNetMap which would be more consistent.

Change-Id: Ib60198adf76bb69ffbafbfac739e356d153f6194
Partially-Implements: blueprint custom-roles

Merge "Add parameter for enabling purging configuration files"

Merge "Align node_ips hiera keys with the service name."

Merge "Move gnocchi's kestone::auth parameters to API profile"

Decouple EndpointMap from SSL certificate params

Having the endpoint map in the same environment as the SSL
certificate parameters means that every time a service is added to
the overcloud, the user must remember to update their copy of
enable-tls.yaml to reflect the new service.

To avoid this, let's separate the SSL EndpointMap from the SSL
certificates so users can simply pass the shipped list of SSL
endpoints and only have to customize the certificate env file. As
and added bonus, this means they won't have to put the certificates
in enable-tls.yaml specifically.  The parameters can be set
anywhere, and will be used as long as one of the tls-endpoints
envs is also specified.

inject-trust-anchor.yaml is not changed, but it could already be
used in the same fashion.  The root certificate param could be set
in any env passed after inject-trust-anchor.yaml, and then
inject-trust-anchor.yaml would only be responsible for setting the
appropriate resource_registry entry.  This way there is no need to
customize the in-tree inject-trust-anchor.yaml either.

Change-Id: I38eabb903b8382e6577ccc97e21fbb9d09c382b3

Merge "Convert EndpointMap to not require per-service VIP parameters"

Set coordination url for gnocchi storage

Change-Id: I8107b84eaea8baf3ed664c70d4cf16537d869bcb

Update Ironic composable services

* Add service for configuring Nova compute with Ironic
* Fix authentication in Ironic APU
* Provide a separate environment file for enabling Ironic

Change-Id: I211e6d91eacd238b04a1aa37528d5a91523407d9
Partially-Implements: blueprint ironic-integration

Reinstate CloudDomain properties for Controller/Compute roles

These were removed in https://review.openstack.org/#/c/347050
but it turns out the defaults in the role templates is bad, as
an empty string results in a malformed hosts file fqdn.

So, partially revert that patch so we always pass the global
CloudDomain from overcloud.yaml, accepting the default configured
there, and remove the empty-string defaults in the role templates.

Change-Id: I0ea4190a23488986a3ee9e887328e0e7a03fe3aa

Convert EndpointMap to not require per-service VIP parameters

Currently we have a hard-coded set of per-service parameters, which
will cause problems for custom roles and full composability.

As a first step towards making this more configurable, remove the
hard-coded per-service parameters from overcloud.yaml, and adjust
the EndpointMap generation to instead accept two mappings, the
ServiceNetMap and a mapping of networks to IPs (effectively this
just moves the map lookup inside the endpoint map instead of
inside overcloud.yaml)

Change-Id: Ib522e89c36eed2115a6586dd5a6770907d9b33db
Partially-Implements: blueprint custom-roles

Merge "Add hieradata for Manila v1 and v2 endpoints"

Align node_ips hiera keys with the service name.

To enable composable generation of this switch the key names
to align with the service_name of each service.

Note that this should depend on I423b544df174254ac511b906b0c570e701678022
and previously passed CI with that defined, but because we now run
gate validation jobs on puppet-tripleo it's impossible to land, so
this now contains both old and new hiera keys temporarily, which will
be removed when the puppet-tripleo patch lands.

Change-Id: I7febf28bf409e25e8e5961ab551b6d56bb11e0c6
Partially-Implements: blueprint custom-roles

Merge "Add support for cinder v3 endpoint"

Add hieradata for Manila v1 and v2 endpoints

manila::keystone::auth assumes that two endpoints will be created;
one for each version of Manila. This is not consistent with what we
provide to the manifest. So we then add the needed endpoint to the
EndpointMap.

v2 is left as the default (not needing to specify a version when
getting the value from the endpoint map), and v1 was added as an
extra suffix.

Change-Id: Ie8754fbb21f50c2613a2c05a52d771f4d1aeb4bb

Merge "Remove Compute role parameters from overcloud.yaml"

Merge "Allow map_replace substitution of network names"

Add support for cinder v3 endpoint

This adds the needed parts for the keystone endpoint of cinder v3
API.

Change-Id: Ic56446095e72b9e469a7b0e9ea5159fa31847381

Add cinder-backup service as role

Tempest tests for cinder contain backup tests that fail
unless cinder-backup service is started. This patch facilitates
the service start upon the overcloud deployment.

Original patch converted to composable role.

Co-Authored-By: Giulio Fidente <gfidente@redhat.com>
Depends-On: Ib1dfe52b83ab01819fc669312967950e75d8ddf1
Change-Id: I9ca97b3f1c26aac6d81b3525377e1f5fb962313f

Add parameter for enabling purging configuration files

This patch adds a parameter, EnableConfigPurge, to the base nova and
neutron service files. The value is passed to their respective puppet
modules to control whether resources not managed by puppet are purged
from the config files. The default value is set to true.

Change-Id: I32732dc2ed7a7b3187e8727592cb4add0c6b9cf6
Closes-Bug:  #1611800

Merge "Retain existing ComputeHostnameFormat when upgrading older envs"

Allow map_replace substitution of network names

To allow per-node data such as bind_ip's to move into the
composable services templates, we do a value substitution
on the config settings hiera map, where e.g internal_api
will be replaced with the NetIpMap IP assigned to that.

To enable subnet/uri lookup via the same method, we add
all the subnet/uri mappings to the main net_ip_map output.

Change-Id: I7850d4dc8bf4db5f7ac6a6b53c1d900b561b4580

Remove KeystoneRegion from controller.yaml

this is no longer needed here as it's not used anymore.

Change-Id: I8aa9cc5f991fccc8c9acc81fb96e71b7e3fc145e

Move gnocchi's kestone::auth parameters to API profile

In the move to composable services, these parameters are not
necessary in the controller, but in the profile itself. They are not
yet in use but will be used to populate the keystone endpoint.

Change-Id: Iab3ab05e16872d94d3b3ab4827e2f87f4970aee3

Merge "Disable mistral services by default."

Remove Compute role parameters from overcloud.yaml

To enable custom-roles we need to pass these directly into th
role template (where these are already defined with the same
names).  The remaining parameters which will be removed in
subsequent patches, as some will require additional work to
ensure backwards compatibility.

Change-Id: I5a7e4f12aa7b9697086c1e19a4f7fcb24198c1d4
Partially-Implements: blueprint custom-roles

Merge "Remove outdated Neutron auth options"

Merge "Remove static hieradata"

Merge "Move neutron-related options for nova to base profile"

Merge "Move nova's kestone::auth parameters to API profile"

Merge "Move setting of Glance's keystone region to API profile"

Merge "Configure project name for keystone::auth resource in heat"

Merge "Move cinder's kestone::auth parameters to API profile"

Merge "Move neutron's kestone::auth parameters to server profile"

Move neutron-related options for nova to base profile

Change-Id: I21c09b2b0bad7736f3c84c55bf14ef7986c2d108

Move nova's kestone::auth parameters to API profile

In the move to composable services, these parameters are not
necessary in the controller, but in the profile itself. They are not
yet in use but will be used to populate the keystone endpoint.

Change-Id: I42e30243b631c10d9454da444afdb50e551bbb2c

Merge "Move *Flavor parameters into per-role templates"

Remove deprecated hdp plugin and add ambari

HDP plugin was deprecated in newton and not supported in sahara
replace it with supported ambari plugin

Change-Id: I6998e3e1e1fe9a81c7941aec90c876ee133a601d
Closes-bug: 1611107

Merge "Support arbitrary attributes for the Ceph pools"

Merge "Make deployed-server OS::Neutron::Port optional"

Remove static hieradata

Static hieradata moved to composable services, we don't need the files
anymore. It also cleanup how we construct Hieradata configuration by
removing unused hiera files.

Change-Id: I19f85b6c1b734473cf908ddaca29ad966f9f5405

Support arbitrary attributes for the Ceph pools

This change adds a CephPools parameter which can be used to
provide custom settings for any Ceph pool.

It also removes our custom setting for the default pg_num,
pgp_num and size so that these are used for the managed
pools (and can be overridden) but aren't enforced globally.

Change-Id: Idcf28bec46beabb1b590fc8e78b43e58d8e35717
Closes-Bug: 1517969
Depends-On: I38978f0f3119e4ab7dd45021e598253cb066cb5a

Merge "Set Coordination url for central agent"

Move setting of Glance's keystone region to API profile

This is not necessary in the controller.yaml and is more appropriate
in the profile.

Change-Id: Ie2badbd87eabb8404acff77e9aa5d091fbdd1499

Configure project name for keystone::auth resource in heat

Heat API and CFN API both need to have teh keystone::auth*::tenant
parameters configured.

Change-Id: Ibdc3d693f5a63362add3fc71064fc01bb4593403

Move cinder's kestone::auth parameters to API profile

In the move to composable services, these parameters are not
necessary in the controller, but in the profile itself. They are not
yet in use but will be used to populate the keystone endpoint.

Change-Id: Ib9b0e474f875a4b2ffbda11c01cb882149997b0c

Move neutron's kestone::auth parameters to server profile

In the move to composable services, these parameters are not
necessary in the controller, but in the profile itself. They are not
yet in use but will be used to populate the keystone endpoint.

Change-Id: Ia0866d893c2f3258b0e00efcb8894c7643980173

Merge "Update cinder-api with new authtoken parameters"

Remove outdated Neutron auth options

Currently Keystone auth plugins should be used to perform authorization.
admin_* parameters as well as identity_uri are deprecated and not needed

Change-Id: I3018932a106df562e94067e037b3bc862be97b51

Merge "Convert AllNodesConfig hosts config to a map"

Merge "Add EnabledServices output to overcloud.yaml"

Make deployed-server OS::Neutron::Port optional

This patch makes it possible to set
OS::TripleO::DeployedServer::ControlPlanePort: OS::Heat::None
in your resource_registry and thereby avoid the creation of
a neutron port for the deployed server. This is useful if
you are bootstrapping things in an environment without
Neutron.

Also, includes a new deployed-server-noop-ctlplane.yaml
environment file.

Change-Id: I2990dc816698e0f6e3193a8fc7c9c6767c6e50e5

Add Sahara services to ControllerServices list

https://review.openstack.org/#/c/318840/ decomposed the Sahara services
but they weren't added to the ControllerServices list, thus are now disabled.

Since we shipped mitaka with sahara enabled by default, we should probably add
them so the behavior is consistent when folks upgrade.

This also fixes a couple of issues we missed when landing the initial service
templates (partly because CI didn't test them).

In order for each service to operate independently when used with Pacemaker,
the roles needed to be separated. This commit also does this.

Depends-On: Id61eb15b1e2366f5b73c6e7d47941651e40651b1
Change-Id: I0846b328e9d938275e373d58f0b99219b19b326c
Closes-Bug: #1592284
Co-Authored-By: Brad P. Crochet <brad@redhat.com>

Disable mistral services by default.

Optional services should be disabled by default in the overcloud nodes.
This submission makes mistral disabled by default and allows to enable
it base on an environment file.

Depends-On: I942d419be951651e305d01460f394870c30a9878

Change-Id: I0dd245b75142834f71f3bd591b43c3f69d63217b

Merge "Remove keystone PKI related parameters"