Composable Zaqar services

Adds new puppet and puppet pacemaker specific services for Zaqar.

The Pacemaker templates extend the default Zaqar services and swap in
the Pacemaker specific puppet-tripleo profile instead.

Change-Id: Ia5ca4fe317339dd05b0fa3d5abebca6ca5066bce
Depends-On: Ie215289a7be681a2b1aa5495d3f965c005d62f52
Depends-On: I0b077e85ba5fcd9fdfd33956cf33ce2403fcb088
Implements: blueprint composable-services-within-roles

Merge "Remove duplicate bind_host from nova-api profile"

Fix usage of SwiftRawDisks

Using the SwiftRawDisks parameter neither created the XFS filesystem nor
mounted the device, requiring manual intervention by an operaror.

Partial-Bug: 1634051
Change-Id: I2da0f12635a37c1f339a3be59a7d00f352adf283

Merge "Fix the stonith property during upgrades"

Fix the rabbitmq/redis pacemaker resource timeouts on updates

With the following two changes we increased the timeout for redis and
rabbit for both starting and stopping to 200s:
https://review.openstack.org/386618 newton (merged)
https://review.openstack.org/385555 master (merged)

We want to also fix that on minor updates on all our supported
releases upstream and downstream (newton, mitaka, liberty, kilo).
This way we can guarantee that we have a uniform timeout for
sart and stop for rabbit and redis across all our releases.

Change-Id: If59bf3386832ee78d3a654f01077aff2e8be76e8
Closes-Bug: #1634851

Merge "Composable Mistral services"

Merge "Prefill Sensu client custom config"

Merge "Clarify horizon allowed hosts setting"

Merge "Use correct password for keystone bootstrap"

Clarify horizon allowed hosts setting

Horizon allowed hosts should name the IP addresses/
DNS names (short/long) the Horizon node is listening to.
Allowed hosts is used for header checks and is a security
mechanism.

Change-Id: I81c96357f969a1a436eecd35eb178579159bc719

Merge "Add special case handling for OVS upgrade in updates and upgrades"

Merge "Use ::os_workers fact instead of ::processorcount"

Merge "Add parameters to run cinder over httpd"

Merge "Add missing Ceph endpoints from tls-everywhere environment"

Merge "Include ceilometer in swift proxy pipeline"

Merge "Removes EnableODL heat parameter and fixes missing local_ip param"

Use ::os_workers fact instead of ::processorcount

Change-Id: Ib25849565c617f32357ef545957f58454b2a53f8

Composable Mistral services

Adds new puppet specific services for Mistral
API and Mistral Engine.

This submission enables the mistral service by default in the
overcloud, a following submission will disable it and make it
optional by enabling it on demand based in an environment file.

Depends-On: Iae42ffa37c4c9b1e070b7c3753e04c45bb97703f
Depends-On: I942d419be951651e305d01460f394870c30a9878
Depends-On: I6cb2cbf4a2abf494668d24b8c36b0d525643f0af
Implements: blueprint composable-services-within-roles
Co-Authored-By: Carlos Camacho <ccamacho@redhat.com>
Change-Id: Id5ff9cb498b5a47af38413d211ff0ed6ccd0015b

Merge "Generate internal TLS hieradata for apache services"

Add missing Ceph endpoints from tls-everywhere environment

Change-Id: Ib945e570556e8e10e5bb07faa57270958c9eda99

Merge "Bind mount files to run DiD in latest atomic host"

Merge "Have docker start script honor configuration"

Open port 16509 for libvirt for live migration

Port 16509 should be opened for tcp traffic to enable live migration.

See Also:
http://docs.openstack.org/admin-guide/compute-configuring-migrations.html

Previously, we were not enabling any iptables rules on the Compute
Roles, so this is a regression.

Change-Id: Ie4abf53dc2a8171af48d02e34a1a3ad43f27cfb3
Closes-Bug: #1635427

Include ceilometer in swift proxy pipeline

new ceilometermiddleware is available and integrated into
puppet-swift. Lets leverage it and include it in the
swift proxy pipeline. The correcponding puppet triple
change for this is Ie49f4a750368ff174b23b8d6baa743d0956d727e

Closes-Bug: #1631108

Change-Id: I82da0240d60d1eed54f1c0927e6157bb63025a19

Merge "Disables Neutron ML2 config on Compute for OpenDaylight"

Fix the stonith property during upgrades

We currently set the stonith property from all controller nodes during
upgrade. This is racy and can actually end up disabling stonith after
the upgrade even if when it was enabled.

Let's set the property only from the bootstrap node.

Change-Id: Id4afb867b485ac853be874a0179a7ed7cc914068
Closes-Bug: #1635294

Add special case handling for OVS upgrade in updates and upgrades

This adds a special case handling for the opensvswitch package
as discussed at the related bug below.
This is added/handled here for both the minor update and the
major mitaka...newton upgrade.

Change-Id: I9b1f0eaa0d36a28e20b507bec6a4e9b3af1781ae
Closes-Bug: 1635205

Generate internal TLS hieradata for apache services

This adds an environment file that can be used to enable TLS in
the internal endpoints via certmonger if used. This will include
a nested stack that will create the hash that will be used to
create the certmonger certificates.

When setting up a service over apache via puppet, we used to disable
explicitly ssl (which sets modd_ssl-related fields for that vhost).
We now make this depend on the EnableInternalTLS flag. This has only
been done for keystone, but more services will be added as the
puppet code lands

bp tls-via-certmonger

Depends-On: I303f6cf47859284785c0cdc65284a7eb89a4e039
Change-Id: I12e794f2d4076be9505dabfe456c1ca6cfbd359c

Remove duplicate bind_host from nova-api profile

Change-Id: I3c5c7753237ebaf16fb40806df0d195cb2b9aaa0

Bind mount files to run DiD in latest atomic host

The /usr/bin/docker is a shell script in latest atomic host, pointing
to either docker-latest or docker-current binary. Bind mount the
required files from atomic host to be able to run docker in docker
inside heat-agents container.

Co-Authored-By: Flavio Percoco <flavio@redhat.com>
Change-Id: I97e29f65beb3a3f89c1b42c339e2e89f0fc1d519

Have docker start script honor configuration

The test was always evaluate as true which resulted in
insecure_registry line being set even when DockerNamespaceIsRegistry
was set to false.

Change-Id: Iacb73a4908a6a27082b94fe919734e644ed47b19

Merge "Set nova service_name via t-h-t"

Merge "Fix api_extensions_path in neutron-opencontrail environment"

Merge "Enable proxy headers parsing for Neutron"

Merge "Add apache workers to nova-api conditional"

Add parameters to run cinder over httpd

This adds the necessary hieradata to run cinder over httpd instead
of eventlet.

Change-Id: Ic1967a6f4f60a273965811516f33121115d518b4

Merge "Ensure all HostsDeployments finish before puppet"

Fix api_extensions_path in neutron-opencontrail environment

There is a missing repositiry for LBaaS in api_extensions_path in neutron-opencontrail.
This patch is working in my lab : tripleo liberty and opencontrail 3.0.2

Closes-Bug: #1634120

Change-Id: Ie06612faf226d0e5e75f3f8a9b560118cba5ff4c
Signed-off-by: Cyril Lopez <cylopez@redhat.com>

Add apache workers to nova-api conditional

Without this httpd fails to start on deployments where the
worker count isn't explicitly overridden via a parameter.

Change-Id: Ie7b31bc6e022a0166af126c866994bdd019718df
Closes-Bug: #1634213

Removes EnableODL heat parameter and fixes missing local_ip param

EnableOpenDaylightOnController was not very composable.  Removing this
parameter to make the service truly composable.  Also fixes missing
local_ip setting for OVS, required for VXLAN or GRE tenant networks.

Closes-Bug: 1633625

Depends-On: Ia55c05e12d5d434111a13e1ed795da530e3ff4a5

Change-Id: I0e07e1631793311334d1436ee8fdf9af2802ba70
Signed-off-by: Tim Rozet <trozet@redhat.com>

Set nova service_name via t-h-t

with the move to use httpd instead of eventlet, We now add this
parameter in t-h-t to be able to clean it up from the puppet-tripleo
manifest.

Change-Id: Ic229182cc5c887b57f6182c3db1bac8bed330f7c
Depends-On: I4603b81d30a704b07eef461b3cdbfe164614b04f

Enable proxy headers parsing for Neutron

http_proxy_to_wsgi middleware was recently added to Neutron [1] and
in order to take it into use, we need to enable it via hiera.

[1] Ice9ee8f4e04050271d59858f92034c230325718b
Depends-On: I99bc9486fdd85857ce73c413e17400320bd6ec5b
Related-Bug: #1590608

Change-Id: I10c065e726f2708e09acfc04dac3cae34a534d23

glance_multiple_locations when NovaEnableRbdBackend=true

glance_multiple_locations does not needed when the
NovaEnableRbdBackend=false, but it is neede when both the
image and the instance storage is rbd and
the show_image_direct_url is enabled.

The condition introduced in Ia7e0558e4f318640981abb44d188e3479b5eae69

Change-Id: Ia8a8cd9aeda69e9a7db6f95dcf418f56e29cae00
Closes-Bug: 1632285

Disables Neutron ML2 config on Compute for OpenDaylight

This is not needed with ODL and actually triggers deployments to fail
due to missing ODL username/password info on compute nodes.

Depends-On: Ifd906db4e6062ac271c2147fe1149b1009d06ae2

Closes-Bug: 1633630

Change-Id: Ib88e8ef91c393d30c44b86a932103f5a294bc547
Signed-off-by: Tim Rozet <trozet@redhat.com>

Merge "Modify the constraint to allow single quote for DPDK core list param"

Merge "Move trunk service plugin to the proper list"

Merge "Pass heat domain admin password to keystone"

Merge "Fixes missing provider mappings for OpenDaylight"

Ensure all HostsDeployments finish before puppet

This makes sure that the Host settings for all deployments are finished
before starting the AllNodesDeployments which execute puppet.

Change-Id: Ibe604472255ce905ca2c1dca2a9b07a6f8f40e47
Related-bug: #1633565

heat-api-cfn endpoint is created to RegionOne instead of regionOne

When deploying, heat-api-cfn is assigned to RegionOne. This leads to a
bad user experience when logging into horizon, because if RegionOne is
selected by default, the users finds all menus empty (no computing, or
anything else).

Thanks to trown for finding out the issue.

Closes-Bug: 1633524

Change-Id: Ic108280f6b0875ffec10be6f696669962fb82e6b

Merge "Add contrail services to the resource registry"

Fixes missing provider mappings for OpenDaylight

Provider mappings were not parameterized, and this is traditionally
required for VLAN provider networks.  In ODL Boron with new netvirt,
this value is required to be set in order to use external networks.

Closes-Bug: #1627898

Change-Id: I8001a4077fc7c4af458033043ea438c32c9772b0
Signed-off-by: Tim Rozet <trozet@redhat.com>

Pass heat domain admin password to keystone

This is needed to create the user/domain/project in the
keystone profile on whatever role is running the keystone service.

Change-Id: I115ead005974080e0a35e3675d9b37828c8934b1
Closes-Bug: #1631130
Depends-On: Ib088a572b384b479f51d56555734d78ab840a1f3

Modify the constraint to allow single quote for DPDK core list param

DPDK core list has to be give a string. For multiple cores, it
be given as "'1,2'". But the constraint does not allow ' (single
quote) to be set in the string. Modifying the constraint pattern.
Closes-Bug: #1633433

Change-Id: Ide2194d9ef5c10e276fa1a634919dfb286e483d6

Merge "Fix default Swift ring partition power"

Merge "Enable Glance multiple locations when using Ceph"

Merge "Split out hosts config deployment"

Enable Glance multiple locations when using Ceph

Currently Glance v2 doesn't allow to specify custom locations for
images by default, it returns 403. To enable this, the
'show_multiple_locations' param must be set to True.

Also see similar change introduced in devstack [1].

1. Id0f1c398b8b48f2ffc2488b29bc7cbd279069337

Change-Id: Ia7e0558e4f318640981abb44d188e3479b5eae69
Closes-Bug: 1632285

Merge "Enable object versioning in Swift proxy"

Split out hosts config deployment

This patch moves the hosts configuration into its own deployment.
It will continue to use os-apply-config as something that is
required early on in the bootstrapping (it needs to be
configured before puppet runs for example).

The motivation here is so we can refactor all-nodes-config.yaml to use a
new hiera hook that that avoids os-apply-config entirely.

Change-Id: Ib3e4380f205358b27d22a1102b663cf300b1ed86
Partial-bug: #1596373

Merge "Enable proxy headers parsing for Aodh"

Merge "Enable proxy headers parsing for Gnocchi"

Merge "Enable proxy headers parsing for Ceilometer"

Merge "Only set NovaWorkers in the non-default case"

Move trunk service plugin to the proper list

The trunk plugin required for trunk port support in neutron was added to
the incorrect plugin list.

Change-Id: I8d424d6a6045e07d9fbab1a864470ceefdb1ad8e
Closes-Bug: #1633079

Merge "Be more inclusive in insecure registry regex"

Merge "Add flag for internal TLS"

Merge "Add HAProxy TLS handled by certmonger as composable service"

Prefill Sensu client custom config

- Custom config has to contain OpenStack auth information,
  so it has to be generated for user during deployment.
  This patch maintains the ability to provide a custom
  configuration for the Sensu client.

Change-Id: If449642c4bbad683421e1f461b8721e655db0c45

Enable proxy headers parsing for Ceilometer

http_proxy_to_wsgi middleware was recently added to Ceilometer [1] and
in order to take it into use, we need to enable it via hiera.

[1] I24f16dda49bd9e7930ca9f0d32bf0793463aff03
Depends-On: I1812a27202ba3714b354aeb27611d38def87a7fc
Related-Bug: #1590608

Change-Id: If8de25afa13de6797895f36c98ffdde8cf3e8656

Merge "Disable IPv6 RAs & Autoconf For All (Not Just Default)"

Enable proxy headers parsing for Aodh

http_proxy_to_wsgi middleware was recently added to Aodh [1] and
in order to take it into use, we need to enable it via hiera.

[1] If2ada8a94c8e1ceacd4509605b4cd766a78f71d5
Depends-On: I0981e152700ed4511b797011ebe18e857c1fed71
Related-Bug: #1590608

Change-Id: Ie9605ae1e5437f488802b03ca23a325866f0ceb5

Enable proxy headers parsing for Gnocchi

http_proxy_to_wsgi middleware was recently added to Gnocchi [1] and
in order to take it into use, we need to enable it via hiera.

[1] Ic5526cf37e70335fa2cc70946a271253f227f129
Related-Bug: #1590608

Change-Id: I145dcfa3455ca1541cbf6b5fc4b601f0813619c0

Merge "Remove duplicate metadata keys from nova-api.yaml"

Merge "Special case non-matching ObjectStorage role port names"

Disable IPv6 RAs & Autoconf For All (Not Just Default)

The current kernel sysctl settings modify the
net.ipv6.conf.default.accept_ra and net.ipv6.conf.default.autoconf
to both be '0'. However, this is overridden by the settings in
net.ipv6.conf.all, so no matter what setting is in the ifcfg file
for the IPv6 interface, autoconfiguration and accept_ra will be
enabled. This causes a security vulnerability where rogue RAs
could be used to intercept traffic from the controllers.

This change sets both default and all settings to '0' for IPv6
accept_ra and autoconf.

Closes-Bug: 1632830
Change-Id: I95b86c5c6feed30dfa5103ffbddb9e85ac567bbb

Merge "Allow Glance API and Registry to be split"

Only set NovaWorkers in the non-default case

This patch updates the t-h-t templates for
nova services so that we only set the value of workers in
the non-default case. TripleO has always defaulted the
workers count to 0 and there was recently a regression in
nova where they treat the default of 0 as invalid (a bug
that may get fixed in nova but we don't want to wait on it)

This patch avoids the issue by allowing the default value
to be unset if the TripleO default of 0 is configured.

Change-Id: I175977b88129d87caeb32332d47eb14816a6d5d4
Closes-bug: #1631133

Remove duplicate metadata keys from nova-api.yaml

These keys are already specified in nova-metadata.yaml
where they get set correctly per the network management
local IP (based on 'service_name' list).

Depends-On: I94f985e719a3bf7408655fbbb5ab1aeaf15e994e

Change-Id: I5d57561b732783118efd2a637aa137f5f7bcddbc
Partial-bug: #1631133

Merge "Add parameters to run nova over httpd"

Add contrail services to the resource registry

Added contrail resource registry entries.

Implements: blueprint contrail-services

Change-Id: I03894bff63d54637ba1b10a279e2d75f97a06b3c

Special case non-matching ObjectStorage role port names

Unfortunately we use "SwiftStorage" in the ObjectStorage role
template, so we have to special-case this for backwards compatibility
or deployments enabling the ObjectStorage role will fail.

Ideally we'd align the port names in the objectstorage-role.yaml, but we
can't becauuse all the ports would be replaced in existing deployments
on update.

Change-Id: Ia07e193d2b9a4d33c6272c2b4448133584b81350
Closes-Bug: #1632663

Allow Glance API and Registry to be split

The glance-api and glance-registry services are currently coupled
in that some of the hiera settings in the API are required for
the registry to run correctly (the backend settings).

This patch moves some of the common settings into glance-base and
then updates the glance-api and glance-registry services to
supply that service.

Change-Id: Ie3d7e24c7fd475e3f6ad542c1654eb7dbd9d9b35
Closes-bug: #1628582

Merge "Set the notification driver for glance"

Merge "Actually start the systemd services in step3 of the major-upgrade step"

Enable object versioning in Swift proxy

Tempest expects object versioning to be enabled by default in Swift;
if not it has to be disabled explicitly in the Tempest config.

This is a commonly used middleware, therefore it should be enabled
in the overcloud proxy nodes as well.

Closes-Bug: 1632215
Depends-On: I07a206473ff7939749e3eba1dfe3ea8c4526eb5c
Change-Id: I4eae08ff3f9a3a2f829c3497c1c2aaee8e7f8554

Merge "Remove unneeded *_enable_backend hiera from Manila backends"

Actually start the systemd services in step3 of the major-upgrade step

We have the following function in the upgrade process after we updated
the packages and called the db-sync commands:
services=$(services_to_migrate)
...
for service in $(services); do
    manage_systemd_service start "${service%%-clone}"
    check_resource_systemd "${service%%-clone}" started 600
done

The above is broken because $services contains a list of services to
start, so $(services) will return gibberish and the for loop will never
execute anything.

One of the symptoms for this is the openstack-nova-compute service not
restarting on the compute nodes during the yum -y upgrade. The reason
for this is that during the service restart, nova-compute waits for
nova-conductor to show up in the rabbitmq queues, which cannot happen
since the service was actually never started.

Change-Id: I811ff19d7b44a935b2ec5c5e66e5b5191b259eb3
Closes-Bug: #1630580

Fix default Swift ring partition power

Looks like swift::ringbuilder::part_power is not used at all; actually
the partition power on the overcloud is 18, which is the default in
puppet-swift if nothing else is defined.

Closes-Bug: 1631926
Depends-On: I78049105adf52226d47cc6764b1ba6c2c06e91e5
Change-Id: I65335c8d31ed1130e71f1e193eb519b9f7f2438e

Set the notification driver for glance

Need to set the right default notification driver for glance so
telemetry receives them accordingly. Without this tempest tests
fail.

Closes-bug: #1631939

Change-Id: I1cee5467d077eea6142076925646f7d0cdae96c7

Merge "Add new environment for debug"

Merge "Make step an integer on the pacemaker controller"

Merge "Add cloud names to hosts output"

Make step an integer on the pacemaker controller

This resolves the issue causing the 'step' hiera setting
to get written as a string (thus causing puppet failures)
on a pacemaker controller.

Change-Id: I70037889e499846460357928f8637a35ac97bc7a
Closes-bug: #1631488

Add new environment for debug

Introduce a new environment template that enables the Debug parameter.
By default the value is set to "true".

Change-Id: Ieac59de42ffef6afa5d8f10ef1925c32c7dc8551

Merge "Renames OpenDaylight to OpenDaylightApi and splits out OVS configuration"

Remove unneeded *_enable_backend hiera from Manila backends

Depends-On: I04e28a95e8d69a24cd3df109bf1802bfcbd941db

Change-Id: I4ada033155e5fde0add08ec9aa8f6af7c31d53f3

Merge "Ceilometer Wsgi Mitaka->Newton upgrades"

Add cloud names to hosts output

Closes-Bug: #1631277
Change-Id: I126b3ed2afdf03ffabb7e57f8792b9f7ecc06a09

Merge "Serialize AllNodesDeployment and UpdateWorkflow"