Remove double tcp_listen_options entries for rabbit

After a brand new deployment we have the following in rabbitmq.config:
...
  {rabbit, [
    {tcp_listen_options,
         [binary,
         {packet,        raw},
         {reuseaddr,     true},
         {backlog,       128},
         {nodelay,       true},
         {exit_on_close, false}]
    },
    {tcp_listen_options, [binary, {packet, raw}, {reuseaddr, true},
{backlog, 128}, {nodelay, true}, {exit_on_close, false}, {keepalive,
true}]},
...

Let's remove these duplicate entries and make sure that we use the
parameters for the puppet module to set the following values
explicitely (it's the only parameter where we do not use the default
setting from the puppet module):
keepalive = true -> rabbitmq::tcp_keepalive: true

All the other options that we set are the default in the puppet module:
{packet, raw}
{reuseaddr, true}
{backlog, 128}{nodelay, true}
{exit_on_close, false}

Depends-On: I608477d5714a5081b3b4ab3b9fc2932bdd598301
Change-Id: I35921652bd84d1d6be0727051294983d4a0dde10

Merge "Set nova service_name via t-h-t"

Merge "Fix api_extensions_path in neutron-opencontrail environment"

Merge "Enable proxy headers parsing for Neutron"

Merge "Add apache workers to nova-api conditional"

Merge "Ensure all HostsDeployments finish before puppet"

Fix api_extensions_path in neutron-opencontrail environment

There is a missing repositiry for LBaaS in api_extensions_path in neutron-opencontrail.
This patch is working in my lab : tripleo liberty and opencontrail 3.0.2

Closes-Bug: #1634120

Change-Id: Ie06612faf226d0e5e75f3f8a9b560118cba5ff4c
Signed-off-by: Cyril Lopez <cylopez@redhat.com>

Add apache workers to nova-api conditional

Without this httpd fails to start on deployments where the
worker count isn't explicitly overridden via a parameter.

Change-Id: Ie7b31bc6e022a0166af126c866994bdd019718df
Closes-Bug: #1634213

Set nova service_name via t-h-t

with the move to use httpd instead of eventlet, We now add this
parameter in t-h-t to be able to clean it up from the puppet-tripleo
manifest.

Change-Id: Ic229182cc5c887b57f6182c3db1bac8bed330f7c
Depends-On: I4603b81d30a704b07eef461b3cdbfe164614b04f

Enable proxy headers parsing for Neutron

http_proxy_to_wsgi middleware was recently added to Neutron [1] and
in order to take it into use, we need to enable it via hiera.

[1] Ice9ee8f4e04050271d59858f92034c230325718b
Depends-On: I99bc9486fdd85857ce73c413e17400320bd6ec5b
Related-Bug: #1590608

Change-Id: I10c065e726f2708e09acfc04dac3cae34a534d23

glance_multiple_locations when NovaEnableRbdBackend=true

glance_multiple_locations does not needed when the
NovaEnableRbdBackend=false, but it is neede when both the
image and the instance storage is rbd and
the show_image_direct_url is enabled.

The condition introduced in Ia7e0558e4f318640981abb44d188e3479b5eae69

Change-Id: Ia8a8cd9aeda69e9a7db6f95dcf418f56e29cae00
Closes-Bug: 1632285

Merge "Modify the constraint to allow single quote for DPDK core list param"

Merge "Move trunk service plugin to the proper list"

Merge "Pass heat domain admin password to keystone"

Merge "Fixes missing provider mappings for OpenDaylight"

Ensure all HostsDeployments finish before puppet

This makes sure that the Host settings for all deployments are finished
before starting the AllNodesDeployments which execute puppet.

Change-Id: Ibe604472255ce905ca2c1dca2a9b07a6f8f40e47
Related-bug: #1633565

heat-api-cfn endpoint is created to RegionOne instead of regionOne

When deploying, heat-api-cfn is assigned to RegionOne. This leads to a
bad user experience when logging into horizon, because if RegionOne is
selected by default, the users finds all menus empty (no computing, or
anything else).

Thanks to trown for finding out the issue.

Closes-Bug: 1633524

Change-Id: Ic108280f6b0875ffec10be6f696669962fb82e6b

Merge "Add contrail services to the resource registry"

Fixes missing provider mappings for OpenDaylight

Provider mappings were not parameterized, and this is traditionally
required for VLAN provider networks.  In ODL Boron with new netvirt,
this value is required to be set in order to use external networks.

Closes-Bug: #1627898

Change-Id: I8001a4077fc7c4af458033043ea438c32c9772b0
Signed-off-by: Tim Rozet <trozet@redhat.com>

Pass heat domain admin password to keystone

This is needed to create the user/domain/project in the
keystone profile on whatever role is running the keystone service.

Change-Id: I115ead005974080e0a35e3675d9b37828c8934b1
Closes-Bug: #1631130
Depends-On: Ib088a572b384b479f51d56555734d78ab840a1f3

Modify the constraint to allow single quote for DPDK core list param

DPDK core list has to be give a string. For multiple cores, it
be given as "'1,2'". But the constraint does not allow ' (single
quote) to be set in the string. Modifying the constraint pattern.
Closes-Bug: #1633433

Change-Id: Ide2194d9ef5c10e276fa1a634919dfb286e483d6

Merge "Fix default Swift ring partition power"

Merge "Enable Glance multiple locations when using Ceph"

Merge "Split out hosts config deployment"

Enable Glance multiple locations when using Ceph

Currently Glance v2 doesn't allow to specify custom locations for
images by default, it returns 403. To enable this, the
'show_multiple_locations' param must be set to True.

Also see similar change introduced in devstack [1].

1. Id0f1c398b8b48f2ffc2488b29bc7cbd279069337

Change-Id: Ia7e0558e4f318640981abb44d188e3479b5eae69
Closes-Bug: 1632285

Merge "Enable object versioning in Swift proxy"

Split out hosts config deployment

This patch moves the hosts configuration into its own deployment.
It will continue to use os-apply-config as something that is
required early on in the bootstrapping (it needs to be
configured before puppet runs for example).

The motivation here is so we can refactor all-nodes-config.yaml to use a
new hiera hook that that avoids os-apply-config entirely.

Change-Id: Ib3e4380f205358b27d22a1102b663cf300b1ed86
Partial-bug: #1596373

Merge "Enable proxy headers parsing for Aodh"

Merge "Enable proxy headers parsing for Gnocchi"

Merge "Enable proxy headers parsing for Ceilometer"

Merge "Only set NovaWorkers in the non-default case"

Move trunk service plugin to the proper list

The trunk plugin required for trunk port support in neutron was added to
the incorrect plugin list.

Change-Id: I8d424d6a6045e07d9fbab1a864470ceefdb1ad8e
Closes-Bug: #1633079

Merge "Be more inclusive in insecure registry regex"

Merge "Add flag for internal TLS"

Merge "Add HAProxy TLS handled by certmonger as composable service"

Enable proxy headers parsing for Ceilometer

http_proxy_to_wsgi middleware was recently added to Ceilometer [1] and
in order to take it into use, we need to enable it via hiera.

[1] I24f16dda49bd9e7930ca9f0d32bf0793463aff03
Depends-On: I1812a27202ba3714b354aeb27611d38def87a7fc
Related-Bug: #1590608

Change-Id: If8de25afa13de6797895f36c98ffdde8cf3e8656

Merge "Disable IPv6 RAs & Autoconf For All (Not Just Default)"

Enable proxy headers parsing for Aodh

http_proxy_to_wsgi middleware was recently added to Aodh [1] and
in order to take it into use, we need to enable it via hiera.

[1] If2ada8a94c8e1ceacd4509605b4cd766a78f71d5
Depends-On: I0981e152700ed4511b797011ebe18e857c1fed71
Related-Bug: #1590608

Change-Id: Ie9605ae1e5437f488802b03ca23a325866f0ceb5

Enable proxy headers parsing for Gnocchi

http_proxy_to_wsgi middleware was recently added to Gnocchi [1] and
in order to take it into use, we need to enable it via hiera.

[1] Ic5526cf37e70335fa2cc70946a271253f227f129
Related-Bug: #1590608

Change-Id: I145dcfa3455ca1541cbf6b5fc4b601f0813619c0

Merge "Remove duplicate metadata keys from nova-api.yaml"

Merge "Special case non-matching ObjectStorage role port names"

Disable IPv6 RAs & Autoconf For All (Not Just Default)

The current kernel sysctl settings modify the
net.ipv6.conf.default.accept_ra and net.ipv6.conf.default.autoconf
to both be '0'. However, this is overridden by the settings in
net.ipv6.conf.all, so no matter what setting is in the ifcfg file
for the IPv6 interface, autoconfiguration and accept_ra will be
enabled. This causes a security vulnerability where rogue RAs
could be used to intercept traffic from the controllers.

This change sets both default and all settings to '0' for IPv6
accept_ra and autoconf.

Closes-Bug: 1632830
Change-Id: I95b86c5c6feed30dfa5103ffbddb9e85ac567bbb

Merge "Allow Glance API and Registry to be split"

Only set NovaWorkers in the non-default case

This patch updates the t-h-t templates for
nova services so that we only set the value of workers in
the non-default case. TripleO has always defaulted the
workers count to 0 and there was recently a regression in
nova where they treat the default of 0 as invalid (a bug
that may get fixed in nova but we don't want to wait on it)

This patch avoids the issue by allowing the default value
to be unset if the TripleO default of 0 is configured.

Change-Id: I175977b88129d87caeb32332d47eb14816a6d5d4
Closes-bug: #1631133

Remove duplicate metadata keys from nova-api.yaml

These keys are already specified in nova-metadata.yaml
where they get set correctly per the network management
local IP (based on 'service_name' list).

Depends-On: I94f985e719a3bf7408655fbbb5ab1aeaf15e994e

Change-Id: I5d57561b732783118efd2a637aa137f5f7bcddbc
Partial-bug: #1631133

Merge "Add parameters to run nova over httpd"

Add contrail services to the resource registry

Added contrail resource registry entries.

Implements: blueprint contrail-services

Change-Id: I03894bff63d54637ba1b10a279e2d75f97a06b3c

Special case non-matching ObjectStorage role port names

Unfortunately we use "SwiftStorage" in the ObjectStorage role
template, so we have to special-case this for backwards compatibility
or deployments enabling the ObjectStorage role will fail.

Ideally we'd align the port names in the objectstorage-role.yaml, but we
can't becauuse all the ports would be replaced in existing deployments
on update.

Change-Id: Ia07e193d2b9a4d33c6272c2b4448133584b81350
Closes-Bug: #1632663

Allow Glance API and Registry to be split

The glance-api and glance-registry services are currently coupled
in that some of the hiera settings in the API are required for
the registry to run correctly (the backend settings).

This patch moves some of the common settings into glance-base and
then updates the glance-api and glance-registry services to
supply that service.

Change-Id: Ie3d7e24c7fd475e3f6ad542c1654eb7dbd9d9b35
Closes-bug: #1628582

Merge "Set the notification driver for glance"

Merge "Actually start the systemd services in step3 of the major-upgrade step"

Enable object versioning in Swift proxy

Tempest expects object versioning to be enabled by default in Swift;
if not it has to be disabled explicitly in the Tempest config.

This is a commonly used middleware, therefore it should be enabled
in the overcloud proxy nodes as well.

Closes-Bug: 1632215
Depends-On: I07a206473ff7939749e3eba1dfe3ea8c4526eb5c
Change-Id: I4eae08ff3f9a3a2f829c3497c1c2aaee8e7f8554

Merge "Remove unneeded *_enable_backend hiera from Manila backends"

Actually start the systemd services in step3 of the major-upgrade step

We have the following function in the upgrade process after we updated
the packages and called the db-sync commands:
services=$(services_to_migrate)
...
for service in $(services); do
    manage_systemd_service start "${service%%-clone}"
    check_resource_systemd "${service%%-clone}" started 600
done

The above is broken because $services contains a list of services to
start, so $(services) will return gibberish and the for loop will never
execute anything.

One of the symptoms for this is the openstack-nova-compute service not
restarting on the compute nodes during the yum -y upgrade. The reason
for this is that during the service restart, nova-compute waits for
nova-conductor to show up in the rabbitmq queues, which cannot happen
since the service was actually never started.

Change-Id: I811ff19d7b44a935b2ec5c5e66e5b5191b259eb3
Closes-Bug: #1630580

Fix default Swift ring partition power

Looks like swift::ringbuilder::part_power is not used at all; actually
the partition power on the overcloud is 18, which is the default in
puppet-swift if nothing else is defined.

Closes-Bug: 1631926
Depends-On: I78049105adf52226d47cc6764b1ba6c2c06e91e5
Change-Id: I65335c8d31ed1130e71f1e193eb519b9f7f2438e

Set the notification driver for glance

Need to set the right default notification driver for glance so
telemetry receives them accordingly. Without this tempest tests
fail.

Closes-bug: #1631939

Change-Id: I1cee5467d077eea6142076925646f7d0cdae96c7

Merge "Add new environment for debug"

Merge "Make step an integer on the pacemaker controller"

Merge "Add cloud names to hosts output"

Make step an integer on the pacemaker controller

This resolves the issue causing the 'step' hiera setting
to get written as a string (thus causing puppet failures)
on a pacemaker controller.

Change-Id: I70037889e499846460357928f8637a35ac97bc7a
Closes-bug: #1631488

Add new environment for debug

Introduce a new environment template that enables the Debug parameter.
By default the value is set to "true".

Change-Id: Ieac59de42ffef6afa5d8f10ef1925c32c7dc8551

Merge "Renames OpenDaylight to OpenDaylightApi and splits out OVS configuration"

Remove unneeded *_enable_backend hiera from Manila backends

Depends-On: I04e28a95e8d69a24cd3df109bf1802bfcbd941db

Change-Id: I4ada033155e5fde0add08ec9aa8f6af7c31d53f3

Merge "Ceilometer Wsgi Mitaka->Newton upgrades"

Add cloud names to hosts output

Closes-Bug: #1631277
Change-Id: I126b3ed2afdf03ffabb7e57f8792b9f7ecc06a09

Merge "Serialize AllNodesDeployment and UpdateWorkflow"

Ceilometer Wsgi Mitaka->Newton upgrades

In Newton, ceilometer api is changed to run under apache wsgi
instead of eventlet. This will require upgrades for mitaka
deployments to switch to wsgi.

Closes-Bug: 1631297
Change-Id: If9d6987cd0a8fc5d3f9de518ba422d97d5149732

Serialize AllNodesDeployment and UpdateWorkflow

Otherwise there may be a race between updating the hiera
and running the UpdateWorkflow

Change-Id: I22cd893e0db3df6d39504fbd61d7d9024cebb1c5
Related-Bug: 1631297

Merge "Specify the Ceph packages to be installed"

Merge "Add Select per-network hostnames for service_node_names to role.role.j2.yaml"

Specify the Ceph packages to be installed

The puppet-ceph module defaults to 'ceph' but that is a metapacakge
which isn't provided in all repos.

Depends-On: I13462219522386f8740b0d70916a44f3474115e4
Change-Id: Ie55d22301dd22102d471e6002dfcaad4bfadd5f6
Related-Bug: 1629933

Enable firewalling by default on compute nodes

- Move VXLAN and VRRP rules from Neutron Server to the right services.
- Enable Firewall by default on Compute nodes.

Change-Id: I99d172dcedaf6be297aad184cc51fe9f292a57e1

Re-enable ManageFirewall by default.

This default setting got lots in the composable roles/services patches.

Re-enable the ManageFirewall setting by default per what we did in
git commit 73c76b867ddc8a23a30b9a3cac4031189d4178c6.

We also fix a typo in neutron-api.yaml so that the firewall rules
matches to service_name. (otherwise it won't get loaded).

Also, drops the environments/manage-firewall.yaml which is
no longer needed if we enable firewall management by default.

Change-Id: Ie198e4efd190131d0722085b10ef77da9005bc1b
Closes-bug: 1629934

Add Select per-network hostnames for service_node_names to role.role.j2.yaml

This will wire up the per-network hostnames in the generic role.

Needs to land after https://review.openstack.org/#/c/378764

Partial-Bug: #1626976

Change-Id: I595f35cce03d9f416a1768aa5c349a1bb20b0e19

Merge "restore missing fluentd client functionality"

Merge "Add generic template for custom roles."

Merge "Set proper ceph config path for manila"

Merge "Select per-network hostnames for service_node_names"

Merge "Fix OpendaylightApiNetwork key naming"

Be more inclusive in insecure registry regex

The regex failed to match the INSECURE_REGISTRY string used in latest
atomic host image due to it expecting a whitespace after
--insecure-registry.

Change-Id: Ib8f288d844b4d94b0f6309bfd04bb05930d8c4c5

Add generic template for custom roles.

This submission creates a generic template
file to deploy custom roles.

Also adds a file to specify an exclusion role
list in order to avoid not to generate the
template for those roles.

Partial-Bug: #1626976

Depends-On: I6d7247bbb8702eb0ab9bdf133b5ab1c6e8349d98

Change-Id: I3e11c089023b793a5063d9e1714527a3fe2b7458

Set proper ceph config path for manila

When deploying manila with cephfs backend,
/etc/manila/manila.conf should define

  cephfs_conf_path = /etc/ceph/ceph.conf

in the cephfs native backend since this is
the conventional path that ceph operators expect
and since we document that path upstream.

Change-Id: I4abf5c33b675b1102413a84d64f4ce23b07b4485
Closes-Bug: 1630777

Merge "Open tripleo-heat-templates for Ocata"

Merge "Adds Environment File for Removing Sahara during M/N upgrade"

restore missing fluentd client functionality

in the great rebase following the JINJA ALL THE THINGS changes we lost
critical functionality in the fluentd client service.  This review
restores the missing features.

Change-Id: I7c23f16f81e75f3da6a24587b2eb8385b3e920a4
Closes-bug: 1630692

Renames OpenDaylight to OpenDaylightApi and splits out OVS configuration

This patch modifies the service name to be more appropriately called
"OpenDaylightApi" along side the "OpenDaylightOvs" service used to
configure OpenVSwitch.  It also splits out the OVS configuration for
controller nodes into the composable OpenDaylightOvs service.

Related-Bug: #1629408

Change-Id: I15221401acdfb2a9ef81107b54a8005348f8372f
Signed-off-by: Tim Rozet <trozet@redhat.com>

Fix OpendaylightApiNetwork key naming

This captialization won't work with the CamelCase to snake_case
conversion we do, as the required name is opendaylight_api_network

Adds some clarification to the ServiceNetMap description to hopefully
avoid future confusion.

Change-Id: Ife04ee2185e81009ebef55ad521aef799251e002
Closes-Bug: #1629408

Merge "Fixing resources path in OpenDaylight"

Open tripleo-heat-templates for Ocata

To avoid pushing an artificial alpha tag, following PBR semver keyword
bumps major version. See http://docs.openstack.org/developer/pbr/#version

Change-Id: Ic47869c96217269806daac9c3c888603e4e5d00a
Sem-Ver: api-break

Adds Environment File for Removing Sahara during M/N upgrade

The default path if the operator does nothing is to keep the
sahara services on mitaka to newton upgrades.

If the operator wishes to remove sahara services then they
need to specify the provided major-upgrade-remove-sahara.yaml
environment file in the stack upgrade commands.

The existing migration to ha arch already removes the constraints
and pcs resource for sahara api/engine so we just need to stop
it from starting again if we want to remove it.

This adds a  KeepSaharaServiceOnUpgrade parameter to determine if
Sahara is disabled from starting up after the controllers are
upgraded (defaults true).

Finally it is worth noting that we default the sahara services
as 'on' during converge here in the resource_registry of the
converge environment file; any subsequent stack updates where
the deployment contains sahara services will need to
include the -e /environments/services/sahara.yaml environment
file.

Related-Bug: 1630247
Change-Id: I59536cae3260e3df52589289b4f63e9ea0129407

Select per-network hostnames for service_node_names

Co-Authored-By: Juan Antonio Osorio Robles <jaosorior@redhat.com>
Depends-On: Ic6fec1057439ed9122d44ef294be890d3ff8a8ee
Change-Id: I754c4a41d8a294a4c7c18bd282ae014efd4b9b16
Closes-Bug: #1628521

j2 template per-role ServiceNetMapDefaults

The *HostnameResolveNetwork should default to a sane value
for all roles, including those specified by the user.

We choose internal_api by default (maintaining the existing
special-case for the CephStorage role which uses the storage
network), but users can of course override the default with
a network of their choice.

Change-Id: Ib240f56c1db5842b953fa510316e75fd53f24735
Closes-Bug: #1629827

Merge "Move the main template files for defalut services to new syntax generation"

Merge "j2 template role config templates"

Move the main template files for defalut services to new syntax generation

When generating these templates, we should
create them with the "-role" appended as they will
be generated from a role.role.j2.yaml file.

i.e. role.role.j2.yaml will generate <service>-role.yaml
     config.role.j2.yaml will generate <service>-config.yaml

Partial-Bug: #1626976
Change-Id: I614dc462fd7fc088b67634d489d8e7b68e7d4ab1

Include redis/mongo hiera when using pacemaker

This patch updates the pacemaker composable service templates for
mongo and redis to extend the proper base (redis.yaml and mongo.yaml)
templates instead of the -base.yaml versions. This was causing
some missing hiera settings for these services which caused symptoms
like missing firewall rules for these services.

Change-Id: I3f94acbf4d1baadbb151b1c4d34b4a0ab28ad5e5
Partial-bug: #1629934

Merge "Use netapp_host_type instead of netapp_eseries_host_type"

Merge "Make keystone api network hiera composable"

Merge "Set ceph osd max object name and namespace len on upgrade when on ext4"

Merge "reload HAProxy config in HA setups when certificate is updated"