Merge "Ensure we update ceph and composable nodes"

Merge "swift/proxy: remove swift::proxy::ceilometer::rabbit_host"

Merge "nova: add missing vnc console port in firewall"

Merge "nova/libvirt: add missing ports for live-migration"

Merge "Updated Nuage neutron plugin name"

swift/proxy: remove swift::proxy::ceilometer::rabbit_host

The param is now managed in puppet-tripleo like other services.

Change-Id: I306aa6ac6e2cfc0d4602e15e11564a6be096a121
Depends-On: Ibc0ed642931dd3ada7ee594bb8c70a1c3462206d

Merge "Update openstack-puppet-modules dependencies"

Merge "Fixup the start of swift services"

Merge "Add option to disable "d1" Swift device"

nova: add missing vnc console port in firewall

- Remove vncproxy firewall rules from nova-api service
- Add vncproxy firewall rules to nova-vncproxy service
- Add console port range firewall rules to nova-libvirt service

Change-Id: I421ae21c130cac6f25e7c0869b941ba77441172c

nova/libvirt: add missing ports for live-migration

Some ports are missing to support live-migration. This patch adds them.

Documented here:
https://access.redhat.com/documentation/en/red-hat-openstack-platform/9/paged/migrating-instances/chapter-1-how-to-migrate-a-live-instance

Change-Id: I72634a9940c11602522322235e51bf27cb664e57

Merge "Rework gnocchi-upgrade to run in a separate upgrade step"

Merge "gnocchi statsd should be able to send data to port 8125"

Fixup the start of swift services

Seems the conditional has changed and we should pickup the
tripleo::profile::base::swift::storage::enable_swift_storage
hiera data.

After controller nodes are upgraded the swift services were down
even though there was no stand-alone swift node (the current
conditional was failing as that hiera isn't set any more)

Closes-Bug: 1638821
Change-Id: Id1383c1e54f9cae13fd375e90da525230e5d23eb

Ensure we update ceph and composable nodes

The update configuration is generated into ceph.yaml and into
{rolename}.yaml. We should ensure puppet hiera is looking for
these files.

Change-Id: I261d16bc365b3d19adc502385edcc509a53ffc2a
Closes-Bug: #1638346
Resolves: rhbz#1388977

gnocchi statsd should be able to send data to port 8125

currently udp port 8125 is blocked by default. This can cause issues
when sending statsd data.

Change-Id: Icb5569c4e3dc981e9a8accf32eedd3370552cb34

Merge "Add Barbican to the overcloud"

Update openstack-puppet-modules dependencies

OPM package is metadata package with unversioned requirements which
means that update does not update the dependencies. This leaves us
with old puppet modules and old puppet during the puppet run.

Change-Id: I80f8a73142a09bb4178bb5a396d256ba81ba98a8
Closes-Bug: #1638266
Resolves: rhbz#1390559

Rework gnocchi-upgrade to run in a separate upgrade step

gnocchi when configured with swift will require keystone
to be available to authenticate to migrate to v3. At this
step keystone is not available and gnocchi upgrade fails
with auth error. Instead start apache in step 3, start
apache first and then run gnocchi upgrade in a separate
step and let upgrade happen here.

Closes-Bug: #1634897

Change-Id: I22d02528420e4456f84b80905a7b3a80653fa7b0

Merge "Re-add NFS backend for Glance"

Merge "Add replacepkgs to the manual ovs upgrade workaround and fix a typo"

Updated Nuage neutron plugin name

Updated plugin name for configuring Nuage.
Nuage plugin name changed after Liberty release
and needs to be updated at all instances.
Updated neutron-nuage-config.yaml file to reflect
the change.

Change-Id: I7cce9a07b909ab59bf249439eec0833afce5cca6
Closes-Bug: #1635033

Merge "Enable internal TLS for aodh"

Merge "Fix Swift proxy pipeline ordering"

Merge "Enable internal TLS for ceilometer"

Fix Swift proxy pipeline ordering

The Ceilometer middleware is in the wrong place; actually any middleware
should be deployed after catch_errors to catch any errors that would
otherwise crash the proxy service. Additionally the ceilometer
middleware should be deployed after any authentication middleware.

Closes-Bug: 1637471
Co-Authored-By: Thiago da Silva <thiago@redhat.com>
Change-Id: I710ff2f51271a78582fa502e7eecfa687800c664

Add option to disable "d1" Swift device

A default TripleO installation uses a local directory named "d1" to be
used by Swift. With SwiftRawDisks set it is highly unlikely that that an
operator wants to use this any longer, because it affects system
perforamce and might result in an overfilled the system disk. In this
case d1 should be no longer when building rings.

This patch makes it possible to disable the d1 device usage in the ring
building process by using a new option "SwiftUseLocalDir". This is set
by default to true, not changing the default behavior. If set to false,
the d1 device won't be used when building rings.

Closes-Bug: 1634051
Change-Id: Ia9ad38e3ffa533e170f4cedd0518d830e9b2fa69

Set cinder's service name to httpd via t-h-t

With this, we can clean it from puppet-tripleo.

Change-Id: I13638cd1af52537bef8540f0d5fa5f5f7decd392
Depends-On: Ic1967a6f4f60a273965811516f33121115d518b4

Add replacepkgs to the manual ovs upgrade workaround and fix a typo

rpm command will return an exit 1 if ovs package is already
there and will exit the step_1.sh script. To get around this
force the update with --replacepkgs

Also remove the \ just before the $ which cause a syntax
error for the ceph storage

Change-Id: I11fcf688982ceda5eef7afc8904afae44300c2d9
Closes-bug: 1636748

Merge "Remove double tcp_listen_options entries for rabbit"

Merge "Remove duplicate bind_host from nova-api profile"

Fix usage of SwiftRawDisks

Using the SwiftRawDisks parameter neither created the XFS filesystem nor
mounted the device, requiring manual intervention by an operaror.

Partial-Bug: 1634051
Change-Id: I2da0f12635a37c1f339a3be59a7d00f352adf283

Merge "Fix the stonith property during upgrades"

Fix the rabbitmq/redis pacemaker resource timeouts on updates

With the following two changes we increased the timeout for redis and
rabbit for both starting and stopping to 200s:
https://review.openstack.org/386618 newton (merged)
https://review.openstack.org/385555 master (merged)

We want to also fix that on minor updates on all our supported
releases upstream and downstream (newton, mitaka, liberty, kilo).
This way we can guarantee that we have a uniform timeout for
sart and stop for rabbit and redis across all our releases.

Change-Id: If59bf3386832ee78d3a654f01077aff2e8be76e8
Closes-Bug: #1634851

Merge "Composable Mistral services"

Merge "Prefill Sensu client custom config"

Merge "Clarify horizon allowed hosts setting"

Merge "Use correct password for keystone bootstrap"

Clarify horizon allowed hosts setting

Horizon allowed hosts should name the IP addresses/
DNS names (short/long) the Horizon node is listening to.
Allowed hosts is used for header checks and is a security
mechanism.

Change-Id: I81c96357f969a1a436eecd35eb178579159bc719

Merge "Add special case handling for OVS upgrade in updates and upgrades"

Merge "Use ::os_workers fact instead of ::processorcount"

Merge "Add parameters to run cinder over httpd"

Merge "Add missing Ceph endpoints from tls-everywhere environment"

Re-add NFS backend for Glance

We lost ability to store Glance images in NFS mounts as we moved to NG
HA architecture. This patch re-adds that ability, but the parameter
interface changes because the semantics change as well. (Pacemaker
allowed for different mounts than just NFS so the parameters were more
generic, although we only ever tested and documented NFS usage.)

Change-Id: Ic5197e09846bbf75d780dcc74da1717dcf8301d0
Related-Bug: #1635606

Merge "Include ceilometer in swift proxy pipeline"

Merge "Removes EnableODL heat parameter and fixes missing local_ip param"

Use ::os_workers fact instead of ::processorcount

Change-Id: Ib25849565c617f32357ef545957f58454b2a53f8

Composable Mistral services

Adds new puppet specific services for Mistral
API and Mistral Engine.

This submission enables the mistral service by default in the
overcloud, a following submission will disable it and make it
optional by enabling it on demand based in an environment file.

Depends-On: Iae42ffa37c4c9b1e070b7c3753e04c45bb97703f
Depends-On: I942d419be951651e305d01460f394870c30a9878
Depends-On: I6cb2cbf4a2abf494668d24b8c36b0d525643f0af
Implements: blueprint composable-services-within-roles
Co-Authored-By: Carlos Camacho <ccamacho@redhat.com>
Change-Id: Id5ff9cb498b5a47af38413d211ff0ed6ccd0015b

Merge "Generate internal TLS hieradata for apache services"

Add missing Ceph endpoints from tls-everywhere environment

Change-Id: Ib945e570556e8e10e5bb07faa57270958c9eda99

Merge "Bind mount files to run DiD in latest atomic host"

Merge "Have docker start script honor configuration"

Remove double tcp_listen_options entries for rabbit

After a brand new deployment we have the following in rabbitmq.config:
...
  {rabbit, [
    {tcp_listen_options,
         [binary,
         {packet,        raw},
         {reuseaddr,     true},
         {backlog,       128},
         {nodelay,       true},
         {exit_on_close, false}]
    },
    {tcp_listen_options, [binary, {packet, raw}, {reuseaddr, true},
{backlog, 128}, {nodelay, true}, {exit_on_close, false}, {keepalive,
true}]},
...

Let's remove these duplicate entries and make sure that we use the
parameters for the puppet module to set the following values
explicitely (it's the only parameter where we do not use the default
setting from the puppet module):
keepalive = true -> rabbitmq::tcp_keepalive: true

All the other options that we set are the default in the puppet module:
{packet, raw}
{reuseaddr, true}
{backlog, 128}{nodelay, true}
{exit_on_close, false}

Depends-On: I608477d5714a5081b3b4ab3b9fc2932bdd598301
Change-Id: I35921652bd84d1d6be0727051294983d4a0dde10

Open port 16509 for libvirt for live migration

Port 16509 should be opened for tcp traffic to enable live migration.

See Also:
http://docs.openstack.org/admin-guide/compute-configuring-migrations.html

Previously, we were not enabling any iptables rules on the Compute
Roles, so this is a regression.

Change-Id: Ie4abf53dc2a8171af48d02e34a1a3ad43f27cfb3
Closes-Bug: #1635427

Include ceilometer in swift proxy pipeline

new ceilometermiddleware is available and integrated into
puppet-swift. Lets leverage it and include it in the
swift proxy pipeline. The correcponding puppet triple
change for this is Ie49f4a750368ff174b23b8d6baa743d0956d727e

Closes-Bug: #1631108

Change-Id: I82da0240d60d1eed54f1c0927e6157bb63025a19

Merge "Disables Neutron ML2 config on Compute for OpenDaylight"

Fix the stonith property during upgrades

We currently set the stonith property from all controller nodes during
upgrade. This is racy and can actually end up disabling stonith after
the upgrade even if when it was enabled.

Let's set the property only from the bootstrap node.

Change-Id: Id4afb867b485ac853be874a0179a7ed7cc914068
Closes-Bug: #1635294

Add special case handling for OVS upgrade in updates and upgrades

This adds a special case handling for the opensvswitch package
as discussed at the related bug below.
This is added/handled here for both the minor update and the
major mitaka...newton upgrade.

Change-Id: I9b1f0eaa0d36a28e20b507bec6a4e9b3af1781ae
Closes-Bug: 1635205

Enable internal TLS for aodh

This adds the necessary hieradata for enabling TLS in the internal
network for aodh.

bp tls-via-certmonger

Change-Id: I2ea160e3ac0775404d6ed302f475268d3a3031ef
Depends-On: I50ef0c8fbecb19d6597a28290daa61a91f3b13fc

Enable internal TLS for ceilometer

This adds the necessary hieradata for enabling TLS in the internal
network for ceilometer.

bp tls-via-certmonger

Depends-On: Ib5609f77a31b17ed12baea419ecfab5d5f676496
Change-Id: I3eb34efbc8489b23269f97f762d4a3d0fa69f666

Generate internal TLS hieradata for apache services

This adds an environment file that can be used to enable TLS in
the internal endpoints via certmonger if used. This will include
a nested stack that will create the hash that will be used to
create the certmonger certificates.

When setting up a service over apache via puppet, we used to disable
explicitly ssl (which sets modd_ssl-related fields for that vhost).
We now make this depend on the EnableInternalTLS flag. This has only
been done for keystone, but more services will be added as the
puppet code lands

bp tls-via-certmonger

Depends-On: I303f6cf47859284785c0cdc65284a7eb89a4e039
Change-Id: I12e794f2d4076be9505dabfe456c1ca6cfbd359c

Remove duplicate bind_host from nova-api profile

Change-Id: I3c5c7753237ebaf16fb40806df0d195cb2b9aaa0

Bind mount files to run DiD in latest atomic host

The /usr/bin/docker is a shell script in latest atomic host, pointing
to either docker-latest or docker-current binary. Bind mount the
required files from atomic host to be able to run docker in docker
inside heat-agents container.

Co-Authored-By: Flavio Percoco <flavio@redhat.com>
Change-Id: I97e29f65beb3a3f89c1b42c339e2e89f0fc1d519

Have docker start script honor configuration

The test was always evaluate as true which resulted in
insecure_registry line being set even when DockerNamespaceIsRegistry
was set to false.

Change-Id: Iacb73a4908a6a27082b94fe919734e644ed47b19

Add Barbican to the overcloud

Co-Authored-By: Juan Antonio Osorio Robles <jaosorior@redhat.com>
Depends-On: If2804b469eb3ee08f3f194c7dd3290d23a245a7a
Depends-On: I091ecfbcb2e38fe77203244ac7a597aedcb558fb
Change-Id: Iacc504fc4fa2d06893917024ce2340d3fb80b626

Merge "Set nova service_name via t-h-t"

Merge "Fix api_extensions_path in neutron-opencontrail environment"

Merge "Enable proxy headers parsing for Neutron"

Merge "Add apache workers to nova-api conditional"

Add parameters to run cinder over httpd

This adds the necessary hieradata to run cinder over httpd instead
of eventlet.

Change-Id: Ic1967a6f4f60a273965811516f33121115d518b4

Merge "Ensure all HostsDeployments finish before puppet"

Fix api_extensions_path in neutron-opencontrail environment

There is a missing repositiry for LBaaS in api_extensions_path in neutron-opencontrail.
This patch is working in my lab : tripleo liberty and opencontrail 3.0.2

Closes-Bug: #1634120

Change-Id: Ie06612faf226d0e5e75f3f8a9b560118cba5ff4c
Signed-off-by: Cyril Lopez <cylopez@redhat.com>

Add apache workers to nova-api conditional

Without this httpd fails to start on deployments where the
worker count isn't explicitly overridden via a parameter.

Change-Id: Ie7b31bc6e022a0166af126c866994bdd019718df
Closes-Bug: #1634213

Removes EnableODL heat parameter and fixes missing local_ip param

EnableOpenDaylightOnController was not very composable.  Removing this
parameter to make the service truly composable.  Also fixes missing
local_ip setting for OVS, required for VXLAN or GRE tenant networks.

Closes-Bug: 1633625

Depends-On: Ia55c05e12d5d434111a13e1ed795da530e3ff4a5

Change-Id: I0e07e1631793311334d1436ee8fdf9af2802ba70
Signed-off-by: Tim Rozet <trozet@redhat.com>

Set nova service_name via t-h-t

with the move to use httpd instead of eventlet, We now add this
parameter in t-h-t to be able to clean it up from the puppet-tripleo
manifest.

Change-Id: Ic229182cc5c887b57f6182c3db1bac8bed330f7c
Depends-On: I4603b81d30a704b07eef461b3cdbfe164614b04f

Enable proxy headers parsing for Neutron

http_proxy_to_wsgi middleware was recently added to Neutron [1] and
in order to take it into use, we need to enable it via hiera.

[1] Ice9ee8f4e04050271d59858f92034c230325718b
Depends-On: I99bc9486fdd85857ce73c413e17400320bd6ec5b
Related-Bug: #1590608

Change-Id: I10c065e726f2708e09acfc04dac3cae34a534d23

glance_multiple_locations when NovaEnableRbdBackend=true

glance_multiple_locations does not needed when the
NovaEnableRbdBackend=false, but it is neede when both the
image and the instance storage is rbd and
the show_image_direct_url is enabled.

The condition introduced in Ia7e0558e4f318640981abb44d188e3479b5eae69

Change-Id: Ia8a8cd9aeda69e9a7db6f95dcf418f56e29cae00
Closes-Bug: 1632285

Disables Neutron ML2 config on Compute for OpenDaylight

This is not needed with ODL and actually triggers deployments to fail
due to missing ODL username/password info on compute nodes.

Depends-On: Ifd906db4e6062ac271c2147fe1149b1009d06ae2

Closes-Bug: 1633630

Change-Id: Ib88e8ef91c393d30c44b86a932103f5a294bc547
Signed-off-by: Tim Rozet <trozet@redhat.com>

Merge "Modify the constraint to allow single quote for DPDK core list param"

Merge "Move trunk service plugin to the proper list"

Merge "Pass heat domain admin password to keystone"

Merge "Fixes missing provider mappings for OpenDaylight"

Ensure all HostsDeployments finish before puppet

This makes sure that the Host settings for all deployments are finished
before starting the AllNodesDeployments which execute puppet.

Change-Id: Ibe604472255ce905ca2c1dca2a9b07a6f8f40e47
Related-bug: #1633565

heat-api-cfn endpoint is created to RegionOne instead of regionOne

When deploying, heat-api-cfn is assigned to RegionOne. This leads to a
bad user experience when logging into horizon, because if RegionOne is
selected by default, the users finds all menus empty (no computing, or
anything else).

Thanks to trown for finding out the issue.

Closes-Bug: 1633524

Change-Id: Ic108280f6b0875ffec10be6f696669962fb82e6b

Merge "Add contrail services to the resource registry"

Fixes missing provider mappings for OpenDaylight

Provider mappings were not parameterized, and this is traditionally
required for VLAN provider networks.  In ODL Boron with new netvirt,
this value is required to be set in order to use external networks.

Closes-Bug: #1627898

Change-Id: I8001a4077fc7c4af458033043ea438c32c9772b0
Signed-off-by: Tim Rozet <trozet@redhat.com>

Pass heat domain admin password to keystone

This is needed to create the user/domain/project in the
keystone profile on whatever role is running the keystone service.

Change-Id: I115ead005974080e0a35e3675d9b37828c8934b1
Closes-Bug: #1631130
Depends-On: Ib088a572b384b479f51d56555734d78ab840a1f3

Modify the constraint to allow single quote for DPDK core list param

DPDK core list has to be give a string. For multiple cores, it
be given as "'1,2'". But the constraint does not allow ' (single
quote) to be set in the string. Modifying the constraint pattern.
Closes-Bug: #1633433

Change-Id: Ide2194d9ef5c10e276fa1a634919dfb286e483d6

Merge "Fix default Swift ring partition power"

Merge "Enable Glance multiple locations when using Ceph"

Merge "Split out hosts config deployment"

Enable Glance multiple locations when using Ceph

Currently Glance v2 doesn't allow to specify custom locations for
images by default, it returns 403. To enable this, the
'show_multiple_locations' param must be set to True.

Also see similar change introduced in devstack [1].

1. Id0f1c398b8b48f2ffc2488b29bc7cbd279069337

Change-Id: Ia7e0558e4f318640981abb44d188e3479b5eae69
Closes-Bug: 1632285

Merge "Enable object versioning in Swift proxy"

Split out hosts config deployment

This patch moves the hosts configuration into its own deployment.
It will continue to use os-apply-config as something that is
required early on in the bootstrapping (it needs to be
configured before puppet runs for example).

The motivation here is so we can refactor all-nodes-config.yaml to use a
new hiera hook that that avoids os-apply-config entirely.

Change-Id: Ib3e4380f205358b27d22a1102b663cf300b1ed86
Partial-bug: #1596373

Merge "Enable proxy headers parsing for Aodh"

Merge "Enable proxy headers parsing for Gnocchi"

Merge "Enable proxy headers parsing for Ceilometer"

Merge "Only set NovaWorkers in the non-default case"

Move trunk service plugin to the proper list

The trunk plugin required for trunk port support in neutron was added to
the incorrect plugin list.

Change-Id: I8d424d6a6045e07d9fbab1a864470ceefdb1ad8e
Closes-Bug: #1633079

Merge "Be more inclusive in insecure registry regex"