Handle null role_data in services

This patch updates the Yaql expressions that work on role_data
so that they evaluate properly when the get_attr for role_data
is null.

I hit issues using this for the heat undercloud installer and this
seems to resolve them.

Change-Id: I0493d0525cd3ad280339f26ef9d3aa311af9962e

Merge "Add firewall rules for manila api service"

Add firewall rules for manila api service

When the manila api service is deployed
on a different role than the controller the
iptables rules on that role fail to ACCEPT
tcp at the manila API ports.

Add tripleo.manila_api.firewall_rules to
the relevant puppet services module.

Change-Id: I1c5459f5ba989657fd99fd72c7ac9f8781cc7206
Closes-Bug: #1640568

Merge "Reload haproxy configuration as a post-deployment step"

Merge "ceilometer compute agent needs restart on compute upgrade"

Merge "set url_base option in static web middleware"

Merge "Defaults kernel.pid_max to 1048576"

Merge "Enable internal TLS for Nova API"

Merge "Add Sahara plugins list as a configurable parameter"

set url_base option in static web middleware

Depends-On: Icf45cf2aece398b836c87ddffde5d3056e96dc4d

Change-Id: I3577dc38a0b52092ee5e98a381eb52c3d2768c10
Signed-off-by: Thiago da Silva <thiago@redhat.com>

Merge "Enable internal TLS for gnocchi"

ceilometer compute agent needs restart on compute upgrade

After compute nodes are upgraded, the ceilometer compute agent
doesnt poll and throws warnings. Restarting the compute agent
at this step gets the service back to its normal state.

Closes-Bug: #1640177

Change-Id: I7392de43e933b1d16002e12e407748ae289d5e99

Merge "Do not reference CephBase from CephExternal service"

Merge "Use --globoff when downloading artifacts"

Merge "Add SNMP role to the CephStorage nodes"

Reload haproxy configuration as a post-deployment step

After deploying a fresh installed Overcloud or updating the stack
the haproxy configuration is updated correctly but no change in the
HA proxy stats happens.

This submission will add the missing resources to run pre and post
puppet tasks.

Closes-bug: 1640175

Change-Id: I2f08704daeee502c618256695a30ce244a1d7ba5

Use --globoff when downloading artifacts

We do not encode the chars like [] possibly found in  the artifacts
URL, so curl tries to glob against IPv6 addresses in brackets. This
change adds --globoff to the curl options so that IPv6 addresses in
brackets are not misinterpreted.

Closes-Bug: 1640148
Change-Id: Ic86ba1e5fb674bc15b4bcc6bd3ea9e943c4fbf8e

Merge "Move per role Services defaults into environment file"

Merge "Change nova ram_allocation_ratio to match puppet-nova"

Merge "Add an optional extra node admin ssh key parameter"

Move per role Services defaults into environment file

For parameter merge strategies to work we need to merge multiple environment
files, which doesn't consider the defaults defined in the heat template.

Moving where we define these defaults will enable the merge strategies
applied when appending services to roles in environment files to work.

Change-Id: I1ef1ad685c8a15308d051665c576a98b277f2496
Closes-Bug: #1635409

Merge "Move db settings from manila-api to manila-base"

Merge "Include keystone authtoken config in manila-share service"

Merge "Ensure we update ceph and composable nodes"

Add an optional extra node admin ssh key parameter

This can be used to pass the e.g. the tripleo-validations ssh key into
the deployment.

Change-Id: I861b9e2252a9c8122dcf7df261386f1ea5200c4f
Related-Bug: #1635226

Merge "swift/proxy: remove swift::proxy::ceilometer::rabbit_host"

Merge "nova: add missing vnc console port in firewall"

Merge "nova/libvirt: add missing ports for live-migration"

Move db settings from manila-api to manila-base

manila-share also needs the db configuration so the db-sync works
correctly when manila-api is running on a non-controller node.

Change-Id: Ib8a6f10ef6a650275fc011e51acfc4b5c7c99164
Closes-Bug: 1633077

Include keystone authtoken config in manila-share service

Because manila-share is a pacemaker-managed service, it has to be
on the controller node.  If you deploy the api services to a
different node, then manila-share loses access to the authtoken
hieradata generated by manila-api.  Adding it explicitly to the
manila-share config allows this setup to deploy sanely.

Note that I'm having a different problem with manila db-syncs in
this setup, so there's likely another patch required to get it
fully working.

Change-Id: Iac782fa67ea912d24b9905dd8bbafb8ff28dd669
Partial-Bug: 1633077

Merge "Updated Nuage neutron plugin name"

swift/proxy: remove swift::proxy::ceilometer::rabbit_host

The param is now managed in puppet-tripleo like other services.

Change-Id: I306aa6ac6e2cfc0d4602e15e11564a6be096a121
Depends-On: Ibc0ed642931dd3ada7ee594bb8c70a1c3462206d

Merge "Update openstack-puppet-modules dependencies"

Merge "Fixup the start of swift services"

Merge "Add option to disable "d1" Swift device"

Defaults kernel.pid_max to 1048576

In some scenarios we reach the kernel.pid_max value, this change
adds a parameter to the Kernel service for configuration of the
sysctl key and defaults it to 1048576.

Change-Id: Id8f3e6b7ed9846022898d7158fe9180418847085
Closes-Bug: #1639191

nova: add missing vnc console port in firewall

- Remove vncproxy firewall rules from nova-api service
- Add vncproxy firewall rules to nova-vncproxy service
- Add console port range firewall rules to nova-libvirt service

Change-Id: I421ae21c130cac6f25e7c0869b941ba77441172c

nova/libvirt: add missing ports for live-migration

Some ports are missing to support live-migration. This patch adds them.

Documented here:
https://access.redhat.com/documentation/en/red-hat-openstack-platform/9/paged/migrating-instances/chapter-1-how-to-migrate-a-live-instance

Change-Id: I72634a9940c11602522322235e51bf27cb664e57

Merge "Rework gnocchi-upgrade to run in a separate upgrade step"

Merge "gnocchi statsd should be able to send data to port 8125"

Fixup the start of swift services

Seems the conditional has changed and we should pickup the
tripleo::profile::base::swift::storage::enable_swift_storage
hiera data.

After controller nodes are upgraded the swift services were down
even though there was no stand-alone swift node (the current
conditional was failing as that hiera isn't set any more)

Closes-Bug: 1638821
Change-Id: Id1383c1e54f9cae13fd375e90da525230e5d23eb

Add Sahara plugins list as a configurable parameter

The hardcoded list should be configurable, and defaulted
to their current value.

Change-Id: I517aa61f21c6f4d0975b10a7aa85177c543487e0
Closes-bug: 1560098

Ensure we update ceph and composable nodes

The update configuration is generated into ceph.yaml and into
{rolename}.yaml. We should ensure puppet hiera is looking for
these files.

Change-Id: I261d16bc365b3d19adc502385edcc509a53ffc2a
Closes-Bug: #1638346
Resolves: rhbz#1388977

Do not reference CephBase from CephExternal service

We want CephExternal to work without referencing CephBase which
instead defines common settings for hosted Ceph deployments.

This change fixes a reference to CephBase which was mistakenly
introduced with fix for bug #1632285.

Change-Id: Id27e935f91ad76a6877b3aa7588f54d6140aa41f
Closes-Bug: #1635014

gnocchi statsd should be able to send data to port 8125

currently udp port 8125 is blocked by default. This can cause issues
when sending statsd data.

Change-Id: Icb5569c4e3dc981e9a8accf32eedd3370552cb34

Merge "Add Barbican to the overcloud"

Update openstack-puppet-modules dependencies

OPM package is metadata package with unversioned requirements which
means that update does not update the dependencies. This leaves us
with old puppet modules and old puppet during the puppet run.

Change-Id: I80f8a73142a09bb4178bb5a396d256ba81ba98a8
Closes-Bug: #1638266
Resolves: rhbz#1390559

Rework gnocchi-upgrade to run in a separate upgrade step

gnocchi when configured with swift will require keystone
to be available to authenticate to migrate to v3. At this
step keystone is not available and gnocchi upgrade fails
with auth error. Instead start apache in step 3, start
apache first and then run gnocchi upgrade in a separate
step and let upgrade happen here.

Closes-Bug: #1634897

Change-Id: I22d02528420e4456f84b80905a7b3a80653fa7b0

Merge "Re-add NFS backend for Glance"

Change nova ram_allocation_ratio to match puppet-nova

The interface for this moved to init.pp, the one we currently
use now only outputs a warning, it doesn't actually set anything.

Change-Id: Idc40cf0dc4ff0f598e0918e0de8b3233b524cdd5
Closes-Bug: 1638254

Enable internal TLS for Nova API

This adds the necessary hieradata for enabling TLS in the internal
network for Nova API.

bp tls-via-certmonger
Depends-On: I88380a1ed8fd597a1a80488cbc6ce357f133bd70

Change-Id: I45197f98e5b65d6b2ec364676870db4ce582ffe9

Merge "Add replacepkgs to the manual ovs upgrade workaround and fix a typo"

Updated Nuage neutron plugin name

Updated plugin name for configuring Nuage.
Nuage plugin name changed after Liberty release
and needs to be updated at all instances.
Updated neutron-nuage-config.yaml file to reflect
the change.

Change-Id: I7cce9a07b909ab59bf249439eec0833afce5cca6
Closes-Bug: #1635033

Add SNMP role to the CephStorage nodes

Previously the CephStorage nodes were missing the SNMP role.

Change-Id: I1356a3ff8da51da4d79b28312f9e3821652b6291

Merge "Enable internal TLS for aodh"

Merge "Fix Swift proxy pipeline ordering"

Merge "Enable internal TLS for ceilometer"

Fix Swift proxy pipeline ordering

The Ceilometer middleware is in the wrong place; actually any middleware
should be deployed after catch_errors to catch any errors that would
otherwise crash the proxy service. Additionally the ceilometer
middleware should be deployed after any authentication middleware.

Closes-Bug: 1637471
Co-Authored-By: Thiago da Silva <thiago@redhat.com>
Change-Id: I710ff2f51271a78582fa502e7eecfa687800c664

Add option to disable "d1" Swift device

A default TripleO installation uses a local directory named "d1" to be
used by Swift. With SwiftRawDisks set it is highly unlikely that that an
operator wants to use this any longer, because it affects system
perforamce and might result in an overfilled the system disk. In this
case d1 should be no longer when building rings.

This patch makes it possible to disable the d1 device usage in the ring
building process by using a new option "SwiftUseLocalDir". This is set
by default to true, not changing the default behavior. If set to false,
the d1 device won't be used when building rings.

Closes-Bug: 1634051
Change-Id: Ia9ad38e3ffa533e170f4cedd0518d830e9b2fa69

Set cinder's service name to httpd via t-h-t

With this, we can clean it from puppet-tripleo.

Change-Id: I13638cd1af52537bef8540f0d5fa5f5f7decd392
Depends-On: Ic1967a6f4f60a273965811516f33121115d518b4

Add replacepkgs to the manual ovs upgrade workaround and fix a typo

rpm command will return an exit 1 if ovs package is already
there and will exit the step_1.sh script. To get around this
force the update with --replacepkgs

Also remove the \ just before the $ which cause a syntax
error for the ceph storage

Change-Id: I11fcf688982ceda5eef7afc8904afae44300c2d9
Closes-bug: 1636748

Merge "Remove double tcp_listen_options entries for rabbit"

Merge "Remove duplicate bind_host from nova-api profile"

Fix usage of SwiftRawDisks

Using the SwiftRawDisks parameter neither created the XFS filesystem nor
mounted the device, requiring manual intervention by an operaror.

Partial-Bug: 1634051
Change-Id: I2da0f12635a37c1f339a3be59a7d00f352adf283

Merge "Fix the stonith property during upgrades"

Fix the rabbitmq/redis pacemaker resource timeouts on updates

With the following two changes we increased the timeout for redis and
rabbit for both starting and stopping to 200s:
https://review.openstack.org/386618 newton (merged)
https://review.openstack.org/385555 master (merged)

We want to also fix that on minor updates on all our supported
releases upstream and downstream (newton, mitaka, liberty, kilo).
This way we can guarantee that we have a uniform timeout for
sart and stop for rabbit and redis across all our releases.

Change-Id: If59bf3386832ee78d3a654f01077aff2e8be76e8
Closes-Bug: #1634851

Merge "Composable Mistral services"

Merge "Prefill Sensu client custom config"

Merge "Clarify horizon allowed hosts setting"

Merge "Use correct password for keystone bootstrap"

Clarify horizon allowed hosts setting

Horizon allowed hosts should name the IP addresses/
DNS names (short/long) the Horizon node is listening to.
Allowed hosts is used for header checks and is a security
mechanism.

Change-Id: I81c96357f969a1a436eecd35eb178579159bc719

Merge "Add special case handling for OVS upgrade in updates and upgrades"

Merge "Use ::os_workers fact instead of ::processorcount"

Merge "Add parameters to run cinder over httpd"

Merge "Add missing Ceph endpoints from tls-everywhere environment"

Re-add NFS backend for Glance

We lost ability to store Glance images in NFS mounts as we moved to NG
HA architecture. This patch re-adds that ability, but the parameter
interface changes because the semantics change as well. (Pacemaker
allowed for different mounts than just NFS so the parameters were more
generic, although we only ever tested and documented NFS usage.)

Change-Id: Ic5197e09846bbf75d780dcc74da1717dcf8301d0
Related-Bug: #1635606

Merge "Include ceilometer in swift proxy pipeline"

Merge "Removes EnableODL heat parameter and fixes missing local_ip param"

Use ::os_workers fact instead of ::processorcount

Change-Id: Ib25849565c617f32357ef545957f58454b2a53f8

Composable Mistral services

Adds new puppet specific services for Mistral
API and Mistral Engine.

This submission enables the mistral service by default in the
overcloud, a following submission will disable it and make it
optional by enabling it on demand based in an environment file.

Depends-On: Iae42ffa37c4c9b1e070b7c3753e04c45bb97703f
Depends-On: I942d419be951651e305d01460f394870c30a9878
Depends-On: I6cb2cbf4a2abf494668d24b8c36b0d525643f0af
Implements: blueprint composable-services-within-roles
Co-Authored-By: Carlos Camacho <ccamacho@redhat.com>
Change-Id: Id5ff9cb498b5a47af38413d211ff0ed6ccd0015b

Merge "Generate internal TLS hieradata for apache services"

Add missing Ceph endpoints from tls-everywhere environment

Change-Id: Ib945e570556e8e10e5bb07faa57270958c9eda99

Merge "Bind mount files to run DiD in latest atomic host"

Merge "Have docker start script honor configuration"

Remove double tcp_listen_options entries for rabbit

After a brand new deployment we have the following in rabbitmq.config:
...
  {rabbit, [
    {tcp_listen_options,
         [binary,
         {packet,        raw},
         {reuseaddr,     true},
         {backlog,       128},
         {nodelay,       true},
         {exit_on_close, false}]
    },
    {tcp_listen_options, [binary, {packet, raw}, {reuseaddr, true},
{backlog, 128}, {nodelay, true}, {exit_on_close, false}, {keepalive,
true}]},
...

Let's remove these duplicate entries and make sure that we use the
parameters for the puppet module to set the following values
explicitely (it's the only parameter where we do not use the default
setting from the puppet module):
keepalive = true -> rabbitmq::tcp_keepalive: true

All the other options that we set are the default in the puppet module:
{packet, raw}
{reuseaddr, true}
{backlog, 128}{nodelay, true}
{exit_on_close, false}

Depends-On: I608477d5714a5081b3b4ab3b9fc2932bdd598301
Change-Id: I35921652bd84d1d6be0727051294983d4a0dde10

Open port 16509 for libvirt for live migration

Port 16509 should be opened for tcp traffic to enable live migration.

See Also:
http://docs.openstack.org/admin-guide/compute-configuring-migrations.html

Previously, we were not enabling any iptables rules on the Compute
Roles, so this is a regression.

Change-Id: Ie4abf53dc2a8171af48d02e34a1a3ad43f27cfb3
Closes-Bug: #1635427

Include ceilometer in swift proxy pipeline

new ceilometermiddleware is available and integrated into
puppet-swift. Lets leverage it and include it in the
swift proxy pipeline. The correcponding puppet triple
change for this is Ie49f4a750368ff174b23b8d6baa743d0956d727e

Closes-Bug: #1631108

Change-Id: I82da0240d60d1eed54f1c0927e6157bb63025a19

Merge "Disables Neutron ML2 config on Compute for OpenDaylight"

Fix the stonith property during upgrades

We currently set the stonith property from all controller nodes during
upgrade. This is racy and can actually end up disabling stonith after
the upgrade even if when it was enabled.

Let's set the property only from the bootstrap node.

Change-Id: Id4afb867b485ac853be874a0179a7ed7cc914068
Closes-Bug: #1635294

Add special case handling for OVS upgrade in updates and upgrades

This adds a special case handling for the opensvswitch package
as discussed at the related bug below.
This is added/handled here for both the minor update and the
major mitaka...newton upgrade.

Change-Id: I9b1f0eaa0d36a28e20b507bec6a4e9b3af1781ae
Closes-Bug: 1635205

Enable internal TLS for gnocchi

This adds the necessary hieradata for enabling TLS in the internal
network for gnocchi.

bp tls-via-certmonger

Depends-On: Ie983933e062ac6a7f0af4d88b32634e6ce17838b
Change-Id: Iad8d4949ada8b8fd52e0d0bd345b6fb1ca65827b

Enable internal TLS for aodh

This adds the necessary hieradata for enabling TLS in the internal
network for aodh.

bp tls-via-certmonger

Change-Id: I2ea160e3ac0775404d6ed302f475268d3a3031ef
Depends-On: I50ef0c8fbecb19d6597a28290daa61a91f3b13fc

Enable internal TLS for ceilometer

This adds the necessary hieradata for enabling TLS in the internal
network for ceilometer.

bp tls-via-certmonger

Depends-On: Ib5609f77a31b17ed12baea419ecfab5d5f676496
Change-Id: I3eb34efbc8489b23269f97f762d4a3d0fa69f666

Generate internal TLS hieradata for apache services

This adds an environment file that can be used to enable TLS in
the internal endpoints via certmonger if used. This will include
a nested stack that will create the hash that will be used to
create the certmonger certificates.

When setting up a service over apache via puppet, we used to disable
explicitly ssl (which sets modd_ssl-related fields for that vhost).
We now make this depend on the EnableInternalTLS flag. This has only
been done for keystone, but more services will be added as the
puppet code lands

bp tls-via-certmonger

Depends-On: I303f6cf47859284785c0cdc65284a7eb89a4e039
Change-Id: I12e794f2d4076be9505dabfe456c1ca6cfbd359c

Remove duplicate bind_host from nova-api profile

Change-Id: I3c5c7753237ebaf16fb40806df0d195cb2b9aaa0

Bind mount files to run DiD in latest atomic host

The /usr/bin/docker is a shell script in latest atomic host, pointing
to either docker-latest or docker-current binary. Bind mount the
required files from atomic host to be able to run docker in docker
inside heat-agents container.

Co-Authored-By: Flavio Percoco <flavio@redhat.com>
Change-Id: I97e29f65beb3a3f89c1b42c339e2e89f0fc1d519

Have docker start script honor configuration

The test was always evaluate as true which resulted in
insecure_registry line being set even when DockerNamespaceIsRegistry
was set to false.

Change-Id: Iacb73a4908a6a27082b94fe919734e644ed47b19

Add Barbican to the overcloud

Co-Authored-By: Juan Antonio Osorio Robles <jaosorior@redhat.com>
Depends-On: If2804b469eb3ee08f3f194c7dd3290d23a245a7a
Depends-On: I091ecfbcb2e38fe77203244ac7a597aedcb558fb
Change-Id: Iacc504fc4fa2d06893917024ce2340d3fb80b626

Merge "Set nova service_name via t-h-t"

Merge "Fix api_extensions_path in neutron-opencontrail environment"