Merge "Use default Sensu redact"

Merge "Fixes missing OVS Firewall config with OpenDaylight"

Merge "Configure civetweb bind socket via puppet-tripleo"

Merge "Neutron L3 service cleanups for hiera json hook"

Merge "Enable internal TLS for Cinder API"

Merge "Increasing neutron timeout for low memory usage"

Merge "Handle null role_data in services"

Fixes missing OVS Firewall config with OpenDaylight

Currently OVS tunnel firewall rules are held within the neutron ovs
agent service heat template.  That service is not used with ODL, so
consequently ODL was missing the VXLAN and GRE firewall rules and
traffic would not pass between nodes.  This adds the missing rules to
the OpenDaylight OVS service.

Closes-Bug: 1641191

Change-Id: Icfd7db6a3e8fcdd02646fb7e413f40f26b03b994
Signed-off-by: Tim Rozet <trozet@redhat.com>

Configure civetweb bind socket via puppet-tripleo

When the civetweb binding IP is version 6 it needs to be enclosed
in brackets or the bind socket parsing fails. The mangling happens
in puppet-tripleo, this change updates the templates to push the
appropriate hiera keys.

Change-Id: Ic7004d768ed5e0f2382ffaa57961ea0ef9162527
Closes-Bug: #1636515
Depends-On: Ib84fa3479c2598bff7e89ad60a1c7d5f2c22c18c

Merge "Fix inconsistent Manila service naming"

Increasing neutron timeout for low memory usage

We are noticing several tests failing in our low memory environment
because of timeout in neutron requests.
As an example the test
tempest.api.compute.servers.test_server_actions.ServerActionsTestJSON
fails because it requests to plug a vif, and send request to neutron,
which responds in more than neutron_url_timeout, and since the option
vif_plugging_is_fatal is set to True as default, the test fails.
Shortly thereafter, checking in neutron log you can see the request,
returning with the proper status, after more than neutron_url_timeout,
however, it's already too late once nova already marked the instance
with error status, and so the test fails.

Closes-Bug: #1641135

Change-Id: If0991c114f199490ac0deb71eb569a42d4711359

Use default Sensu redact

By default sensu-puppet is overring default list of varibles which should
be redacted. This patch enables to configure redact list and uses default
value given by [1]. This patch also serves as a workaround until [2]
is merged in the module itself (or in case it won't get merged).

[1] https://sensuapp.org/docs/0.24/reference/clients.html
[2] https://github.com/sensu/sensu-puppet/pull/580

Closes-Bug: #1641080
Closes-Bug: rhbz#1392473
Change-Id: I21201f734d2fbf5f571091603126cf11cfdd8c40

Merge "Add missing Barbican endpoint from tls-everywhere environment"

Merge "Fix race during major-upgrade-pacemaker step"

Merge "Removes deprecated overcloud VIP outputs"

Merge "Fixes incorrect reference to OpendaylightApiNetwork"

Merge "Ensure heat-domain hiera is in nodes that contain keystone"

Fix inconsistent Manila service naming

The capitalization of OS::Tripleo is wrong compared to all other services
so correct this for avoidance of confusion when folks write custom roles_data
files or pass custom service lists via *Services parameters.

Change-Id: Ib73c80871b45586edb5774e90280ff89fc0d9895
Closes-Bug: 1640871

Merge "Select bootstrap node by list index not name"

Neutron L3 service cleanups for hiera json hook

This patch resolves a few issues I noticed when porting our
Neutron L3 service to support the new heat hiera agent hook (which
uses Json instead of Yaml).

 - If NeutronExternalNetworkBridge is an emptry string '' Json was
   dropping the single quotes thus causing the bridge to get set
   incorrectly in the config file. To correct this we use a heat
   conditional to avoid setting the external bridge (the '' default
   is what we want in this case) if the bridge is an empty string.

Change-Id: I5037cbde6b76a37a4c22c4616278420e9d759109
Partial-bug: #1596373

Handle null role_data in services

This patch updates the Yaql expressions that work on role_data
so that they evaluate properly when the get_attr for role_data
is null.

I hit issues using this for the heat undercloud installer and this
seems to resolve them.

Change-Id: I0493d0525cd3ad280339f26ef9d3aa311af9962e

Select bootstrap node by list index not name

Modify the syntax used to access the ResourceGroup attributes so we
always select the first node from the group, e.g even if the node
named "0" in the ResourceGroup nested stack has been removed due to
the removal policy.

Change-Id: I8b1c9538976a1518b220187a0034ad41a738d5a6
Closes-Bug: #1640449

Merge "Add firewall rules for manila api service"

Add firewall rules for manila api service

When the manila api service is deployed
on a different role than the controller the
iptables rules on that role fail to ACCEPT
tcp at the manila API ports.

Add tripleo.manila_api.firewall_rules to
the relevant puppet services module.

Change-Id: I1c5459f5ba989657fd99fd72c7ac9f8781cc7206
Closes-Bug: #1640568

Merge "Reload haproxy configuration as a post-deployment step"

Merge "ceilometer compute agent needs restart on compute upgrade"

Merge "set url_base option in static web middleware"

Fix race during major-upgrade-pacemaker step

Currently when we call the major-upgrade step we do the following:
"""
...
if [[ -n $(is_bootstrap_node) ]]; then
    check_clean_cluster
fi
...
if [[ -n $(is_bootstrap_node) ]]; then
    migrate_full_to_ng_ha
fi
...
for service in $(services_to_migrate); do
    manage_systemd_service stop "${service%%-clone}"
    ...
done
"""

The problem with the above code is that it is open to the following race
condition:
1. Code gets run first on a non-bootstrap controller node so we start
stopping a bunch of services
2. Pacemaker notices will notice that services are down and will mark
the service as stopped
3. Code gets run on the bootstrap node (controller-0) and the
check_clean_cluster function will fail and exit
4. Eventually also the script on the non-bootstrap controller node will
timeout and exit because the cluster never shut down (it never actually
started the shutdown because we failed at 3)

Let's make sure we first only call the HA NG migration step as a
separate heat step. Only afterwards we start shutting down the systemd
services on all nodes.

We also need to move the STONITH_STATE variable into a file because it
is being used across two different scripts (1 and 2) and we need to
store that state.

Co-Authored-By: Athlan-Guyot Sofer <sathlang@redhat.com>
Closes-Bug: #1640407
Change-Id: Ifb9b9e633fcc77604cca2590071656f4b2275c60

Merge "Defaults kernel.pid_max to 1048576"

Merge "Enable internal TLS for Nova API"

Merge "Add Sahara plugins list as a configurable parameter"

set url_base option in static web middleware

Depends-On: Icf45cf2aece398b836c87ddffde5d3056e96dc4d

Change-Id: I3577dc38a0b52092ee5e98a381eb52c3d2768c10
Signed-off-by: Thiago da Silva <thiago@redhat.com>

Merge "Enable internal TLS for gnocchi"

ceilometer compute agent needs restart on compute upgrade

After compute nodes are upgraded, the ceilometer compute agent
doesnt poll and throws warnings. Restarting the compute agent
at this step gets the service back to its normal state.

Closes-Bug: #1640177

Change-Id: I7392de43e933b1d16002e12e407748ae289d5e99

Merge "Do not reference CephBase from CephExternal service"

Merge "Use --globoff when downloading artifacts"

Merge "Add SNMP role to the CephStorage nodes"

Reload haproxy configuration as a post-deployment step

After deploying a fresh installed Overcloud or updating the stack
the haproxy configuration is updated correctly but no change in the
HA proxy stats happens.

This submission will add the missing resources to run pre and post
puppet tasks.

Closes-bug: 1640175

Change-Id: I2f08704daeee502c618256695a30ce244a1d7ba5

Use --globoff when downloading artifacts

We do not encode the chars like [] possibly found in  the artifacts
URL, so curl tries to glob against IPv6 addresses in brackets. This
change adds --globoff to the curl options so that IPv6 addresses in
brackets are not misinterpreted.

Closes-Bug: 1640148
Change-Id: Ic86ba1e5fb674bc15b4bcc6bd3ea9e943c4fbf8e

Enable internal TLS for Cinder API

This adds the necessary hieradata for enabling TLS in the internal
network for Cinder API.

bp tls-via-certmonger
Depends-On: Ib4a9c8d3ca57f1b02e1bb0d150f333db501e9863

Change-Id: I126e890076bc96b1cd166a919eff6aa1bb80510b

Removes deprecated overcloud VIP outputs

These VIPs were previously used to create endpoints, but are no longer
used.  The one exception is KeystoneAdminVip, which is used by the
python-client.

Closes-Bug: 1639956

Change-Id: Iafdf37b6ee91806d683592a99e025a8de4c0ff20
Signed-off-by: Tim Rozet <trozet@redhat.com>

Fixes incorrect reference to OpendaylightApiNetwork

The renaming of the network to conform to correct case parsing was done
and converted OpenDaylightApiNetwork -> OpendaylightApiNetwork.  There
was still a reference to the old network name which would result in an
empty value being pass to odl_bind_ip.

Closes-Bug: 1639944

Change-Id: I17fe348c4651420112b9b37711654a454e30b291
Signed-off-by: Tim Rozet <trozet@redhat.com>

Add missing Barbican endpoint from tls-everywhere environment

Change-Id: Ibabf09a8b6f35c9b086efeffcf7db89ab8d6b63b

Ensure heat-domain hiera is in nodes that contain keystone

The commit that this depends on only works if heat is deployed in the
same node as keystone. Once we deploy them in different nodes, keystone
won't be able to retrieve the appropriate hieradata. This fixes that by
setting the appropriate hieradata to be deployed on the keystone service
by the heat profiles.

Change-Id: I1f08db68a14486526879d1a5a1ff78cb17686924
Depends-On: I7d42d04ef0c53dc1e62d684d8edacfed9fd28fbe

Merge "Move per role Services defaults into environment file"

Merge "Change nova ram_allocation_ratio to match puppet-nova"

Merge "Add an optional extra node admin ssh key parameter"

Move per role Services defaults into environment file

For parameter merge strategies to work we need to merge multiple environment
files, which doesn't consider the defaults defined in the heat template.

Moving where we define these defaults will enable the merge strategies
applied when appending services to roles in environment files to work.

Change-Id: I1ef1ad685c8a15308d051665c576a98b277f2496
Closes-Bug: #1635409

Merge "Move db settings from manila-api to manila-base"

Merge "Include keystone authtoken config in manila-share service"

Merge "Ensure we update ceph and composable nodes"

Add an optional extra node admin ssh key parameter

This can be used to pass the e.g. the tripleo-validations ssh key into
the deployment.

Change-Id: I861b9e2252a9c8122dcf7df261386f1ea5200c4f
Related-Bug: #1635226

Merge "swift/proxy: remove swift::proxy::ceilometer::rabbit_host"

Merge "nova: add missing vnc console port in firewall"

Merge "nova/libvirt: add missing ports for live-migration"

Move db settings from manila-api to manila-base

manila-share also needs the db configuration so the db-sync works
correctly when manila-api is running on a non-controller node.

Change-Id: Ib8a6f10ef6a650275fc011e51acfc4b5c7c99164
Closes-Bug: 1633077

Include keystone authtoken config in manila-share service

Because manila-share is a pacemaker-managed service, it has to be
on the controller node.  If you deploy the api services to a
different node, then manila-share loses access to the authtoken
hieradata generated by manila-api.  Adding it explicitly to the
manila-share config allows this setup to deploy sanely.

Note that I'm having a different problem with manila db-syncs in
this setup, so there's likely another patch required to get it
fully working.

Change-Id: Iac782fa67ea912d24b9905dd8bbafb8ff28dd669
Partial-Bug: 1633077

Merge "Updated Nuage neutron plugin name"

swift/proxy: remove swift::proxy::ceilometer::rabbit_host

The param is now managed in puppet-tripleo like other services.

Change-Id: I306aa6ac6e2cfc0d4602e15e11564a6be096a121
Depends-On: Ibc0ed642931dd3ada7ee594bb8c70a1c3462206d

Merge "Update openstack-puppet-modules dependencies"

Merge "Fixup the start of swift services"

Merge "Add option to disable "d1" Swift device"

Defaults kernel.pid_max to 1048576

In some scenarios we reach the kernel.pid_max value, this change
adds a parameter to the Kernel service for configuration of the
sysctl key and defaults it to 1048576.

Change-Id: Id8f3e6b7ed9846022898d7158fe9180418847085
Closes-Bug: #1639191

nova: add missing vnc console port in firewall

- Remove vncproxy firewall rules from nova-api service
- Add vncproxy firewall rules to nova-vncproxy service
- Add console port range firewall rules to nova-libvirt service

Change-Id: I421ae21c130cac6f25e7c0869b941ba77441172c

nova/libvirt: add missing ports for live-migration

Some ports are missing to support live-migration. This patch adds them.

Documented here:
https://access.redhat.com/documentation/en/red-hat-openstack-platform/9/paged/migrating-instances/chapter-1-how-to-migrate-a-live-instance

Change-Id: I72634a9940c11602522322235e51bf27cb664e57

Merge "Rework gnocchi-upgrade to run in a separate upgrade step"

Merge "gnocchi statsd should be able to send data to port 8125"

Fixup the start of swift services

Seems the conditional has changed and we should pickup the
tripleo::profile::base::swift::storage::enable_swift_storage
hiera data.

After controller nodes are upgraded the swift services were down
even though there was no stand-alone swift node (the current
conditional was failing as that hiera isn't set any more)

Closes-Bug: 1638821
Change-Id: Id1383c1e54f9cae13fd375e90da525230e5d23eb

Add Sahara plugins list as a configurable parameter

The hardcoded list should be configurable, and defaulted
to their current value.

Change-Id: I517aa61f21c6f4d0975b10a7aa85177c543487e0
Closes-bug: 1560098

Ensure we update ceph and composable nodes

The update configuration is generated into ceph.yaml and into
{rolename}.yaml. We should ensure puppet hiera is looking for
these files.

Change-Id: I261d16bc365b3d19adc502385edcc509a53ffc2a
Closes-Bug: #1638346
Resolves: rhbz#1388977

Do not reference CephBase from CephExternal service

We want CephExternal to work without referencing CephBase which
instead defines common settings for hosted Ceph deployments.

This change fixes a reference to CephBase which was mistakenly
introduced with fix for bug #1632285.

Change-Id: Id27e935f91ad76a6877b3aa7588f54d6140aa41f
Closes-Bug: #1635014

gnocchi statsd should be able to send data to port 8125

currently udp port 8125 is blocked by default. This can cause issues
when sending statsd data.

Change-Id: Icb5569c4e3dc981e9a8accf32eedd3370552cb34

Merge "Add Barbican to the overcloud"

Update openstack-puppet-modules dependencies

OPM package is metadata package with unversioned requirements which
means that update does not update the dependencies. This leaves us
with old puppet modules and old puppet during the puppet run.

Change-Id: I80f8a73142a09bb4178bb5a396d256ba81ba98a8
Closes-Bug: #1638266
Resolves: rhbz#1390559

Rework gnocchi-upgrade to run in a separate upgrade step

gnocchi when configured with swift will require keystone
to be available to authenticate to migrate to v3. At this
step keystone is not available and gnocchi upgrade fails
with auth error. Instead start apache in step 3, start
apache first and then run gnocchi upgrade in a separate
step and let upgrade happen here.

Closes-Bug: #1634897

Change-Id: I22d02528420e4456f84b80905a7b3a80653fa7b0

Merge "Re-add NFS backend for Glance"

Change nova ram_allocation_ratio to match puppet-nova

The interface for this moved to init.pp, the one we currently
use now only outputs a warning, it doesn't actually set anything.

Change-Id: Idc40cf0dc4ff0f598e0918e0de8b3233b524cdd5
Closes-Bug: 1638254

Enable internal TLS for Nova API

This adds the necessary hieradata for enabling TLS in the internal
network for Nova API.

bp tls-via-certmonger
Depends-On: I88380a1ed8fd597a1a80488cbc6ce357f133bd70

Change-Id: I45197f98e5b65d6b2ec364676870db4ce582ffe9

Merge "Add replacepkgs to the manual ovs upgrade workaround and fix a typo"

Updated Nuage neutron plugin name

Updated plugin name for configuring Nuage.
Nuage plugin name changed after Liberty release
and needs to be updated at all instances.
Updated neutron-nuage-config.yaml file to reflect
the change.

Change-Id: I7cce9a07b909ab59bf249439eec0833afce5cca6
Closes-Bug: #1635033

Add SNMP role to the CephStorage nodes

Previously the CephStorage nodes were missing the SNMP role.

Change-Id: I1356a3ff8da51da4d79b28312f9e3821652b6291

Merge "Enable internal TLS for aodh"

Merge "Fix Swift proxy pipeline ordering"

Merge "Enable internal TLS for ceilometer"

Fix Swift proxy pipeline ordering

The Ceilometer middleware is in the wrong place; actually any middleware
should be deployed after catch_errors to catch any errors that would
otherwise crash the proxy service. Additionally the ceilometer
middleware should be deployed after any authentication middleware.

Closes-Bug: 1637471
Co-Authored-By: Thiago da Silva <thiago@redhat.com>
Change-Id: I710ff2f51271a78582fa502e7eecfa687800c664

Add option to disable "d1" Swift device

A default TripleO installation uses a local directory named "d1" to be
used by Swift. With SwiftRawDisks set it is highly unlikely that that an
operator wants to use this any longer, because it affects system
perforamce and might result in an overfilled the system disk. In this
case d1 should be no longer when building rings.

This patch makes it possible to disable the d1 device usage in the ring
building process by using a new option "SwiftUseLocalDir". This is set
by default to true, not changing the default behavior. If set to false,
the d1 device won't be used when building rings.

Closes-Bug: 1634051
Change-Id: Ia9ad38e3ffa533e170f4cedd0518d830e9b2fa69

Set cinder's service name to httpd via t-h-t

With this, we can clean it from puppet-tripleo.

Change-Id: I13638cd1af52537bef8540f0d5fa5f5f7decd392
Depends-On: Ic1967a6f4f60a273965811516f33121115d518b4

Add replacepkgs to the manual ovs upgrade workaround and fix a typo

rpm command will return an exit 1 if ovs package is already
there and will exit the step_1.sh script. To get around this
force the update with --replacepkgs

Also remove the \ just before the $ which cause a syntax
error for the ceph storage

Change-Id: I11fcf688982ceda5eef7afc8904afae44300c2d9
Closes-bug: 1636748

Merge "Remove double tcp_listen_options entries for rabbit"

Merge "Remove duplicate bind_host from nova-api profile"

Fix usage of SwiftRawDisks

Using the SwiftRawDisks parameter neither created the XFS filesystem nor
mounted the device, requiring manual intervention by an operaror.

Partial-Bug: 1634051
Change-Id: I2da0f12635a37c1f339a3be59a7d00f352adf283

Merge "Fix the stonith property during upgrades"

Fix the rabbitmq/redis pacemaker resource timeouts on updates

With the following two changes we increased the timeout for redis and
rabbit for both starting and stopping to 200s:
https://review.openstack.org/386618 newton (merged)
https://review.openstack.org/385555 master (merged)

We want to also fix that on minor updates on all our supported
releases upstream and downstream (newton, mitaka, liberty, kilo).
This way we can guarantee that we have a uniform timeout for
sart and stop for rabbit and redis across all our releases.

Change-Id: If59bf3386832ee78d3a654f01077aff2e8be76e8
Closes-Bug: #1634851

Merge "Composable Mistral services"

Merge "Prefill Sensu client custom config"

Merge "Clarify horizon allowed hosts setting"

Merge "Use correct password for keystone bootstrap"

Clarify horizon allowed hosts setting

Horizon allowed hosts should name the IP addresses/
DNS names (short/long) the Horizon node is listening to.
Allowed hosts is used for header checks and is a security
mechanism.

Change-Id: I81c96357f969a1a436eecd35eb178579159bc719

Merge "Add special case handling for OVS upgrade in updates and upgrades"

Merge "Use ::os_workers fact instead of ::processorcount"