Fix ovs 2.4 to 2.5 upgrade - minor update non controllers

In I9b1f0eaa0d36a28e20b507bec6a4e9b3af1781ae and
I11fcf688982ceda5eef7afc8904afae44300c2d9 we landed a workaround
for the openvswitch 2.4 to 2.5 upgrade discussed in the bug below.

Unfortunately testing has revealed a problem with the minor update
case specifically for non controllers. It seems we would exit
before the ovs workaround has had a chance to execute. This moves
the block up a few lines to avoid this condition. As with the
other two reviews noted here, this will need to go into newton
and then mitaka too.

Change-Id: If905de82d96302334ebe02de9c43f00faed9b72b
Related-Bug: 1635205

Merge "Disable Options Indexes in horizon"

Merge "Enable enforce_password_check"

Disable keepalived for HA deployments via t-h-t

Currently this is disabled via a conditional in the keepalived
profile in puppet-tripleo, but this will be incompatible with
the planned composable upgrades implementation.  Instead we should
disable the service template by mapping to OS::Heat::None, and
ensure the haproxy manifest uses the t-h-t generated hiera value
keepalived_enabled instead of hard-coding a hiera override in the
haproxy template.

Change-Id: I85a8b1cca7268506de22adfb3a8ce7faa4f157ef
Partial-Bug: #1642936
Depends-On: I90faf51881bd05920067c1e1d82baf5d7586af23

Merge "Use j2 loops in post.j2.yaml"

Merge "Correct AllNodesDeploySteps depends_on"

Disable Options Indexes in horizon

Security scanners complain that directory listings are enabled in horizon.

Change-Id: I1d7cfcb3521e8235a99bc452f1b7b92c20ce72ac
Closes-Bug: #1637576

Enable enforce_password_check

By setting ENFORCE_PASSWORD_CHECK to `True`, it displays an 'Admin
Password' field on the Change Password form to verify that it is indeed
the admin logged-in who wants to change the password.

Change-Id: Ib11bef93b6b0c74063052875fa361290bf1e92fd
Depends-On: If7af97df7a011569a7e14fbab4f880688d7b82c3
Closes-Bug: #1640806

Merge "Do not manage overcloud repositories when using external Ceph"

Merge "Use keystone profile parameter to pass heat password"

Merge "Fix up Newton->Ocata rabbitmq ha policy"

Merge "Replace ceilometer-dbsync by ceilometer-upgrade"

Do not manage overcloud repositories when using external Ceph

ceph::profile::params::manage_repo should default to false when
using external Ceph.

Overcloud Ceph clients use Ceph packages, which may be provided by
the 'ceph' metapackage, but not for all repos, see related bug. So,
this change also includes a list of packages as a workaround as
used in change Ie55d22301dd22102d471e6002dfcaad4bfadd5f6.

Change-Id: I338e51637aa39d3f7bbbad0263740f728d42cb9b
Closes-bug: 1641989
Related-Bug: 1629933

Correct AllNodesDeploySteps depends_on

This is wrong atm, it should loop to create a list for the depends_on
not multiple depends_on statements.

Note this was first corrected in https://review.openstack.org/#/c/330659/
but we need it as a standalone patch that can be backported.

Change-Id: I4d1d6346f2147e573fc0900038f1ad1d782e75ee
Closes-Bug: #1642069

Use keystone profile parameter to pass heat password

Instead of relying on an explicit hiera call to get the stack domain
password, this uses the keystone parameter to introduce that value
instead.

Change-Id: I0e5124d57fdc519262fdec2dbeaaac85afaeebdf

Nova base cleanups for hiera json hook

This patch resolves an issue with nova-base.yaml that prevents
it from working with the new heat hiera agent hook (which
uses Json instead of Yaml).

It updates the service so that we only set the upgrade level if it
is not an empty string.

Partial-bug: #1596373

Change-Id: I595f2e16c33a6f935c7ca8935fec445d19c7b8f3

Horizon service cleanups for hiera json hook

This patch resolves a few issues I noticed when porting our
Horizon service to support the new heat hiera agent hook (which
uses Json instead of Yaml).

 -we only need to set django_debug if the string is non-empty. This
  should match previous behavior.

 -remove the duplicated NeutronMechanismDrivers setting. This is already
  managed in the neutron services and shouldn't be set here.

Change-Id: I473e110bb9b14cb8f57d41c4fc398871548726b0
Partial-bug: #1596373

Merge "Fix external Load Balancer deployment"

Merge "Revert "Adjust MTU to compensate for VLAN tag issue""

Merge "Enable internal TLS for Barbican API"

Merge "Define keystone token provider"

Merge "Disable password reveal in horizon"

Replace ceilometer-dbsync by ceilometer-upgrade

https://review.openstack.org/#/c/388688/ has removed ceilometer-dbsync so
ceilometer-upgrade must be used instead.

Additionally, ceilometer-dbsync enabled option --skip-gnocchi-resource-types
and ceilometer-upgrade doesn't, so i'm setting it by default to ensure backwards compatibility.

Note this is based on the corresponding fix to puppet-ceilometer ref

https://review.openstack.org/#/c/396570

Change-Id: Ic0a15c75d1cd3e3f70eeafd9ba09d50c58cc1293
Closes-Bug: #1641076

Fix external Load Balancer deployment

Deployments using external LB will file like this:
  deploy_stderr: |
    + RESTART_FOLDER=/var/lib/tripleo/pacemaker-restarts
    + [[ -d /var/lib/tripleo/pacemaker-restarts ]]
    ++ systemctl is-active haproxy
    + haproxy_status=unknown
  deploy_status_code: 3
openstack software deployment show 4f339ca4-7600-4ca0-b0ef-f798bc47b6cf

The reason is that via https://review.openstack.org/#/c/393644/ we
introducted the haproxy restart like this:
haproxy_status=$(systemctl is-active haproxy)
if [ "$haproxy_status" = "active" ]; then
    systemctl reload haproxy
fi

The problem is that if haproxy is not running/installed systemctl
is-active can fail and the script will terminate with an error return
code. Let's just move the call inside the if so the script does not fail
in case haproxy is not there.

The snippet before the change (on a system without haproxy installed):
[root@mrg-09 tmp]# ./test.sh
++ systemctl is-active haproxy
+ haproxy_status=unknown
[root@mrg-09 tmp]# echo $?
3

After this change:
[root@mrg-09 tmp]# ./test.sh
++ systemctl is-active haproxy
+ '[' unknown = active ']'
[root@mrg-09 tmp]# echo $?
0

Change-Id: I837c63a9dbcde8c922f843c442974fa79cf1eede
Closes-Bug: #1641904

Define keystone token provider

In order to eventually enable fernet tokens for keystone, we need to be
specify the token provider. This change codifies the current default
used by TripleO of uuid tokens and fernet token setup disabled.

Change-Id: I7c03ed7b6495d0b9a57986458d020b3e3bf7224a
Closes-Bug: #1641763

Merge "Fix typo in Keystone Sensu subscription"

Merge "Use default Sensu redact"

Fix up Newton->Ocata rabbitmq ha policy

In ocata we changed the ha policy to "ha-exactly" via the following changes:
- tht: Iace6daf27a76cb8ef1050ada0de7ff1f530916c6
- puppet-tripleo: Ib62001c03e1e08f58cf0c6e0ba07a8879a584084

We initially also took care of changing this policy (which is set in the
pacemaker resource agent) for the M/N upgrade path:
I2468a096b5d7042bc801a742a7a85fb1521c1c02

In the end we decided against changing the policy in Newton as well (it
was only for ocata) as it was too close to the release date and we took
the safer path.
This patch does two things:
1) It renames the upgrade function to "newton_ocata" since that is the
only upgrade path we need to take care of
2) It reinstates the actual upgrade function which was mistakenly
removed via an unrelated change in the ceilometer upgrade path:
If9d6987cd0a8fc5d3f9de518ba422d97d5149732

Closes-Bug: #1628998

Change-Id: I3a97505d2ae1ae27f3080ffe74c33fdabffd2420

Merge "Fixes missing OVS Firewall config with OpenDaylight"

Enable internal TLS for Barbican API

This adds the necessary hieradata for enabling TLS in the internal
network for Barbican API.

bp tls-via-certmonger
Depends-On: I1c1d3dab9bba7bec6296a55747e9ade242c47bd9

Change-Id: Ib100faa9dc222f836695a0e8f6e101dc7637d1d6

Merge "Configure civetweb bind socket via puppet-tripleo"

Merge "Neutron L3 service cleanups for hiera json hook"

Merge "Enable internal TLS for Cinder API"

Merge "Increasing neutron timeout for low memory usage"

Merge "Handle null role_data in services"

Fixes missing OVS Firewall config with OpenDaylight

Currently OVS tunnel firewall rules are held within the neutron ovs
agent service heat template.  That service is not used with ODL, so
consequently ODL was missing the VXLAN and GRE firewall rules and
traffic would not pass between nodes.  This adds the missing rules to
the OpenDaylight OVS service.

Closes-Bug: 1641191

Change-Id: Icfd7db6a3e8fcdd02646fb7e413f40f26b03b994
Signed-off-by: Tim Rozet <trozet@redhat.com>

Configure civetweb bind socket via puppet-tripleo

When the civetweb binding IP is version 6 it needs to be enclosed
in brackets or the bind socket parsing fails. The mangling happens
in puppet-tripleo, this change updates the templates to push the
appropriate hiera keys.

Change-Id: Ic7004d768ed5e0f2382ffaa57961ea0ef9162527
Closes-Bug: #1636515
Depends-On: Ib84fa3479c2598bff7e89ad60a1c7d5f2c22c18c

Merge "Fix inconsistent Manila service naming"

Increasing neutron timeout for low memory usage

We are noticing several tests failing in our low memory environment
because of timeout in neutron requests.
As an example the test
tempest.api.compute.servers.test_server_actions.ServerActionsTestJSON
fails because it requests to plug a vif, and send request to neutron,
which responds in more than neutron_url_timeout, and since the option
vif_plugging_is_fatal is set to True as default, the test fails.
Shortly thereafter, checking in neutron log you can see the request,
returning with the proper status, after more than neutron_url_timeout,
however, it's already too late once nova already marked the instance
with error status, and so the test fails.

Closes-Bug: #1641135

Change-Id: If0991c114f199490ac0deb71eb569a42d4711359

Use default Sensu redact

By default sensu-puppet is overring default list of varibles which should
be redacted. This patch enables to configure redact list and uses default
value given by [1]. This patch also serves as a workaround until [2]
is merged in the module itself (or in case it won't get merged).

[1] https://sensuapp.org/docs/0.24/reference/clients.html
[2] https://github.com/sensu/sensu-puppet/pull/580

Closes-Bug: #1641080
Closes-Bug: rhbz#1392473
Change-Id: I21201f734d2fbf5f571091603126cf11cfdd8c40

Merge "Add missing Barbican endpoint from tls-everywhere environment"

Merge "Fix race during major-upgrade-pacemaker step"

Merge "Removes deprecated overcloud VIP outputs"

Merge "Fixes incorrect reference to OpendaylightApiNetwork"

Merge "Ensure heat-domain hiera is in nodes that contain keystone"

Fix inconsistent Manila service naming

The capitalization of OS::Tripleo is wrong compared to all other services
so correct this for avoidance of confusion when folks write custom roles_data
files or pass custom service lists via *Services parameters.

Change-Id: Ib73c80871b45586edb5774e90280ff89fc0d9895
Closes-Bug: 1640871

Fix typo in Keystone Sensu subscription

Closes-Bug: rhbz#1392428
Closes-Bug: #1640834
Change-Id: I2a1a869493ccb4c8d5b9aea26b8ef947750d2cfe

Merge "Select bootstrap node by list index not name"

Use j2 loops in post.j2.yaml

Simplify this file by removing the hard-coded resources and instead
generate the resources for each step via a loop.

Change-Id: Id89863b9e75769e1a85ebe8bfa4a554f7b38e357

Neutron L3 service cleanups for hiera json hook

This patch resolves a few issues I noticed when porting our
Neutron L3 service to support the new heat hiera agent hook (which
uses Json instead of Yaml).

 - If NeutronExternalNetworkBridge is an emptry string '' Json was
   dropping the single quotes thus causing the bridge to get set
   incorrectly in the config file. To correct this we use a heat
   conditional to avoid setting the external bridge (the '' default
   is what we want in this case) if the bridge is an empty string.

Change-Id: I5037cbde6b76a37a4c22c4616278420e9d759109
Partial-bug: #1596373

Handle null role_data in services

This patch updates the Yaql expressions that work on role_data
so that they evaluate properly when the get_attr for role_data
is null.

I hit issues using this for the heat undercloud installer and this
seems to resolve them.

Change-Id: I0493d0525cd3ad280339f26ef9d3aa311af9962e

Select bootstrap node by list index not name

Modify the syntax used to access the ResourceGroup attributes so we
always select the first node from the group, e.g even if the node
named "0" in the ResourceGroup nested stack has been removed due to
the removal policy.

Change-Id: I8b1c9538976a1518b220187a0034ad41a738d5a6
Closes-Bug: #1640449

Merge "Add firewall rules for manila api service"

Add firewall rules for manila api service

When the manila api service is deployed
on a different role than the controller the
iptables rules on that role fail to ACCEPT
tcp at the manila API ports.

Add tripleo.manila_api.firewall_rules to
the relevant puppet services module.

Change-Id: I1c5459f5ba989657fd99fd72c7ac9f8781cc7206
Closes-Bug: #1640568

Merge "Reload haproxy configuration as a post-deployment step"

Merge "ceilometer compute agent needs restart on compute upgrade"

Merge "set url_base option in static web middleware"

Disable password reveal in horizon

To improve security,  we should disable the password reveal option in
horizon by default. An end user can override this options via their own
custom hiera if they would ultimately like to have this functionality.

Change-Id: Ie88dac5610840eb4b327252b32dc469099ba5f5f
Depends-On: Iacf899d595a2a3c522df1b96ca527731937ec698
Closes-Bug: 1640492

Fix race during major-upgrade-pacemaker step

Currently when we call the major-upgrade step we do the following:
"""
...
if [[ -n $(is_bootstrap_node) ]]; then
    check_clean_cluster
fi
...
if [[ -n $(is_bootstrap_node) ]]; then
    migrate_full_to_ng_ha
fi
...
for service in $(services_to_migrate); do
    manage_systemd_service stop "${service%%-clone}"
    ...
done
"""

The problem with the above code is that it is open to the following race
condition:
1. Code gets run first on a non-bootstrap controller node so we start
stopping a bunch of services
2. Pacemaker notices will notice that services are down and will mark
the service as stopped
3. Code gets run on the bootstrap node (controller-0) and the
check_clean_cluster function will fail and exit
4. Eventually also the script on the non-bootstrap controller node will
timeout and exit because the cluster never shut down (it never actually
started the shutdown because we failed at 3)

Let's make sure we first only call the HA NG migration step as a
separate heat step. Only afterwards we start shutting down the systemd
services on all nodes.

We also need to move the STONITH_STATE variable into a file because it
is being used across two different scripts (1 and 2) and we need to
store that state.

Co-Authored-By: Athlan-Guyot Sofer <sathlang@redhat.com>
Closes-Bug: #1640407
Change-Id: Ifb9b9e633fcc77604cca2590071656f4b2275c60

Merge "Defaults kernel.pid_max to 1048576"

Merge "Enable internal TLS for Nova API"

Merge "Add Sahara plugins list as a configurable parameter"

set url_base option in static web middleware

Depends-On: Icf45cf2aece398b836c87ddffde5d3056e96dc4d

Change-Id: I3577dc38a0b52092ee5e98a381eb52c3d2768c10
Signed-off-by: Thiago da Silva <thiago@redhat.com>

Merge "Enable internal TLS for gnocchi"

ceilometer compute agent needs restart on compute upgrade

After compute nodes are upgraded, the ceilometer compute agent
doesnt poll and throws warnings. Restarting the compute agent
at this step gets the service back to its normal state.

Closes-Bug: #1640177

Change-Id: I7392de43e933b1d16002e12e407748ae289d5e99

Merge "Do not reference CephBase from CephExternal service"

Merge "Use --globoff when downloading artifacts"

Merge "Add SNMP role to the CephStorage nodes"

Reload haproxy configuration as a post-deployment step

After deploying a fresh installed Overcloud or updating the stack
the haproxy configuration is updated correctly but no change in the
HA proxy stats happens.

This submission will add the missing resources to run pre and post
puppet tasks.

Closes-bug: 1640175

Change-Id: I2f08704daeee502c618256695a30ce244a1d7ba5

Use --globoff when downloading artifacts

We do not encode the chars like [] possibly found in  the artifacts
URL, so curl tries to glob against IPv6 addresses in brackets. This
change adds --globoff to the curl options so that IPv6 addresses in
brackets are not misinterpreted.

Closes-Bug: 1640148
Change-Id: Ic86ba1e5fb674bc15b4bcc6bd3ea9e943c4fbf8e

Enable internal TLS for Cinder API

This adds the necessary hieradata for enabling TLS in the internal
network for Cinder API.

bp tls-via-certmonger
Depends-On: Ib4a9c8d3ca57f1b02e1bb0d150f333db501e9863

Change-Id: I126e890076bc96b1cd166a919eff6aa1bb80510b

Removes deprecated overcloud VIP outputs

These VIPs were previously used to create endpoints, but are no longer
used.  The one exception is KeystoneAdminVip, which is used by the
python-client.

Closes-Bug: 1639956

Change-Id: Iafdf37b6ee91806d683592a99e025a8de4c0ff20
Signed-off-by: Tim Rozet <trozet@redhat.com>

Fixes incorrect reference to OpendaylightApiNetwork

The renaming of the network to conform to correct case parsing was done
and converted OpenDaylightApiNetwork -> OpendaylightApiNetwork.  There
was still a reference to the old network name which would result in an
empty value being pass to odl_bind_ip.

Closes-Bug: 1639944

Change-Id: I17fe348c4651420112b9b37711654a454e30b291
Signed-off-by: Tim Rozet <trozet@redhat.com>

Add missing Barbican endpoint from tls-everywhere environment

Change-Id: Ibabf09a8b6f35c9b086efeffcf7db89ab8d6b63b

Ensure heat-domain hiera is in nodes that contain keystone

The commit that this depends on only works if heat is deployed in the
same node as keystone. Once we deploy them in different nodes, keystone
won't be able to retrieve the appropriate hieradata. This fixes that by
setting the appropriate hieradata to be deployed on the keystone service
by the heat profiles.

Change-Id: I1f08db68a14486526879d1a5a1ff78cb17686924
Depends-On: I7d42d04ef0c53dc1e62d684d8edacfed9fd28fbe

Merge "Move per role Services defaults into environment file"

Merge "Change nova ram_allocation_ratio to match puppet-nova"

Merge "Add an optional extra node admin ssh key parameter"

Move per role Services defaults into environment file

For parameter merge strategies to work we need to merge multiple environment
files, which doesn't consider the defaults defined in the heat template.

Moving where we define these defaults will enable the merge strategies
applied when appending services to roles in environment files to work.

Change-Id: I1ef1ad685c8a15308d051665c576a98b277f2496
Closes-Bug: #1635409

Merge "Move db settings from manila-api to manila-base"

Merge "Include keystone authtoken config in manila-share service"

Merge "Ensure we update ceph and composable nodes"

Add an optional extra node admin ssh key parameter

This can be used to pass the e.g. the tripleo-validations ssh key into
the deployment.

Change-Id: I861b9e2252a9c8122dcf7df261386f1ea5200c4f
Related-Bug: #1635226

Merge "swift/proxy: remove swift::proxy::ceilometer::rabbit_host"

Merge "nova: add missing vnc console port in firewall"

Merge "nova/libvirt: add missing ports for live-migration"

Move db settings from manila-api to manila-base

manila-share also needs the db configuration so the db-sync works
correctly when manila-api is running on a non-controller node.

Change-Id: Ib8a6f10ef6a650275fc011e51acfc4b5c7c99164
Closes-Bug: 1633077

Include keystone authtoken config in manila-share service

Because manila-share is a pacemaker-managed service, it has to be
on the controller node.  If you deploy the api services to a
different node, then manila-share loses access to the authtoken
hieradata generated by manila-api.  Adding it explicitly to the
manila-share config allows this setup to deploy sanely.

Note that I'm having a different problem with manila db-syncs in
this setup, so there's likely another patch required to get it
fully working.

Change-Id: Iac782fa67ea912d24b9905dd8bbafb8ff28dd669
Partial-Bug: 1633077

Merge "Updated Nuage neutron plugin name"

swift/proxy: remove swift::proxy::ceilometer::rabbit_host

The param is now managed in puppet-tripleo like other services.

Change-Id: I306aa6ac6e2cfc0d4602e15e11564a6be096a121
Depends-On: Ibc0ed642931dd3ada7ee594bb8c70a1c3462206d

Merge "Update openstack-puppet-modules dependencies"

Merge "Fixup the start of swift services"

Merge "Add option to disable "d1" Swift device"

Defaults kernel.pid_max to 1048576

In some scenarios we reach the kernel.pid_max value, this change
adds a parameter to the Kernel service for configuration of the
sysctl key and defaults it to 1048576.

Change-Id: Id8f3e6b7ed9846022898d7158fe9180418847085
Closes-Bug: #1639191

nova: add missing vnc console port in firewall

- Remove vncproxy firewall rules from nova-api service
- Add vncproxy firewall rules to nova-vncproxy service
- Add console port range firewall rules to nova-libvirt service

Change-Id: I421ae21c130cac6f25e7c0869b941ba77441172c

nova/libvirt: add missing ports for live-migration

Some ports are missing to support live-migration. This patch adds them.

Documented here:
https://access.redhat.com/documentation/en/red-hat-openstack-platform/9/paged/migrating-instances/chapter-1-how-to-migrate-a-live-instance

Change-Id: I72634a9940c11602522322235e51bf27cb664e57

Merge "Rework gnocchi-upgrade to run in a separate upgrade step"

Merge "gnocchi statsd should be able to send data to port 8125"

Fixup the start of swift services

Seems the conditional has changed and we should pickup the
tripleo::profile::base::swift::storage::enable_swift_storage
hiera data.

After controller nodes are upgraded the swift services were down
even though there was no stand-alone swift node (the current
conditional was failing as that hiera isn't set any more)

Closes-Bug: 1638821
Change-Id: Id1383c1e54f9cae13fd375e90da525230e5d23eb

Add Sahara plugins list as a configurable parameter

The hardcoded list should be configurable, and defaulted
to their current value.

Change-Id: I517aa61f21c6f4d0975b10a7aa85177c543487e0
Closes-bug: 1560098