Add checks in ansible upgrade tasks for CephMon and CephOSD

Adds two checks, one for the CephMon and one for the CephOSD upgrade
tasks borrowed from ceph-ansible.

Change-Id: I0a0e60d277240130c6bd76a74ccc13354b87a30a
Co-Authored-By: Sebastien Han <seb@redhat.com>
(cherry picked from commit a3df16776dd5d7eb0a60ca4c58cef9913eb1c5cb)

Add release notes for Manila/CephFS with managed Ceph

Previously we could only configure Manila/CephFS with an externally
managed Ceph cluster. By adding CephMDS users can use the TripleO
managed Ceph cluster as well.

Change-Id: If714076e34a639c3df54936f335da4f2684b4533
(cherry picked from commit 9b70330a150b363c31b952867819e48830a10817)

Merge "Increase ansible-pacemaker default service start timeout" into stable/ocata

Merge "Update ci environment for multinode jobs to support Ceph" into stable/ocata

Merge "multinode/upgrade: add nova services to environment" into stable/ocata

Increase ansible-pacemaker default service start timeout

We are passing 200 but in some environments this has been seen to
expire by a few seconds.

Change-Id: I5c2270559339ea9ee0043b7a2e519e26d4d9d78a
Closes-Bug: 1666604
(cherry picked from commit 8448c92203596ca578f85bdd7ffc96dd79adfe3e)

Re-add the disable_upgrade_deployment note in roles_data.yaml

This was accidentally removed in
If581f301a5493ef33ac1386bdc22f9fca4f2544e looks like

Change-Id: I0e2c4fe664daca5c50921673db067701195c501f
(cherry picked from commit f3772c6b0ab5550fc80c53b624d780a04545fbc6)

Merge "Add step0,validation checks for heat services" into stable/ocata

Merge "Make the DB URIs host-independent for all services" into stable/ocata

Update ci environment for multinode jobs to support Ceph

Adds the CephMon and CephOSD services on the Controller role so
that we can test Ceph if the services are enabled via registry.

Change-Id: I73ee5380b88bf7643ba425a0c833922e330ecade
(cherry picked from commit 54438d35adc1d9e64f1b9c33793a58ddc181d31a)

Increase apache ServerLimit and workers to 100

Increase apache serverlimit and maxrequestworkers to 100
in low-memory-usage template.
We have been reaching the limit with all the OpenStack services that we run in WSGI.
Increasing the number will help us to promote packages in TripleO CI.

Change-Id: I3f71f279a8dfaee9db5f5d1091ad079d9170de1f
(cherry picked from commit 99f0b84983e8769bf975060fbf392cc1a8a28057)

Enable panko service by default on overcloud

There are other applications still relying on panko and not
enabling by default is causing integration concerns.

Closes-bug: #1666619

Change-Id: I615694ca5f5a04fef4b0098c8083fb43432bb81f
(cherry picked from commit 161cd3cbe3b7b01bfa31dbca1a2f60284155cef7)

Add step0,validation checks for heat services

These are currently commented out because we were waiting for
I7612189be49c9c07f64753c1be4b72aa8524d06d to enable these in the
ci upgrades job.

Change-Id: I07bc0c2af0b227416470e23ad42f3a9aae430271
(cherry picked from commit 5d33537c0d27617a148784296483f92215c81adb)

Stop nova-api before upgrading package

If the service is running then the rpm upgrade will attempt to restart.
Ensuring the service is stopped before upgrade should resolve this.

Change-Id: I4179cb773616721640490d26082eacac45f92dff
Closes-Bug: 1665717
(cherry picked from commit 10ba1fa6068978d5779da4b3c6966d73e893a7e5)

Make the DB URIs host-independent for all services

When fixing LP#1643487 we added ?bind_address to all DB URIs.
Since this clashes with Cellsv2 due to the URIs becoming host
dependent, we need a new approach to pass bind_address to pymysql
that leaves the DB URIs host-independent.

In change Iff8bd2d9ee85f7bb1445aa2e1b3cfbff1f397b18 we first create a
/etc/my.cnf.d/tripleo.cnf file with a [tripleo] section with the correct
bind-address option.

In this change we make sure that the DB URIs will point to the added
file and to the specific section containing the necessary bind-address
option. We do introduce a new MySQLClient profile which will hold all
this more client-specific configuration so that this change can fit
better in the composable roles work. Also, in the future it might
contain the necessary configuration for SSL for example.

Note that in case the /etc/my.cnf.d/tripleo.cnf file does not exist
(because it is created via the mysqlclient profile), things keep on
working as usual and the bind-address option simply won't be set, which
has no impact on hosts where there are no VIPs.

Co-Authored-By: Damien Ciabrini <dciabrin@redhat.com>
Change-Id: Ieac33efe38f32e949fd89545eb1cd8e0fe114a12
Related-Bug: #1643487
Closes-Bug: #1663181
Closes-Bug: #1664524
Depends-On: Iff8bd2d9ee85f7bb1445aa2e1b3cfbff1f397b18
(cherry picked from commit 90431683b5927abb066d7964d513828b5488001c)

multinode/upgrade: add nova services to environment

Add Nova services to the environment that deploys the upgrade Ci job.

Change-Id: I4b98b433e5c56a35e42ba34c2f2e663a4cb79580

Switch to net-config-multinode

Because of this bug:
https://bugs.launchpad.net/tripleo/+bug/1661412

We are unable to upgrade from Newton.
Until we figure this out, let's re-enable the previous SoftwareConfig.

Change-Id: I966b96c50224656b152045c97aa23b9495618a18
(cherry picked from commit 4061dfe790f2614f253a6f0e14bf3dd056e20ce1)

Merge "Apply post-upgrade step to not run puppet in post upgrade" into stable/ocata

Merge "Apply puppet in non-controller script in step." into stable/ocata

Merge "Deploy Manila with CephMDS in scenario004" into stable/ocata

Merge "Automatically backup and restore Swift rings from the undercloud" into stable/ocata

Merge "Add explicit swift check to tripleo_upgrade_node.sh" into stable/ocata

Add explicit swift check to tripleo_upgrade_node.sh

And change the conditional to use hiera instead.

Change-Id: Icf91dd91c0ab04e7919172fcfd130183bfd427b4
(cherry picked from commit d8e75b220efec3b17a76bed6898327784fb4e6cc)

Deploy Manila with CephMDS in scenario004

Adds the Manila and CephMDS services into scenario004 and a few
resources in the pingtest to test the Manila deployment.

Also adds Pacemaker to scenario004 which is needed for ManilaShare.

Co-Authored-By: jprovazn@redhat.com
Change-Id: I70515c5b9ce2668a684649ecd40421b69078ee83
Related-Bug: #1644784
(cherry picked from commit db58ec86c748a99efb427a8b37ee4a514f7acdaf)

Apply puppet in non-controller script in step.

We want to apply a puppet manifest for the non-controller role, but we
need to apply it in stages.  By loading the proper hieradata we get the
needed step configuration.

Change-Id: I07bfeee7b7d9a9b8c2c20e5d5c9ed735d0bfc842
Closes-Bug: #1664304
(cherry picked from commit 237cd2004a2c0869d60d0e11e9dccd59e809ff90)

Automatically backup and restore Swift rings from the undercloud

Swift rings created or updated on the overcloud nodes will now be
stored on the undercloud at the end of the deployment.  An
additional consistency check is executed before storing them,
ensuring all rings within the cluster are identical.

These rings will be retrieved (before Puppet runs) by every node
when an UPDATE is executed, and by doing this will be in a
consistent state across the cluster.

This makes it possible to add, remove or replace nodes in an
existing cluster without manual operator interaction.

Closes-Bug: 1609421
Depends-On: Ic3da38cffdd993c768bdb137c17d625dff1aa372
Change-Id: I758179182265da5160c06bb95f4c6258dc0edcd6
(cherry picked from commit b323f8a16035549d84cdec4718380bde3d23d6c3)

Add Newton to Ocata UpgradeInitCommonCommand

This adds the UpgradeInitCommonCommand for newton..ocata common
UpgradeInit commands. This comes before the ansible upgrade steps
so we need to do things like remove the old newton hieradata and
install the ansible-pacemaker module and ansible heat-agent plugin

This defaults to '' and is set in the major-upgrade-composable-steps
and unset in the major-upgrade-converge environment files.

Change-Id: I0c7a32194c0069b63a501a913c17907b47c9cc16
(cherry picked from commit 01a91d37199f592aa4273e3847eb1f4f1d27da02)

Apply post-upgrade step to not run puppet in post upgrade

In the environment file:
environments/major-upgrade-composable-steps.yaml
we don't want to run puppet in certains roles in post upgrade
because we need to make some extra tasks on this nodes and
run puppet on converge step

Change-Id: I38fc5772cdb4a7df7979beb2e7475c70f34076a7
(cherry picked from commit b3b04eb0d22d776902462811d54bcd270e0fab73)

CI fix broken references to multinode-core.yaml

This isn't needed for the single-node upgrade test, but it is
required for the 3-nodes job (which won't work because the referenced
file doesn't currently exist).

Change-Id: I78bd5c804284219a71b13dba21fd1188ca854fca
(cherry picked from commit b3fe9f726499cb2575737129928c09a68c9145e3)

Update .gitreview for stable/ocata

Change-Id: I60191fc3cfe1507d49d60bef25b040992ab48824

Merge "Configuring a default ntp server."

Merge "Remove unused nova_url from neutron config"

Merge "Remove deprecated metering_secret"

Merge "Add release notes for the HA-by-default change"

Merge "OVN bridge mappings for tripleo"

Merge "Add major-upgrade-converge environment."

Merge "Release notes ha composable"

Merge "Setup FreeIPA to serve DNS in the setup script"

Merge "Add nova service support for composable upgrades"

Add major-upgrade-converge environment.

This is a generic replacement for the previous pacemaker named
file that is designed to work with the new composable-steps upgrade.

Change-Id: If5016b910931364a621b280465420d0bf2617895
Partially-Implements: blueprint overcloud-upgrades-per-service

Merge "Containers: Add required EndpointMap parameter"

Setup FreeIPA to serve DNS in the setup script

This is needed for the overcloud nodes to automatically get their domain
and to autodiscover the FreeIPA server.

Change-Id: I4c055e4b4086b02fa706380f01911f499966dfc1

Merge "OVN plugin configuration fixes"

Declare variables for freeipa_setup.sh script

These were assumed to be always passed, but as the script gets
different cases (novajoin vs pre-defined service principals) we might
get "unbound variable" errors when used outside of CI. Exporting these
variables beforehand prevents that.

Change-Id: I195321354df167c09cfc87c5b9f86c6dc5026d75

Merge "Add Ceph RGW to capabilities map"

Add nova service support for composable upgrades

Co-Authored-By: Mathieu Bultel <mbultel@redhat.com>
Co-Authored-By: Oliver Walsh <owalsh@redhat.com>
Change-Id: Iafad800a6819d7e75fdaab60d328999d3d3c037f
Partially-Implements: blueprint overcloud-upgrades-per-service
Related-Bug: #1662344

Merge "Reduce memcached memory configuration"

Merge "Add upgrade tasks for opstools services"

Merge "Describe use of Manila/CephFS in capabilites_map"

Release notes ha composable

Add some release notes about the composable ha work

Change-Id: I8975c3f597d1affbe6e52d4e16a2aad527006264

OVN bridge mappings for tripleo

This patch adds an additional configuration setting for OVN bridge mappings

Co-authored-by: Numan Siddique <nusiddiq@redhat.com>
Change-Id: I99f2c0c8e633e63273e2469d95fbabbbc665c87c
Depends-On: Ia6d66fa954571328c0ac3542af17303def382c1a

Add upgrade tasks for opstools services

This patch adds upgrade tasks for sensu-client, fluentd and collectd

Change-Id: I3a8096159664b1934b34f6c79b8afb4a3dc645c8

Containers: Add required EndpointMap parameter

This parameter is passed in by the parent overcloud.yaml template, so we
have to listen accept it in docker/post.j2.yaml, otherwise the
deployment fails.

Change-Id: Ia3fdcfa01d52006a6e9fd0bb02c7379411f3d900
Closes-Bug: #1664569

Merge "Add release note for services endpoint change"

Merge "Use Keystone internal endpoint instead of admin for nova-ironic"

Merge "Use Keystone internal endpoint instead of admin for services"

Configuring a default ntp server.

Adding a default NTP server by default will
keep all Pacemaker and non-Pacemaker deployments
aligned with the same server by default.
Also useful for keeping time diff controlled for
Keystone and Ceph.

Change-Id: I8a26bae15cbfb83e3abd6b9ef9d12b57467e6258

Add Ceph RGW to capabilities map

This will provide an option in the UI to deploy Ceph RGW as a
replacement for Swift.

Change-Id: If2281edce49d2981f891c95ebb507e3a4b9e438e

Merge "Fix empty parameter_default error in environment file"

Updated from global requirements

Change-Id: Ic4cfdedfc0a60ebfd2391d03112f68e7a11629ce

Fix empty parameter_default error in environment file

Providing an empty 'parameter_defaults' is resulting in overriding
of all the previously populated 'parameters_defaults' as None.
Commenting the empty statement and cleaned-up emtpy line in j2
templating.

Change-Id: I75bac6b558ac16a08e0964599cecae5bf10edf8a

Add release note for services endpoint change

Add reno for:
- I1213a83ef8693c1cca1d20de974f7949a801d9f1
- Ib1103c00ddb7d6d624f4911147197d8355a3a6dd

Change-Id: Iecbbab5aeeade46b5cc238bc5542396e78db751c

Use Keystone internal endpoint instead of admin for nova-ironic

As per I1213a83ef8693c1cca1d20de974f7949a801d9f1 this moves to
using KeystoneInternal for the nova-ironic template and updates
some deprecated hiera keys.

Change-Id: Ib1103c00ddb7d6d624f4911147197d8355a3a6dd

Use Keystone internal endpoint instead of admin for services

The admin endpoint is listening on the ctlplane network by default;
services should ideally be using the internal api network for this kind
of traffic, as the ctlplane network is mostly for provisioning. On the
other hand, the admin endpoint shouldn't be as relevant with services
switching to keystone v3.

Change-Id: I1213a83ef8693c1cca1d20de974f7949a801d9f1

Merge "Configure the placement API's interface to use the internal endpoint"

Merge "Remove duplicated release notes"

Merge "Add missing TripleO services to ci/multinode"

Merge "Enables support for configuring Cinder with Dell EMC ScaleIO storage backend."

Remove duplicated release notes

Change-Id: I8c2e0af3ad4e47b12f4ecf2d5762df95e66fa34d

Merge "Added further security functionality in release notes."

Merge "nova-placement: support upgrade"

Merge "placement: switch service to use NovaPlacementNetwork"

Merge "Remove [heat,glance,ironic,cinder,keystone] db sync from ansible"

Add missing TripleO services to ci/multinode

Add:
    - OS::TripleO::Services::TripleoPackages
    - OS::TripleO::Services::TripleoFirewall

to the CI environments, so we can test Firewalling and also TripleO
packages upgrades.

Change-Id: I5d39c7a332a4c376fb4d6ee9463d27f481b6a0d0

Merge "Add missing release notes for Ocata"

Merge "Fix Neutron region in nova.conf"

nova-placement: support upgrade

Upgrade nova-placement service with Ansible.

Change-Id: I43cac37afbc8b39708389895d9f7350b6bd4bcfd

Merge "Remove the ansible neutron-api db sync as for other services"

Remove [heat,glance,ironic,cinder,keystone] db sync from ansible

These are handle by puppet as usual (puppet run comes after the
ansible steps) so remove them from these remaining upgrade_tasks

Change-Id: Ic341f31251622ccb11a5f7818b2edf7a82391560

Merge "FreeIPA: don't preprovision service principals if novajoin is enabled"

Remove the ansible neutron-api db sync as for other services

In line with other service we leave the db sync to puppet unless
needed for some workaround/upgrade related reason.

Change-Id: I9ae463cda19ffdd66f9ccbae40e85551841ab938

Configure the placement API's interface to use the internal endpoint

Due to the keystoneauth library's defaults, it uses the public interface
currently. This is not desirable in most cases (specially when using
network isolation); so we set it to use the internal one.

Change-Id: Ic222a2b734f4d512349fd8556aa2864b13a1eb07
Depends-On: I1c7fd3a32d04e2fafb3820d1c1f221f45c613c83
Closes-Bug: #1663187

Merge "adding Congress Support"

Reduce memcached memory configuration

Previously the memcached configuration was set to use the defaults which
would be 95% of the avaiable ram in the system. This can lead to memory
contention issues if memcache is heavily utilized. This change reduces
the default to 50% and exposes the ability to tune this configuration.

Change-Id: Ie8a48ff4cf509e93d7c1487813d5feed5e5131a4
Closes-Bug: #1662941

Add missing release notes for Ocata

Change-Id: I1bc3f37f910d6dfa833166217b1f58931d06be02

Merge "Adds cluster status check_and_fail before running upgrade (step0)"

placement: switch service to use NovaPlacementNetwork

... instead of using NovaApiNetwork.

Change-Id: I34043c68c24b05bac98f864bc2ac2fc4743617ab

Fix Neutron region in nova.conf

Default in puppet-neutron is 'RegionOne', so let's override it with the
right parameter in TripleO.

Change-Id: I3f1693b91178027c8e05288aeba72b7d6bd042be

Merge "Dump and  run puppet for role which are disable_upgrade_deployment true"

Merge "Remove gnocchi db sync from the ansible upgrade step"

Merge "Remove unused SR-IOV parameter NeutronSupportedPCIVendorDevs"

Remove gnocchi db sync from the ansible upgrade step

Since gnocchi db sync for upgrade is made by puppet
we need to remove it from ansible tasks

Change-Id: I4a26513c3e3d0dcf77c007ea865364e38da3a94a

Adds cluster status check_and_fail before running upgrade (step0)

This depends on a change in the pacemaker_cluster resource
https://review.gerrithub.io/#/c/307078/

Change-Id: Iaf50e27607b159173190912604198b6a471fe35f

Merge "Add pacemaker composable upgrade steps"

Merge "Remove legacy major upgrade scripts for Ceph and BlockStorage"

Merge "Remove aodh db sync from ansible upgrade"

Dump and  run puppet for role which are disable_upgrade_deployment true

We wants to run puppet on each role which has the flag
disable_upgrade_deployment to true. It will run after the upgrade
of the role and before running the whole converge step.

Change-Id: Ia85be688d070dfb5b8337e8ef3c4bc439fb6052e

adding Congress Support

Depends-On: Ic74ccd5fa7b3b04ca810416e5160463252f17474

Implements: blueprint congress-service-integration

Change-Id: Ie60540c340c0eb71ff376aba65507a8bb3e909b6
Signed-off-by: Dan Radez <dradez@redhat.com>

Remove legacy major upgrade scripts for Ceph and BlockStorage

We do not need the upgrade scripts used to migrate Ceph from
hammer to jewel. This submission removes that and the legacy
upgrade scripts used for the BlockStorage role.

Change-Id: I2674216dd9b5b849de6a2624ee1115420a254182

Delivers upgrade scripts where upgrade steps are disabled

This delivers a /root/tripleo_upgrade_node.sh to those nodes
that have the disable_upgrade_deployment flag set to true.
They will later be upgraded manually by the operator who will
invoke the script delivered here using upgrade-non-controller.sh

We can also deliver any service specific upgrade configuration,
such as configuring nova-compute to use the placement API as this
is required in order for placement to be configured and installed
during the subsequent upgrade steps for controller services.

This removes the compute and swift specific upgrade scripts as
they are now merged into the common
tripleo_upgrade_node.sh - removing any hard coded
reference to a particular role name (compute/objectstorage) and
only relying on the disable_upgrade_deployment is roles_data.yaml

Change-Id: I4531a4038b78087ef4a1a62c35f1328822427817
Co-Authored-By: Mathieu Bultel <mbultel@redhat.com>