Deploy CI scenarios with Pacemaker

Pacemaker is now deployed by default and it would be great to have it
tested for all scenarios to deploy real environments used in production.

Change-Id: Iff879cd641f6207644b1b6309a6ec4129f1a255a

Merge "Install openstack-panko-api on upgrade"

Merge "Install openstack-heat-agents on upgrade"

Merge "Don't recalculate EndpointMap to get outputs"

Merge "multinode_major_upgrade: enable Pacemaker"

Install openstack-heat-agents on upgrade

This package wasn't installed in the Newton image and we need to
install it during upgrade to be able to skip preupgrade validations.

Change-Id: If6ee7a3801756ac445ae35534803eab175ad8e40
Closes-Bug: 1667967

Install openstack-panko-api on upgrade

This doesn't exist in newton images, so install it via the
ansible tasks during step3 (when all other packages are updated).

Change-Id: I700a711473d10a50fad6b1797453a74c0cdff54b
Closes-Bug: 1667965

Merge "Don't assume default network names in net_ip*map"

multinode_major_upgrade: enable Pacemaker

To improve testing coverage in upgrade CI job, add Pacemaker.

Change-Id: I855ed15642e28cdfda5a7cbd6ff6d01b591dff7e

Merge "Add option to diff containers after config stage."

Merge "Upgrade nova-api/scheduler/conductor packages at step3 not step2."

Merge "Adding definition of backup_flags"

Merge "Add checks in ansible upgrade tasks for CephMon and CephOSD"

Merge "Align HCI environment file with list of services from roles_data"

Add option to diff containers after config stage.

This allows you to show the changes made to a container during
configuration stage for fast development.

Change-Id: Id9c72cf2b07486f0a80bf3572a7ba349888d877f

Upgrade nova-api/scheduler/conductor packages at step3 not step2.

The nova-api, nova-scheduler nova-conductor packages are updated during
step2.  The package upgrade trigger a restart of the service which fails
and is constantly retried by systemd:

    Feb 24 12:34:24 centos-7-2-node-rax-iad-7463943-440549 systemd[1]: Failed to start OpenStack Nova Scheduler Server.
    Feb 24 12:34:24 centos-7-2-node-rax-iad-7463943-440549 systemd[1]: Unit openstack-nova-scheduler.service entered failed state.
    Feb 24 12:34:24 centos-7-2-node-rax-iad-7463943-440549 systemd[1]: openstack-nova-scheduler.service failed.
    Feb 24 12:34:24 centos-7-2-node-rax-iad-7463943-440549 systemd[1]: openstack-nova-scheduler.service holdoff time over, scheduling restart.

We eventually reach timeout.  We use
https://github.com/openstack/tripleo-heat-templates/blob/master/puppet/services/tripleo-packages.yaml#L44-L46
to upgrade existing packages.

Add a note to the README.rst to make people aware of the general upgrade
done at step3 and limit its usage to new package for individual service.

Change-Id: I13b51bcfe0c98034944613f7e1c3f0168cd4de76
Closes-Bug: #1667728

Merge "Containers: workaround for neutron DB sync"

Adding definition of backup_flags

During the upgrade from M to N i encountered an error in a step
requiring the upgrade of mysql version. The variable backup_flags
is undefined at that point.

Change-Id: Ic6681c40934b27a03d00a75007d7f12d6d540de3
Closes-Bug: #1667731

Merge "Enable TLS for swift-proxy's ceilometer notifications"

Containers: workaround for neutron DB sync

Neutron DB sync didn't have permission to read the config files, we now
run neutron-db-manage as root until we can find a more permanent
solution.

Change-Id: I502a8514adc523c7cac1da059be10480eef71cb9
Closes-Bug: #1667300

Add step to docker_puppet_tasks

This patch sets the step correctly for docker_puppet_tasks.
This is now required in order to match the 'step' in some
puppet manifests explicitly so that things like keystone
initialization run correctly.

Closes-bug: #1667454

Change-Id: If2bdd0b1051125674f116f895832b48723d82b3a

Merge "Remove forgotten sahara dbsync from step5 upgrades tasks"

Merge "Adding the ip_conntrack_proto_sctp kernel module"

Merge "Add release notes for Manila/CephFS with managed Ceph"

Merge "multinode/upgrade: add nova services to environment"

Merge "Increase ansible-pacemaker default service start timeout"

Merge "Add missing releasenotes for Swift ring management"

Merge "Parallelize docker-puppet.py"

Enable TLS for swift-proxy's ceilometer notifications

If the message broker is using TLS, we enable it for these
notifications.

Change-Id: I4f37e77ae12e9582fab7d326ebd4c70127c5445f
Depends-On: If23d1f0d20264faaddc2e5ad54863483fa43ed41

Increase ansible-pacemaker default service start timeout

We are passing 200 but in some environments this has been seen to
expire by a few seconds.

Change-Id: I5c2270559339ea9ee0043b7a2e519e26d4d9d78a
Closes-Bug: 1666604

Remove forgotten sahara dbsync from step5 upgrades tasks

I suspect this was forgotten from the initial commits where
we were doing the dbsync in ansible

Change-Id: Ie337bfba4e61cf3d546d0b79b611b84211ac9d9d

Merge "Add docker mysql service"

Merge "Add support for node groups in NetConfigDataLookup"

Add docker mysql service

Co-Authored-By: Dan Prince <dprince@redhat.com>
Co-Authored-By: Martin André <m.andre@redhat.com>
Change-Id: If0ee671acbf6a9931622003a859089d61e2050b3

Merge "neutron: don't set external_network_bridge option by default"

Adding the ip_conntrack_proto_sctp kernel module

When using conntrack there is a need to load the
ip_conntrack_proto_sctp module for SCTP to work.

Closes-bug: 1664192

Change-Id: Ic58f5327401c3ab2215acd8b9ce699f555e8c5e4

Merge "Containerized Swift Services."

Merge "Containerized MongoDB"

Merge "Add docker Glance API service"

Merge "Configure authtoken in nova-placement api service"

Merge "Add docker keystone service"

Merge "Update ci environment for multinode jobs to support Ceph"

Merge "Add docker rabbitmq service"

Merge "Add docker mistral services"

Merge "Add docker zaqar service"

Merge "Add docker heat services"

Merge "Add docker nova services"

Merge "Add docker memcached service"

Parallelize docker-puppet.py

Use a pool of worker processes to run the puppet modules so they
can all be done in parallel.  Defaults to cpu count processes.

Change-Id: I083d302b8cf6538569e4d165221c21df152266bc

Merge "Add step0,validation checks for heat services"

Merge "Enable docker services in the registry"

Merge "Add docker neutron services"

Merge "Add docker ironic services"

Containerized Swift Services.

Running swift in containers. Oh yeah.

Co-Authored-by: Dan Prince <dprince@redhat.com>
Change-Id: I2d96514fb7aa51dffe8fe293bc950e0e99df5e94

Add docker Glance API service

Co-Authored-By: Dan Prince <dprince@redhat.com>
Change-Id: I02cc769df5ec7afd608c502abc63fde8aa52be82

Containerized MongoDB

Change-Id: Ic3fd3bfd76d31ba515dbabdda7dfd06b9833a2ca

Merge "Adding upgrade steps to congress service"

multinode/upgrade: add nova services to environment

Add Nova services to the environment that deploys the upgrade Ci job.

Change-Id: I4b98b433e5c56a35e42ba34c2f2e663a4cb79580

Re-add the disable_upgrade_deployment note in roles_data.yaml

This was accidentally removed in
If581f301a5493ef33ac1386bdc22f9fca4f2544e looks like

Change-Id: I0e2c4fe664daca5c50921673db067701195c501f

Merge "Increase apache ServerLimit and workers to 100"

Merge "Add environment for deployed-server with pacemaker"

Increase apache ServerLimit and workers to 100

Increase apache serverlimit and maxrequestworkers to 100
in low-memory-usage template.
We have been reaching the limit with all the OpenStack services that we run in WSGI.
Increasing the number will help us to promote packages in TripleO CI.

Change-Id: I3f71f279a8dfaee9db5f5d1091ad079d9170de1f

Merge "Improve the README for the _setting keys"

Improve the README for the _setting keys

It is not entirely clear to someone writing their
own templates how to distribute hiera keys to different
roles. Let's clear this up with a more extensive description.

Change-Id: I02224389c2de90bc5534bce764e5e9d3bb23538f

Add checks in ansible upgrade tasks for CephMon and CephOSD

Adds two checks, one for the CephMon and one for the CephOSD upgrade
tasks borrowed from ceph-ansible.

Change-Id: I0a0e60d277240130c6bd76a74ccc13354b87a30a
Co-Authored-By: Sebastien Han <seb@redhat.com>

Enable panko service by default on overcloud

There are other applications still relying on panko and not
enabling by default is causing integration concerns.

Closes-bug: #1666619

Change-Id: I615694ca5f5a04fef4b0098c8083fb43432bb81f

Add step0,validation checks for heat services

These are currently commented out because we were waiting for
I7612189be49c9c07f64753c1be4b72aa8524d06d to enable these in the
ci upgrades job.

Change-Id: I07bc0c2af0b227416470e23ad42f3a9aae430271

Merge "Stop nova-api before upgrading package"

Merge "Adding upgrade_tasks to tacker"

Adding upgrade steps to congress service

Change-Id: I79169baf4c59e9325355992288de2e9ad8088e3b

Merge "Generate Pre/Post Puppet Tasks for all roles"

Add docker memcached service

Change-Id: I055677a5ba62ee1c34a207fb83273f70558d21f1

Add docker rabbitmq service

Change-Id: I3d30e55716a464d423358ff23bdd184d34da765a

Add docker zaqar service

Change-Id: I09379b4959c38ae4e7b4e667b97e87d35c8e7e83

Add docker mistral services

This patch adds docker services for Mistral API, Engine, and Executor.

NOTE: the Mistral API container for TripleO must be built with
openstack-tripleo-common installed in order for TripleO specific
actions to get installed for the undercloud.

Change-Id: I0075840d14eb43c50d80b87acd986b80cfd38d4a

Add docker neutron services

This patch adds docker services for Neutron API(server), the
Neutron DHCP agent, and Neutron ML2 plugin configuration.

Co-Authored-By: Ian Main <imain@redhat.com>
Change-Id: If31e095cae533597cf0d73b4277425dfc3459564

Add docker nova services

This patch adds docker services for Nova for the Api, conductor,
scheduler, ironic, placement, and pass-thru configuration for metadata (it
simply enables metadata to be configured as part of the nova-api.

The nova-api DB initialization commands depend on a new heat-agent
feature (see patch below) to accommodate exit codes returned by
the new cells setup commands.

Change-Id: I39436783409ed752b08619b07b0a0c592bce0456
Depends-On: Ia6ca4b01982a0b33b26eca2a907d9d9f87c19922

Add docker heat services

This patch adds docker services for Heat API, API Cfn, and Engine.

Change-Id: I50caad9b9cf5482a8872cb0f2a67477b5e829ead

Stop nova-api before upgrading package

If the service is running then the rpm upgrade will attempt to restart.
Ensuring the service is stopped before upgrade should resolve this.

Change-Id: I4179cb773616721640490d26082eacac45f92dff
Closes-Bug: 1665717

Merge "Make the DB URIs host-independent for all services"

Adding upgrade_tasks to tacker

Change-Id: I0d7e151a931d02068dea80d7cf57b99736e689e6

Merge "Switch to net-config-multinode"

Merge "Install nova-placement package on upgrade"

Make the DB URIs host-independent for all services

When fixing LP#1643487 we added ?bind_address to all DB URIs.
Since this clashes with Cellsv2 due to the URIs becoming host
dependent, we need a new approach to pass bind_address to pymysql
that leaves the DB URIs host-independent.

In change Iff8bd2d9ee85f7bb1445aa2e1b3cfbff1f397b18 we first create a
/etc/my.cnf.d/tripleo.cnf file with a [tripleo] section with the correct
bind-address option.

In this change we make sure that the DB URIs will point to the added
file and to the specific section containing the necessary bind-address
option. We do introduce a new MySQLClient profile which will hold all
this more client-specific configuration so that this change can fit
better in the composable roles work. Also, in the future it might
contain the necessary configuration for SSL for example.

Note that in case the /etc/my.cnf.d/tripleo.cnf file does not exist
(because it is created via the mysqlclient profile), things keep on
working as usual and the bind-address option simply won't be set, which
has no impact on hosts where there are no VIPs.

Co-Authored-By: Damien Ciabrini <dciabrin@redhat.com>
Change-Id: Ieac33efe38f32e949fd89545eb1cd8e0fe114a12
Related-Bug: #1643487
Closes-Bug: #1663181
Closes-Bug: #1664524
Depends-On: Iff8bd2d9ee85f7bb1445aa2e1b3cfbff1f397b18

Merge "Add docker_puppet_tasks initialization on primary node"

Add environment for deployed-server with pacemaker

A new environment file to be used when using the deployed-server roles
data at deployed-server/deployed-server-roles-data.yaml. This ensures
the Pre and Post Puppet Tasks for the ControllerDeployedServer role are
mapped to the stacks that handle maintenance mode and resource restarts
for pacemaker on stack-update.

Change-Id: I1ca52dfb3a3b669e128ebb0a28d9e36a1807faad
Closes-Bug: #1665060

Generate Pre/Post Puppet Tasks for all roles

We need to generate the Pre and Post Puppet Tasks for all roles, not
just the Controller role. Otherwise, you have to have a role
specifically named Controller that is running your pacemaker services,
or pacemaker won't be properly handled on stack-updates.

When using deployed-server's it's actually not possible to have a role
called Controller, since we need to use all custom roles so that we can
set disable_contraints on each role. Further, it is not possible to
redefine the Controller role since puppet/controller-role.yaml is listed
in the excludes file.

Change-Id: I737b24db90932e292b50b122640f66385f2d1c23
Partial-Bug: #1665060

Don't assume default network names in net_ip*map

This needs to handle a ServiceNetMap containing non-default
network names when they are overridden via the *NetName parameters.

Closes-Bug: #1651541
Change-Id: I95d808444642a37612a495e822e50449a7e7da63

Switch to net-config-multinode

Because of this bug:
https://bugs.launchpad.net/tripleo/+bug/1661412

We are unable to upgrade from Newton.
Until we figure this out, let's re-enable the previous SoftwareConfig.

Change-Id: I966b96c50224656b152045c97aa23b9495618a18

Merge "Add explicit swift check to tripleo_upgrade_node.sh"

Merge "Deploy Manila with CephMDS in scenario004"

Install nova-placement package on upgrade

This doesn't exist in newton images, so install it via the
ansible tasks during step3 (when all other packages are updated).

Change-Id: I08fb7855b910ccc5a8ab2d73f1de15b695784abd
Closes-Bug: #1664265

Merge "Apply puppet in non-controller script in step."

Merge "docker: new hybrid deployment architecture and configuration"

Merge "Apply post-upgrade step to not run puppet in post upgrade"

Merge "Add Newton to Ocata UpgradeInitCommonCommand"

Merge "Adds 'trunk' to ODL env service plugins"

Merge "Automatically backup and restore Swift rings from the undercloud"

Update ci environment for multinode jobs to support Ceph

Adds the CephMon and CephOSD services on the Controller role so
that we can test Ceph if the services are enabled via registry.

Change-Id: I73ee5380b88bf7643ba425a0c833922e330ecade

Add missing releasenotes for Swift ring management

Change-Id: Ifef3e6f661d0094ebcc587fd6c1d0783a92ada3f