Align hyperconverged-ceph.yaml environment and adds some validation

Until bug #1635409 is fixed we'll have to keep the default list
of services deployed by hyperconverged-ceph.yaml in sync with the
ServicesDefault list provided in roles_data.yaml

This change adds some logic in the templates validation script to
ensure that is preserved with future updates.

Change-Id: Ib767f9a24c3541b16f96bd6b6455cf797113fbd8

Merge "Add auditd upgrate steps"

Merge "Add zaqar service for composable upgrade"

Merge "Add upgrade support for Horizon"

Merge "Add support for upgrading ec2-api"

Merge "Configure SSL connection for MySQL client via client config file"

Merge "Write out a json file containing container startup info and create tool to use it."

Merge "Deploy versionless keystone endpoints (for keystone only)"

Add zaqar service for composable upgrade

Change-Id: I316e14317e0586e895dcb4e084aa54e7665f6a20

Add support for upgrading ec2-api

Change-Id: I2703dd1a7e3eefa0ad6f7b74183101de6c1ad915

Add auditd upgrate steps

Add base upgrade steps for auditd

Change-Id: Iaa56eb40ed80d20744cf8bab18504d700466d26e

Add upgrade support for Horizon

Change-Id: I91c3c93c1571288daa78b6d24b0aa9824a2bb5c4

Merge "Adds http proxy support for registering RHEL overcloud nodes"

Configure SSL connection for MySQL client via client config file

This uses the mysql client configuration file to configure if SSL should
be used for the connection if SSL in the internal network is enabled.

Change-Id: Ifd1a06e0749a05a65f6314255843f572d2209067

Merge "Deploy CI scenarios with Pacemaker"

Deploy CI scenarios with Pacemaker

Pacemaker is now deployed by default and it would be great to have it
tested for all scenarios to deploy real environments used in production.

Change-Id: Iff879cd641f6207644b1b6309a6ec4129f1a255a

Merge "Add VPP composable service"

Merge "Make heat max_json_body_size configurable"

Deploy versionless keystone endpoints (for keystone only)

The default is to deploy v2.0 endpoints, but this is not the recommended
approach. we should instead be using versionless endpoints

Change-Id: Icbfae1c2ff2b7312646fd8e817dd8209220a0d96
Related-Bug: #1667679

Merge "Add OpenDaylightConnectionProtocol parameter to opendaylight-api service"

Merge "Enable docker for all roles"

Merge "Update the Nova Endpoint information for Cinder"

Merge "Install openstack-panko-api on upgrade"

Merge "Install openstack-heat-agents on upgrade"

Merge "Don't recalculate EndpointMap to get outputs"

Add VPP composable service

Vector Packet Processing (VPP) is a high performance packet processing
stack that runs in user space in Linux. VPP is used as an alternative to
kernel networking stack for accelerated network data path. This patch
adds VPP as a composable service. Note that NIC binding related configs
for VPP are handled in os-net-config.

Depends-on: I70a68a204a8b9d533fc2fa4fc33c39c3b1c366bf

Change-Id: I5e4b1903dc87cb16259eeb05db585678acadbc6b
Implements: blueprint fdio-integration-tripleo

Merge "multinode_major_upgrade: enable Pacemaker"

Install openstack-heat-agents on upgrade

This package wasn't installed in the Newton image and we need to
install it during upgrade to be able to skip preupgrade validations.

Change-Id: If6ee7a3801756ac445ae35534803eab175ad8e40
Closes-Bug: 1667967

Install openstack-panko-api on upgrade

This doesn't exist in newton images, so install it via the
ansible tasks during step3 (when all other packages are updated).

Change-Id: I700a711473d10a50fad6b1797453a74c0cdff54b
Closes-Bug: 1667965

Merge "Don't assume default network names in net_ip*map"

multinode_major_upgrade: enable Pacemaker

To improve testing coverage in upgrade CI job, add Pacemaker.

Change-Id: I855ed15642e28cdfda5a7cbd6ff6d01b591dff7e

Merge "Add option to diff containers after config stage."

Merge "Upgrade nova-api/scheduler/conductor packages at step3 not step2."

Merge "Adding definition of backup_flags"

Enable docker for all roles

A recent patch enabled a few containerized services on the Controller
node. We need to enable docker for all the roles.

Change-Id: I99fc0c2d29db3514a439b717d14367ad2252e450

Merge "Add checks in ansible upgrade tasks for CephMon and CephOSD"

Merge "Align HCI environment file with list of services from roles_data"

Add option to diff containers after config stage.

This allows you to show the changes made to a container during
configuration stage for fast development.

Change-Id: Id9c72cf2b07486f0a80bf3572a7ba349888d877f

Upgrade nova-api/scheduler/conductor packages at step3 not step2.

The nova-api, nova-scheduler nova-conductor packages are updated during
step2.  The package upgrade trigger a restart of the service which fails
and is constantly retried by systemd:

    Feb 24 12:34:24 centos-7-2-node-rax-iad-7463943-440549 systemd[1]: Failed to start OpenStack Nova Scheduler Server.
    Feb 24 12:34:24 centos-7-2-node-rax-iad-7463943-440549 systemd[1]: Unit openstack-nova-scheduler.service entered failed state.
    Feb 24 12:34:24 centos-7-2-node-rax-iad-7463943-440549 systemd[1]: openstack-nova-scheduler.service failed.
    Feb 24 12:34:24 centos-7-2-node-rax-iad-7463943-440549 systemd[1]: openstack-nova-scheduler.service holdoff time over, scheduling restart.

We eventually reach timeout.  We use
https://github.com/openstack/tripleo-heat-templates/blob/master/puppet/services/tripleo-packages.yaml#L44-L46
to upgrade existing packages.

Add a note to the README.rst to make people aware of the general upgrade
done at step3 and limit its usage to new package for individual service.

Change-Id: I13b51bcfe0c98034944613f7e1c3f0168cd4de76
Closes-Bug: #1667728

Merge "Containers: workaround for neutron DB sync"

Adding definition of backup_flags

During the upgrade from M to N i encountered an error in a step
requiring the upgrade of mysql version. The variable backup_flags
is undefined at that point.

Change-Id: Ic6681c40934b27a03d00a75007d7f12d6d540de3
Closes-Bug: #1667731

Make heat max_json_body_size configurable

We need to bump this a bit for the overcloud containers
jobs. This patch makes it configurable and increases the
size for the undercloud.

Related-bug: #1667697

Change-Id: I79319f051747b381f5fa36f8a7fc7f31020bc245

Merge "Enable TLS for swift-proxy's ceilometer notifications"

Containers: workaround for neutron DB sync

Neutron DB sync didn't have permission to read the config files, we now
run neutron-db-manage as root until we can find a more permanent
solution.

Change-Id: I502a8514adc523c7cac1da059be10480eef71cb9
Closes-Bug: #1667300

Add step to docker_puppet_tasks

This patch sets the step correctly for docker_puppet_tasks.
This is now required in order to match the 'step' in some
puppet manifests explicitly so that things like keystone
initialization run correctly.

Closes-bug: #1667454

Change-Id: If2bdd0b1051125674f116f895832b48723d82b3a

Merge "Remove forgotten sahara dbsync from step5 upgrades tasks"

Merge "Adding the ip_conntrack_proto_sctp kernel module"

Merge "Add release notes for Manila/CephFS with managed Ceph"

Merge "multinode/upgrade: add nova services to environment"

Merge "Increase ansible-pacemaker default service start timeout"

Merge "Add missing releasenotes for Swift ring management"

Merge "Parallelize docker-puppet.py"

Enable TLS for swift-proxy's ceilometer notifications

If the message broker is using TLS, we enable it for these
notifications.

Change-Id: I4f37e77ae12e9582fab7d326ebd4c70127c5445f
Depends-On: If23d1f0d20264faaddc2e5ad54863483fa43ed41

Increase ansible-pacemaker default service start timeout

We are passing 200 but in some environments this has been seen to
expire by a few seconds.

Change-Id: I5c2270559339ea9ee0043b7a2e519e26d4d9d78a
Closes-Bug: 1666604

Remove forgotten sahara dbsync from step5 upgrades tasks

I suspect this was forgotten from the initial commits where
we were doing the dbsync in ansible

Change-Id: Ie337bfba4e61cf3d546d0b79b611b84211ac9d9d

Merge "Add docker mysql service"

Adds http proxy support for registering RHEL overcloud nodes

It is quite common in large entreprises that direct HTTP/HTTPS to the outside
world is denied from nodes/systems but reaching out through a proxy is allowed.

This change adds support for an HTTP proxy when RHEL overcloud nodes reach
out to either the RHSM portal or to a satellite server. This allows the
overcloud nodes to download updates even in locked-down environments.

The following variables are settable through templates:
  rhel_reg_http_proxy_host:
  rhel_reg_http_proxy_port:
  rhel_reg_http_proxy_username:
  rhel_reg_http_proxy_password:

Note the following restrictions:
  - If setting rhel_reg_http_proxy_host,
    then rhel_reg_http_proxy_port cannot be empty.
  - If setting rhel_reg_http_proxy_port,
    then rhel_reg_http_proxy_host cannot be empty.
  - If setting rhel_reg_http_proxy_username,
    then rhel_reg_http_proxy_password cannot be empty.
  - If setting rhel_reg_http_proxy_password,
    then rhel_reg_http_proxy_username cannot be empty.
  - If setting either rhel_reg_http_proxy_username or
    rhel_reg_http_proxy_password, then rhel_reg_http_proxy_host
    AND rhel_reg_http_proxy_port cannot be empty

Change-Id: I003ad5449bd99c01376781ec0ce9074eca3e2704

Merge "Add support for node groups in NetConfigDataLookup"

Add docker mysql service

Co-Authored-By: Dan Prince <dprince@redhat.com>
Co-Authored-By: Martin André <m.andre@redhat.com>
Change-Id: If0ee671acbf6a9931622003a859089d61e2050b3

Merge "neutron: don't set external_network_bridge option by default"

Adding the ip_conntrack_proto_sctp kernel module

When using conntrack there is a need to load the
ip_conntrack_proto_sctp module for SCTP to work.

Closes-bug: 1664192

Change-Id: Ic58f5327401c3ab2215acd8b9ce699f555e8c5e4

Merge "Containerized Swift Services."

Merge "Containerized MongoDB"

Update the Nova Endpoint information for Cinder

This patch updates the Cinder service to reference the correct
catalogue entries for Nova as configured by TripleO. The default
settings as set by TripleO do not match our catalogue entries,
and when Cinder attempts to callback to Nova in certain events
(such as a Cinder volume retype) it can raise an EndpointNotFound
error.

Out of the box we have settings in /etc/cinder/cinder.conf like:

nova_catalog_info = compute:Compute Service:internalURL

With the format as "<service_type>:<service_name>:<endpoint_type>"

Yet our catalogue has no mention of 'Compute Service'. This patch
also fixes the reference for the adminURL also.

Change-Id: I888ee07ef02d82578867e33608901c06e6478472
Co-Authored-By: Greg Charot <gcharot@redhat.com>

Merge "Add docker Glance API service"

Merge "Configure authtoken in nova-placement api service"

Merge "Add docker keystone service"

Merge "Update ci environment for multinode jobs to support Ceph"

Merge "Add docker rabbitmq service"

Merge "Add docker mistral services"

Merge "Add docker zaqar service"

Merge "Add docker heat services"

Merge "Add docker nova services"

Merge "Add docker memcached service"

Parallelize docker-puppet.py

Use a pool of worker processes to run the puppet modules so they
can all be done in parallel.  Defaults to cpu count processes.

Change-Id: I083d302b8cf6538569e4d165221c21df152266bc

Merge "Add step0,validation checks for heat services"

Merge "Enable docker services in the registry"

Merge "Add docker neutron services"

Merge "Add docker ironic services"

Write out a json file containing container startup info and create tool to use it.

This adds a bit to the post.yaml for docker to write out a json file
containing all the information on how we are start docker containers
(thanks Dan!).  I've then written a script that parses this that can
be used to execute docker run commands in various ways for debugging
purposes.

Change-Id: I36d66b42d1ac5030db8841820d4fc512a71d1285
Co-Authored-by: Dan Prince <dprince@redhat.com>

Containerized Swift Services.

Running swift in containers. Oh yeah.

Co-Authored-by: Dan Prince <dprince@redhat.com>
Change-Id: I2d96514fb7aa51dffe8fe293bc950e0e99df5e94

Add docker Glance API service

Co-Authored-By: Dan Prince <dprince@redhat.com>
Change-Id: I02cc769df5ec7afd608c502abc63fde8aa52be82

Containerized MongoDB

Change-Id: Ic3fd3bfd76d31ba515dbabdda7dfd06b9833a2ca

Merge "Adding upgrade steps to congress service"

multinode/upgrade: add nova services to environment

Add Nova services to the environment that deploys the upgrade Ci job.

Change-Id: I4b98b433e5c56a35e42ba34c2f2e663a4cb79580

Re-add the disable_upgrade_deployment note in roles_data.yaml

This was accidentally removed in
If581f301a5493ef33ac1386bdc22f9fca4f2544e looks like

Change-Id: I0e2c4fe664daca5c50921673db067701195c501f

Merge "Increase apache ServerLimit and workers to 100"

Merge "Add environment for deployed-server with pacemaker"

Increase apache ServerLimit and workers to 100

Increase apache serverlimit and maxrequestworkers to 100
in low-memory-usage template.
We have been reaching the limit with all the OpenStack services that we run in WSGI.
Increasing the number will help us to promote packages in TripleO CI.

Change-Id: I3f71f279a8dfaee9db5f5d1091ad079d9170de1f

Merge "Improve the README for the _setting keys"

Improve the README for the _setting keys

It is not entirely clear to someone writing their
own templates how to distribute hiera keys to different
roles. Let's clear this up with a more extensive description.

Change-Id: I02224389c2de90bc5534bce764e5e9d3bb23538f

Add checks in ansible upgrade tasks for CephMon and CephOSD

Adds two checks, one for the CephMon and one for the CephOSD upgrade
tasks borrowed from ceph-ansible.

Change-Id: I0a0e60d277240130c6bd76a74ccc13354b87a30a
Co-Authored-By: Sebastien Han <seb@redhat.com>

Enable panko service by default on overcloud

There are other applications still relying on panko and not
enabling by default is causing integration concerns.

Closes-bug: #1666619

Change-Id: I615694ca5f5a04fef4b0098c8083fb43432bb81f

Add step0,validation checks for heat services

These are currently commented out because we were waiting for
I7612189be49c9c07f64753c1be4b72aa8524d06d to enable these in the
ci upgrades job.

Change-Id: I07bc0c2af0b227416470e23ad42f3a9aae430271

Merge "Stop nova-api before upgrading package"

Merge "Adding upgrade_tasks to tacker"

Adding upgrade steps to congress service

Change-Id: I79169baf4c59e9325355992288de2e9ad8088e3b

Merge "Generate Pre/Post Puppet Tasks for all roles"

Add docker memcached service

Change-Id: I055677a5ba62ee1c34a207fb83273f70558d21f1

Add docker rabbitmq service

Change-Id: I3d30e55716a464d423358ff23bdd184d34da765a