Merge "Add support for node groups in NetConfigDataLookup"

Merge "neutron: don't set external_network_bridge option by default"

Merge "Containerized Swift Services."

Merge "Containerized MongoDB"

Merge "Add docker Glance API service"

Merge "Configure authtoken in nova-placement api service"

Merge "Add docker keystone service"

Merge "Update ci environment for multinode jobs to support Ceph"

Merge "Add docker rabbitmq service"

Merge "Add docker mistral services"

Merge "Add docker zaqar service"

Merge "Add docker heat services"

Merge "Add docker nova services"

Merge "Add docker memcached service"

Merge "Add step0,validation checks for heat services"

Merge "Enable docker services in the registry"

Merge "Add docker neutron services"

Merge "Add docker ironic services"

Containerized Swift Services.

Running swift in containers. Oh yeah.

Co-Authored-by: Dan Prince <dprince@redhat.com>
Change-Id: I2d96514fb7aa51dffe8fe293bc950e0e99df5e94

Add docker Glance API service

Co-Authored-By: Dan Prince <dprince@redhat.com>
Change-Id: I02cc769df5ec7afd608c502abc63fde8aa52be82

Containerized MongoDB

Change-Id: Ic3fd3bfd76d31ba515dbabdda7dfd06b9833a2ca

Merge "Adding upgrade steps to congress service"

Re-add the disable_upgrade_deployment note in roles_data.yaml

This was accidentally removed in
If581f301a5493ef33ac1386bdc22f9fca4f2544e looks like

Change-Id: I0e2c4fe664daca5c50921673db067701195c501f

Merge "Increase apache ServerLimit and workers to 100"

Merge "Add environment for deployed-server with pacemaker"

Increase apache ServerLimit and workers to 100

Increase apache serverlimit and maxrequestworkers to 100
in low-memory-usage template.
We have been reaching the limit with all the OpenStack services that we run in WSGI.
Increasing the number will help us to promote packages in TripleO CI.

Change-Id: I3f71f279a8dfaee9db5f5d1091ad079d9170de1f

Merge "Improve the README for the _setting keys"

Improve the README for the _setting keys

It is not entirely clear to someone writing their
own templates how to distribute hiera keys to different
roles. Let's clear this up with a more extensive description.

Change-Id: I02224389c2de90bc5534bce764e5e9d3bb23538f

Enable panko service by default on overcloud

There are other applications still relying on panko and not
enabling by default is causing integration concerns.

Closes-bug: #1666619

Change-Id: I615694ca5f5a04fef4b0098c8083fb43432bb81f

Add step0,validation checks for heat services

These are currently commented out because we were waiting for
I7612189be49c9c07f64753c1be4b72aa8524d06d to enable these in the
ci upgrades job.

Change-Id: I07bc0c2af0b227416470e23ad42f3a9aae430271

Merge "Stop nova-api before upgrading package"

Merge "Adding upgrade_tasks to tacker"

Adding upgrade steps to congress service

Change-Id: I79169baf4c59e9325355992288de2e9ad8088e3b

Merge "Generate Pre/Post Puppet Tasks for all roles"

Add docker memcached service

Change-Id: I055677a5ba62ee1c34a207fb83273f70558d21f1

Add docker rabbitmq service

Change-Id: I3d30e55716a464d423358ff23bdd184d34da765a

Add docker zaqar service

Change-Id: I09379b4959c38ae4e7b4e667b97e87d35c8e7e83

Add docker mistral services

This patch adds docker services for Mistral API, Engine, and Executor.

NOTE: the Mistral API container for TripleO must be built with
openstack-tripleo-common installed in order for TripleO specific
actions to get installed for the undercloud.

Change-Id: I0075840d14eb43c50d80b87acd986b80cfd38d4a

Add docker neutron services

This patch adds docker services for Neutron API(server), the
Neutron DHCP agent, and Neutron ML2 plugin configuration.

Co-Authored-By: Ian Main <imain@redhat.com>
Change-Id: If31e095cae533597cf0d73b4277425dfc3459564

Add docker nova services

This patch adds docker services for Nova for the Api, conductor,
scheduler, ironic, placement, and pass-thru configuration for metadata (it
simply enables metadata to be configured as part of the nova-api.

The nova-api DB initialization commands depend on a new heat-agent
feature (see patch below) to accommodate exit codes returned by
the new cells setup commands.

Change-Id: I39436783409ed752b08619b07b0a0c592bce0456
Depends-On: Ia6ca4b01982a0b33b26eca2a907d9d9f87c19922

Add docker heat services

This patch adds docker services for Heat API, API Cfn, and Engine.

Change-Id: I50caad9b9cf5482a8872cb0f2a67477b5e829ead

Stop nova-api before upgrading package

If the service is running then the rpm upgrade will attempt to restart.
Ensuring the service is stopped before upgrade should resolve this.

Change-Id: I4179cb773616721640490d26082eacac45f92dff
Closes-Bug: 1665717

Merge "Make the DB URIs host-independent for all services"

Adding upgrade_tasks to tacker

Change-Id: I0d7e151a931d02068dea80d7cf57b99736e689e6

Merge "Switch to net-config-multinode"

Merge "Install nova-placement package on upgrade"

Make the DB URIs host-independent for all services

When fixing LP#1643487 we added ?bind_address to all DB URIs.
Since this clashes with Cellsv2 due to the URIs becoming host
dependent, we need a new approach to pass bind_address to pymysql
that leaves the DB URIs host-independent.

In change Iff8bd2d9ee85f7bb1445aa2e1b3cfbff1f397b18 we first create a
/etc/my.cnf.d/tripleo.cnf file with a [tripleo] section with the correct
bind-address option.

In this change we make sure that the DB URIs will point to the added
file and to the specific section containing the necessary bind-address
option. We do introduce a new MySQLClient profile which will hold all
this more client-specific configuration so that this change can fit
better in the composable roles work. Also, in the future it might
contain the necessary configuration for SSL for example.

Note that in case the /etc/my.cnf.d/tripleo.cnf file does not exist
(because it is created via the mysqlclient profile), things keep on
working as usual and the bind-address option simply won't be set, which
has no impact on hosts where there are no VIPs.

Co-Authored-By: Damien Ciabrini <dciabrin@redhat.com>
Change-Id: Ieac33efe38f32e949fd89545eb1cd8e0fe114a12
Related-Bug: #1643487
Closes-Bug: #1663181
Closes-Bug: #1664524
Depends-On: Iff8bd2d9ee85f7bb1445aa2e1b3cfbff1f397b18

Merge "Add docker_puppet_tasks initialization on primary node"

Add environment for deployed-server with pacemaker

A new environment file to be used when using the deployed-server roles
data at deployed-server/deployed-server-roles-data.yaml. This ensures
the Pre and Post Puppet Tasks for the ControllerDeployedServer role are
mapped to the stacks that handle maintenance mode and resource restarts
for pacemaker on stack-update.

Change-Id: I1ca52dfb3a3b669e128ebb0a28d9e36a1807faad
Closes-Bug: #1665060

Generate Pre/Post Puppet Tasks for all roles

We need to generate the Pre and Post Puppet Tasks for all roles, not
just the Controller role. Otherwise, you have to have a role
specifically named Controller that is running your pacemaker services,
or pacemaker won't be properly handled on stack-updates.

When using deployed-server's it's actually not possible to have a role
called Controller, since we need to use all custom roles so that we can
set disable_contraints on each role. Further, it is not possible to
redefine the Controller role since puppet/controller-role.yaml is listed
in the excludes file.

Change-Id: I737b24db90932e292b50b122640f66385f2d1c23
Partial-Bug: #1665060

Switch to net-config-multinode

Because of this bug:
https://bugs.launchpad.net/tripleo/+bug/1661412

We are unable to upgrade from Newton.
Until we figure this out, let's re-enable the previous SoftwareConfig.

Change-Id: I966b96c50224656b152045c97aa23b9495618a18

Merge "Add explicit swift check to tripleo_upgrade_node.sh"

Merge "Deploy Manila with CephMDS in scenario004"

Install nova-placement package on upgrade

This doesn't exist in newton images, so install it via the
ansible tasks during step3 (when all other packages are updated).

Change-Id: I08fb7855b910ccc5a8ab2d73f1de15b695784abd
Closes-Bug: #1664265

Merge "Apply puppet in non-controller script in step."

Merge "docker: new hybrid deployment architecture and configuration"

Merge "Apply post-upgrade step to not run puppet in post upgrade"

Merge "Add Newton to Ocata UpgradeInitCommonCommand"

Merge "Adds 'trunk' to ODL env service plugins"

Merge "Automatically backup and restore Swift rings from the undercloud"

Update ci environment for multinode jobs to support Ceph

Adds the CephMon and CephOSD services on the Controller role so
that we can test Ceph if the services are enabled via registry.

Change-Id: I73ee5380b88bf7643ba425a0c833922e330ecade

Apply post-upgrade step to not run puppet in post upgrade

In the environment file:
environments/major-upgrade-composable-steps.yaml
we don't want to run puppet in certains roles in post upgrade
because we need to make some extra tasks on this nodes and
run puppet on converge step

Change-Id: I38fc5772cdb4a7df7979beb2e7475c70f34076a7

Merge "Update reno for stable/ocata"

Merge "CI fix broken references to multinode-core.yaml"

Update reno for stable/ocata

Change-Id: I4e68d566c7d52df850de41cb207f523ccb029c3f

Merge "Configuring a default ntp server."

Merge "Remove unused nova_url from neutron config"

Merge "Remove deprecated metering_secret"

Merge "Add release notes for the HA-by-default change"

Merge "OVN bridge mappings for tripleo"

Add Newton to Ocata UpgradeInitCommonCommand

This adds the UpgradeInitCommonCommand for newton..ocata common
UpgradeInit commands. This comes before the ansible upgrade steps
so we need to do things like remove the old newton hieradata and
install the ansible-pacemaker module and ansible heat-agent plugin

This defaults to '' and is set in the major-upgrade-composable-steps
and unset in the major-upgrade-converge environment files.

Change-Id: I0c7a32194c0069b63a501a913c17907b47c9cc16

Merge "Add major-upgrade-converge environment."

CI fix broken references to multinode-core.yaml

This isn't needed for the single-node upgrade test, but it is
required for the 3-nodes job (which won't work because the referenced
file doesn't currently exist).

Change-Id: I78bd5c804284219a71b13dba21fd1188ca854fca

Enable docker services in the registry

This patch avoids conflicts when cherry picking
docker services in our ad-hoc docker services
patch series and enables them all at once.

Change-Id: Ia4f7c8071d8b4f3c9a7d73173e9120eb1e79ce53

Merge "Release notes ha composable"

Merge "Setup FreeIPA to serve DNS in the setup script"

Merge "Add nova service support for composable upgrades"

Add major-upgrade-converge environment.

This is a generic replacement for the previous pacemaker named
file that is designed to work with the new composable-steps upgrade.

Change-Id: If5016b910931364a621b280465420d0bf2617895
Partially-Implements: blueprint overcloud-upgrades-per-service

Add docker ironic services

This patch adds docker services for Ironic API and Ironic
Conductor.

Change-Id: Icea5ae2ecd7e749ce95ed8444c3a5ef3e035bb4e

Add docker_puppet_tasks initialization on primary node

This patch adds a new (optional) section to the docker post.j2.yaml
that collects any 'docker_puppet_tasks' data from enabled
services and applies it on the primary role node (the
first node in the primary (first) role).

The use case for this is although we are generally only using
puppet for configuration there are several exceptions that we
desire to make use of today for parity with baremetal. This
includes things like database creation and keystone endpoint
initialization which we rely on configuration via hiera variables
controlled by the puppet services.

Change-Id: Ic14ef48f26de761b0d0eabd0e1c0eae52d90e68a

Add docker keystone service

Depends-On: Icabdb30369c8ca15e77d169dc441bee8cfd3631f

Change-Id: Icec07f75f81953c4bf81ca21b4b02bc02e157562
Co-Authored-By: Martin André <m.andre@redhat.com>
Co-Authored-By: Ian Main <imain@redhat.com>

docker: new hybrid deployment architecture and configuration

This patch implements a new docker deployment architecture that
should us to install docker services in a stepwise manner alongside
of baremetal puppet services. This works by using Yaql to select
docker specific services (docker/services/*.yaml) vs the puppet
specific ones and then applying the selected Json to relevant Heat
software deployments for docker and baremetal puppet in a stepwise
fashion.

Additionally the new architecture
leverages new composable services interfaces from Newton to
allow configuration of per-service container configuration
sets (directories that are bind mounted into kolla containers) by
using the Kolla containers themselves. It does this by spinning up
a throw away "configuration only" version of the container being
configured itself, then running the puppet apply in that container and
copying the generated config files into /var/lib/config-data. This
avoids having to install all of the OpenStack dependency packages
in the heat-agent-container itself (our previous approach) and should
allow us to configure a much wider variety of container config files
that would otherwise be impossible with the previous shared approach.

The new approach (combined) should allow us to configure containers in
both the undercloud and overcloud and incrementally add CI coverage to
services as we containerize them.

Co-Authored-By: Martin André <m.andre@redhat.com>
Co-Authored-By: Ian Main <imain@redhat.com>
Co-Authored-By: Flavio Percoco <flavio@redhat.com>
Change-Id: Ibcff99f03e6751fbf3197adefd5d344178b71fc2

Add explicit swift check to tripleo_upgrade_node.sh

And change the conditional to use hiera instead.

Change-Id: Icf91dd91c0ab04e7919172fcfd130183bfd427b4

Apply puppet in non-controller script in step.

We want to apply a puppet manifest for the non-controller role, but we
need to apply it in stages.  By loading the proper hieradata we get the
needed step configuration.

Change-Id: I07bfeee7b7d9a9b8c2c20e5d5c9ed735d0bfc842
Closes-Bug: #1664304

Merge "Containers: Add required EndpointMap parameter"

Setup FreeIPA to serve DNS in the setup script

This is needed for the overcloud nodes to automatically get their domain
and to autodiscover the FreeIPA server.

Change-Id: I4c055e4b4086b02fa706380f01911f499966dfc1

Merge "OVN plugin configuration fixes"

Declare variables for freeipa_setup.sh script

These were assumed to be always passed, but as the script gets
different cases (novajoin vs pre-defined service principals) we might
get "unbound variable" errors when used outside of CI. Exporting these
variables beforehand prevents that.

Change-Id: I195321354df167c09cfc87c5b9f86c6dc5026d75

Merge "Add Ceph RGW to capabilities map"

Add nova service support for composable upgrades

Co-Authored-By: Mathieu Bultel <mbultel@redhat.com>
Co-Authored-By: Oliver Walsh <owalsh@redhat.com>
Change-Id: Iafad800a6819d7e75fdaab60d328999d3d3c037f
Partially-Implements: blueprint overcloud-upgrades-per-service
Related-Bug: #1662344

Merge "Reduce memcached memory configuration"

Merge "Add upgrade tasks for opstools services"

Merge "Describe use of Manila/CephFS in capabilites_map"

Release notes ha composable

Add some release notes about the composable ha work

Change-Id: I8975c3f597d1affbe6e52d4e16a2aad527006264

OVN bridge mappings for tripleo

This patch adds an additional configuration setting for OVN bridge mappings

Co-authored-by: Numan Siddique <nusiddiq@redhat.com>
Change-Id: I99f2c0c8e633e63273e2469d95fbabbbc665c87c
Depends-On: Ia6d66fa954571328c0ac3542af17303def382c1a

Add upgrade tasks for opstools services

This patch adds upgrade tasks for sensu-client, fluentd and collectd

Change-Id: I3a8096159664b1934b34f6c79b8afb4a3dc645c8

Containers: Add required EndpointMap parameter

This parameter is passed in by the parent overcloud.yaml template, so we
have to listen accept it in docker/post.j2.yaml, otherwise the
deployment fails.

Change-Id: Ia3fdcfa01d52006a6e9fd0bb02c7379411f3d900
Closes-Bug: #1664569

Merge "Add release note for services endpoint change"

Merge "Use Keystone internal endpoint instead of admin for nova-ironic"

Merge "Use Keystone internal endpoint instead of admin for services"