Merge "docker: new hybrid deployment architecture and configuration"

Merge "Apply post-upgrade step to not run puppet in post upgrade"

Merge "Add Newton to Ocata UpgradeInitCommonCommand"

Merge "Adds 'trunk' to ODL env service plugins"

Merge "Automatically backup and restore Swift rings from the undercloud"

Apply post-upgrade step to not run puppet in post upgrade

In the environment file:
environments/major-upgrade-composable-steps.yaml
we don't want to run puppet in certains roles in post upgrade
because we need to make some extra tasks on this nodes and
run puppet on converge step

Change-Id: I38fc5772cdb4a7df7979beb2e7475c70f34076a7

Merge "Update reno for stable/ocata"

Merge "CI fix broken references to multinode-core.yaml"

Update reno for stable/ocata

Change-Id: I4e68d566c7d52df850de41cb207f523ccb029c3f

Merge "Configuring a default ntp server."

Merge "Remove unused nova_url from neutron config"

Merge "Remove deprecated metering_secret"

Merge "Add release notes for the HA-by-default change"

Merge "OVN bridge mappings for tripleo"

Add Newton to Ocata UpgradeInitCommonCommand

This adds the UpgradeInitCommonCommand for newton..ocata common
UpgradeInit commands. This comes before the ansible upgrade steps
so we need to do things like remove the old newton hieradata and
install the ansible-pacemaker module and ansible heat-agent plugin

This defaults to '' and is set in the major-upgrade-composable-steps
and unset in the major-upgrade-converge environment files.

Change-Id: I0c7a32194c0069b63a501a913c17907b47c9cc16

Merge "Add major-upgrade-converge environment."

CI fix broken references to multinode-core.yaml

This isn't needed for the single-node upgrade test, but it is
required for the 3-nodes job (which won't work because the referenced
file doesn't currently exist).

Change-Id: I78bd5c804284219a71b13dba21fd1188ca854fca

Merge "Release notes ha composable"

Merge "Setup FreeIPA to serve DNS in the setup script"

Merge "Add nova service support for composable upgrades"

Add major-upgrade-converge environment.

This is a generic replacement for the previous pacemaker named
file that is designed to work with the new composable-steps upgrade.

Change-Id: If5016b910931364a621b280465420d0bf2617895
Partially-Implements: blueprint overcloud-upgrades-per-service

docker: new hybrid deployment architecture and configuration

This patch implements a new docker deployment architecture that
should us to install docker services in a stepwise manner alongside
of baremetal puppet services. This works by using Yaql to select
docker specific services (docker/services/*.yaml) vs the puppet
specific ones and then applying the selected Json to relevant Heat
software deployments for docker and baremetal puppet in a stepwise
fashion.

Additionally the new architecture
leverages new composable services interfaces from Newton to
allow configuration of per-service container configuration
sets (directories that are bind mounted into kolla containers) by
using the Kolla containers themselves. It does this by spinning up
a throw away "configuration only" version of the container being
configured itself, then running the puppet apply in that container and
copying the generated config files into /var/lib/config-data. This
avoids having to install all of the OpenStack dependency packages
in the heat-agent-container itself (our previous approach) and should
allow us to configure a much wider variety of container config files
that would otherwise be impossible with the previous shared approach.

The new approach (combined) should allow us to configure containers in
both the undercloud and overcloud and incrementally add CI coverage to
services as we containerize them.

Co-Authored-By: Martin André <m.andre@redhat.com>
Co-Authored-By: Ian Main <imain@redhat.com>
Co-Authored-By: Flavio Percoco <flavio@redhat.com>
Change-Id: Ibcff99f03e6751fbf3197adefd5d344178b71fc2

Merge "Containers: Add required EndpointMap parameter"

Setup FreeIPA to serve DNS in the setup script

This is needed for the overcloud nodes to automatically get their domain
and to autodiscover the FreeIPA server.

Change-Id: I4c055e4b4086b02fa706380f01911f499966dfc1

Merge "OVN plugin configuration fixes"

Declare variables for freeipa_setup.sh script

These were assumed to be always passed, but as the script gets
different cases (novajoin vs pre-defined service principals) we might
get "unbound variable" errors when used outside of CI. Exporting these
variables beforehand prevents that.

Change-Id: I195321354df167c09cfc87c5b9f86c6dc5026d75

Merge "Add Ceph RGW to capabilities map"

Add nova service support for composable upgrades

Co-Authored-By: Mathieu Bultel <mbultel@redhat.com>
Co-Authored-By: Oliver Walsh <owalsh@redhat.com>
Change-Id: Iafad800a6819d7e75fdaab60d328999d3d3c037f
Partially-Implements: blueprint overcloud-upgrades-per-service
Related-Bug: #1662344

Merge "Reduce memcached memory configuration"

Merge "Add upgrade tasks for opstools services"

Merge "Describe use of Manila/CephFS in capabilites_map"

Release notes ha composable

Add some release notes about the composable ha work

Change-Id: I8975c3f597d1affbe6e52d4e16a2aad527006264

OVN bridge mappings for tripleo

This patch adds an additional configuration setting for OVN bridge mappings

Co-authored-by: Numan Siddique <nusiddiq@redhat.com>
Change-Id: I99f2c0c8e633e63273e2469d95fbabbbc665c87c
Depends-On: Ia6d66fa954571328c0ac3542af17303def382c1a

Add upgrade tasks for opstools services

This patch adds upgrade tasks for sensu-client, fluentd and collectd

Change-Id: I3a8096159664b1934b34f6c79b8afb4a3dc645c8

Containers: Add required EndpointMap parameter

This parameter is passed in by the parent overcloud.yaml template, so we
have to listen accept it in docker/post.j2.yaml, otherwise the
deployment fails.

Change-Id: Ia3fdcfa01d52006a6e9fd0bb02c7379411f3d900
Closes-Bug: #1664569

Merge "Add release note for services endpoint change"

Merge "Use Keystone internal endpoint instead of admin for nova-ironic"

Merge "Use Keystone internal endpoint instead of admin for services"

Configuring a default ntp server.

Adding a default NTP server by default will
keep all Pacemaker and non-Pacemaker deployments
aligned with the same server by default.
Also useful for keeping time diff controlled for
Keystone and Ceph.

Change-Id: I8a26bae15cbfb83e3abd6b9ef9d12b57467e6258

Add Ceph RGW to capabilities map

This will provide an option in the UI to deploy Ceph RGW as a
replacement for Swift.

Change-Id: If2281edce49d2981f891c95ebb507e3a4b9e438e

Merge "Fix empty parameter_default error in environment file"

Updated from global requirements

Change-Id: Ic4cfdedfc0a60ebfd2391d03112f68e7a11629ce

Fix empty parameter_default error in environment file

Providing an empty 'parameter_defaults' is resulting in overriding
of all the previously populated 'parameters_defaults' as None.
Commenting the empty statement and cleaned-up emtpy line in j2
templating.

Change-Id: I75bac6b558ac16a08e0964599cecae5bf10edf8a

Add release note for services endpoint change

Add reno for:
- I1213a83ef8693c1cca1d20de974f7949a801d9f1
- Ib1103c00ddb7d6d624f4911147197d8355a3a6dd

Change-Id: Iecbbab5aeeade46b5cc238bc5542396e78db751c

Use Keystone internal endpoint instead of admin for nova-ironic

As per I1213a83ef8693c1cca1d20de974f7949a801d9f1 this moves to
using KeystoneInternal for the nova-ironic template and updates
some deprecated hiera keys.

Change-Id: Ib1103c00ddb7d6d624f4911147197d8355a3a6dd

Use Keystone internal endpoint instead of admin for services

The admin endpoint is listening on the ctlplane network by default;
services should ideally be using the internal api network for this kind
of traffic, as the ctlplane network is mostly for provisioning. On the
other hand, the admin endpoint shouldn't be as relevant with services
switching to keystone v3.

Change-Id: I1213a83ef8693c1cca1d20de974f7949a801d9f1

Merge "Configure the placement API's interface to use the internal endpoint"

Adds 'trunk' to ODL env service plugins

Trunk ports are now supported in ODL:
I2656ea175174239b0f70d8daa36896c9e9c9cd5a

Change-Id: Ie333f3e97f60f073e651e45c0639beda36bba447
Signed-off-by: Tim Rozet <trozet@redhat.com>

Merge "Remove duplicated release notes"

Merge "Add missing TripleO services to ci/multinode"

Merge "Enables support for configuring Cinder with Dell EMC ScaleIO storage backend."

Remove duplicated release notes

Change-Id: I8c2e0af3ad4e47b12f4ecf2d5762df95e66fa34d

Merge "Added further security functionality in release notes."

Merge "nova-placement: support upgrade"

Merge "placement: switch service to use NovaPlacementNetwork"

Merge "Remove [heat,glance,ironic,cinder,keystone] db sync from ansible"

Add missing TripleO services to ci/multinode

Add:
    - OS::TripleO::Services::TripleoPackages
    - OS::TripleO::Services::TripleoFirewall

to the CI environments, so we can test Firewalling and also TripleO
packages upgrades.

Change-Id: I5d39c7a332a4c376fb4d6ee9463d27f481b6a0d0

Merge "Add missing release notes for Ocata"

Merge "Fix Neutron region in nova.conf"

nova-placement: support upgrade

Upgrade nova-placement service with Ansible.

Change-Id: I43cac37afbc8b39708389895d9f7350b6bd4bcfd

Merge "Remove the ansible neutron-api db sync as for other services"

Remove [heat,glance,ironic,cinder,keystone] db sync from ansible

These are handle by puppet as usual (puppet run comes after the
ansible steps) so remove them from these remaining upgrade_tasks

Change-Id: Ic341f31251622ccb11a5f7818b2edf7a82391560

Merge "FreeIPA: don't preprovision service principals if novajoin is enabled"

Remove the ansible neutron-api db sync as for other services

In line with other service we leave the db sync to puppet unless
needed for some workaround/upgrade related reason.

Change-Id: I9ae463cda19ffdd66f9ccbae40e85551841ab938

Configure the placement API's interface to use the internal endpoint

Due to the keystoneauth library's defaults, it uses the public interface
currently. This is not desirable in most cases (specially when using
network isolation); so we set it to use the internal one.

Change-Id: Ic222a2b734f4d512349fd8556aa2864b13a1eb07
Depends-On: I1c7fd3a32d04e2fafb3820d1c1f221f45c613c83
Closes-Bug: #1663187

Merge "adding Congress Support"

Reduce memcached memory configuration

Previously the memcached configuration was set to use the defaults which
would be 95% of the avaiable ram in the system. This can lead to memory
contention issues if memcache is heavily utilized. This change reduces
the default to 50% and exposes the ability to tune this configuration.

Change-Id: Ie8a48ff4cf509e93d7c1487813d5feed5e5131a4
Closes-Bug: #1662941

Add missing release notes for Ocata

Change-Id: I1bc3f37f910d6dfa833166217b1f58931d06be02

Merge "Adds cluster status check_and_fail before running upgrade (step0)"

placement: switch service to use NovaPlacementNetwork

... instead of using NovaApiNetwork.

Change-Id: I34043c68c24b05bac98f864bc2ac2fc4743617ab

Fix Neutron region in nova.conf

Default in puppet-neutron is 'RegionOne', so let's override it with the
right parameter in TripleO.

Change-Id: I3f1693b91178027c8e05288aeba72b7d6bd042be

Merge "Dump and  run puppet for role which are disable_upgrade_deployment true"

Merge "Remove gnocchi db sync from the ansible upgrade step"

Merge "Remove unused SR-IOV parameter NeutronSupportedPCIVendorDevs"

Remove gnocchi db sync from the ansible upgrade step

Since gnocchi db sync for upgrade is made by puppet
we need to remove it from ansible tasks

Change-Id: I4a26513c3e3d0dcf77c007ea865364e38da3a94a

Adds cluster status check_and_fail before running upgrade (step0)

This depends on a change in the pacemaker_cluster resource
https://review.gerrithub.io/#/c/307078/

Change-Id: Iaf50e27607b159173190912604198b6a471fe35f

Merge "Add pacemaker composable upgrade steps"

Merge "Remove legacy major upgrade scripts for Ceph and BlockStorage"

Merge "Remove aodh db sync from ansible upgrade"

Dump and  run puppet for role which are disable_upgrade_deployment true

We wants to run puppet on each role which has the flag
disable_upgrade_deployment to true. It will run after the upgrade
of the role and before running the whole converge step.

Change-Id: Ia85be688d070dfb5b8337e8ef3c4bc439fb6052e

adding Congress Support

Depends-On: Ic74ccd5fa7b3b04ca810416e5160463252f17474

Implements: blueprint congress-service-integration

Change-Id: Ie60540c340c0eb71ff376aba65507a8bb3e909b6
Signed-off-by: Dan Radez <dradez@redhat.com>

Remove legacy major upgrade scripts for Ceph and BlockStorage

We do not need the upgrade scripts used to migrate Ceph from
hammer to jewel. This submission removes that and the legacy
upgrade scripts used for the BlockStorage role.

Change-Id: I2674216dd9b5b849de6a2624ee1115420a254182

Delivers upgrade scripts where upgrade steps are disabled

This delivers a /root/tripleo_upgrade_node.sh to those nodes
that have the disable_upgrade_deployment flag set to true.
They will later be upgraded manually by the operator who will
invoke the script delivered here using upgrade-non-controller.sh

We can also deliver any service specific upgrade configuration,
such as configuring nova-compute to use the placement API as this
is required in order for placement to be configured and installed
during the subsequent upgrade steps for controller services.

This removes the compute and swift specific upgrade scripts as
they are now merged into the common
tripleo_upgrade_node.sh - removing any hard coded
reference to a particular role name (compute/objectstorage) and
only relying on the disable_upgrade_deployment is roles_data.yaml

Change-Id: I4531a4038b78087ef4a1a62c35f1328822427817
Co-Authored-By: Mathieu Bultel <mbultel@redhat.com>

Make UpgradeBatch resource depends on BatchConfig step0

Make UpgradeBatch depends on BatchConfig, for step0
avoid creation of the UpgradeBatchConfig_stepX prior
to UpgradeBatchConfig step0 and add condition

Change-Id: I852beee65590270422cfbc9abe02111d88442f2e

Remove aodh db sync from ansible upgrade

The db sync won't be run by ansible but by puppet
as part of the converge step

Change-Id: Ie868a92ece020e5749a401e0897be5ab80f13559

Adding Tacker Support

Depends-On: Ide0e60f3b7a3733788af4337c1c39b4a956c876f
Depends-On: I3d6bbc05644e840395f87333ec80e3b844f69903
Depends-On: Idf6abcb7fe766546cb362ad4afe54f4bccd9c994

Implements: blueprint tacker-service-integration

Change-Id: Ibddc81561f6e6ba671bd01a9251c57d3ad67ba8c
Signed-off-by: Dan Radez <dradez@redhat.com>

Merge "Re-organizes Contrail services to the correct roles"

Remove deprecated metering_secret

use telemetry_secret instead which is already set.

Change-Id: I1815ba16519a529c6b7cbdf164e8853857692d73

Re-organizes Contrail services to the correct roles

In current setup some Contrail services belong to the wrong roles.
The Contrail control plane can be impacted if the Analytics database has
problems.

Change-Id: I0d57a2324c38b5b20cc687c6217a7a364941f7e6
Depends-On: Id0dd35b95c5fe9d0fcc1e16c4b7d6cc601f10818
Closes-Bug: #1659560

Merge "Remove openstack-ceilometer-expirer check"

Merge "Composable service support for Cinder Dell EMC Storage Center"

Merge "implement a collectd composable service"

Merge "Add registry and role service list entries for Octavia"

Merge "Stop deploying Nova API in WSGI with Apache"

Merge "Introduce Octavia implementation services"

Merge "Stop setting bind_address on nova db uri."

Stop deploying Nova API in WSGI with Apache

It was suggested by Nova team to not deploying Nova API in WSGI with
Apache in production.
It's causing some issues that we didn't catch until now (see in the bug
report). Until we figure out what was wrong, let's disable it so we can
move forward in the upgrade process.

Change-Id: I09b73476762593642a0e011f83f0233de68f2c33
Related-Bug: 1661360

Enables support for configuring Cinder with Dell EMC
ScaleIO storage backend.

This change adds all relevant parameters for:
 - Dell EMC ScaleIO Block Storage driver configuration

Closes-Bug: #1661316
Depends-On: I5534aab53b70de215336a076d25263c73b8d7b5b
Change-Id: I8927151adbce235595a5c62365e1f87a6503c462

Stop setting bind_address on nova db uri.

This reverts the changes in https://review.openstack.org/414629 for nova as
they are incompatible with cell_v2.

This is a temporary fix for HA while a long-term solution is developed.

Change-Id: I79d30a2d76a354999152c0c997ea77f104c51027
Related-bug: #1643487
Closes-bug: #1662344

Composable services support for Cinder Dell EMC PS Series

Updated the heat templates for Cinder Dell EMC PS Series backend
to use composable services and rebranding of EQLX to Dell EMC PS Series

Closes-Bug: #1661313

Change-Id: Id9d6f172f3f79a31788b26c7776d738fda5a30fa