Add docker zaqar service

Change-Id: I09379b4959c38ae4e7b4e667b97e87d35c8e7e83

Merge "Make the DB URIs host-independent for all services"

Merge "Switch to net-config-multinode"

Merge "Install nova-placement package on upgrade"

Make the DB URIs host-independent for all services

When fixing LP#1643487 we added ?bind_address to all DB URIs.
Since this clashes with Cellsv2 due to the URIs becoming host
dependent, we need a new approach to pass bind_address to pymysql
that leaves the DB URIs host-independent.

In change Iff8bd2d9ee85f7bb1445aa2e1b3cfbff1f397b18 we first create a
/etc/my.cnf.d/tripleo.cnf file with a [tripleo] section with the correct
bind-address option.

In this change we make sure that the DB URIs will point to the added
file and to the specific section containing the necessary bind-address
option. We do introduce a new MySQLClient profile which will hold all
this more client-specific configuration so that this change can fit
better in the composable roles work. Also, in the future it might
contain the necessary configuration for SSL for example.

Note that in case the /etc/my.cnf.d/tripleo.cnf file does not exist
(because it is created via the mysqlclient profile), things keep on
working as usual and the bind-address option simply won't be set, which
has no impact on hosts where there are no VIPs.

Co-Authored-By: Damien Ciabrini <dciabrin@redhat.com>
Change-Id: Ieac33efe38f32e949fd89545eb1cd8e0fe114a12
Related-Bug: #1643487
Closes-Bug: #1663181
Closes-Bug: #1664524
Depends-On: Iff8bd2d9ee85f7bb1445aa2e1b3cfbff1f397b18

Merge "Add docker_puppet_tasks initialization on primary node"

Switch to net-config-multinode

Because of this bug:
https://bugs.launchpad.net/tripleo/+bug/1661412

We are unable to upgrade from Newton.
Until we figure this out, let's re-enable the previous SoftwareConfig.

Change-Id: I966b96c50224656b152045c97aa23b9495618a18

Merge "Add explicit swift check to tripleo_upgrade_node.sh"

Merge "Deploy Manila with CephMDS in scenario004"

Install nova-placement package on upgrade

This doesn't exist in newton images, so install it via the
ansible tasks during step3 (when all other packages are updated).

Change-Id: I08fb7855b910ccc5a8ab2d73f1de15b695784abd
Closes-Bug: #1664265

Merge "Apply puppet in non-controller script in step."

Merge "docker: new hybrid deployment architecture and configuration"

Merge "Apply post-upgrade step to not run puppet in post upgrade"

Merge "Add Newton to Ocata UpgradeInitCommonCommand"

Merge "Adds 'trunk' to ODL env service plugins"

Merge "Automatically backup and restore Swift rings from the undercloud"

Apply post-upgrade step to not run puppet in post upgrade

In the environment file:
environments/major-upgrade-composable-steps.yaml
we don't want to run puppet in certains roles in post upgrade
because we need to make some extra tasks on this nodes and
run puppet on converge step

Change-Id: I38fc5772cdb4a7df7979beb2e7475c70f34076a7

Merge "Update reno for stable/ocata"

Merge "CI fix broken references to multinode-core.yaml"

Update reno for stable/ocata

Change-Id: I4e68d566c7d52df850de41cb207f523ccb029c3f

Merge "Configuring a default ntp server."

Merge "Remove unused nova_url from neutron config"

Merge "Remove deprecated metering_secret"

Merge "Add release notes for the HA-by-default change"

Merge "OVN bridge mappings for tripleo"

Add Newton to Ocata UpgradeInitCommonCommand

This adds the UpgradeInitCommonCommand for newton..ocata common
UpgradeInit commands. This comes before the ansible upgrade steps
so we need to do things like remove the old newton hieradata and
install the ansible-pacemaker module and ansible heat-agent plugin

This defaults to '' and is set in the major-upgrade-composable-steps
and unset in the major-upgrade-converge environment files.

Change-Id: I0c7a32194c0069b63a501a913c17907b47c9cc16

Merge "Add major-upgrade-converge environment."

CI fix broken references to multinode-core.yaml

This isn't needed for the single-node upgrade test, but it is
required for the 3-nodes job (which won't work because the referenced
file doesn't currently exist).

Change-Id: I78bd5c804284219a71b13dba21fd1188ca854fca

Merge "Release notes ha composable"

Merge "Setup FreeIPA to serve DNS in the setup script"

Merge "Add nova service support for composable upgrades"

Add major-upgrade-converge environment.

This is a generic replacement for the previous pacemaker named
file that is designed to work with the new composable-steps upgrade.

Change-Id: If5016b910931364a621b280465420d0bf2617895
Partially-Implements: blueprint overcloud-upgrades-per-service

Add docker_puppet_tasks initialization on primary node

This patch adds a new (optional) section to the docker post.j2.yaml
that collects any 'docker_puppet_tasks' data from enabled
services and applies it on the primary role node (the
first node in the primary (first) role).

The use case for this is although we are generally only using
puppet for configuration there are several exceptions that we
desire to make use of today for parity with baremetal. This
includes things like database creation and keystone endpoint
initialization which we rely on configuration via hiera variables
controlled by the puppet services.

Change-Id: Ic14ef48f26de761b0d0eabd0e1c0eae52d90e68a

docker: new hybrid deployment architecture and configuration

This patch implements a new docker deployment architecture that
should us to install docker services in a stepwise manner alongside
of baremetal puppet services. This works by using Yaql to select
docker specific services (docker/services/*.yaml) vs the puppet
specific ones and then applying the selected Json to relevant Heat
software deployments for docker and baremetal puppet in a stepwise
fashion.

Additionally the new architecture
leverages new composable services interfaces from Newton to
allow configuration of per-service container configuration
sets (directories that are bind mounted into kolla containers) by
using the Kolla containers themselves. It does this by spinning up
a throw away "configuration only" version of the container being
configured itself, then running the puppet apply in that container and
copying the generated config files into /var/lib/config-data. This
avoids having to install all of the OpenStack dependency packages
in the heat-agent-container itself (our previous approach) and should
allow us to configure a much wider variety of container config files
that would otherwise be impossible with the previous shared approach.

The new approach (combined) should allow us to configure containers in
both the undercloud and overcloud and incrementally add CI coverage to
services as we containerize them.

Co-Authored-By: Martin André <m.andre@redhat.com>
Co-Authored-By: Ian Main <imain@redhat.com>
Co-Authored-By: Flavio Percoco <flavio@redhat.com>
Change-Id: Ibcff99f03e6751fbf3197adefd5d344178b71fc2

Add explicit swift check to tripleo_upgrade_node.sh

And change the conditional to use hiera instead.

Change-Id: Icf91dd91c0ab04e7919172fcfd130183bfd427b4

Apply puppet in non-controller script in step.

We want to apply a puppet manifest for the non-controller role, but we
need to apply it in stages.  By loading the proper hieradata we get the
needed step configuration.

Change-Id: I07bfeee7b7d9a9b8c2c20e5d5c9ed735d0bfc842
Closes-Bug: #1664304

Merge "Containers: Add required EndpointMap parameter"

Setup FreeIPA to serve DNS in the setup script

This is needed for the overcloud nodes to automatically get their domain
and to autodiscover the FreeIPA server.

Change-Id: I4c055e4b4086b02fa706380f01911f499966dfc1

Merge "OVN plugin configuration fixes"

Declare variables for freeipa_setup.sh script

These were assumed to be always passed, but as the script gets
different cases (novajoin vs pre-defined service principals) we might
get "unbound variable" errors when used outside of CI. Exporting these
variables beforehand prevents that.

Change-Id: I195321354df167c09cfc87c5b9f86c6dc5026d75

Merge "Add Ceph RGW to capabilities map"

Add nova service support for composable upgrades

Co-Authored-By: Mathieu Bultel <mbultel@redhat.com>
Co-Authored-By: Oliver Walsh <owalsh@redhat.com>
Change-Id: Iafad800a6819d7e75fdaab60d328999d3d3c037f
Partially-Implements: blueprint overcloud-upgrades-per-service
Related-Bug: #1662344

Merge "Reduce memcached memory configuration"

Merge "Add upgrade tasks for opstools services"

Merge "Describe use of Manila/CephFS in capabilites_map"

Release notes ha composable

Add some release notes about the composable ha work

Change-Id: I8975c3f597d1affbe6e52d4e16a2aad527006264

OVN bridge mappings for tripleo

This patch adds an additional configuration setting for OVN bridge mappings

Co-authored-by: Numan Siddique <nusiddiq@redhat.com>
Change-Id: I99f2c0c8e633e63273e2469d95fbabbbc665c87c
Depends-On: Ia6d66fa954571328c0ac3542af17303def382c1a

Add upgrade tasks for opstools services

This patch adds upgrade tasks for sensu-client, fluentd and collectd

Change-Id: I3a8096159664b1934b34f6c79b8afb4a3dc645c8

Containers: Add required EndpointMap parameter

This parameter is passed in by the parent overcloud.yaml template, so we
have to listen accept it in docker/post.j2.yaml, otherwise the
deployment fails.

Change-Id: Ia3fdcfa01d52006a6e9fd0bb02c7379411f3d900
Closes-Bug: #1664569

Merge "Add release note for services endpoint change"

Merge "Use Keystone internal endpoint instead of admin for nova-ironic"

Merge "Use Keystone internal endpoint instead of admin for services"

Configuring a default ntp server.

Adding a default NTP server by default will
keep all Pacemaker and non-Pacemaker deployments
aligned with the same server by default.
Also useful for keeping time diff controlled for
Keystone and Ceph.

Change-Id: I8a26bae15cbfb83e3abd6b9ef9d12b57467e6258

Add Ceph RGW to capabilities map

This will provide an option in the UI to deploy Ceph RGW as a
replacement for Swift.

Change-Id: If2281edce49d2981f891c95ebb507e3a4b9e438e

Merge "Fix empty parameter_default error in environment file"

Deploy Manila with CephMDS in scenario004

Adds the Manila and CephMDS services into scenario004 and a few
resources in the pingtest to test the Manila deployment.

Also adds Pacemaker to scenario004 which is needed for ManilaShare.

Co-Authored-By: jprovazn@redhat.com
Depends-On: Ia2ece0163a3c25eb28bc0b471cd1797d52fe4e3c
Change-Id: I70515c5b9ce2668a684649ecd40421b69078ee83
Related-Bug: #1644784

Updated from global requirements

Change-Id: Ic4cfdedfc0a60ebfd2391d03112f68e7a11629ce

Fix empty parameter_default error in environment file

Providing an empty 'parameter_defaults' is resulting in overriding
of all the previously populated 'parameters_defaults' as None.
Commenting the empty statement and cleaned-up emtpy line in j2
templating.

Change-Id: I75bac6b558ac16a08e0964599cecae5bf10edf8a

Add release note for services endpoint change

Add reno for:
- I1213a83ef8693c1cca1d20de974f7949a801d9f1
- Ib1103c00ddb7d6d624f4911147197d8355a3a6dd

Change-Id: Iecbbab5aeeade46b5cc238bc5542396e78db751c

Use Keystone internal endpoint instead of admin for nova-ironic

As per I1213a83ef8693c1cca1d20de974f7949a801d9f1 this moves to
using KeystoneInternal for the nova-ironic template and updates
some deprecated hiera keys.

Change-Id: Ib1103c00ddb7d6d624f4911147197d8355a3a6dd

Use Keystone internal endpoint instead of admin for services

The admin endpoint is listening on the ctlplane network by default;
services should ideally be using the internal api network for this kind
of traffic, as the ctlplane network is mostly for provisioning. On the
other hand, the admin endpoint shouldn't be as relevant with services
switching to keystone v3.

Change-Id: I1213a83ef8693c1cca1d20de974f7949a801d9f1

Merge "Configure the placement API's interface to use the internal endpoint"

Adds 'trunk' to ODL env service plugins

Trunk ports are now supported in ODL:
I2656ea175174239b0f70d8daa36896c9e9c9cd5a

Change-Id: Ie333f3e97f60f073e651e45c0639beda36bba447
Signed-off-by: Tim Rozet <trozet@redhat.com>

Merge "Remove duplicated release notes"

Merge "Add missing TripleO services to ci/multinode"

Merge "Enables support for configuring Cinder with Dell EMC ScaleIO storage backend."

Remove duplicated release notes

Change-Id: I8c2e0af3ad4e47b12f4ecf2d5762df95e66fa34d

Merge "Added further security functionality in release notes."

Merge "nova-placement: support upgrade"

Merge "placement: switch service to use NovaPlacementNetwork"

Merge "Remove [heat,glance,ironic,cinder,keystone] db sync from ansible"

Add missing TripleO services to ci/multinode

Add:
    - OS::TripleO::Services::TripleoPackages
    - OS::TripleO::Services::TripleoFirewall

to the CI environments, so we can test Firewalling and also TripleO
packages upgrades.

Change-Id: I5d39c7a332a4c376fb4d6ee9463d27f481b6a0d0

Merge "Add missing release notes for Ocata"

Merge "Fix Neutron region in nova.conf"

nova-placement: support upgrade

Upgrade nova-placement service with Ansible.

Change-Id: I43cac37afbc8b39708389895d9f7350b6bd4bcfd

Merge "Remove the ansible neutron-api db sync as for other services"

Remove [heat,glance,ironic,cinder,keystone] db sync from ansible

These are handle by puppet as usual (puppet run comes after the
ansible steps) so remove them from these remaining upgrade_tasks

Change-Id: Ic341f31251622ccb11a5f7818b2edf7a82391560

Merge "FreeIPA: don't preprovision service principals if novajoin is enabled"

Remove the ansible neutron-api db sync as for other services

In line with other service we leave the db sync to puppet unless
needed for some workaround/upgrade related reason.

Change-Id: I9ae463cda19ffdd66f9ccbae40e85551841ab938

Configure the placement API's interface to use the internal endpoint

Due to the keystoneauth library's defaults, it uses the public interface
currently. This is not desirable in most cases (specially when using
network isolation); so we set it to use the internal one.

Change-Id: Ic222a2b734f4d512349fd8556aa2864b13a1eb07
Depends-On: I1c7fd3a32d04e2fafb3820d1c1f221f45c613c83
Closes-Bug: #1663187

Merge "adding Congress Support"

Reduce memcached memory configuration

Previously the memcached configuration was set to use the defaults which
would be 95% of the avaiable ram in the system. This can lead to memory
contention issues if memcache is heavily utilized. This change reduces
the default to 50% and exposes the ability to tune this configuration.

Change-Id: Ie8a48ff4cf509e93d7c1487813d5feed5e5131a4
Closes-Bug: #1662941

Add missing release notes for Ocata

Change-Id: I1bc3f37f910d6dfa833166217b1f58931d06be02

Merge "Adds cluster status check_and_fail before running upgrade (step0)"

placement: switch service to use NovaPlacementNetwork

... instead of using NovaApiNetwork.

Change-Id: I34043c68c24b05bac98f864bc2ac2fc4743617ab

Fix Neutron region in nova.conf

Default in puppet-neutron is 'RegionOne', so let's override it with the
right parameter in TripleO.

Change-Id: I3f1693b91178027c8e05288aeba72b7d6bd042be

Merge "Dump and  run puppet for role which are disable_upgrade_deployment true"

Merge "Remove gnocchi db sync from the ansible upgrade step"

Merge "Remove unused SR-IOV parameter NeutronSupportedPCIVendorDevs"

Remove gnocchi db sync from the ansible upgrade step

Since gnocchi db sync for upgrade is made by puppet
we need to remove it from ansible tasks

Change-Id: I4a26513c3e3d0dcf77c007ea865364e38da3a94a

Adds cluster status check_and_fail before running upgrade (step0)

This depends on a change in the pacemaker_cluster resource
https://review.gerrithub.io/#/c/307078/

Change-Id: Iaf50e27607b159173190912604198b6a471fe35f

Merge "Add pacemaker composable upgrade steps"

Merge "Remove legacy major upgrade scripts for Ceph and BlockStorage"

Merge "Remove aodh db sync from ansible upgrade"

Dump and  run puppet for role which are disable_upgrade_deployment true

We wants to run puppet on each role which has the flag
disable_upgrade_deployment to true. It will run after the upgrade
of the role and before running the whole converge step.

Change-Id: Ia85be688d070dfb5b8337e8ef3c4bc439fb6052e

adding Congress Support

Depends-On: Ic74ccd5fa7b3b04ca810416e5160463252f17474

Implements: blueprint congress-service-integration

Change-Id: Ie60540c340c0eb71ff376aba65507a8bb3e909b6
Signed-off-by: Dan Radez <dradez@redhat.com>

Remove legacy major upgrade scripts for Ceph and BlockStorage

We do not need the upgrade scripts used to migrate Ceph from
hammer to jewel. This submission removes that and the legacy
upgrade scripts used for the BlockStorage role.

Change-Id: I2674216dd9b5b849de6a2624ee1115420a254182

Delivers upgrade scripts where upgrade steps are disabled

This delivers a /root/tripleo_upgrade_node.sh to those nodes
that have the disable_upgrade_deployment flag set to true.
They will later be upgraded manually by the operator who will
invoke the script delivered here using upgrade-non-controller.sh

We can also deliver any service specific upgrade configuration,
such as configuring nova-compute to use the placement API as this
is required in order for placement to be configured and installed
during the subsequent upgrade steps for controller services.

This removes the compute and swift specific upgrade scripts as
they are now merged into the common
tripleo_upgrade_node.sh - removing any hard coded
reference to a particular role name (compute/objectstorage) and
only relying on the disable_upgrade_deployment is roles_data.yaml

Change-Id: I4531a4038b78087ef4a1a62c35f1328822427817
Co-Authored-By: Mathieu Bultel <mbultel@redhat.com>

Make UpgradeBatch resource depends on BatchConfig step0

Make UpgradeBatch depends on BatchConfig, for step0
avoid creation of the UpgradeBatchConfig_stepX prior
to UpgradeBatchConfig step0 and add condition

Change-Id: I852beee65590270422cfbc9abe02111d88442f2e

Remove aodh db sync from ansible upgrade

The db sync won't be run by ansible but by puppet
as part of the converge step

Change-Id: Ie868a92ece020e5749a401e0897be5ab80f13559