Do not try to update the 'ceph' metapackage from CephMon role

The 'ceph' metapackage is only provided by some repos so we should
not explicitly pull it.

Also adds a validation step to the CephMon and CephOSD roles to
stop upgrade if the Ceph cluster is in error state.

Change-Id: I5aa275677ada47a352a327b9be21927b852d16f3

Add ironic service support for composable upgrades

Change-Id: Ie1fe7db081d69db4b99869057352367e8e01760c
Partially-Implements: blueprint overcloud-upgrades-per-service

Skip upgrade steps where no tasks are defined

Use heat conditions to skip resources (conditionally create them)
when there are no tasks to deploy.

This requires the heat fix Iefae1fcea720bee4ed69ad1a5fe403d52d54433c

Partially-Implements: blueprint overcloud-upgrades-per-service
Change-Id: I2f43fb922d122ffade20e35738f0ba3bb56a4492

Add upgrade support for ceph OSD service

This takes a subset of the logic from major_upgrade_ceph_storage.sh
and ports it into ansible tasks, which will be applied in a rolling
upgrade after the mon services are upgraded (in the step0 batch).

Change-Id: I6e87969add301e78bb665d7748e5f0df8eeae819
Partially-Implements: blueprint overcloud-upgrades-per-service

Add upgrade support for ceph-mon service

Initial support for a rolling upgrade of ceph-mon services which
happens before the OpenStack services are upgraded.

Change-Id: Ifaebbe2ae884bd899cdc6f1c288274e5838792a6
Partially-Implements: blueprint overcloud-upgrades-per-service

Add support for batched upgrades to composable upgrades

Some services (e.g ceph mon) require upgrading in batches (the old
upgrade architecture did the ceph mon upgrade one controller at a
time).  This interface enables doing the same, and over time we
can probably move more services into this interface (e.g when
services support rolling upgrades) to reduce downtime.

Change-Id: If581f301a5493ef33ac1386bdc22f9fca4f2544e
Partially-Implements: blueprint overcloud-upgrades-per-service

Merge "Add Octavia API service definitions"

Merge "Add ec2-api service"

Merge "Add metadata settings for needed kerberos principals"

Merge "Ignore systemctl return code in yum_update.sh"

Merge "Remove spurious for loop from post deploy j2"

Merge "Add glance registry service to disable on upgrade"

Merge "pacemaker remote profile support"

Remove spurious for loop from post deploy j2

This nested for loop is wrong as it generates all steps for all
roles twice.  This works because yaml parsing ignores the duplicate
resources, but it's a big waste of space in swift (this fix reduces
the rendered file size by over 2000 lines with the default roles!)

Change-Id: Ifaf860020839390147c92848d52b1a59e355dc50
Closes-Bug: #1659139

Merge "Pass parameters for TLS proxy in front of Glance-API"

Add metadata settings for needed kerberos principals

These are only used for TLS-everywhere, and fills up the kerberos
principals that will need to be created for the certs used by the
overcloud. With this, the metadata hook will format these principals
correctly and will further pass them on to the nova metadata service.
Where they can be used if there's a plugin enabled.

bp tls-via-certmonger
bp novajoin

Change-Id: I873094bb69200052febda629fda698a7a782c031

Merge "Import multinode + pingtest from tripleo-ci"

Merge "cinder-api: cleanup TODO"

Add glance registry service to disable on upgrade

We've broken the upgrade job because anyone upgrading with the
glance registry deployed (and defined in their *Services parameters)
will try to deploy with the old glance-registry.yaml defined in heat.

Instead we define a template which stops and disables the service on
upgrade.

Closes-Bug: #1659079
Change-Id: I03561954d794afae2be06811375d16611fa45973

Merge "Specify what to do if endpoint map environment don't match"

Merge "Add disable_upgrade_deployment flag to roles_data.yaml"

Import multinode + pingtest from tripleo-ci

* Import multinode-3nodes roles data
* Import multinode
* Import tenantvm_floatingip pingtest

We are importing these files from tripleo-ci because they contain some
informations that need to be versionned (TripleO services, data binding,
etc), specific to TripleO versions.

Change-Id: I9d4ab144f98e8bd46cad2c29411d1270f6469b91

cinder-api: cleanup TODO

Cleanup some TODO.

Change-Id: I84e369a9797359fea124e00e2007ae745a96847a

Specify what to do if endpoint map environment don't match

this attempts to make the error message more useful. This error message
happens if the environment files containing endpoint map overrides
haven't been updated to match the base endpoint map (or the defaults).

Change-Id: If53d3a9d7848aed62ebb235afe8b14c18d1b284d

Pass parameters for TLS proxy in front of Glance-API

If TLS in the internal network is enabled, we run glance-api beind a
TLS proxy (which is actually httpd's mod_proxy). This passes the
necessary hieradata.

bp tls-via-certmonger
Change-Id: I693213a1f35021b540202240e512d121cc1cd0eb
Depends-On: Id35a846d43ecae8903a0d58306d9803d5ea00bee

Merge "scenario002: updating volume encryption provider"

Add ec2-api service

This change adds the ec2api service using the
tripleo::profile::base::nova::ec2api profile.

The deprecated nova-cert service is not supported, and therefore the
RegisterImage action is not supported either.

Change-Id: I2510fd4ed935d8423216fff9ce3adf2d69c9c804
Depends-On: If4b091e1ca02f43aa9c65392baf8ceea007b7cfb

Merge "Add support for not using admin_token in Ceph/RGW"

pacemaker remote profile support

This adds a pacemaker_remote puppet service so that an operator
can automatically deploy pacemaker-remote on nodes of his choice.

Change-Id: I9678606b3de9b9f4c03014b33c1dd27fcba67513
Depends-On: I581552dfa64160e2f82f6a9b8f2ae521c3d6da8d
Depends-On: I92953afcc7d536d387381f08164cae8b52f41605

scenario002: updating volume encryption provider

https://review.openstack.org/#/c/416672 made the new luks provider required.
Let's use it.

Closes-Bug: #1658755
Change-Id: Icc7c3c933af6621959ce3e6af99c73b4afd87509

Merge "Add THT for fossw ML2 plugin in networking-fujitsu"

Merge "Allow for specifying the output_dir"

Merge "Ignore hidden files in directories"

Merge "Expose instance discovery method for compute agent"

Allow for specifying the output_dir

Allow for passing the output_dir in the process-templates scripts so
that it doesn't overwrites the templates in the src dir. This is a
desired feature when running the script from a t-h-t installed
system-wide.

Change-Id: I47994d34f47a4084a11124bc9075cb2f457889ea

Ignore hidden files in directories

Don't walk through hidden files. This avoids going through the .git,
.tox and other hidden directories that we don't care about.

Change-Id: I34b83229775d221299c8b572a7049175debac99d

Merge "cinder: move glance params into base"

Merge "Set manila default_share_type config option"

Merge "Make ServiceNetMap support custom network names"

Add support for not using admin_token in Ceph/RGW

This patch adds support for using Keystone V3 authentication
with Ceph/RGW. This removes the usage of the admin_token

Change-Id: I3265b787ed1f059f86fdc80a91d0f7ed498c1e16
Depends-On: I42861afcac221478dcb68be13b6dbc2533a7f158

Merge "Add sahara service support for composable upgrades"

Merge "Move nova placement hiera to nova-base"

Merge "Add swift service support for composable upgrades"

Add disable_upgrade_deployment flag to roles_data.yaml

As part of the composable upgrades current plan is to disable
the composable upgrades steps running on a particular role
(e.g. all compute nodes) in favor of a later operator driven
upgrades process as has previously been the case

This adds the disable_upgrade_deployment flag to roles_data as
a first step. Thanks to shardy for his help with this.

Change-Id: Ice845742a043b34917e61f662885786c73e955fd

Set manila default_share_type config option

Manila default_share_type config option is by default unset.
This option is used by manila when a user creates a new
share and doesn't specify share type explicitly.
Albeit it's not hard requirement to have this option set
to run Manila service, it's convenient to set a default
share type and also it seems to be a general community
opinion that this option should be set.

Note that setting this option does not create the share
type itself (this still has to be done manually which is
probably best because admins may want customize default type
settings according to their needs).

Change-Id: Iab60e42c7f347bbf074d60eb91dd4a1f6a94d3a6
Closes-Bug: #1654204

Merge "Force epmd listening to a specific address"

Merge "Swift proxy align *-quotas with puppet-swift syntax"

Merge "Revert "Revert "Specify cell0 db creation"""

Merge "Added support for pass-through iSER configuration"

Move nova placement hiera to nova-base

Nova placement hiera parameters need to be common across all nova
services because they are used to more than one place.
This patch moves them to nova-base, so nova-compute and other services
that need it will be able to run correctly.

Change-Id: Ibccc55fc9d045487fb7e47bd1c2ebe9cf788765e
Depends-On: Iada8e9fcccec7dbfe7ac0ec0f9ec6eac1581290e

cinder: move glance params into base

glance params are also used by cinder-volume. This patch aims to
cinder::glance in common roles for cinder, so we can split cinder
and cinder volume.

Change-Id: Id81c029318016068481dd614ed62cc4bfaf0f3e8

Merge "Adds etcd composable service"

Merge "Enabling until_complete to be configured dynamically"

Merge "Deploy NTP with puppet-tripleo profile"

Merge "Add entry in serviceNetMap for Nova Placement"

Enabling until_complete to be configured dynamically

Adding to THT the cabability of configuring until_complete
in the archive job.
This will be a boolean flag to clean all the deleted instances.
Will run in batches of max_rows until empty.

Change-Id: I087bc66729fef4f33122a7633c154d5a66613d6f
Depends-On: I927b75adb0fc3251f3734d41f4393590294c1c9b
Closes-Bug: 1650680

Merge "Don't start all services during upgrade steps"

Merge "Disable glance registry during upgrade"

Merge "Configure cron parameters for Cinder Heat Keystone and Nova"

Add THT for fossw ML2 plugin in networking-fujitsu

Introduce THT for fossw ML2 plugin in networking-fujitsu.
networking-fujitsu is a neutron ML2 plugin which enables several
FUJITSU switch products in OpenStack environment. This templates
deploy overcloud with FOS switch.

Change-Id: I977dbecbf9f6f9725f7fb5ca4745b537a73975ff
Implements: blueprint integration-fossw-networking-fujitsu
Depends-On: I044c5812bbc5cd3de4bc33556cffbe5bad8e64cf
Depends-On: I79df6b6a27d95f0c0e2c87207ab80235a4efccfc

Merge "Remove redundant CLI arguments for neutron-db-manage"

Make ServiceNetMap support custom network names

The rework to support custom roles moved the service net map
into a nested stack, but the logic it contains fails to consider
operators may override the network names via *NetName parameters.

So add a map_replace of the ServiceNetMapDefaults so we maintain
the existing default service->network assignments, even when the
network name is changed.

Note that operators will still be expected to pass any ServiceNetMap
overrides with the "new" network name, e.g whatever *NetName specifies,
otherwise I think environment files could get very confusing.

Change-Id: I52018e19428e11d26650f0ea6ccee3ae02494ff8
Partial-Bug: #1651541

Add sahara service support for composable upgrades

Change-Id: Icf8e215935bdf299cb792abb29bb5d58c5c312c5
Partially-Implements: blueprint overcloud-upgrades-per-service

Merge "Fix a typo in deployed-server/README.rst"

Add swift service support for composable upgrades

Co-Authored-By: Sofer Athlan-Guyot <sathlang@redhat.com>
Partially-Implements: blueprint overcloud-upgrades-per-service
Closes-Bug: #1655651
Change-Id: I83134f51d152f3b97f9a570bbd9a67c753982810

Swift proxy align *-quotas with puppet-swift syntax

puppet-swift has hard-coded sections which expect these to be
*_quotas, without matching the pipeline to the sections swift
proxy fails to start.

Change-Id: I3ee94a9bc4b046051e5d814e82a69f759bea1296
Closes-Bug: #1657167

Don't start all services during upgrade steps

Currently we start all OpenStack services in step6, but puppet
already does this, and sometimes services require configuration
to account for the new version after the yum update before they
will start.

So instead of reimplementing that configuration management in
ansible, just defer starting the services until puppet has run
which will happen right after the ansible upgrade steps complete.

Note there are some DB sync operations etc that we may also be able
to remove and let puppet do those steps, but I've left those in
for now, as we know there are some actions during that phase
e.g nova cells setup, which aren't yet handled by puppet.

Change-Id: Idc8e253167a4bc74b086830cfabf28d4aab97d28

Disable glance registry during upgrade

Change-Id: I447ce74cca93fcae87ca608ecc8eeb2721fecefb

Ignore systemctl return code in yum_update.sh

We only need to know if pacemaker service is in active state.

Change-Id: Id5e16f2bbbe51b8a0c250eb5d35e89e61a7b3383
Resolves: rhbz#1414779
Closes-Bug: #1656980

Deploy NTP with puppet-tripleo profile

Deploy NTP by using puppet-tripleo profile, so we can re-use the bits on
the undercloud.

Depends-On: If3cf7d9690001b051465ea25cf8a8c3bc6f7c33a
Change-Id: I8c13fbc9267ff28065f0de97424a4eac78c370fb

Merge "set -e in run-os-net-config.sh"

Merge "Fix comment in freeipa_setup.sh script"

Adds etcd composable service

etcd is used by networking-vpp ML2 driver as the messaging mechanism. This
patch adds etcd service which can be used by other services.

Implements: blueprint fdio-integration-tripleo

Depends-on: Idaa3e3deddf9be3d278e90b569466c2717e2d517

Change-Id: I8ae1e2c9b0c3d6f448e1da712100938d011289f5
Signed-off-by: Feng Pan <fpan@redhat.com>

Merge "Add IP to provisioning interface for FreeIPA if requested"

Fix comment in freeipa_setup.sh script

It wrongly pointed that one can use an IP, and this is not correct. For
this case, it needs to be a CIDR. This is because we are not using DHCP
to set this address in CI, so the CIDR is required, else it will use /32
which will not route.

Change-Id: Iea070d49aeb2324564bae59082481b5485d1d360

Merge "Remove CeilometerStoreEvents parameter"

Add entry in serviceNetMap for Nova Placement

This is needed for t-h-t to autogenerate the hostnames and the vip
entries in hiera. It also takes it into use in the endpoint map.

Change-Id: Id0d34c7c3939ee81126ffd26d0658c0a87805a44

Merge "Add deployed server bootstrap to noop-ctlplane"

Expose instance discovery method for compute agent

Change-Id: Ia3c514ab75ec48bf350653ceef50e4d966219a87

Remove CeilometerStoreEvents parameter

This is removed upstream, so lets not set it anymore.

Closes-Bug: #1657555

Change-Id: I6ca9f51d27d7ca49980a4b3dea4128c7bdc20a0f

Add IP to provisioning interface for FreeIPA if requested

If a variable is set in the environment, one can assign an IP for the
provisioning interface for FreeIPA, this is set by OVB and it doesn't
use DHCP, so it's needed since we want the overcloud nodes to
communicate with the CA.

bp tls-via-certmonger

Change-Id: I44a8135118b047f154e3edbb8846751bd2e16c84

Add Octavia API service definitions

Introduce basic configuration support for Octavia API service.

Change-Id: I8816725ed65039af4b7d45392a2823395e81e51c
Depends-On: I77783029797be4fb488c6e743c51d228eba9c474
Partially-Implements: blueprint octavia-service-integration

Merge "Add a environment file to disable ceilo api"

Revert "Revert "Specify cell0 db creation""

This reverts commit 34f3ab689616517888422582357d0d4a38e0925d.

Creating the cells database doesn't hurt anything and will fix
issues using the new Docker nova services for development
(these packages are more recent and require cells).

Change-Id: I85b0e80ca208ef3ca3dfadfe6e98d83ec009a31d

Add a environment file to disable ceilo api

Use the standard composable interface to disable
ceilo api instead of using a separate flag.

Closes-bug: #1656364

Change-Id: I67900f7e6816212831aea8ed18f323652857fbd3

Check that all templates are using the release alias

Quick verification to check that the release name
is used instead the date.

Im also adding here all the updated templates required
to pass the check and merge this check as soon as possible.

Change-Id: Ifdc9ac4a9d0a4872d3e21672c93fc87da2e68a4e

Merge "Correct typo in ManagementAllocationPools in network-environment.yaml"

Merge "Parameterizes Nova API default floating IP pool"

Merge "Bump missing template names to ocata"

Merge "Set manila cephfs backend if ceph is deployed"

Merge "Conditionally set OVS agent firewall driver"

Merge "Add endpoint map matching validation to validate-yaml.py"

set -e in run-os-net-config.sh

This runs run-os-net-config.sh with set -e except for ping and
os-net-config --detailed-exit-codes which are expected to return
non-zero values.

Change-Id: Iffe00a97612ccb1c79ed037ce93f6c2e685164d9

Merge "Remove Glance Registry service"

Merge "Nova Placement API composable service"

Add deployed server bootstrap to noop-ctlplane

This patch adds the new OS::TripleO::DeployedServer::Bootstrap
entry to this template as OS::Heat::None.

This fixes the undercloud t-h-t installer.

Change-Id: I211fff6dd81cb1a6425dbae4b81d4e9e8819fc52

Add endpoint map matching validation to validate-yaml.py

This validation checks that the TLS-related environment files contain
all of the services defined in the base endpoint map. This will
hopefully help to keep them updated.

Change-Id: I58df72e104d8eb74e577484405f15e0a6f92d0ce

Merge "Allow user to configure Ceph rbd_default_features"

Merge "HPELeftHandISCSIDriver support for Cinder"

Merge "Simplify passing config to ovs agent container"