Moving the validation for using the template alias version for all templates

Currently we are applying this validation for the services templates, this
submission moves it to run with all templates.

Also fixed those templates not using the alias name.

Change-Id: I3a2c0ce6adcc8061fdc51f73fdc6b9748c0fead9

Merge "Add more explicit messagae to build_endpoint_map's check option"

Merge "Add deployed server bootstrap for RHEL"

Merge "Validate that endpoint_map.yaml is up to date in the gate"

Merge "Add ability to toggle swift's ceilometer transport_url SSL"

Add more explicit messagae to build_endpoint_map's check option

This will hopefully help developers know what to do if their patch fails
this verification.

Change-Id: I01fe9ca30295c6264affdbdb773b039a744289ea

Validate that endpoint_map.yaml is up to date in the gate

Change-Id: I72aa48c72c825151739cb478c58e9a6c841c9130

Remove Gemfile and Rakefile

We are not running syntax and lint jobs in THT for master & newton,
let's remove useless files.

Change-Id: Ia572a0eb8872ab199bc68a51750dfc17ca5ee034

Disable the deprecation warnings as errors for puppet-syntax

Recently puppet4 started deprecating ruby 2.0 with the following
commit: https://github.com/puppetlabs/puppet/commit/e9eda7ed56fddcf185fc155d7e0ae054ea327504

One way to work-around this (in the absence of a more recent ruby
version) is to not treat this deprecation warnings as fatal when
doing the puppet syntax check

Change-Id: Id49c5068ab4609e3da0417af4714e8cb8485f3d1
Closes-Bug: #1660943

Add ability to toggle swift's ceilometer transport_url SSL

So, if RabbitClientUseSSL is set, this will enable TLS for the
swift's ceilometer message broker connection.

Change-Id: Ide70a509aefc9e7eb9d7cc5b3a60520fa42b4010
Depends-On: I8b7457b6233c4f88af2d7bc1b9304fcccb6edf61

Merge "Configure DPDK options to isolate PMD cores and ovs process cores"

Merge "docker: eliminate copy-json.py in favor of json-file"

Merge "Removes deprecated neutron-opendaylight-l3 env file"

Merge "Add upgrade support for CephRGW service"

Merge "multinode/upgrade: set heat::rpc_response_timeout to 600"

docker: eliminate copy-json.py in favor of json-file

This patch rewires how we configure the Kolla external config files
via Heat templates and uses a more simple json-file heat hook to
directly write out Kolla config files to disk.

By using a heat hook instead of a shell script we can avoid
Json conversion issues.  Additionally, This generic json file hook will
be useful for other ad-hoc Json file configuration within the TripleO
docker architecture.

Co-Authored-By: Martin André <m.andre@redhat.com>
Change-Id: I8c72a4a9a7022f722bfe1cef3e18517605720cce
Depends-On: I2b372ac2e291339e436202c9fe58a681ed6a743f
Depends-On: Id3f779b11e23fd3122ef29b7ccbae116667d4520

Merge "Add AuditD composable service"

Merge "Pass parameters for TLS proxy in front of neutron server"

multinode/upgrade: set heat::rpc_response_timeout to 600

Continue the work done on https://review.openstack.org/#/c/423302/

Change-Id: I931534e0ec33e131809186f74068eb479d38a0f9

Merge "Remove create-legacy-resource-types opts"

Merge "Use os-net-config in multinode jobs"

Pass parameters for TLS proxy in front of neutron server

If TLS in the internal network is enabled, we run neutron-server
behind a TLS proxy (which is actually httpd's mod_proxy). This passes
the necessary hieradata.

bp tls-via-certmonger
Depends-On: I6dfbf49f45aef9f47e58b5c0dbedd2b4e239979e

Change-Id: I9252512dbf9cf2e3eec50c41bf10629d36070bbd

Use os-net-config in multinode jobs

Full credits to James Slagle, author of this code in TripleO CI:
https://review.openstack.org/#/c/409346

This patch adds a new template for configuring networking on the
Overcloud nodes using os-net-config in multinode jobs. Previously we
were not using os-net-config at all.

Also updates the multinode.yaml environment to use this network config
template.

The IP of each subnode is used when the vxlan tunnels are configured in
OVS, given that, each node needs its own unique network configuration.
To accomodate that, the templates makes use of the network_config_hook
function to influence run-os-net-config.sh

This patch is just the first step to totally switching to os-net-config
in multinode jobs. The devstack-gate code is still in use to bootstrap
the initial networking on the undercloud and subnodes. That will be
switched over in subsequent patches.

Change-Id: I6efa71eb23109d0b3b480061135c572ab89f5981
Co-Authorized-By: James Slagle <jslagle@redhat.com>
Implements: blueprint multinode-ci-os-net-config

Add support for Jinja2 includes

This replicates the behavior of the custom Jinja2 loader from tripleo-common to
allow template validation on the local filesystem using tox.

Change-Id: I27683ab31187c6334dc5b4b5363a3347874b9a90
Partially-Implements: blueprint overcloud-upgrades-per-service
Depends-On: Idc5c3f49c7a2fc7f3622c76da001992cc657384e

Add AuditD composable service

This patch allows the management of the AuditD service and its associated
files (such as `audit.rules`)

This is achieved by means of the `puppet-auditd` puppet module.

Also places ssh banner capabilities map on top of patch

Change-Id: Ib8bb52dde88304cb58b051bced9779c97a314d0d
Depends-On: Ie31c063b674075e35e1bfa28d1fc07f3f897407b

Merge "Adds a pre-upgrade check that service is running (step0)"

Merge "Adds SSH Banner text into sshd_config"

Adds a pre-upgrade check that service is running (step0)

Adds a step0 for most services to check that the state is running
before continuing with any of the other upgrades steps (these are
tagged step0).

You can skip this service check by overriding the
SkipUpgradeConfigTags parameter as follows:

parameter_defaults:
  SkipUpgradeConfigTags: validation

Co-Authored-By: Steven Hardy <shardy@redhat.com>
Change-Id: Ie276f153015f671b720b6ed5beaac1b921661909

Merge "Allow to separate Horizon from Neutron"

Merge "Add a release note for using deployed-servers (aka split-stack)"

Merge "Add release note for composable upgrades"

Merge "Add novajoin entries to the TLS-everywhere environment file"

Allow to separate Horizon from Neutron

Allow to deploy 2 different nodes with Neutron and another with Horizon.
Horizon will get the right hieradata to collect the mechanism driver and
configure the dashboard correctly.

Change-Id: I24621f6a7d053cff487984bab0d10a4a97204675
Closes-Bug: 1659662

Merge "Add telemetry service support for composable upgrades"

Add deployed server bootstrap for RHEL

This is similar to the bootstrap for CentOS, except we don't set SELinux
to permissive on RHEL.

Change-Id: I52b8fa017ee2821d2fa91e5ec806a55fcb92566d
Partially-implements: blueprint split-stack-software-configuration

Merge "Do not try to update the 'ceph' metapackage from CephMon role"

Remove create-legacy-resource-types opts

This flag is quite old and doesnt work as expected anymore.
Let ceilometer upgrade create these reource types instead.

Change-Id: I71ea6e2fd9418095de658d709c14bb3006ca2753

Merge "Conform CephExternal template to the new hiera hook"

Merge "Add Ceph RBD mirror Pacemaker profile"

Merge "ci: import multinode_major_upgrade.yaml from tripleo-ci"

Merge "Allow dnsmasq_dns_servers to be configured for DHCP Agent"

Merge "Use versionless keystone endpoint for barbican-related configurations"

Add upgrade support for CephRGW service

Implements minor upgrade of the ceph-radosgw service.

Change-Id: I4c064bf996ec6bb7eba41ab6384bd953a8ec920f
Partially-Implements: blueprint overcloud-upgrades-per-service

Add release note for composable upgrades

Adds an initial release note for composable upgrades - I had to be
vague in the upgrades section as we're still working out some details
of the final upgrade workflow for all roles.

Change-Id: Iac0af86f3b56a07070a9d24b1255953f5fd07b34

Merge "Set the correct default for gnocchi workers"

Do not try to update the 'ceph' metapackage from CephMon role

The 'ceph' metapackage is only provided by some repos so we should
not explicitly pull it.

Also adds a validation step to the CephMon and CephOSD roles to
stop upgrade if the Ceph cluster is in error state.

Change-Id: I5aa275677ada47a352a327b9be21927b852d16f3

Merge "Add ironic service support for composable upgrades"

Merge "Skip upgrade steps where no tasks are defined"

Merge "Add upgrade support for ceph OSD service"

Merge "Add upgrade support for ceph-mon service"

ci: import multinode_major_upgrade.yaml from tripleo-ci

So we can version it between releases like we do with scenarios.

Change-Id: I3e3aa5d4fa7e03d1f4483bf42fcff17386b58709

Merge "Add support for batched upgrades to composable upgrades"

Add Ceph RBD mirror Pacemaker profile

This change adds a profile to deploy the Ceph RBD mirroring daemon
as a Pacemaker resource.

Change-Id: Ib07e5bca6a45f0c6c59a3acf07f4e3ae9d2f8948
Depends-On: Ic63dc5cffece38942d305f538f71dd58a5d50789
Closes-Bug: #1652177

Merge "Add snmp service support for composable upgrades"

Adds SSH Banner text into sshd_config

Allow use of ooo template to populate banner text into /etc/issue

Change-Id: If5b2da9415f10652a0a64503b2da4b63d1018640
Depends-On: Ie9f8afdfa9930428f06c9669fedb460dc1064d5e
Closes-Bug: #1640306

Add SkipUpgradeConfigTags for upgrade config

It may be that we want ways to selectively disable certain tasks,
such as pre-flight validations that might fail when restarting an
upgrade from a failed state.  This shows a way we might do that.

Depends-On: I18214f80be9f3ad6c2d385fc00f3b786d3e7dda3
Change-Id: Ibffaaf1de0baf47a0450daa5b7cbb57d38746556

Merge "Add release notes for Ocata 6.0.0"

Merge "Manage password_validator regex"

Merge "Auto-set SwiftMountCheck and SwiftUseLocalDir settings"

Add telemetry service support for composable upgrades

Change-Id: I62735676b45a881a7dac24171b26d88d6eb60d4a
Partially-Implements: blueprint overcloud-upgrades-per-service

Add ironic service support for composable upgrades

Change-Id: Ie1fe7db081d69db4b99869057352367e8e01760c
Partially-Implements: blueprint overcloud-upgrades-per-service

Skip upgrade steps where no tasks are defined

Use heat conditions to skip resources (conditionally create them)
when there are no tasks to deploy.

This requires the heat fix Iefae1fcea720bee4ed69ad1a5fe403d52d54433c

Partially-Implements: blueprint overcloud-upgrades-per-service
Change-Id: I2f43fb922d122ffade20e35738f0ba3bb56a4492

Add upgrade support for ceph OSD service

This takes a subset of the logic from major_upgrade_ceph_storage.sh
and ports it into ansible tasks, which will be applied in a rolling
upgrade after the mon services are upgraded (in the step0 batch).

Change-Id: I6e87969add301e78bb665d7748e5f0df8eeae819
Partially-Implements: blueprint overcloud-upgrades-per-service

Add upgrade support for ceph-mon service

Initial support for a rolling upgrade of ceph-mon services which
happens before the OpenStack services are upgraded.

Change-Id: Ifaebbe2ae884bd899cdc6f1c288274e5838792a6
Partially-Implements: blueprint overcloud-upgrades-per-service

Add support for batched upgrades to composable upgrades

Some services (e.g ceph mon) require upgrading in batches (the old
upgrade architecture did the ceph mon upgrade one controller at a
time).  This interface enables doing the same, and over time we
can probably move more services into this interface (e.g when
services support rolling upgrades) to reduce downtime.

Change-Id: If581f301a5493ef33ac1386bdc22f9fca4f2544e
Partially-Implements: blueprint overcloud-upgrades-per-service

Use versionless keystone endpoint for barbican-related configurations

castellan (the key manager interface used by nova and cinder) is no
longer tied to keystone v3 [1]. So now it's possible to use versionless
endpoints for keystone.

[1] I124c0ea2d9403d6b530b33f18896c4e7bf4eabb5

Change-Id: Id5d893a6a41077ab76ca59295593a27be5c3004c

Set the correct default for gnocchi workers

The current default is empty which overrides the puppet-gnocchi
os_workers calculated value. Instead default to the os_workers.

Change-Id: I9bf9a107c03172500f7c8c5e4353c20305c8e6b5

Add novajoin entries to the TLS-everywhere environment file

These metadata settings (the hardcoded metadata and the hook override)
are used by the novajoin service when it's deployed in the undercloud,
and will tell it to enroll the overcloud nodes and the services that are
specified by the metadata hook.

bp novajoin
bp tls-via-certmonger

Change-Id: Ia4645cc356688b7bcf82ed7765c0b74d53d64ed1

Merge "Add Octavia API service definitions"

Merge "Add ec2-api service"

Merge "Add metadata settings for needed kerberos principals"

Merge "Ignore systemctl return code in yum_update.sh"

Add a release note for using deployed-servers (aka split-stack)

Change-Id: I9e926e66518ffd15c8a83355c87e8eae26742d5e

Conform CephExternal template to the new hiera hook

We missed to refactor CephExternal when migrating to the new
hiera hook. The old template would have pushed the value of
ceph::profile::params::client_keys as a string causing the
deployment to fail with:

  Error while evaluating a Function Call, {...} is not a Hash

The new template emits that same data as a map, as it happened
for the other services in Ibe7e2044e200e2c947223286fdf4fd5bcf98c2e1

Change-Id: I3cf59b7d8343d7433047e9ccef310d287dbd47b5

Add release notes for Ocata 6.0.0

Change-Id: I0d56dfe012d97e8f7206e8777c1b72a6797c328d

Manage password_validator regex

Horizon provides a password validation check, which OpenStack cloud
operators can use to enforce password complexity checks for users
within horizon.

A dictionary containing a regular expression can be used for
password validation with help text that is displayed if the password
does not pass validation.

HORIZON_CONFIG["password_validator"] = {
    "regex": '.*',
      "help_text": _("Your password does not meet the requirements."),

}

This change allows injection of the regex into horizons local_settings
file from a tripleo heat template

Change-Id: Ib6517c8f96148bea002b0e3442a26367b236928f
Depends-On: If82a80ed6a8e6e65aecc2a25ee6d60640ae03c9a
Closes-Bug: #1640800

Add snmp service support for composable upgrades

Change-Id: Ifa10b764ae7c67e089c0d2506a49e474135083bb
Partially-Implements: blueprint overcloud-upgrades-per-service

Merge "Remove spurious for loop from post deploy j2"

Merge "Add glance registry service to disable on upgrade"

Merge "pacemaker remote profile support"

Remove spurious for loop from post deploy j2

This nested for loop is wrong as it generates all steps for all
roles twice.  This works because yaml parsing ignores the duplicate
resources, but it's a big waste of space in swift (this fix reduces
the rendered file size by over 2000 lines with the default roles!)

Change-Id: Ifaf860020839390147c92848d52b1a59e355dc50
Closes-Bug: #1659139

Merge "Pass parameters for TLS proxy in front of Glance-API"

Add metadata settings for needed kerberos principals

These are only used for TLS-everywhere, and fills up the kerberos
principals that will need to be created for the certs used by the
overcloud. With this, the metadata hook will format these principals
correctly and will further pass them on to the nova metadata service.
Where they can be used if there's a plugin enabled.

bp tls-via-certmonger
bp novajoin

Change-Id: I873094bb69200052febda629fda698a7a782c031

Merge "Import multinode + pingtest from tripleo-ci"

Merge "cinder-api: cleanup TODO"

Add glance registry service to disable on upgrade

We've broken the upgrade job because anyone upgrading with the
glance registry deployed (and defined in their *Services parameters)
will try to deploy with the old glance-registry.yaml defined in heat.

Instead we define a template which stops and disables the service on
upgrade.

Closes-Bug: #1659079
Change-Id: I03561954d794afae2be06811375d16611fa45973

Merge "Specify what to do if endpoint map environment don't match"

Merge "Add disable_upgrade_deployment flag to roles_data.yaml"

Import multinode + pingtest from tripleo-ci

* Import multinode-3nodes roles data
* Import multinode
* Import tenantvm_floatingip pingtest

We are importing these files from tripleo-ci because they contain some
informations that need to be versionned (TripleO services, data binding,
etc), specific to TripleO versions.

Change-Id: I9d4ab144f98e8bd46cad2c29411d1270f6469b91

cinder-api: cleanup TODO

Cleanup some TODO.

Change-Id: I84e369a9797359fea124e00e2007ae745a96847a

Specify what to do if endpoint map environment don't match

this attempts to make the error message more useful. This error message
happens if the environment files containing endpoint map overrides
haven't been updated to match the base endpoint map (or the defaults).

Change-Id: If53d3a9d7848aed62ebb235afe8b14c18d1b284d

Pass parameters for TLS proxy in front of Glance-API

If TLS in the internal network is enabled, we run glance-api beind a
TLS proxy (which is actually httpd's mod_proxy). This passes the
necessary hieradata.

bp tls-via-certmonger
Change-Id: I693213a1f35021b540202240e512d121cc1cd0eb
Depends-On: Id35a846d43ecae8903a0d58306d9803d5ea00bee

Merge "scenario002: updating volume encryption provider"

Add ec2-api service

This change adds the ec2api service using the
tripleo::profile::base::nova::ec2api profile.

The deprecated nova-cert service is not supported, and therefore the
RegisterImage action is not supported either.

Change-Id: I2510fd4ed935d8423216fff9ce3adf2d69c9c804
Depends-On: If4b091e1ca02f43aa9c65392baf8ceea007b7cfb

Merge "Add support for not using admin_token in Ceph/RGW"

pacemaker remote profile support

This adds a pacemaker_remote puppet service so that an operator
can automatically deploy pacemaker-remote on nodes of his choice.

Change-Id: I9678606b3de9b9f4c03014b33c1dd27fcba67513
Depends-On: I581552dfa64160e2f82f6a9b8f2ae521c3d6da8d
Depends-On: I92953afcc7d536d387381f08164cae8b52f41605

scenario002: updating volume encryption provider

https://review.openstack.org/#/c/416672 made the new luks provider required.
Let's use it.

Closes-Bug: #1658755
Change-Id: Icc7c3c933af6621959ce3e6af99c73b4afd87509

Merge "Add THT for fossw ML2 plugin in networking-fujitsu"

Merge "Allow for specifying the output_dir"

Merge "Ignore hidden files in directories"