Restore the NtpServer parameter name

In 296bffde893dbbf36c62d664e24e2584b89b8070 we moved the NTP
into a composable service but changed the name of the parameter
to NtpServers. This will break upgrades for users of the previous
parameter name.

Closes-bug: #1599526

Change-Id: I896b9427416f01b603ac9cc4d8c9ebf5e019cb32

Merge "Split Heat pacemaker roles into separate services"

Merge "pacemaker: don't override Service resource for Nova & Neutron"

Merge "Use create-legacy-resource-types during gnocchi-upgrade"

Merge "overcloud_volume: cleanup unused Puppet code"

Merge "volume: deploy snmp using composable role"

Merge "Replace NodeConfigIdentifiers with DeployIdentifier"

Remove depends_on: Networks from ControllerServiceChain

I think this depends_on is bogus - the Controller ResourceGroup does
depend on Networks, but not the ControllerServiceChain - this needs to
be consistent with the other ServiceChain definitions for the
custom-roles work.

Change-Id: I0159968719f5d21c8f216ad69af047fa141d54e9

Replace NodeConfigIdentifiers with DeployIdentifier

We added NodeConfigIdentifiers to trigger config to be re-applied on
update, but then later added DeployIdentifier which forces config to
*always* be applied on update, so we can simplify things by just
referencing the DeployIdentifier directly.

Change-Id: I79212def1936740825b714419dcb4952bc586a39

overcloud_volume: cleanup unused Puppet code

overcloud_volume contains some code that is already deployed by
OS::TripleO::Services::CinderVolume service.

Change-Id: I3446883cb89dcf179a854e2adef81b899117f66a

volume: deploy snmp using composable role

Change-Id: Ibc9abf7043c37104d03cd72d882e10cdb53fe6a2

Switch Ceph Monitor/OSD/Client/External to composable roles

Change-Id: I1921115cb6218c7554348636c404245c79937673
Depends-On: I7ac096feb9f5655003becd79d2eea355a047c90b
Depends-On: I871ef420700e6d0ee5c1e444e019d58b3a9a45a6

Merge "Add example of creating per-node os-net-config mappings"

Merge "Remove NFS bits from overcloud_compute manifest"

pacemaker: don't override Service resource for Nova & Neutron

Nova & Neutron services are already managed by puppet-tripleo in
profiles, and we already override Service resource for some services to
manage them with Pacemaker.
Dropping this code here will allow us to run TripleO in AIO setup as we
don't manage everything with Pacemaker.

Change-Id: Idcfc6ea26ca41534ce407be0eb3dafe7bcd2ef2d

Merge "Dump and restore galera db during major upgrades"

Merge "Don't set selinux in 'permissive' mode on CephStorage nodes"

Merge "Add Rabbit/epmd port to firewall"

Merge "Stop no-opping PackageUpdate on upgrade"

Remove NFS bits from overcloud_compute manifest

They moved to puppet-tripleo.

Change-Id: Idd4488fc4b1e8e8024d47f6e3d83ac4f3cecd088
Depends-On: I75d68cc766ad274b16b22f43b7d34d02ab26de13

Merge "First iteration of libvirt and nova-compute as a composable services"

Add example of creating per-node os-net-config mappings

Adds an example of proving a mapping file for all nodes, then
extracting the data for each node based on a lookup of the mac address.

Some assumptions are made (e.g the hard-coded reference to eth0), but
it should be easily modified to suit specific environments.

Usage via an enviroment file will look like:

resource_registry:
  OS::TripleO::NodeUserData: os-net-config-mappings.yaml
parameter_defaults:
  NetConfigDataLookup:
    host1:
      nic1: "00:c8:7c:e6:f0:2e"
    host2:
      nic1: "00:18:7d:99:0c:b6"

Note this version requires liberty heat in the undercloud due to the
use of a new str_replace feature to serialize the json parameter.

Change-Id: I7da9c9d8805e676a383e888a7d77f05d3432ab12

Stop no-opping PackageUpdate on upgrade

After we fixed bug #1567384 and bug #1567385, we no longer need to no-op
the PakageUpdate resource on upgrades. I removed the no-op in change
Ie14ddbff15e7ed21aaa3fcdacf36e0040f912382 from
major-upgrade-pacemaker-converge.yaml but didn't recall we had the no-op
in major-upgrade-pacemaker{,-init}.yaml too.

Change-Id: I24b913c790eae79e3b207729e0b22378075fb282

Pass RoleData into -post.yaml stacks

This patch modifies the interface for the -post stacks so
that we pass RoleData instead of just the StepConfig
into each -post.yaml template.

This will facilitate creating other types of -post.yaml scripts
that require more data that just 'step_config'. Things like
containers, etc. will require this.

Change-Id: I2527fc0098192f092f5e9046033a04bc71be2cae

Output generic role_data in services.yaml

This patch updates puppet/services/services.yaml (currently the only
interface for 'services' in t-h-t) so that we return a more generic
'role_data' Heat output.

This is a move towards making the services themselves a bit more generic
so we can accommodate other deployment types (containers, etc.)

Change-Id: I8bc32c59a48e6d5f0caa2f26fab394d5d992a4a5

Add Rabbit/epmd port to firewall

This commit adds the epmd port 4369 to the firewall configuration for
the service rabbit. This is necessary for having HA setups working,
since without this port the rabbitmq cloned resource starts only on one
node and the others are not able to complete the rabbit cluster
creation.

Change-Id: Iae042dd60a578e158b75539dc3998fc40185b343

Use create-legacy-resource-types during gnocchi-upgrade

Gnocchi 2.1 introduces a change where legacy resource types
needed by ceilometer are not created by default. Instead a
new flag is exposed to create these. We should use this by
default. Note that this is an optional flag and is only
needed if you want to create legacy resource types.

Change-Id: I95ccccb40ce4a8319d0776c4d62c2890cf1fd970
Closes-bug: #1592449

First iteration of libvirt and nova-compute as a composable services

This is a first iteration of implementing libvirt and nova compute as
composable services.

Note: some parameters are still in puppet/compute.yaml -- we'll move
them later in a next iteration.

Implements: blueprint composable-services-within-roles

Depends-On: I0b765f8cb08633005c1fc5a5a2a8e5658ff44302
Change-Id: I752198cdf231ef13062ba96c3877e5defd618c3a

Wire NTP and Timezone services into BlockStorage nodes

Change-Id: Ia70688cfc333dc6536b5372cdb2eedb987ab61f8

Composable Timezone service - ObjectStorage

Add timezone as a composable service

Change-Id: I5bed49e1f8b803fb6d9d0b06165a38f61b132431
Partially-implements: blueprint composable-services-within-roles

Composable Timezone service - CephStorage

Add timezone as a composable service

Change-Id: I1569b2ebdca8e67c0e92a5c0e3fadd12006cc02a
Partially-implements: blueprint composable-services-within-roles

Composable Timezone service - Compute

Add timezone as a composable service

Change-Id: I6e0e9cef3703cd186eab15d76e611d00c1da4a4e
Partially-implements: blueprint composable-services-within-roles

Composable Timezone service - Controller

Add timezone as a composable service

Change-Id: I99f0b0727a10ee74ea1de0499c8bc3ba37ab3345
Partially-implements: blueprint composable-services-within-roles

Merge "Basic support for deploying Ironic in overcloud"

Merge "Convert SNMP configuration to composable services format"

Merge "Add Management net to ips-from-pool-all example"

Merge "Convert noop NetworkExtraConfig to OS::Heat::None"

Merge "Increase RabbitMQ maximum file descriptors."

Merge "Drop unused VIP params to controller.yaml"

Merge "Increase cluster sync timeout for M->N major upgrades"

Configure BlockStorage services via resource chains

Wires the steps into the BlockStorage role and ensures
the installed-packages list is written on a per-step basis on
all roles, as it happens on the controllers already.

Change-Id: Iaec8ad3b2afbef6d586b7b46abaa1434cdb62f41

Dump and restore galera db during major upgrades

When the overcloud is upgraded we do a yum update of the packages.
This step might introduce a newer galera version. In such a situation
we need to dump the db and restore it. The high-level workflow should
be the following:
1) During the main upgrade step, before shutting down the cluster
   we need to dump the db
2) We upgrade the packages
3) We briefly start mysql on a single node while making sure that
   /root/.my.cnf is briefly moved out of the way (because it contains
   a password) and import the data. After the import we shutdown this
   mysql instance
4) We let the cluster start up normally

The above steps will take place in the following scenarios.
Given a locally installed mariadb version X.Y.Z and release R,
we will dump and restore the DB under the following conditions:
A) MySqlMajorUpgrade template parameter is set to 'auto' and
   the upgraded package differs in X, Y *or* Z. We basically don't
   dump automatically if the release field changes.

B) MySqlMajorUpgrade template parameter is set to 'yes'

When MySqlMajorUpgrade is set to 'no', no dumping will be performed.
Note that this will give a non functional upgrade if a major mariadb
upgrade is taking place.

Partial-Bug: #1587449

Co-Author: Damien Ciabrin <dciabrin@redhat.com>
Co-Author: Mike Bayer <mbayer@redhat.com>

Depends-On: I8cb4cb3193e6b823aad48ad7dbbbb227364d2a58
Depends-On: I38dcacfabc44539aab1f7da85168fe44a1b43a51

Change-Id: I374628547aed091129d0deaa29764bfc998d76ea

Increase cluster sync timeout for M->N major upgrades

Since the Liberty release, the number of services managed by pacemaker
on HA Overcloud has increased. This has an impact on
major_upgrade_controller_pacemaker_1.sh, where cluster sync timeout
value tuned for older releases is now becoming too low.

Raise the cluster sync timeout value to a sensible limit to
give pacemaker enough time to stop the cluster during major upgrade.

Change-Id: I821d354ba30ce39134982ba12a82c429faa3ce62
Closes-Bug: #1597506

Drop unused VIP params to controller.yaml

This patch drops a bunch of unused VIP parameters
from controller.yaml

Depends-On: I5e2feff7e5dc900849c9535f2b7ac05d3c8f93e1
Change-Id: I5c94f55ac4f2ec1103d5916942fb14e8b5595d01

Convert SNMP configuration to composable services format

Change-Id: I7265b0781acefd4a0de687b0465144e57bcc079f
Partially-Implements: blueprint composable-services-within-roles

Merge "Fix ceilometer auth url"

Merge "Convert swift storage to composable services"

Basic support for deploying Ironic in overcloud

Note that this change is not enough yet to deploy bare metal instances,
it only deploys Ironic services themselves and makes sure they work.

Also it does not support HA for now.

Co-Authored-By: Dmitry Tantsur <dtansur@redhat.com>
Partially-implements: blueprint ironic-integration
Change-Id: I541be905022264e2d4828e7c46338f2e300df540

Merge "Disable stonith temporarily during upgrades"

Don't set selinux in 'permissive' mode on CephStorage nodes

Change-Id: I469f2bd429eba23b2010b7380e794c67b18e7a47
Depends-On: I1aa46086f69e7c3efd2782da62fd18ade8343fde
Partial-Bug: 1595518

Add Management net to ips-from-pool-all example

The recently added Management network is missing from this example

Change-Id: Id2010e92b8c27188ed153243d0e54ec50bfdcffb

Convert swift storage to composable services

Depends-On: Ie68d7eccf4938bdbdea93327af0638b3fd002b3e

Change-Id: I1eb68d0cd5f8bf4bf954dd9f12941bc493345708
Partially-Implements: blueprint composable-services-within-roles

Convert noop NetworkExtraConfig to OS::Heat::None

This avoids creating an empty nested stack.

Change-Id: Icce0bfab005a69fce42f58956dcc81acea805e74

Merge "Add network ExtraConfig hook"

Disable stonith temporarily during upgrades

It is best if we disable stonith if a cluster has it configured and on,
before we call "pcs cluster stop --all", because should a service fail
to stop for whatever reason, pacemaker will fence the node where it
happened. This is something that we unlikely want during an upgrade as
it will make things worse.

Once the cluster is stopped we can reenable stonith (if it was enabled
to start with) in the CIB while the cluster is shut down.

Closes-Bug: #1596065

Change-Id: I38dcacfabc44539aab1f7da85168fe44a1b43a51

Fix ceilometer auth url

Due to a recent change introduced in puppet ceilometer[1]
ceilometer auth type defaults to password type and v2
auth_url doesnt work with domain. This fixes the url to
not include suffix.

[1] https://review.openstack.org/#/c/320454/

Change-Id: Ibce716825c95e36a942203be2c67ea0da79503f2

Increase RabbitMQ maximum file descriptors.

We now allow 65536 open file descriptors to better reflect the
real-world settings of downstream consumers of TripleO.

Change-Id: Ib04ea6afb2da1a9101839d9d70bc8891d69700ec

Revert "Ceilometer composable roles for controller"

This reverts commit c48410a05ec0ffd11c717bcf350badc9e5f0e910.

We've discovered this patch never had passing CI due to a DLRN
build failure.

Change-Id: I546cb3e340d20701662affda7e28b586c58ba6de

Revert "Pin puppet-lint-absolute_classname-check to 0.1.3"

Bug fixed:
https://github.com/voxpupuli/puppet-lint-absolute_classname-check/releases/tag/0.2.2

This reverts commit 61f31831bdafbbddc7b68606832723fe2516872a.

Change-Id: I05c2274cd35c187f9e6b2906ee6650cb443cb5fe

Merge "Ceilometer composable roles for controller"

Merge "Drop extraconfig for neutron-opencontrail.yaml"

Merge "Composable opencontrail plugin"

Merge "Drop extraconfig for neutron-nuage.yaml"

Merge "Update neutron ml2 class"

Ceilometer composable roles for controller

Depends-On: I4b5e93a108e80e91af26ffee454130ee18c0042e

Change-Id: I59c948ead475f449cb8d1b752f39b7eaaf056130

Pin puppet-lint-absolute_classname-check to 0.1.3

https://github.com/voxpupuli/puppet-lint-absolute_classname-check/issues/6

Change-Id: Ib0f1ce09b589630c6d09c8588246dafae2f2d387

Update neutron ml2 class

Class was moved in with other plugins, it's just an update.

Change-Id: I6436c5c36ac0081a720cb8a737a573b1246127a1
Depends-On: I35332df5800083f3373f5c37411534d11e9b4401

Merge "Heat upstream default policy.json works in devstack"

Split Heat pacemaker roles into separate services

In order for each service to operate independently when used with Pacemaker,
the roles needed to be separated.

Change-Id: I0440b7b119fc9b7bb3db8a2bf341c0c6db8d3d33
Depends-On: I3fa76562c13191884a53848ad5adcbc9f5a24f61

Merge "Composable roles within services - NTP - CephStorage"

Merge "Composable roles within services - NTP - ObjectStorage"

Heat upstream default policy.json works in devstack

It does not however work in TripleO, and the ping test is failing
with master Heat because of this. I tried submitting a revert[1] in
Heat, but they have functional tests, so it is not broken...

The only option left is using puppet-heat to override the broken
default.

[1] https://review.openstack.org/#/c/332206/

Change-Id: I2c674a2e01eeacd17d3158f378be2d6ceeedc309

Composable roles within services - NTP - ObjectStorage

Add NTP as a composable service for ObjectStorage.

Partially-implements: blueprint composable-services-within-roles

Change-Id: I6315abc7955c9dc1df9f211c1c5b7332b5e01d5a

Composable roles within services - NTP - CephStorage

Add NTP as a composable service for CephStorage.

Partially-implements: blueprint composable-services-within-roles

Change-Id: Iee89b261b3c45f596ad84549e25d47b8ca1cfbdb

Composable roles within services - NTP - Compute

Add NTP as a composable service for compute nodes.

Partially-implements: blueprint composable-services-within-roles

Change-Id: I53958a660830211dee731e0129f4ff018c0cd853

Merge "Composable roles within services - NTP"

Merge "Remove nova::db classes, moved to puppet-tripleo"

Merge "Remove ::nova::network::neutron, now in puppet-tripleo"

Merge "Change Aodh to use own backend"

Composable roles within services - NTP

Add NTP as a composable service.

Also, the scope of this patch is to serve as
basis for the blueprint related to the
composable services walkthrough.

This will be the use case documented.

The puppet manifests updated to remove the current
configuration for NTP is also added.

Change-Id: I1d3d6229d53f48c380e6a775a7c50de8715fe949

Merge "Composable neutron nuage plugin"

Merge "set aodh auth_url explicitly"

Merge "Create Cinder backup pool in Ceph"

Merge "Enable firewall by default on the overcloud"

Merge "Allow sahara ports in firewall"

Merge "Allow pacemaker ports in firewall"

Merge "Stop using deprecated port param in firewall rules"

Merge "Add IPv6 support for the management network"

Change Aodh to use own backend

Currently aodh uses ceilometer backend, instead
change it to use its own mysql db.

Change-Id: Idaa879af4e6946e804111d581402e620beb89885

Enable firewall by default on the overcloud

We firewall the undercloud, which is only listening on the
provisioning network anyway, but our default settings leave the
overcloud, which needs to be publicly accessible (for a
deployment-specific definition of "public"), wide open.  This
seems like a bad default.

Anyone who is deploying additional services can either open the
firewall ports themselves as part of the deployment or can set the
ManageFirewall param to false.

Change-Id: I3731a0a7bc4be94c8e7a289c90d304599634e928

Allow sahara ports in firewall

Both with and without SSL.

Change-Id: I3163cbac8cb37e03ae298fa02e85bdaa66157471

Allow pacemaker ports in firewall

This is required to allow ha deployments with ManageFirewall: True
These are the ports documented in [1].

1: https://access.redhat.com/documentation/en-US/Red_Hat_Enterprise_Linux/6/html-single/Configuring_the_Red_Hat_High_Availability_Add-On_with_Pacemaker/index.html#s1-firewalls-HAAR

Change-Id: I446cc0ed863df15e28fa8ec1f5e2a06c5c03af8c
Closes-Bug: 1594470

Remove nova::db classes, moved to puppet-tripleo

Implements: blueprint refactor-puppet-manifests

Depends-On: I4fc3cb822822adc1c58b2cfa2de8584a73fa6427
Change-Id: I61be5ccffb8c84eba5df13930fe3c742e9f0eec6

Remove ::nova::network::neutron, now in puppet-tripleo

It moved to nova/api profile.

Change-Id: I6adbc0ea4db1d7d75910b41c8a43637efb6410a4
Depends-On: I6b5857d3d4740c0bf3f748719f30a05f1c62cb59

Create Cinder backup pool in Ceph

Creates pool in Ceph for Cinder backups and
adds proper access permissions.
To be used with https://review.openstack.org/#/c/311218

Change-Id: Ibf84f78aff92dbd83c6e254ceb7a80e86c15036d

Add IPv6 support for the management network

This change introduces the ability to use IPv6 addressing for the
management network by passing the network-management-v6.yaml
environment file. It also adjusts the network-management.yaml
environment file to point to the right network config templates.

Change-Id: I7f797c49f03b2623a08e033bdf45772edff0f08f

Stop using deprecated port param in firewall rules

This has been removed by the puppet-firewall module in favor of
explicit dport and sport params.  I believe in every case we are
intending to set dport, so that's what this change does.

Change-Id: I35c9efca691f865f2e2562ee81a7195d48d27d7a

Drop extraconfig for neutron-opencontrail.yaml

This patch drops the extraconfig interface in favor
of using the composable services nested stack instead.

The benefit is that it is easier to enable multiple services
(like network and storage backends at the same time) and all
of the opencontrail settings get to live in the same file.

Partially-implements: blueprint composable-services-within-roles

Change-Id: I0edbd86a8c981bd6e8a547cd2a6ebed18ecdbb31

Composable opencontrail plugin

Partially-implements: blueprint composable-services-within-roles

Change-Id: I17ac5dc2a6fb82a82d1db039e61fc8e87ba88333

Drop extraconfig for neutron-nuage.yaml

This patch drops the extraconfig interface in favor
of using the composable services nested stack instead.

The benefit is that it is easier to enable multiple services
(like network and storage backends at the same time) and all
of the nuage settings get to live in the same file.

Partially-implements: blueprint composable-services-within-roles

Change-Id: I15fe14e9d6881bc408eb6bb10d9293bd914ef858