Move glance::db data within service template

Change-Id: I405bc9895160cc867f933e6b0d56546d460d2e3a

Move keystone::db data within service template

Change-Id: I934aff4960588a3957b7a7bcc90385ae48d34d1e

Pass MysqlVirtualIP without brackets to EndpointMap

While the endpoints do need brackets around IPv6 addresses these
are not wanted by some of the puppet classes so we must pass the
non bracketed version as well.

It will allow us to remove the need for the MysqlVirtualIP param
passed to the controller role thouh when hieradata/database.yaml
is emptied.

Change-Id: If264b02a134b96368035f032e05d02e84f6499ed

Merge "Parametrize and increase default of swift-proxy node_timeout"

Merge pacemaker_master/sync_db conditionals

By condensing the pacemaker_master and sync_db conditions we ensure
there won't be unrelevant (clustercheck) execs deployed on
non-bootstrap nodes.

Closes-Bug: 1598907

Change-Id: Iae6aa13682d63096265f4751b2f71019a49f6fa6

Merge "Convert AllNodesExtraConfig to OS::Heat::None"

Merge "Remove config_identifier from all_nodes extraconfig examples"

Merge "Restore the NtpServer parameter name"

Merge "Add kernel service"

Merge "Allow neutron_options customization for dashboard"

Restore the NtpServer parameter name

In 296bffde893dbbf36c62d664e24e2584b89b8070 we moved the NTP
into a composable service but changed the name of the parameter
to NtpServers. This will break upgrades for users of the previous
parameter name.

Closes-bug: #1599526

Change-Id: I896b9427416f01b603ac9cc4d8c9ebf5e019cb32

Merge "Split Heat pacemaker roles into separate services"

Merge "pacemaker: don't override Service resource for Nova & Neutron"

Convert AllNodesExtraConfig to OS::Heat::None

Instead of creating a nested stack, as it's slightly lower overhead
and will make things easier when adding custom roles (where a
hard-coded default template can't work)

Change-Id: If9f8294ba477d1c1364e19a52152905a2c02e959

Remove config_identifier from all_nodes extraconfig examples

Since https://review.openstack.org/#/c/315616 this is no longer
required.

Change-Id: I0452d1577a25d19b4351bfe7830a6c7bbe485e67

Merge "Use create-legacy-resource-types during gnocchi-upgrade"

Merge "overcloud_volume: cleanup unused Puppet code"

Merge "volume: deploy snmp using composable role"

Add kernel service

Add a new service that will load and configure kernel modules.

Depends-On: If4f1047ff8c193a14b821d8b826f637872cf62bd
Change-Id: I8f771712595d0f4826858b855985f65d3621c3f1

Merge "Replace NodeConfigIdentifiers with DeployIdentifier"

Remove depends_on: Networks from ControllerServiceChain

I think this depends_on is bogus - the Controller ResourceGroup does
depend on Networks, but not the ControllerServiceChain - this needs to
be consistent with the other ServiceChain definitions for the
custom-roles work.

Change-Id: I0159968719f5d21c8f216ad69af047fa141d54e9

Replace NodeConfigIdentifiers with DeployIdentifier

We added NodeConfigIdentifiers to trigger config to be re-applied on
update, but then later added DeployIdentifier which forces config to
*always* be applied on update, so we can simplify things by just
referencing the DeployIdentifier directly.

Change-Id: I79212def1936740825b714419dcb4952bc586a39

overcloud_volume: cleanup unused Puppet code

overcloud_volume contains some code that is already deployed by
OS::TripleO::Services::CinderVolume service.

Change-Id: I3446883cb89dcf179a854e2adef81b899117f66a

volume: deploy snmp using composable role

Change-Id: Ibc9abf7043c37104d03cd72d882e10cdb53fe6a2

Switch Ceph Monitor/OSD/Client/External to composable roles

Change-Id: I1921115cb6218c7554348636c404245c79937673
Depends-On: I7ac096feb9f5655003becd79d2eea355a047c90b
Depends-On: I871ef420700e6d0ee5c1e444e019d58b3a9a45a6

Merge "Add example of creating per-node os-net-config mappings"

Merge "Remove NFS bits from overcloud_compute manifest"

pacemaker: don't override Service resource for Nova & Neutron

Nova & Neutron services are already managed by puppet-tripleo in
profiles, and we already override Service resource for some services to
manage them with Pacemaker.
Dropping this code here will allow us to run TripleO in AIO setup as we
don't manage everything with Pacemaker.

Change-Id: Idcfc6ea26ca41534ce407be0eb3dafe7bcd2ef2d

Merge "Dump and restore galera db during major upgrades"

Merge "Don't set selinux in 'permissive' mode on CephStorage nodes"

Merge "Add Rabbit/epmd port to firewall"

Merge "Stop no-opping PackageUpdate on upgrade"

Remove NFS bits from overcloud_compute manifest

They moved to puppet-tripleo.

Change-Id: Idd4488fc4b1e8e8024d47f6e3d83ac4f3cecd088
Depends-On: I75d68cc766ad274b16b22f43b7d34d02ab26de13

Merge "First iteration of libvirt and nova-compute as a composable services"

Add example of creating per-node os-net-config mappings

Adds an example of proving a mapping file for all nodes, then
extracting the data for each node based on a lookup of the mac address.

Some assumptions are made (e.g the hard-coded reference to eth0), but
it should be easily modified to suit specific environments.

Usage via an enviroment file will look like:

resource_registry:
  OS::TripleO::NodeUserData: os-net-config-mappings.yaml
parameter_defaults:
  NetConfigDataLookup:
    host1:
      nic1: "00:c8:7c:e6:f0:2e"
    host2:
      nic1: "00:18:7d:99:0c:b6"

Note this version requires liberty heat in the undercloud due to the
use of a new str_replace feature to serialize the json parameter.

Change-Id: I7da9c9d8805e676a383e888a7d77f05d3432ab12

Stop no-opping PackageUpdate on upgrade

After we fixed bug #1567384 and bug #1567385, we no longer need to no-op
the PakageUpdate resource on upgrades. I removed the no-op in change
Ie14ddbff15e7ed21aaa3fcdacf36e0040f912382 from
major-upgrade-pacemaker-converge.yaml but didn't recall we had the no-op
in major-upgrade-pacemaker{,-init}.yaml too.

Change-Id: I24b913c790eae79e3b207729e0b22378075fb282

Pass RoleData into -post.yaml stacks

This patch modifies the interface for the -post stacks so
that we pass RoleData instead of just the StepConfig
into each -post.yaml template.

This will facilitate creating other types of -post.yaml scripts
that require more data that just 'step_config'. Things like
containers, etc. will require this.

Change-Id: I2527fc0098192f092f5e9046033a04bc71be2cae

Output generic role_data in services.yaml

This patch updates puppet/services/services.yaml (currently the only
interface for 'services' in t-h-t) so that we return a more generic
'role_data' Heat output.

This is a move towards making the services themselves a bit more generic
so we can accommodate other deployment types (containers, etc.)

Change-Id: I8bc32c59a48e6d5f0caa2f26fab394d5d992a4a5

Add Rabbit/epmd port to firewall

This commit adds the epmd port 4369 to the firewall configuration for
the service rabbit. This is necessary for having HA setups working,
since without this port the rabbitmq cloned resource starts only on one
node and the others are not able to complete the rabbit cluster
creation.

Change-Id: Iae042dd60a578e158b75539dc3998fc40185b343

Use create-legacy-resource-types during gnocchi-upgrade

Gnocchi 2.1 introduces a change where legacy resource types
needed by ceilometer are not created by default. Instead a
new flag is exposed to create these. We should use this by
default. Note that this is an optional flag and is only
needed if you want to create legacy resource types.

Change-Id: I95ccccb40ce4a8319d0776c4d62c2890cf1fd970
Closes-bug: #1592449

First iteration of libvirt and nova-compute as a composable services

This is a first iteration of implementing libvirt and nova compute as
composable services.

Note: some parameters are still in puppet/compute.yaml -- we'll move
them later in a next iteration.

Implements: blueprint composable-services-within-roles

Depends-On: I0b765f8cb08633005c1fc5a5a2a8e5658ff44302
Change-Id: I752198cdf231ef13062ba96c3877e5defd618c3a

Wire NTP and Timezone services into BlockStorage nodes

Change-Id: Ia70688cfc333dc6536b5372cdb2eedb987ab61f8

Composable Timezone service - ObjectStorage

Add timezone as a composable service

Change-Id: I5bed49e1f8b803fb6d9d0b06165a38f61b132431
Partially-implements: blueprint composable-services-within-roles

Composable Timezone service - CephStorage

Add timezone as a composable service

Change-Id: I1569b2ebdca8e67c0e92a5c0e3fadd12006cc02a
Partially-implements: blueprint composable-services-within-roles

Composable Timezone service - Compute

Add timezone as a composable service

Change-Id: I6e0e9cef3703cd186eab15d76e611d00c1da4a4e
Partially-implements: blueprint composable-services-within-roles

Composable Timezone service - Controller

Add timezone as a composable service

Change-Id: I99f0b0727a10ee74ea1de0499c8bc3ba37ab3345
Partially-implements: blueprint composable-services-within-roles

Merge "Basic support for deploying Ironic in overcloud"

Merge "Convert SNMP configuration to composable services format"

Merge "Add Management net to ips-from-pool-all example"

Merge "Convert noop NetworkExtraConfig to OS::Heat::None"

Merge "Increase RabbitMQ maximum file descriptors."

Merge "Drop unused VIP params to controller.yaml"

Merge "Increase cluster sync timeout for M->N major upgrades"

Configure BlockStorage services via resource chains

Wires the steps into the BlockStorage role and ensures
the installed-packages list is written on a per-step basis on
all roles, as it happens on the controllers already.

Change-Id: Iaec8ad3b2afbef6d586b7b46abaa1434cdb62f41

Dump and restore galera db during major upgrades

When the overcloud is upgraded we do a yum update of the packages.
This step might introduce a newer galera version. In such a situation
we need to dump the db and restore it. The high-level workflow should
be the following:
1) During the main upgrade step, before shutting down the cluster
   we need to dump the db
2) We upgrade the packages
3) We briefly start mysql on a single node while making sure that
   /root/.my.cnf is briefly moved out of the way (because it contains
   a password) and import the data. After the import we shutdown this
   mysql instance
4) We let the cluster start up normally

The above steps will take place in the following scenarios.
Given a locally installed mariadb version X.Y.Z and release R,
we will dump and restore the DB under the following conditions:
A) MySqlMajorUpgrade template parameter is set to 'auto' and
   the upgraded package differs in X, Y *or* Z. We basically don't
   dump automatically if the release field changes.

B) MySqlMajorUpgrade template parameter is set to 'yes'

When MySqlMajorUpgrade is set to 'no', no dumping will be performed.
Note that this will give a non functional upgrade if a major mariadb
upgrade is taking place.

Partial-Bug: #1587449

Co-Author: Damien Ciabrin <dciabrin@redhat.com>
Co-Author: Mike Bayer <mbayer@redhat.com>

Depends-On: I8cb4cb3193e6b823aad48ad7dbbbb227364d2a58
Depends-On: I38dcacfabc44539aab1f7da85168fe44a1b43a51

Change-Id: I374628547aed091129d0deaa29764bfc998d76ea

Increase cluster sync timeout for M->N major upgrades

Since the Liberty release, the number of services managed by pacemaker
on HA Overcloud has increased. This has an impact on
major_upgrade_controller_pacemaker_1.sh, where cluster sync timeout
value tuned for older releases is now becoming too low.

Raise the cluster sync timeout value to a sensible limit to
give pacemaker enough time to stop the cluster during major upgrade.

Change-Id: I821d354ba30ce39134982ba12a82c429faa3ce62
Closes-Bug: #1597506

Drop unused VIP params to controller.yaml

This patch drops a bunch of unused VIP parameters
from controller.yaml

Depends-On: I5e2feff7e5dc900849c9535f2b7ac05d3c8f93e1
Change-Id: I5c94f55ac4f2ec1103d5916942fb14e8b5595d01

Convert SNMP configuration to composable services format

Change-Id: I7265b0781acefd4a0de687b0465144e57bcc079f
Partially-Implements: blueprint composable-services-within-roles

Merge "Fix ceilometer auth url"

Merge "Convert swift storage to composable services"

Basic support for deploying Ironic in overcloud

Note that this change is not enough yet to deploy bare metal instances,
it only deploys Ironic services themselves and makes sure they work.

Also it does not support HA for now.

Co-Authored-By: Dmitry Tantsur <dtansur@redhat.com>
Partially-implements: blueprint ironic-integration
Change-Id: I541be905022264e2d4828e7c46338f2e300df540

Merge "Disable stonith temporarily during upgrades"

Don't set selinux in 'permissive' mode on CephStorage nodes

Change-Id: I469f2bd429eba23b2010b7380e794c67b18e7a47
Depends-On: I1aa46086f69e7c3efd2782da62fd18ade8343fde
Partial-Bug: 1595518

Add Management net to ips-from-pool-all example

The recently added Management network is missing from this example

Change-Id: Id2010e92b8c27188ed153243d0e54ec50bfdcffb

Convert swift storage to composable services

Depends-On: Ie68d7eccf4938bdbdea93327af0638b3fd002b3e

Change-Id: I1eb68d0cd5f8bf4bf954dd9f12941bc493345708
Partially-Implements: blueprint composable-services-within-roles

Convert noop NetworkExtraConfig to OS::Heat::None

This avoids creating an empty nested stack.

Change-Id: Icce0bfab005a69fce42f58956dcc81acea805e74

Merge "Add network ExtraConfig hook"

Disable stonith temporarily during upgrades

It is best if we disable stonith if a cluster has it configured and on,
before we call "pcs cluster stop --all", because should a service fail
to stop for whatever reason, pacemaker will fence the node where it
happened. This is something that we unlikely want during an upgrade as
it will make things worse.

Once the cluster is stopped we can reenable stonith (if it was enabled
to start with) in the CIB while the cluster is shut down.

Closes-Bug: #1596065

Change-Id: I38dcacfabc44539aab1f7da85168fe44a1b43a51

Fix ceilometer auth url

Due to a recent change introduced in puppet ceilometer[1]
ceilometer auth type defaults to password type and v2
auth_url doesnt work with domain. This fixes the url to
not include suffix.

[1] https://review.openstack.org/#/c/320454/

Change-Id: Ibce716825c95e36a942203be2c67ea0da79503f2

Increase RabbitMQ maximum file descriptors.

We now allow 65536 open file descriptors to better reflect the
real-world settings of downstream consumers of TripleO.

Change-Id: Ib04ea6afb2da1a9101839d9d70bc8891d69700ec

Revert "Ceilometer composable roles for controller"

This reverts commit c48410a05ec0ffd11c717bcf350badc9e5f0e910.

We've discovered this patch never had passing CI due to a DLRN
build failure.

Change-Id: I546cb3e340d20701662affda7e28b586c58ba6de

Allow neutron_options customization for dashboard

By default only profile_support can be configured depending of the neutron
mechanism driver used (cisco_n1kv).
This patch allows to add more neutron options to enable lbaas, vpnaas, etc...

Change-Id: I3b3019890a146dd641d6efeb880c5de125d8d132

Revert "Pin puppet-lint-absolute_classname-check to 0.1.3"

Bug fixed:
https://github.com/voxpupuli/puppet-lint-absolute_classname-check/releases/tag/0.2.2

This reverts commit 61f31831bdafbbddc7b68606832723fe2516872a.

Change-Id: I05c2274cd35c187f9e6b2906ee6650cb443cb5fe

Merge "Ceilometer composable roles for controller"

Merge "Drop extraconfig for neutron-opencontrail.yaml"

Merge "Composable opencontrail plugin"

Merge "Drop extraconfig for neutron-nuage.yaml"

Merge "Update neutron ml2 class"

Ceilometer composable roles for controller

Depends-On: I4b5e93a108e80e91af26ffee454130ee18c0042e

Change-Id: I59c948ead475f449cb8d1b752f39b7eaaf056130

Pin puppet-lint-absolute_classname-check to 0.1.3

https://github.com/voxpupuli/puppet-lint-absolute_classname-check/issues/6

Change-Id: Ib0f1ce09b589630c6d09c8588246dafae2f2d387

Update neutron ml2 class

Class was moved in with other plugins, it's just an update.

Change-Id: I6436c5c36ac0081a720cb8a737a573b1246127a1
Depends-On: I35332df5800083f3373f5c37411534d11e9b4401

Merge "Heat upstream default policy.json works in devstack"

Split Heat pacemaker roles into separate services

In order for each service to operate independently when used with Pacemaker,
the roles needed to be separated.

Change-Id: I0440b7b119fc9b7bb3db8a2bf341c0c6db8d3d33
Depends-On: I3fa76562c13191884a53848ad5adcbc9f5a24f61

Merge "Composable roles within services - NTP - CephStorage"

Merge "Composable roles within services - NTP - ObjectStorage"

Heat upstream default policy.json works in devstack

It does not however work in TripleO, and the ping test is failing
with master Heat because of this. I tried submitting a revert[1] in
Heat, but they have functional tests, so it is not broken...

The only option left is using puppet-heat to override the broken
default.

[1] https://review.openstack.org/#/c/332206/

Change-Id: I2c674a2e01eeacd17d3158f378be2d6ceeedc309

Composable roles within services - NTP - ObjectStorage

Add NTP as a composable service for ObjectStorage.

Partially-implements: blueprint composable-services-within-roles

Change-Id: I6315abc7955c9dc1df9f211c1c5b7332b5e01d5a

Composable roles within services - NTP - CephStorage

Add NTP as a composable service for CephStorage.

Partially-implements: blueprint composable-services-within-roles

Change-Id: Iee89b261b3c45f596ad84549e25d47b8ca1cfbdb

Composable roles within services - NTP - Compute

Add NTP as a composable service for compute nodes.

Partially-implements: blueprint composable-services-within-roles

Change-Id: I53958a660830211dee731e0129f4ff018c0cd853

Merge "Composable roles within services - NTP"

Merge "Remove nova::db classes, moved to puppet-tripleo"

Merge "Remove ::nova::network::neutron, now in puppet-tripleo"

Merge "Change Aodh to use own backend"

Composable roles within services - NTP

Add NTP as a composable service.

Also, the scope of this patch is to serve as
basis for the blueprint related to the
composable services walkthrough.

This will be the use case documented.

The puppet manifests updated to remove the current
configuration for NTP is also added.

Change-Id: I1d3d6229d53f48c380e6a775a7c50de8715fe949

Parametrize and increase default of swift-proxy node_timeout

We've had problems uploading images on slow virtualized environments,
where the requests to swift would time out. The issue has been seen both
on undercloud and overcloud. The default timeout is 10 seconds, the
issue has been reportedly reproduced on undercloud with node_timeout as
high as 30 seconds, but not with 60 seconds yet. Set the default timeout
to 60 seconds on overcloud too.

Change-Id: I7d486cf4dc9768ddbf71ab71e92db8d2ef29978e
Closes-Bug: #1594725

Merge "Composable neutron nuage plugin"

Merge "set aodh auth_url explicitly"

Merge "Create Cinder backup pool in Ceph"

Merge "Enable firewall by default on the overcloud"

Merge "Allow sahara ports in firewall"