Consolidate use of $pacemaker_master in step 2

Aims at having the Pacemaker resources configuration happening
in a single if condition.

Change-Id: I497538510f80a356e876d476024671b787b77fc9

Enable VIPs via Pacemaker from step 2 instead of step 1

Change-Id: I724c341f148fedf725f3b3da778e491741b754ae

Merge "Environment which configures puppet pacemaker."

Merge "Add a directory for overcloud heat environments"

Move NTP and Memacache respectively into step 1 and step 2

NTP synchronization is moved to to step 1 where initial Pacemaker
configuration is performed.

Memacached is moved to step 2 to make sure it is up before the
OpenStack services are started.

Change-Id: I84121a687ee5ddb522239ecefd4d1d76c2f910b5

Ensure sync_db is consumed by Keystone and Cinder classes

Change-Id: Ia8cb04b214c71afc884647fb20be3cc1a309c194

Remove unused enable_pacemaker setting from templates

Use of Pacemaker is governed by the resource registry since
change Ibefb80d0d8f98404133e4c31cf078d729b64dac3

Change-Id: I2f1fa8d6d28ae009940be2c2c530066197aa543b

Configure HAProxy, Galera and MongoDB before start

As with RabbitMQ previously, we can hit the same race conditions between
config being written on all nodes vs. pacemaker starting the
services. Configuring the services at least one step earlier than
starting them will allow us to get rid of this race condition.

Change-Id: I78f47dfb82ca8609ed40f784d65ba92db3d411f3

Update to reflect puppet-pacemaker changes

Recently puppet-pacemaker has changed in a backward incompatible way, we
need to reflect the changes in TripleO.

This patch also addresses non-deterministic order between corosync
service and VIP creation.

Depends-On: Ia68fee38f99dba18badc07eb0adbc473cfcffdf3
Change-Id: Ia7fe14cfb1401be98b62afeed589bb9f1b8af761
Co-Authored-By: Yanis Guenane <yanis.guenane@enovance.com>

Set up corosync using hostnames rather than IPs

This ensures that the hosts in Corosync and in Pacemaker are the same,
to make our cluster setup compatible with the recommended architecture.

Change-Id: Id81f315768edd24b8978b8de7093e04904591ce2
Closes-Bug: #1447497
Depends-On: Idb9ad017ffb1048f38fedbd55cc974785f6b1c38

Fix RabbitMQ startup race

The Pacemaker resource agent might have attempted to start the
service when the rabbitmq-env.conf file wasn't written yet, making
it attempt to bind on 0.0.0.0

Co-Authored-By: Jason Guiditta <jguiditt@redhat.com>
Co-Authored-By: Jiri Stransky <jistr@redhat.com>
Change-Id: I081a0bfc6fc3943b8ade71799357022d29317d79

Environment which configures puppet pacemaker.

Change-Id: I314955708ff99a557da5a6d223b1f56bd51855d9

Add a directory for overcloud heat environments

This patch adds a new directory called environments which contains
custom Heat environment files that can be used to enable custom
overcloud features. As an initial example a puppet-ceph-devel.yaml
environment has been added which can be used to spin up a small Ceph
cluster for dev/testing.

This directory may be useful for collecting other
feature related Heat environment settings in the future as well.
Things like isolated network settings, etc.

Change-Id: Ia6998ae05d2363384d2a616a31d5795c8b2d85d5

Merge "Ensure haproxy is not enabled by puppet-tripleo when EnablePacemaker"

Merge "Makes sure galera can handle the connections"

Makes sure galera can handle the connections

Increases the max_connections since this is currently set to 151.
This causes problems in a baremetal environment with multiple CPUs.
A related change is @ https://review.openstack.org/#/c/183046/2
for haproxy. There is also a bug report at

https://bugzilla.redhat.com/show_bug.cgi?id=1218322

Change-Id: I9b4690191616cc04c4edc7b2402bd9ec54a7d17d

Merge "Use pacemaker::resource::service instead of ::systemd"

Ensure haproxy is not enabled by puppet-tripleo when EnablePacemaker

Change-Id: Icfe70de72eb2cf09fe2d00d9ae49baebc79e1886

Merge "Create split out neutron networks via Heat."

Merge "Add Galera as a Pacemaker resource when EnablePacemaker"

Add Galera as a Pacemaker resource when EnablePacemaker

This commit aims to support the creation of the galera cluster via
Pacemaker. With this commit in, three use-cases will be supported.

 * Non HA setup / Non Pacemaker setup : The deployment will take place
as it is currently the case in f20puppet-nonha. Nothing changes.

 * Non HA setup / Pacemaker setup : Even though it is a non ha setup,
galera cluster via pacemaker  will be deployed with a cluster nbr of 1.

 * HA setup / Non Pacemaker setup : N/A

 * HA setup / Pacemaker setup : It is assumed that HA setup will
always be with pacemaker.  So in this situation pacemaker will deploy a
cluster of 3 galera master nodes.

Depends-On: I7aed9acec11486e0f4f67e4d522727476c767d83
Change-Id: If0c37a86fa8b5aa6d452129bccf7341a3a3ba667

Use optimized config for RabbitMQ cluster

Use some optimized configuration settings for RabbitMQ when
clustered. Data is ported from Astapor.

Change-Id: If54aff5654dbe75e68197588be12cb3995c77ec7

Use pacemaker::resource::service instead of ::systemd

The puppet-pacemaker module realizes some abstraction for the
different service types in ::service already.

Change-Id: Icd897e18fda01b1bf4722a975c991e26341ac129
Closes-Bug: 1449988

Puppet: Split out controller pacemaker manifest

This patch adds support for using the Heat resource registry
so that end users can enable pacemaker. Using this approach
allows us to isolate all of the pacemaker logic for the
controller in a single template rather than use conditionals
for every service that must support it.

Change-Id: Ibefb80d0d8f98404133e4c31cf078d729b64dac3

post-deploy hook for rhel registration

Adds a potential usage of the post-deploy hooks to register a server
with RHN or a satellite.

Note this requires some additional parameters, which can be specified in
environment_rhel_reg.yaml, and this must be passed into the call to heat
via another -e parameter.  An alternative may be to have a global
extraconfig_env.yaml at the top level, which the scripts always pass, or
to use the global environment (/etc/heat/environment.d/default.yaml) on
the seed.

Co-Authored-By: James Slagle <jslagle@redhat.com>
Change-Id: Ia6fd270122cbc2e51beb672654e5e1ebd3bd2966

Create split out neutron networks via Heat.

This patch adds a new abstraction for network creation
within Heat. This (optional) set of templates may be disabled
if you wish to create Neutron networks for the undercloud
via Heat templates... instead of using os-cloud-config
JSON to do so. Creating networks with Heat has the benefit
of being parameter driven so that users can quickly
enable networks using the resource registry and parameters.

There are 5 networks to start with which are roughly modeled
around networks an Overcloud user might want to use to isolate
their traffic. The intent is to make these opt-in and
configurable for end users.

The networks.yaml template can be used to create all of the
networks using parameters in the resource registry.

Change-Id: I5f2b3356378eb263d90d428cc83c7f5b141957e1

Merge "Add MongoDB as a Pacemaker resource when EnablePacemaker"

Merge "puppet: install Horizon on overcloud-controller"

Reuse the undercloud service passwords as db passwords.

We need to stop using "unset" as the password for all databases. Ideally we
would add a "XxxxDSN" parameter (e.g. KeystoneDSN) but to remain consistent
with the overcloud for now we reuse the service passwords

Change-Id: I35c4fa3478eea92f81aa381fd2ab5fac5aae849f

Merge "Move Ceph OSD data path configuration into static ceph.yaml file"

Add MongoDB as a Pacemaker resource when EnablePacemaker

This commit allows one to configure MongoDB as a pacemaker resource when
EnablePacemaker is set to true

Change-Id: Iedfba3eb851442d0ca3b8c0a7163a63285ab6071

Merge "Add support for Glance RBD backend"

Add support for Glance RBD backend

This patch adds support for a new GlanceBackend setting
which can be set to one of swift, rbd, or file to control
which Glance backend is configured for use by default.

Change-Id: Id6a3fbc3477e85e8e2446e3dc13d424f9535d0ff

Firstboot rsync for development purposes

Could be used to e.g. make changes to the puppet modules on the fly
without the need to rebuild images. Documented in the template
description.

Change-Id: I6a1fef20d4f4afa4bedac5ea520949697793f0ed

Revert "Keystone domain for Heat"

This reverts commit 7313930c22b9f18d67e630de084ffcc6fad5ebe7.

Seeing errors when trying to create the keystone admin
role with packages. (ImportError: No module named os_client_config)

Change-Id: I78796598ccb8d2ffd6bfca85dce7d18dc0fd768e
Related-bug: #1450786

Reuse the various service passwords as db passwords.

We need to stop using "unset" as the password for all databases. Ideally we
would add a "XxxxDSN" parameter (e.g. KeystoneDSN) but this wont work because
we don't know the VirtualIP to pass in.

Until we can come up with a better solution we should at least get rid of
the "unset" passwords.

Change-Id: I31f45912fa9c116ccdee010a2c5d91ea43a25671
Depends-On: I8ffe1eb481f615b0fbe127cd8107f1e70794c839

Merge "Keystone domain for Heat"

Merge "Allow deployer to choose Ceilometer backend"

Merge "Disable dhcp_domain in Nova for the overcloud as well"

Merge "Remove hardcoded references to .novalocal in hostnames"

Merge "Add hooks for extra post-deployment config"

Merge "Add RabbitMQ as a Pacemaker resource when EnablePacemaker"

Allow deployer to choose Ceilometer backend

Ceilometer can use different backends. A recent change moved backend
support for Ceilometer from MySQL to MongoDB. This commit introduce a
greater flexibility, letting the deployer choose wheter MySQL or MongoDB
should be used as a backend for Ceilometer.

Change-Id: I0d5bfb0763cbcee234df7ab13574d866743d5ddf

Merge "Configures haproxy as a Pacemaker resource"

Merge "Switch VIP management from Keepalived to Pacemaker"

Add RabbitMQ as a Pacemaker resource when EnablePacemaker

Change-Id: I43a74c1db324144d33e96a94cb718db30e0fd243

Disable dhcp_domain in Nova for the overcloud as well

The overcloud networking is managed by Neutron so we do not want
Nova to append its default domain part to hostnames.

Change-Id: Ic1edda158bf0579ed34455ad27db8ca444d26b85

Remove hardcoded references to .novalocal in hostnames

Remove references to the .novalocal domain part in the hosts file.

Change-Id: Idf14907adaf2f35440b6f28870fe18434eadd1be
Depends-On: Iadfdf4120c4d1c9b6976321753957fd4eecf301c

Merge "Make all default values match overcloud defaults"

Configures haproxy as a Pacemaker resource

Change-Id: I6bf5ada5a5298f4079594f3cc8b01ac0ef85876e

Switch VIP management from Keepalived to Pacemaker

Change-Id: I45511569fda6b00ca35b1e590537a29271e56ce0
Depends-On: I98b9b3dbc48009ce255d964ac580e1a31f279f1e

puppet: install Horizon on overcloud-controller

Install OpenStack Dashboad (Horizon) on the Overcloud Controller with
Puppet.

Co-Authored-By: Giulio Fidente <gfidente@redhat.com>
Depends-On: If9b12d373e407be8be8428d77145f131eb450e88
Change-Id: I254e895014f58a51dade3dcdc63eabbb5dc458ac

Separate the network configuration per flavor.

This change allows a different network config for each family of hosts. For
instance, the controller may have a different network configuration than a
block storage node. This change adds a declaration for each family in the
overcloud-resource-registry.yaml & overcloud-resource-registry-puppet.yaml.

Change-Id: I083df7ebbb535f97d8ddec2ac0e06281c55986cd

Move Ceph OSD data path configuration into static ceph.yaml file

Change-Id: I577dc98cdf3648c9eb77bd084ae18273a52b22f9

Add hooks for extra post-deployment config

Adds optional hooks which can run operator defined additional config on
nodes after the application deployment has completed.

Change-Id: I3f99e648efad82ce2cd51e2d5168c716f0cee8fe

Enable passing optional first-boot user-data

Currently all the OS::Nova::Server resource created don't pass any
user-data.  It's possible to pass user-data as well as using heat
SoftwareConfig/SoftwareDeployment resources, and this can be useful
when you have simple "first boot" tasks which are possible either via
cloud-init, or via simple run-once scripts.

This enables passing such data by implementing a new provider resource
OS::TripleO::NodeUserData, which defaults to passing an empty mime
archive (thus it's a no-op).  An example of non no-op usage is also
provided.

Change-Id: Id0caba69768630e3a10439ba1fc2547a609c0cfe

Merge "Set EnablePacemaker == false be default"

Set EnablePacemaker == false be default

Pacemaker is a new feature and should probably be disabled
by default.

Change-Id: I840d08c9e0563aeb7128eb2b21929612b7a5bf7a

Keystone domain for Heat

This patch adds support for configuring Keystone domain for Heat
via heat-keystone-setup-domain script. It should be reverted
as soon as Keystone v3 is fully functional.

Change-Id: I7397f49fac17c30262d02b70021d613aef5c6cad

Parameter to enable/disable controller swift store

Adds a new ControllerEnableSwiftStorage parameter that
can be used to enable/disable use of the contoller node
as a Swift storage node.

Change-Id: Ic54144f4a46a671818c2f12e419cfa619b0dc1f9

Add option to enable ceph storage on controller

This patch adds a new ControllerEnableCephStorage option
which can be used to install and configure Ceph storage
(OSD) on the controller node.

The default is to have this disabled by default (this is
probably a more production like setting).

The motivation for this change is to help facilitate CI
jobs which actually use Ceph. Right now we have an issue
where once the Heat stack finishes Ceph is configured
and ready, but Cinder volume (required by our CI
devtest_overcloud.sh test) may or may not have had
enough time to recognize the amount of storage
on the remote Ceph storage nodes. Waiting another
periodic cycle for Cinder volume to recognize the
actual amount of storage on the remote OSD nodes
would work but there isn't a good way to do this
ATM. The right solution here is probably to
implement Heat breakpoints in our CI. As we haven't quite
landed that change, another option is to simply
make the controller node also be a Ceph storage node.
Since this runs as "step 2" within the controller
it ensures that the OSD will be available and thus
Cinder volume will register the correct amount of
storage on startup.

Enabling this feature also matches what we do with Swift
storage on the Controller (although we should provide
an option to actually disable this as well).

Change-Id: Ic47d028591edbaab83a52d7f38283d7805b63042

Merge "Perform basic setup of Pacemaker cluster using puppet-pacemaker"

Merge "Refresh description for swift/cinder/ceph storage nodes"

Merge "Add support for Redis configuration"

Perform basic setup of Pacemaker cluster using puppet-pacemaker

Depends-On: Ia1bbf53c674e34ba7c70249895b106ec0af3c249
Change-Id: Ifa9f579d26a3cba9f8705226984c7b987ae0ad1c

Refresh description for swift/cinder/ceph storage nodes

These appear in the Tuskar UI and CLI so are worth keeping
consistent with those of the controller/compute nodes

Change-Id: I7cdd3a67d6f190f43e279fad0c4bf5f409d1e161

Add support for Redis configuration

Add support for Redis  configuration on the overcloud controller role.

Change-Id: I917ff1e7c0abf9d76b9939a97978e858268deac2
Depends-On: I80a6c284af9eceb6b669a03c5d93256261523331

puppet: add missing ::glance include on controller

On Controller node, we also need to include ::glance if we want to have
common Glance bits (packaging included).
This is a Puppet best practice.

Change-Id: I967c06b2c78d8f3aa5fa984b518d34c813426a2e

Merge "Do not downcase IP addresses"

Merge "Perform basic setup of pacemaker cluster on controllers"

puppet: Ceilometer use MongoDB datastore backend

This patch configure Ceilometer to use MongoDB backend.

Change-Id: I22be0e22e7a3991ebd2d3aa7d14c518418a2458a

Fix MongoDB setup on nonha setup

Currently a replset parameter is set in mongodb.conf no matter if we are
in a ha or nonha setup. This install fine, but on a nonha setup it prevents
any program from using MongoDB, since no replset has been initialized. It
generates the following error when a program tries to use it :

not master and slaveOk=false

To prevent this issue a replicatset is initialized in both ha and nonha
setup, this way if another MongoDB node is added to the pool, it will be
able to attach automatically

Change-Id: I65e3f1ad35cb0cd31f6771444a0cffdf7569222f

Merge "Make memcached bind on ctlplane instead of 0.0.0.0"

Do not downcase IP addresses

Change-Id: I0655b7cae2c436944833894bf9837877b3a69878

Merge "puppet: implement MongoDB on controller nodes"

Merge "Make rabbitmq bind on ctlplane instead of 0.0.0.0"

puppet: implement MongoDB on controller nodes

This patch aims to configure MongoDB server on controller nodes with
Puppet.
It also create a default replicaset for Ceilometer, so MongoDB can be
highly available when multiple controllers are run.

Change-Id: I3c1ff06ebc3c9dac44fc790caaea711d0eba4bb7

Perform basic setup of pacemaker cluster on controllers

Change-Id: Ia2e4eae619ca95c0f417f713676732eb4f01304b
Depends-On: I9563eec0a2266deb2ebef2e3d76ae89d39b2be29

MariaDB bind on correct address

Despite passing bind-address for MariaDB in overcloud_controller.pp
correctly, it was always trying to bind on 0.0.0.0. The problem is
caused by Galera's config file (we install Galera into the image even
though we don't use it yet). Galera's default config file contains
override of the bind-address value to 0.0.0.0, and the setting from
galera.cnf took precendence over what was in server.cnf.

The mariadb-galera-server package assumes that the main config happens
in galera.cnf and it ships an almost empty server.cnf. We now have an
EnableGalera param, when it's set to true the mysql module will manage
galera.cnf instead of server.cnf, overriding the default values from
galera.cnf and fixing the issue.

Change-Id: I7c2fd41d41dcf5eb4ee8b1dbd74d60cc2cabeed9
Closes-Bug: #1442256

Merge "Wire in list of controller nodes as memcache_servers for Swift proxy"

Make all default values match overcloud defaults

It's very confusing for them to be different, especially in the case of
comparing Tuskar vs non-Tuskar deployments where the parameters are read
from different files.

Note: NeutronPhysicalBridge is named differently in the overcloud
template (HypervisorNeutronPhysicalBridge). This is the only parameter
checked that isn't named exactly the same, hopefully there aren't any
others.

(Checked controller, compute, ceph, cinder, and swift for both puppet
and non-puppet templates)

Change-Id: I48ce1eb40d2d080c589ce619c50eddff17efe882

Pass in libvirt_rbd_secret_key for nova compute

Passing the key explicitly into nova::compute::rbd means that Puppet
will not attempt to fetch the key using `ceph auth get-key <keyring>`,
having these effects:

* One reason for compute node to have access to the client.admin key is
  gone (in current implementation it does have access to the key, but
  this change is a step towards removing it).

* Ceph cluster doesn't have to be running at the time when Puppet runs
  on compute node, meaning we don't have to serialize things more than
  we do now.

Also adding the ComputeCephDeployment as a dependency of
ComputePostDeployment, otherwise the hiera file it creates might be
created *after* Puppet configuration happens on compute nodes, and the
values it provides would be missing during the Puppet run on the compute
nodes.

Change-Id: Id3166e6d5f01d18ec8a5033398bb511f4321a5e8
Depends-On: I70da06159c0d3c6fa204b5f7a468909ffab4d633
Partial-Bug: #1439949

Make rabbitmq bind on ctlplane instead of 0.0.0.0

Change-Id: I353cffc13f56b54ce2d2aeb1468b9a7c51765d7c

Make memcached bind on ctlplane instead of 0.0.0.0

Change-Id: I06f7066bf9eacf3ef0f5d73c0cfa65eaf4f74cff

Wire in list of controller nodes as memcache_servers for Swift proxy

Change-Id: Id193f8c13e3ad3e05bd884be5ba65621b9369d0e

Merge "Remove enforced deps on RabbitMQ resources before config"

Merge "Update descriptions comments for Ceph params"

Remove enforced deps on RabbitMQ resources before config

This should have been removed with change
I1bb8ee15d361638d77c5df7f8c03561c34f4c88f

Change-Id: I20d4099aabe5ae9f89db45fd3db585067cab01f5

Merge "Provide a way to know the boostrap_nodeid IP"

Remove deprecated ceph-source.yaml

Ceph will not be supported in the (already) deprecated with-mergepy
templates.

Change-Id: If6482b4ac03899ea552442edf01ebfeb4fb97a7a

Update descriptions comments for Ceph params

When trying out Ceph functionally the CephClusterFSID parameter
must be a UUID.

Additionally, the MonKey and AdminKey parameters should be
generated via ceph-authtool (or equivalently generated) to
ensure they work properly with the Ceph configuration.

Change-Id: I0c327843ef225d330d1c668f53324973c78d3505

Provide a way to know the boostrap_nodeid IP

Currently it is possible to know what is the hostname of the boostrap
nodeid but not its IP. Since depending on the use case the use of the IP
might be needed, a way to have access to this information should be
provided.

Change-Id: I9d0a7ee7de2088ddb87e0d8a8ae2b3ac75b0e78d

Merge "Restructure Ceph/Puppet params to reflect changes in puppet-ceph"

Merge "puppet: wire in osfamily hieradata support"

puppet: wire in osfamily hieradata support

This updates all of the puppet roles to use an optional
osfamily hieradata file which can be used to provide
distro specific settings.

Also, updates the controller role to make use of this
new file for setting the rabbitmq package_provider
parameter.

Change-Id: I46417db51b87b82bf276dfcef5647a90c37fb07d

puppet: add debug mode for OpenStack services

Propagate the top-level Debug parameter wherever it makes sense.

Swift doesn't have this kind of debug setting, it only allows to
configure log levels, so we'll need a different approach there.

Change-Id: I15332315a2fbaeaf924cde4e748fb0e064a778b7

Merge "Set all RabbitMQ queues as mirrored when clustered"

Merge "Ensure all Rabbit params are propagated to interested nodes."

Merge "lb: Allow multiple backend"

Merge "Implement mongo_node_ips hiera key"