Use optimized config for RabbitMQ cluster

Use some optimized configuration settings for RabbitMQ when
clustered. Data is ported from Astapor.

Change-Id: If54aff5654dbe75e68197588be12cb3995c77ec7

Puppet: Split out controller pacemaker manifest

This patch adds support for using the Heat resource registry
so that end users can enable pacemaker. Using this approach
allows us to isolate all of the pacemaker logic for the
controller in a single template rather than use conditionals
for every service that must support it.

Change-Id: Ibefb80d0d8f98404133e4c31cf078d729b64dac3

Merge "Add MongoDB as a Pacemaker resource when EnablePacemaker"

Merge "puppet: install Horizon on overcloud-controller"

Merge "Move Ceph OSD data path configuration into static ceph.yaml file"

Add MongoDB as a Pacemaker resource when EnablePacemaker

This commit allows one to configure MongoDB as a pacemaker resource when
EnablePacemaker is set to true

Change-Id: Iedfba3eb851442d0ca3b8c0a7163a63285ab6071

Merge "Add support for Glance RBD backend"

Add support for Glance RBD backend

This patch adds support for a new GlanceBackend setting
which can be set to one of swift, rbd, or file to control
which Glance backend is configured for use by default.

Change-Id: Id6a3fbc3477e85e8e2446e3dc13d424f9535d0ff

Revert "Keystone domain for Heat"

This reverts commit 7313930c22b9f18d67e630de084ffcc6fad5ebe7.

Seeing errors when trying to create the keystone admin
role with packages. (ImportError: No module named os_client_config)

Change-Id: I78796598ccb8d2ffd6bfca85dce7d18dc0fd768e
Related-bug: #1450786

Merge "Keystone domain for Heat"

Merge "Allow deployer to choose Ceilometer backend"

Merge "Disable dhcp_domain in Nova for the overcloud as well"

Merge "Remove hardcoded references to .novalocal in hostnames"

Merge "Add hooks for extra post-deployment config"

Merge "Add RabbitMQ as a Pacemaker resource when EnablePacemaker"

Allow deployer to choose Ceilometer backend

Ceilometer can use different backends. A recent change moved backend
support for Ceilometer from MySQL to MongoDB. This commit introduce a
greater flexibility, letting the deployer choose wheter MySQL or MongoDB
should be used as a backend for Ceilometer.

Change-Id: I0d5bfb0763cbcee234df7ab13574d866743d5ddf

Merge "Configures haproxy as a Pacemaker resource"

Merge "Switch VIP management from Keepalived to Pacemaker"

Add RabbitMQ as a Pacemaker resource when EnablePacemaker

Change-Id: I43a74c1db324144d33e96a94cb718db30e0fd243

Disable dhcp_domain in Nova for the overcloud as well

The overcloud networking is managed by Neutron so we do not want
Nova to append its default domain part to hostnames.

Change-Id: Ic1edda158bf0579ed34455ad27db8ca444d26b85

Remove hardcoded references to .novalocal in hostnames

Remove references to the .novalocal domain part in the hosts file.

Change-Id: Idf14907adaf2f35440b6f28870fe18434eadd1be
Depends-On: Iadfdf4120c4d1c9b6976321753957fd4eecf301c

Merge "Make all default values match overcloud defaults"

Configures haproxy as a Pacemaker resource

Change-Id: I6bf5ada5a5298f4079594f3cc8b01ac0ef85876e

Switch VIP management from Keepalived to Pacemaker

Change-Id: I45511569fda6b00ca35b1e590537a29271e56ce0
Depends-On: I98b9b3dbc48009ce255d964ac580e1a31f279f1e

puppet: install Horizon on overcloud-controller

Install OpenStack Dashboad (Horizon) on the Overcloud Controller with
Puppet.

Co-Authored-By: Giulio Fidente <gfidente@redhat.com>
Depends-On: If9b12d373e407be8be8428d77145f131eb450e88
Change-Id: I254e895014f58a51dade3dcdc63eabbb5dc458ac

Separate the network configuration per flavor.

This change allows a different network config for each family of hosts. For
instance, the controller may have a different network configuration than a
block storage node. This change adds a declaration for each family in the
overcloud-resource-registry.yaml & overcloud-resource-registry-puppet.yaml.

Change-Id: I083df7ebbb535f97d8ddec2ac0e06281c55986cd

Move Ceph OSD data path configuration into static ceph.yaml file

Change-Id: I577dc98cdf3648c9eb77bd084ae18273a52b22f9

Add hooks for extra post-deployment config

Adds optional hooks which can run operator defined additional config on
nodes after the application deployment has completed.

Change-Id: I3f99e648efad82ce2cd51e2d5168c716f0cee8fe

Enable passing optional first-boot user-data

Currently all the OS::Nova::Server resource created don't pass any
user-data.  It's possible to pass user-data as well as using heat
SoftwareConfig/SoftwareDeployment resources, and this can be useful
when you have simple "first boot" tasks which are possible either via
cloud-init, or via simple run-once scripts.

This enables passing such data by implementing a new provider resource
OS::TripleO::NodeUserData, which defaults to passing an empty mime
archive (thus it's a no-op).  An example of non no-op usage is also
provided.

Change-Id: Id0caba69768630e3a10439ba1fc2547a609c0cfe

Merge "Set EnablePacemaker == false be default"

Set EnablePacemaker == false be default

Pacemaker is a new feature and should probably be disabled
by default.

Change-Id: I840d08c9e0563aeb7128eb2b21929612b7a5bf7a

Keystone domain for Heat

This patch adds support for configuring Keystone domain for Heat
via heat-keystone-setup-domain script. It should be reverted
as soon as Keystone v3 is fully functional.

Change-Id: I7397f49fac17c30262d02b70021d613aef5c6cad

Parameter to enable/disable controller swift store

Adds a new ControllerEnableSwiftStorage parameter that
can be used to enable/disable use of the contoller node
as a Swift storage node.

Change-Id: Ic54144f4a46a671818c2f12e419cfa619b0dc1f9

Add option to enable ceph storage on controller

This patch adds a new ControllerEnableCephStorage option
which can be used to install and configure Ceph storage
(OSD) on the controller node.

The default is to have this disabled by default (this is
probably a more production like setting).

The motivation for this change is to help facilitate CI
jobs which actually use Ceph. Right now we have an issue
where once the Heat stack finishes Ceph is configured
and ready, but Cinder volume (required by our CI
devtest_overcloud.sh test) may or may not have had
enough time to recognize the amount of storage
on the remote Ceph storage nodes. Waiting another
periodic cycle for Cinder volume to recognize the
actual amount of storage on the remote OSD nodes
would work but there isn't a good way to do this
ATM. The right solution here is probably to
implement Heat breakpoints in our CI. As we haven't quite
landed that change, another option is to simply
make the controller node also be a Ceph storage node.
Since this runs as "step 2" within the controller
it ensures that the OSD will be available and thus
Cinder volume will register the correct amount of
storage on startup.

Enabling this feature also matches what we do with Swift
storage on the Controller (although we should provide
an option to actually disable this as well).

Change-Id: Ic47d028591edbaab83a52d7f38283d7805b63042

Merge "Perform basic setup of Pacemaker cluster using puppet-pacemaker"

Merge "Refresh description for swift/cinder/ceph storage nodes"

Merge "Add support for Redis configuration"

Perform basic setup of Pacemaker cluster using puppet-pacemaker

Depends-On: Ia1bbf53c674e34ba7c70249895b106ec0af3c249
Change-Id: Ifa9f579d26a3cba9f8705226984c7b987ae0ad1c

Refresh description for swift/cinder/ceph storage nodes

These appear in the Tuskar UI and CLI so are worth keeping
consistent with those of the controller/compute nodes

Change-Id: I7cdd3a67d6f190f43e279fad0c4bf5f409d1e161

Add support for Redis configuration

Add support for Redis  configuration on the overcloud controller role.

Change-Id: I917ff1e7c0abf9d76b9939a97978e858268deac2
Depends-On: I80a6c284af9eceb6b669a03c5d93256261523331

puppet: add missing ::glance include on controller

On Controller node, we also need to include ::glance if we want to have
common Glance bits (packaging included).
This is a Puppet best practice.

Change-Id: I967c06b2c78d8f3aa5fa984b518d34c813426a2e

Merge "Do not downcase IP addresses"

Merge "Perform basic setup of pacemaker cluster on controllers"

puppet: Ceilometer use MongoDB datastore backend

This patch configure Ceilometer to use MongoDB backend.

Change-Id: I22be0e22e7a3991ebd2d3aa7d14c518418a2458a

Fix MongoDB setup on nonha setup

Currently a replset parameter is set in mongodb.conf no matter if we are
in a ha or nonha setup. This install fine, but on a nonha setup it prevents
any program from using MongoDB, since no replset has been initialized. It
generates the following error when a program tries to use it :

not master and slaveOk=false

To prevent this issue a replicatset is initialized in both ha and nonha
setup, this way if another MongoDB node is added to the pool, it will be
able to attach automatically

Change-Id: I65e3f1ad35cb0cd31f6771444a0cffdf7569222f

Merge "Make memcached bind on ctlplane instead of 0.0.0.0"

Do not downcase IP addresses

Change-Id: I0655b7cae2c436944833894bf9837877b3a69878

Merge "puppet: implement MongoDB on controller nodes"

Merge "Make rabbitmq bind on ctlplane instead of 0.0.0.0"

puppet: implement MongoDB on controller nodes

This patch aims to configure MongoDB server on controller nodes with
Puppet.
It also create a default replicaset for Ceilometer, so MongoDB can be
highly available when multiple controllers are run.

Change-Id: I3c1ff06ebc3c9dac44fc790caaea711d0eba4bb7

Perform basic setup of pacemaker cluster on controllers

Change-Id: Ia2e4eae619ca95c0f417f713676732eb4f01304b
Depends-On: I9563eec0a2266deb2ebef2e3d76ae89d39b2be29

MariaDB bind on correct address

Despite passing bind-address for MariaDB in overcloud_controller.pp
correctly, it was always trying to bind on 0.0.0.0. The problem is
caused by Galera's config file (we install Galera into the image even
though we don't use it yet). Galera's default config file contains
override of the bind-address value to 0.0.0.0, and the setting from
galera.cnf took precendence over what was in server.cnf.

The mariadb-galera-server package assumes that the main config happens
in galera.cnf and it ships an almost empty server.cnf. We now have an
EnableGalera param, when it's set to true the mysql module will manage
galera.cnf instead of server.cnf, overriding the default values from
galera.cnf and fixing the issue.

Change-Id: I7c2fd41d41dcf5eb4ee8b1dbd74d60cc2cabeed9
Closes-Bug: #1442256

Merge "Wire in list of controller nodes as memcache_servers for Swift proxy"

Make all default values match overcloud defaults

It's very confusing for them to be different, especially in the case of
comparing Tuskar vs non-Tuskar deployments where the parameters are read
from different files.

Note: NeutronPhysicalBridge is named differently in the overcloud
template (HypervisorNeutronPhysicalBridge). This is the only parameter
checked that isn't named exactly the same, hopefully there aren't any
others.

(Checked controller, compute, ceph, cinder, and swift for both puppet
and non-puppet templates)

Change-Id: I48ce1eb40d2d080c589ce619c50eddff17efe882

Pass in libvirt_rbd_secret_key for nova compute

Passing the key explicitly into nova::compute::rbd means that Puppet
will not attempt to fetch the key using `ceph auth get-key <keyring>`,
having these effects:

* One reason for compute node to have access to the client.admin key is
  gone (in current implementation it does have access to the key, but
  this change is a step towards removing it).

* Ceph cluster doesn't have to be running at the time when Puppet runs
  on compute node, meaning we don't have to serialize things more than
  we do now.

Also adding the ComputeCephDeployment as a dependency of
ComputePostDeployment, otherwise the hiera file it creates might be
created *after* Puppet configuration happens on compute nodes, and the
values it provides would be missing during the Puppet run on the compute
nodes.

Change-Id: Id3166e6d5f01d18ec8a5033398bb511f4321a5e8
Depends-On: I70da06159c0d3c6fa204b5f7a468909ffab4d633
Partial-Bug: #1439949

Make rabbitmq bind on ctlplane instead of 0.0.0.0

Change-Id: I353cffc13f56b54ce2d2aeb1468b9a7c51765d7c

Make memcached bind on ctlplane instead of 0.0.0.0

Change-Id: I06f7066bf9eacf3ef0f5d73c0cfa65eaf4f74cff

Wire in list of controller nodes as memcache_servers for Swift proxy

Change-Id: Id193f8c13e3ad3e05bd884be5ba65621b9369d0e

Merge "Remove enforced deps on RabbitMQ resources before config"

Merge "Update descriptions comments for Ceph params"

Remove enforced deps on RabbitMQ resources before config

This should have been removed with change
I1bb8ee15d361638d77c5df7f8c03561c34f4c88f

Change-Id: I20d4099aabe5ae9f89db45fd3db585067cab01f5

Merge "Provide a way to know the boostrap_nodeid IP"

Remove deprecated ceph-source.yaml

Ceph will not be supported in the (already) deprecated with-mergepy
templates.

Change-Id: If6482b4ac03899ea552442edf01ebfeb4fb97a7a

Update descriptions comments for Ceph params

When trying out Ceph functionally the CephClusterFSID parameter
must be a UUID.

Additionally, the MonKey and AdminKey parameters should be
generated via ceph-authtool (or equivalently generated) to
ensure they work properly with the Ceph configuration.

Change-Id: I0c327843ef225d330d1c668f53324973c78d3505

Provide a way to know the boostrap_nodeid IP

Currently it is possible to know what is the hostname of the boostrap
nodeid but not its IP. Since depending on the use case the use of the IP
might be needed, a way to have access to this information should be
provided.

Change-Id: I9d0a7ee7de2088ddb87e0d8a8ae2b3ac75b0e78d

Merge "Restructure Ceph/Puppet params to reflect changes in puppet-ceph"

Merge "puppet: wire in osfamily hieradata support"

puppet: wire in osfamily hieradata support

This updates all of the puppet roles to use an optional
osfamily hieradata file which can be used to provide
distro specific settings.

Also, updates the controller role to make use of this
new file for setting the rabbitmq package_provider
parameter.

Change-Id: I46417db51b87b82bf276dfcef5647a90c37fb07d

puppet: add debug mode for OpenStack services

Propagate the top-level Debug parameter wherever it makes sense.

Swift doesn't have this kind of debug setting, it only allows to
configure log levels, so we'll need a different approach there.

Change-Id: I15332315a2fbaeaf924cde4e748fb0e064a778b7

Merge "Set all RabbitMQ queues as mirrored when clustered"

Merge "Ensure all Rabbit params are propagated to interested nodes."

Merge "lb: Allow multiple backend"

Merge "Implement mongo_node_ips hiera key"

Merge "Refactor allNodesConfig"

Merge "puppet+devtest: make compute nodes reachable"

lb: Allow multiple backend

Currently tripleo::loadbalancer allow a controller to have only itself
as a backend for a service, no matter the number of controller nodes.
This patch fixes that using all controller nodes available.

Change-Id: Ic8fc022b84850c669b19d37da7f275d9c811e694
Depends-On: I2a46c250bc3325eef9c3128cac2ab45c88b1ae75

puppet: correct cinder enabled_backends format

This resolves a formatting issue with the Cinder enabled_backends
config file setting. Previously we would potentially construct
an array with an undef value at the end if iscsi was enabled
but ceph was not (this is the case for our current CI job).
When an array formatted like ['tripleo_iscsi', undef] is then
passed to join() in puppet-cinder to construct a string it leaves
us with an extra ',' on the end of the string. This causes
problems in that cinder-volume loads an extra (system default)
cinder volume process which is not expected.

Because Fedora uses LIO as a default it was causing about half
of our CI runs to fail if the tgtadm cinder-volume process
wasn't being chosen by the scheduler.

Closes-bug: #1437708

Change-Id: I3383012cb43792f334fdf789dc13147a3cb5ad63

Restructure Ceph/Puppet params to reflect changes in puppet-ceph

A change [1] in puppet-ceph offers more flexibility but breaks
backwards so we had to update our composition layer as well; we gain
control of the cephx keyring in the template though.

1. Ie6adbd601388ab52c37037004bd0ceef9fc41942

Change-Id: Ia8196849afce2969daa608828cec81ebe3ac96e1

puppet+devtest: make compute nodes reachable

Compute nodes run libvirt, which automatically creates a default network
which has the same address space (192.168.122.*) as the libvirt default
network on the host machine where devtest is running. This overlap
causes that when a compute node wants to send a packet to the host
machine (192.168.122.1) it gets incorrectly routed through the compute
node's own virbr0 instead of br-ex. The current solution does not seem
to be enough because libvirt gets started and creates the default
network before Puppet is triggered on compute nodes. Making sure the
libvirt default network is destroyed on the compute node fixes the
issue.

We don't have any puppet modules in OPM that would deal with libvirt
networks and it's probably not worth exploring and adding one because of
this small issue (i don't expect another use case of managing libvirt
networks directly), so i'm using an exec with proper idempotency
check.

Change-Id: Icde12aa204ed1f7fa35b0525875ce07db34dc42c
Closes-Bug: #1436822

Implement mongo_node_ips hiera key

We need a list of hosts where MongoDB is supposed to run (as a list of
IP addresses, not names) to implement MongoDB support in overcloud.

Change-Id: I4b80f13be7e50630314d0642fa32b7763b6a2921

Refactor allNodesConfig

* Create hiera file 'all_nodes' instead of 'rabbit' -- we'll want
  allNodesConfig to create keys for more services (e.g. mongo_node_ips)
  and it's not necessary to create a separate hiera file for each.

* Rename rabbit_nodes to mongo_node_names -- we'll have more node lists,
  some services will need hostnames, some services will need IPs, some
  might need both, so we shouldn't have ambiguity in the hiera key
  names.

Change-Id: If80f9c9b2849ae893e1ab78f1c4d246a2468665c

Set all RabbitMQ queues as mirrored when clustered

Purpose of this change is to enable on the server
side the ha-mode policy for all queues when nodes
are clustered.

Change-Id: I16e3d375aabac9dbcdc198c71069086951e40fc0

Add support for Neutron l3_ha option in puppet templates

With this change we wire the NeutronL3HA parameter to the puppet
class, where needed.

Change-Id: I37b3850f71885a93859b5e51925df379616fc6ab

Ensure all Rabbit params are propagated to interested nodes.

Change-Id: I1bb8ee15d361638d77c5df7f8c03561c34f4c88f

Merge "controller-puppet: Honor MysqlRootPassword"

Merge "Correct the parameter_defaults section name."

Merge "puppet: tidy up the Nova ceilo auth configs"

Merge "puppet: tidy up the Nova glance API server config"

Merge "puppet: tidy up the compute nova neutron config"

Merge "puppet: use identity_uri and auth_uri"

Merge "Add support for Ceph as a Cinder and Nova backend"

puppet: use identity_uri and auth_uri

This patch updates the puppet modules to use new identity_uri
and auth_uri settings instead of the old 'auth_host' parameters
for keystone auth_token middleware. This avoids some deprecation
warnings in our puppet logs.

Change-Id: I805b28d4135b13eef7082fda78956816c985c323

Update puppet post config to enable stepped deployments

The upcoming heat hook/breakpoint features will enable stepped deployments
via setting stop points via the resource_registry.

For this to work, we need hard dependencies between each step of the
puppet deployments, because the current "soft" dependencies caused by the
name property only influences the hook script application ordering, not
the graph traversed by heat during deployment.

Since removing the name: puppet_n completely removes some useful self-
documenting context, move this to a resource naming convention, which
should also be useful for heat hooks/breakpoints, as they are expected
to support globbed specification of each step.

Related heat patch (not yet landed, but this is not dependent on it):

https://review.openstack.org/#/c/146123/

Change-Id: I05b02a46d4e80c08a308d033c33d4901c8f6c94e

Add support for Ceph as a Cinder and Nova backend

This commit aims to add support for Ceph as a cinder and a nova backend.

  * Allows creation of Ceph pools from heat (Default: volumes, vms)
  * Creates the proper ceph user and inject the keys
  * Applies the proper configuration in cinder.conf and nova.conf
  * Enable the backend out of the box

Co-Authored-By: Giulio Fidente <gfidente@redhat.com>
Change-Id: Ic17d7a665de81a8bab5e34035abe90eda4bc889f

Merge "puppet/loadbalancer: use puppet-tripleo"

controller-puppet: Honor MysqlRootPassword

Currently the MysqlRootPassword parameter is retrieved from the
templates but not honored, preventing a user to specify it.
This commit fixes that.

Change-Id: Ib6842736a37aea3cc16f1a7c75fc877408682bf7

Merge "Make heat auth_encryption_key random"

puppet/loadbalancer: use puppet-tripleo

The loadbalancer Puppet code moved to puppet-tripleo (lightweight)
composition layer.

This patch aims to use it and refactor the loadbalancer.pp file.

Co-Authored-By: Dan Prince <dprince@redhat.com>
Change-Id: I1765ac9b6cb01cb64d5d28dad646674ddca859e9

Make heat auth_encryption_key random

Currently we have a hard-coded default for auth_encryption_key,
which isn't ideal as it's used as a salt for the DB encryption.

Instead, reference an OS::Heat::RandomString resource so we create
a random key for each deployment.

Change-Id: Ic76b89db17603c114d98d28c01f75cc287fb2e90

puppet: tidy up the Nova ceilo auth configs

Updates the puppet configuration for the Ceilometer auth agent
so that we do the join conversions in the Heat templates and
use only hiera for configuration of the ::ceilometer::agent::auth
class.

Change-Id: I932afafe21b2485a0581ac3910ac9d46161eee0d