Composable roles within services - MongoDB

Add MongoDB as a composable service.

Co-Authored-By: Juan Antonio Osorio Robles <jaosorior@redhat.com>
Change-Id: Idaa3275def3bcdb302a66fc1c88531ff718bcf67
Depends-On: Idb1e78ebec7682fe68ca5902a22cfb6030498091

Merge "Remove unused Neutron parameters from roles"

Merge "composable neutron ml2 and ovs agent"

Merge "composable neutron server"

Merge "Replace no-op TLS stacks with OS::Heat::None"

Merge "Adjust UpgradeLevelNovaCompute rpc messaging pin to mitaka"

Remove unused Neutron parameters from roles

This patch removes a variety of unused Neutron parameters.
Most of these parameters stem from the old days of
tripleo-image-elements and are either no longer used
with or were never completely implemented to begin with.

Partially-implements: blueprint composable-services-within-roles

Change-Id: I478d282640affa89e38004e465458e79bd2d153b

composable neutron ml2 and ovs agent

Adds new puppet and puppet pacemaker specific services for
the Neutron ml2 configuration and the Ovs agent.

Partially-implements: blueprint composable-services-within-roles

Change-Id: I896e5dfe6fae49371c9fe7f47c4364eb6f621b07

composable neutron server

Adds new puppet and puppet pacemaker specific services for
the Neutron server configuration.

Depends-On: I52815f45a04bf3e39940b9cb116261730580a3e2

Partially-implements: blueprint composable-services-within-roles

Change-Id: I1680d4b7044f16d672e99ca356d954b6734af287

Replace no-op TLS stacks with OS::Heat::None

These stacks effectively do nothing. So better replace them with
the None resource.

Change-Id: If1fc759ca7f03f66229c27560cc4b8e10baa0f11

Remove nova-cert from TripleO

Nova Cert service was useful when running EC2 API but is now useless
since we don't run it anymore.
This patch aims to remove it, as this is a useless service.

Change-Id: If5165e98d3c7b982d091f6e80195fb02135e1368

Merge "Don't overwrite ceph osd_journal_size"

Merge "Explode Loadbalancer role into HAproxy + keepalived"

Enable nova-conductor as a composable service

Implement NovaConductor service using nova-base for common parameters.

* Move rabbitmq parameters from controller.yaml to nova-base service, as
  an example. More parameters will move in the future.
* Move nova-conductor bits from monolithic manifests to the new service
  using new profiles from puppet-tripleo.

Depends-On: Iaaf3a3c2528d9747e41f360a1fe55f95ed37b2d1
Implements: blueprint composable-services-within-roles

Change-Id: I178f092b74ae12f2cb6f006db7cb00e4d6bddfd8

Explode Loadbalancer role into HAproxy + keepalived

Split Loadbalancer into HAproxy & Keepalived roles.

Depends-On: I8aa9045fc80205485abab723968b26084f60bf71
Change-Id: If2723358099e78052c351a4a45fdf01d116a89df

Merge "Composable roles within services - Redis"

Switch Cinder Api/Scheduler/Volume to composable roles

Uses a shared cinder-base resource to do the database
and messaging configuration for all three services.

Depends-On: I3c6d5226eed5f0f852b0ad9476c7cd9a959fda69
Change-Id: I47c5fd190efca5f02e73fd22aba6cda573daf5cc

Composable roles within services - Redis

Co-Authored-By: Carlos Camacho <ccamacho@redhat.com>
Change-Id: I0d9332f7f4f9116c5435d338a9c35d4fb3f512c6
Implements: blueprint composable-services-within-roles
Depends-On: I60493a3aa64e5136b763e8e2084d728f5f812f8a

Merge "Composable Sahara services"

Merge "Take 'host' parameter from neutron manifest into use"

Merge "Take 'host' parameter from nova manifest into use"

Merge "Set rabbitmq loopback_users explicitely"

Composable Sahara services

Adds new puppet and puppet pacemaker specific services for Sahara API
and Sahara Engine.

The Pacemaker templates extend the default Sahara services and swap
in the pacemaker specific puppet-tripleo profile instead.

Change-Id: I1adda514e9592d149a3d45743a9a00b59c28ca38
Depends-On: I0c8bd68f9a98626e9d67ef713c72c9dd05b7cc12
Implements: blueprint composable-services-within-roles

Enable proxy header handling for nova

Nova is using http_proxy_to_wsgi middleware[1][2]. This parses the
headers provided by the proxy, and helps us properly use TLS for
keystone discovery. There was an option introduced in this middleware
to have it disabled by default, and this change enables it.

[1] Ia78f73e96585ab33a379a0b0be6d9682f7fbd810
[2] I808469f24066d382decf55b9dad5312d6e068da7

Change-Id: I3918f24c0c87cb626a28645b46e3df6360d5f924

Take 'host' parameter from neutron manifest into use

Recently the 'host' parameter was added to the neutron manifest. So we
no longer need to manually add it to the configuration.

Change-Id: I6cb73c6d5da8b99680dec97e03ac4805451835fb
Depends-On: I81b86208826e99beccafd2871ce2afd45394e37f

Take 'host' parameter from nova manifest into use

Recently the 'host' parameter was added to the nova manifest. So we
no longer need to manually add it to the configuration.

Change-Id: I6f3dc50ea8737e5e7cd859685a9308edff976f31
Depends-On: Icce3ebc401442651942f8de3eabffadaad812377

Merge "compute: use new param for live_migration_tunnelled"

Merge "Configure ObjectStorage services via resource chains"

Merge "Cleanup hieradata to reduce Puppet warnings"

Cleanup hieradata to reduce Puppet warnings

Some puppet parameters were deprecated, some of them removed.
This patch reduce the number of warnings to a few, and the rest of
warnings are bugs that are in progress by Puppet OpenStack team.

This patch is mostly some cleanup so we don't have useless warnings in
Puppet catalog.

Changes:
* Update Ceilometer auth params
* Update Neutron auth params
* Update Heat auth params
* Update Swift hash suffix param
* Remove neutron::server::notifications::nova_url, useless.

Change-Id: Ie32681a1fe32735f70ba372630da09f91227298c

Merge "loadbalancer: update hiera parameters for HAproxy/keepalived split"

Adjust UpgradeLevelNovaCompute rpc messaging pin to mitaka

For upgrades to current master newton, we should pin nova compute
rpc to the previous/current version, mitaka.

Implements: blueprint overcloud-upgrades-workflow-mitaka-to-newton
Change-Id: I89c3a8c50e83e682f83aa0d9eb222313676277e6

Don't overwrite ceph osd_journal_size

The default journal size is 5 gigs. This change stops us
overwriting it with 1 gig that is too small for production.

The config value is used by ceph only when it creates the
journal so this does not affect upgrades.

Change-Id: I4bfd2ab47e131d8fcdd5dc75a5a56cfae8b22d5a

Configure ObjectStorage services via resource chains

Similar to the https://review.openstack.org/#/c/259568 which added support
for the composable services StepConfig and ServiceConfigSettings parameters
so that the Controller role supports composable services, this adds those
interfaces for the ObjectStorage role.

Note that at this time the ObjectStorage post config only supports steps
2, 3 and 4, not all those in services/README.rst

Partially-Implements: blueprint composable-services-within-roles
Change-Id: I22ffaa68a6ccd4be29d51674871268179bcddcbc

Fix inconsistency with ringbuilder/storage steps

Currently when deploying swift on the Controller nodes, we do the
ringbuilder config during step3 and the swift-storage config during
step 4, but this order is reversed on the ObjectStorage nodes.

Also, we include the base swift class inconsistently during step2
on controller nodes, and via the overcloud-object manifest on
ObjectStorage nodes.

So fix this inconsistency as a precursor to conversion to composable
services interfaces for the ObjectStorage role, we rework the post
config so we apply the ObjectStorage config in steps 2, 3 and 4,
which should hopefully get us much closer to the process used
on the controller role, thus be easier to decompose in a compatible
way.

Partially-Implements: blueprint composable-services-within-roles
Change-Id: Ic9d0ed8584a12d681a8f4d4742d39b96c15e531a

Convert Swift proxy to composable services format

Switch the swift proxy service to use the new composable
services format.

Change-Id: Idc9ac64818882e73836ac99bbad56eec184c9a5d
Partially-Implements: blueprint composable-services-within-roles
Depends-On: I6bd72284911f3f449157a6fc00b76682dd53bd8c

loadbalancer: update hiera parameters for HAproxy/keepalived split

In puppet-tripleo, we split loadbalancer.pp in 2 classes to be more
composable: haproxy & keepalived.
This patch is just updating all hiera parameters related to HAproxy &
keepalived.

Depends-On: I46ed8348dc990d9aa0d896e1abea3b30a8292634

Change-Id: Ibf56184cd10af1d0dcae773c02b0f31a6204badf

compute: use new param for live_migration_tunnelled

Use the new interface in puppet-nova to configure this parameter.

Depends-On: I3498076b292e9dff88b9ad9d5c65c99a2a98cd7f
Change-Id: Id9f253e942f6373f77acc9239d79f62103b39904

Merge "Pass enabled and manage_service to Neutron/L3 when Pacemaker"

Pass MysqlVirtualIP via EndpointMap

By passing the MysqlVirtualIP via the EndpointMap we won't need it
to be provided as a parameter to the services.

This follows what is already happening for the glance registry
service with I9186e56cd4746a60e65dc5ac12e6595ac56505f0.

Change-Id: Iad2ab389bf64d0fc8b06eb0e7d29b5370ff27dff
Co-Authored-By: Juan Antonio Osorio Robles <jaosorior@redhat.com>

Merge "Enable proxy header handling for cinder"

Merge "Configure ComputeServices via resource chains"

Merge "Fix ceph keyring setting for gnocchi"

Merge "Use docker-cmd hook."

Configure ComputeServices via resource chains

This patch wires a Heat feature to configure
services via a Heat resource chain.

Additional patches will be able to configure
compute services using composable services.

Change-Id: Ib4fd8bffde51902aa19f9673a389600fc467fc45

Remove custom SSL-related resource for cinder

Now that cinder includes http_proxy_to_wsgi by default[1] our puppet
resource that included it in cinder's api-paste config is not longer
needed.

[1] If5aab9cc25a2e7c66a0bb13b5f7488a667b30309

Change-Id: I6141b6caf9b04ee73fae3ae2b94b3001b21b9999

Enable proxy header handling for cinder

Cinder is using http_proxy_to_wsgi middleware. This parses the
headers provided by the proxy, and helps us properly use TLS for
keystone discovery. There was an option introduced in this middleware
to have it disabled by default, and this change enables it.

Change-Id: Ia33b3fa04d71eab10effd0b33eb2c194282cd15b

Merge "Enable proxy header parsing for heat"

Merge "Configure CephStorage services via resource chains"

Enable proxy header parsing for heat

For handling the X-Forwarded-Proto, heat uses the http_proxy_to_wsgi
middleware from oslo.middleware. It used to work by default, but now
configuration is required to enable that. We require it since we are
effectively behind a proxy (HAProxy).

Change-Id: I256f27ec6a3f66316ff6aa3f78b2f1ec1472f097

Remove the delay resource and its constraints

With change 648099e1925e7d0d3f6906e5e8d15f3871e88460 and the replacement
of ceilometer-alarm with aodh, the delay resource became a leaf in the
ordering graph and serves no real purpose any longer.

It can now be removed without affecting anything else.

Change-Id: Ib86e609821b9f0b7b0d99c49aead20f9a177f63d

Set rabbitmq loopback_users explicitely

In Fedora/RHEL land we carry a patch that sets the loopback_users
config explicitely to []. Since this patch diverges from upstream
and sometimes gets dropped by mistake during rebases, let's set
this value explicitely in our config files, instead of relying
on a patch that is distro-specific.

The patch is here:
http://pkgs.fedoraproject.org/cgit/rpms/rabbitmq-server.git/tree/rabbitmq-server-0004-Allow-guest-login-from-non-loopback-connections.patch

Change-Id: If9ca05b38a8bd2a6834c08336a816bbd0ae1ea94

Configure CephStorage services via resource chains

Also wires in the steps into the CephStorage role.

Change-Id: Ib472f1279478ad7792349cc32bb3c5f510ba69fe

Merge "composable heat services"

Fix ceph keyring setting for gnocchi

The ceph_keyring value is expected to be a full path
to the keyring. But we currently only pass in
client.<cephuser>. This patch fixes the value
to be full path.

Closes-Bug: #1586010

Change-Id: I5666c44bb35b6ae109c68506704eff776f5dceda

Merge "Optimize Nova disk_cachemodes and hw_disk_discard options for RBD"

Merge "Dump IPs configuration as hieradata"

Update management_from_pool template version to 2015-10-15

The str_split function was added after the 2015-04-30 release so
it wasn't working as intended.

Change-Id: Ib8827879182e6ea3bd2227b0cfa77f70aabb0ac6
Closes-Bug: 1575622

Merge "Adds memcached as a composable service"

Merge "Add ExtraConfig example that always runs on update"

Merge "Tighten the access rules for galera"

Adds memcached as a composable service

Implements: blueprint composable-services-within-roles
Depends-On: Icd504aef7dda144582c286c56c925a78566af72c
Change-Id: I8802c2a0cf1e5fa1a6d1fab5e87f6014bea2f517

Merge "Deploy Loadbalancer as a composable role"

composable heat services

Adds new puppet and puppet pacemaker specific services for
Heat API, Heat API CFN, Heat API Cloudwatch, and Heat Engine.

The Pacemaker templates extend the default heat services and
swap in the pacemaker specific puppet-tripleo profile instead.

Change-Id: I387b6bfd763d2d86cad68a3119b0edd0caa237b0
Partially-implements: blueprint composable-services-within-roles
Depends-On: I194cbb6aa307c2331597147545cf10299cab132f
Depends-On: I14dc923ac8ee8d5d538e7f4cf8138ccee8805b53

Deploy Loadbalancer as a composable role

Deploy loadbalancer service using puppet-tripleo, and drop puppet code.

Implements: blueprint refactor-puppet-manifests
Depends-On: I9b106dcc1a4d446ab5dea8430ed295e6ec209cbd

Change-Id: I9ca50a4bc822ec17d89988894af9bdf07e4bd1a9

Merge "Add net-config-static.yaml"

Merge "Remove ControllerClusterConfig from overcloud.yaml"

Merge "add heat-api-cfn to endpoint map"

Merge "Add missing ManagementIpSubnet"

Merge "Change ping wait flag"

Tighten the access rules for galera

Set a password for the 'root' db user and add an additional
'clustercheck' user to be used only by the resource agent.
The password for this 'clustercheck' user is randomly generated
via a heat parameter.

Before this change the workflow to set up the database in the
manifest is the following:
- Step 1 -> Install all the basic galera packages and basic configuration
- Step 2.a -> Create /etc/sysconfig/clustercheck with root and empty password
- Step 2.b -> Start up galera-monitor xinetd service
- Step 2.c -> Start pacemaker ocf resource (no root user has been created
  so there will be an empty password per default)
- Step 2.d -> Wait for /bin/clustercheck to return success and then
  proceed with the other steps

After this change the workflow is slightly more complex because there
is a bit of a chicken and egg problem:
- Step 1 -> Install all the basic galera packages and basic configuration
- Step 2.a -> Create /etc/sysconfig/clustercheck with root and empty
  password unless the file does exists already and has a clustercheck user
  configured
- Step 2.b -> Start up galera-monitor xinetd service
- Step 2.c -> Start pacemaker ocf resource (no root user has been created
  yet, so there will be an empty password per default)
- Step 2.d -> Wait for /bin/clustercheck to return success and then proceed
  with the other steps
- Step 2.e -> Create clustercheck db user
- Step 3/4 -> Create /etc/sysconfig/clustercheck with clustercheck user credentials
- Step 5.a -> Update the sql root password on the each node (at this
  stage
- Step 5.b -> Create /root/.my.cnf with proper credentials on all nodes

Note that we cannot really create the root/clustercheck users right at
step 1 because the db is not running yet (an approach that spawned
mysqld on each node, created the users and shut it down, was tried but
was much more complex and cannot work on updating existing setups)

Given the new way of solving the root password issue, we also need to
make sure that Step1 and Step2 are running on updates.

Closes-bug: #1581677

Depends-On: I83eed8885503043e881db34411616f9726e00352
Change-Id: If3d6e7253af6195b96129be7ea3348d697e4bae1

Deploy RabbitMQ as a composable role

Change the way to implement RabbitMQ, as a composable role.

Implements: blueprint refactor-puppet-manifests
Change-Id: I5fed5c437ad492af75791a9163f99ae292f58895

Merge "Add step to ObjectStorage RingBuilder deployment"

Dump IPs configuration as hieradata

This might be useful if we switch to %{hiera()} calls to lookup
the bind address from within a service.

Also gets rid of NetIpSubnetMap and provides same output from
NetIpMap instead.

Change-Id: I328a417d1f1fff9c31e9ad7b2b5083ac19bc7329

Pass enabled and manage_service to Neutron/L3 when Pacemaker

We can drive enabled and manage_service from the Pacemaker specific
templates so change I8ef7bb94e048b998712b3534ceb51a7d10d016e9
removed that logic from the TripleO specific manifests. This change
adds them into the Pacemaker template for the Neutron/L3 agent.

Change-Id: I1146a8bae4938577e9927d1ce74009e066cb58dd

Add step to ObjectStorage RingBuilder deployment

https://review.openstack.org/#/c/236243 added a new conditional
for the controller steps, but we don't pass any step for the
ObjectStorage nodes, so the deployment fails.  This passes a
step that enables the ringbuilder again, although it does end
up inconsistent with the deployment Step name.

Change-Id: I506961f4a22dba9960d819d7376a39e7ccbcdece
Closes-Bug: #1583225

composable neutron metadata service

Adds new puppet and puppet pacemaker specific services for
the Neutron Metadata agent.

Partially-implements: blueprint composable-services-within-roles

Change-Id: I25f026507e78f18594599b3621613a54f246545d

composable neutron l3 service

Adds new puppet and puppet pacemaker specific services for
the Neutron L3 agent.

Partially-implements: blueprint composable-services-within-roles

Change-Id: I0316043efe357a41ef3b4088a55d98dbb6d25963

Merge "Ensure manage_service and enabled are false for Pacemaker"

Move dhcp agent maps to OS::Heat::None to resource_registry

Change Id Ia61295943e67efe354a51a26fe4540f288ff6ede added support for
composable Neutron dhcp agent services. However in the sample
environments for OpenContrail and Plumgrid where dhcp agent is disabled,
the mapping for OS::Heat::None was under parameter_defaults instead of
resource_registry.

Change-Id: I0aedbbc3720783d4208d524cd28c7eed4fc5d1d7

Remove ControllerClusterConfig from overcloud.yaml

AFAICS this isn't actually used anywhere, I assume it's left over
from the older element based implementation.

Change-Id: Ie95628bd7af1bcd50a6e331531b2987e434c7136

Merge "Remove Nova EC2 deployment"

Remove Nova EC2 deployment

Nova EC2 does not exist anymore since Mitaka, parameters are already
deprecated in Mitaka and send warnings to the Puppet catalog.
The service has been replaced by ec2api project, where Puppet OpenStack
team is currently writting a module.

In the meantime we add support in TripleO, this patch removes all
occurences of Nova EC2 configuration, which are useless and send
warnings for nothing.

Change-Id: Ief2d0e5c77b5ac58560606fee930fbd66c40ffc3

Merge "Add database directory mount for openvswitchdb"

Ensure manage_service and enabled are false for Pacemaker

We can control the two manage_service and enabled boolean from
the Pacemaker specific template now.

Change-Id: I91a4267f0fc230f63df3333747d28463c7ae55fe

add heat-api-cfn to endpoint map

Change-Id: I8f98ce92fc387d2263fda738c1c8a209e3cbbb85

Merge "composable neutron dhcp service"

composable neutron dhcp service

Adds new puppet and puppet pacemaker specific services for
the Neutron DHCP agent.

Depends-On: Ibbfd79421f871e41f870745a593cca65e8c0e58a

Partially-implements: blueprint composable-services-within-roles

Change-Id: Ia61295943e67efe354a51a26fe4540f288ff6ede

deployment: drop step6

Step6 was just about confuring fencing after creating all Pacemaker
resources.
It was created by this patch:
https://review.openstack.org/#q,1787fbc7ca58f9965cd5d64b685c1f9beed4cb9b,n,z
A bit of Puppet orchestration can help us to not require an extra step.

This patch:
* configure & enable fencing at step5
* make sure we don't configure fencing because creating Pacemaker
  resources and constraints.
* remove step6 from deployment workflow.
* depends on a patch in puppet-tripleo that moves keystone resources
  (endpoints, roles) to step 5.

Change-Id: Iae33149e4a03cd64c5831e689be8189ad0cf034b
Depends-On: Icea7537cea330da59fe108c9b874c04f2b94d062
Depends-On: I079e65f535af069312b602e8ff58be80ab2f2226

deployment: remove Step7

Step7 was created when we incremented the step of ringbuilder, by
https://review.openstack.org/#q,9988bd25aa4bac1375ef4783d636c7adecedee92,n,z

But step7 is not used anywhere and consumes some times for nothing.
This patch removes the step, so deployments and upgrades will be faster.

Change-Id: I77af9126abc61ace227cf1a69c2d3b5ceb735276

Set nova neutron auth back to 'v3password'.

Puppet-nova recently changed the default neutron auth setting
in I3416ae594e972e40ff0336779258a887987e46b1 to 'password'.

This single setting seems to break the tripleo upgrades job.

Setting it here manually for now and following up in puppet-nova.

Closes-bug: #1580076

Change-Id: I3f38a3e1ef3378a272a51ecbc1e8a801c8d3608a

Change ping wait flag

This is an optimization of the ping command. It changes ping test
from waiting for a single sent packet for 300 seconds to waiting
to receive a packet from any number of sent packets. The current
implemenation waits for full 300 seconds before retrying if we
do not get a reply for the first packet sent. By using -w flag,
we keep sending icmp packets until a reply is sent, making the
ping test more responsive to connectivity change.

Change-Id: I01ab374ae44718c8d56e2d7f35812dfb5bb2ce5a
Signed-off-by: Feng Pan <fpan@redhat.com>

Merge "Pass parameters to manage endpoints via puppet"

Use docker-cmd hook.

This patch switches to use docker-cmd without changing the heat
templates.

Change-Id: I4a6a42819e83e3b70bf1e37c09d155c5cf8a7ee4

Merge "Document IPv6 syntax for GlanceFilePcmkDevice"

Merge "Fixes ovs bonding option"

Merge "Additional parameters for Nuage Neutron plugin integration"

Merge "Remove calls to ::mysql from the manifests"

Pass parameters to manage endpoints via puppet

This commit passes the necessary hieradata in order to create
the endpoints, users and roles of the services in keystone via
puppet.

Change-Id: I2470dfa4661be7ba8218f6035fffa05f547214f0

Leave start/stop/restart for Keystone and Glance in charge to the role

Change-Id: I511052dc765788336ffd32dee2118d787fce725d