Composable Sahara services

Adds new puppet and puppet pacemaker specific services for Sahara API
and Sahara Engine.

The Pacemaker templates extend the default Sahara services and swap
in the pacemaker specific puppet-tripleo profile instead.

Change-Id: I1adda514e9592d149a3d45743a9a00b59c28ca38
Depends-On: I0c8bd68f9a98626e9d67ef713c72c9dd05b7cc12
Implements: blueprint composable-services-within-roles

Fix inconsistency with ringbuilder/storage steps

Currently when deploying swift on the Controller nodes, we do the
ringbuilder config during step3 and the swift-storage config during
step 4, but this order is reversed on the ObjectStorage nodes.

Also, we include the base swift class inconsistently during step2
on controller nodes, and via the overcloud-object manifest on
ObjectStorage nodes.

So fix this inconsistency as a precursor to conversion to composable
services interfaces for the ObjectStorage role, we rework the post
config so we apply the ObjectStorage config in steps 2, 3 and 4,
which should hopefully get us much closer to the process used
on the controller role, thus be easier to decompose in a compatible
way.

Partially-Implements: blueprint composable-services-within-roles
Change-Id: Ic9d0ed8584a12d681a8f4d4742d39b96c15e531a

Convert Swift proxy to composable services format

Switch the swift proxy service to use the new composable
services format.

Change-Id: Idc9ac64818882e73836ac99bbad56eec184c9a5d
Partially-Implements: blueprint composable-services-within-roles
Depends-On: I6bd72284911f3f449157a6fc00b76682dd53bd8c

Merge "Pass enabled and manage_service to Neutron/L3 when Pacemaker"

Pass MysqlVirtualIP via EndpointMap

By passing the MysqlVirtualIP via the EndpointMap we won't need it
to be provided as a parameter to the services.

This follows what is already happening for the glance registry
service with I9186e56cd4746a60e65dc5ac12e6595ac56505f0.

Change-Id: Iad2ab389bf64d0fc8b06eb0e7d29b5370ff27dff
Co-Authored-By: Juan Antonio Osorio Robles <jaosorior@redhat.com>

Merge "Enable proxy header handling for cinder"

Merge "Configure ComputeServices via resource chains"

Merge "Fix ceph keyring setting for gnocchi"

Merge "Use docker-cmd hook."

Configure ComputeServices via resource chains

This patch wires a Heat feature to configure
services via a Heat resource chain.

Additional patches will be able to configure
compute services using composable services.

Change-Id: Ib4fd8bffde51902aa19f9673a389600fc467fc45

Remove custom SSL-related resource for cinder

Now that cinder includes http_proxy_to_wsgi by default[1] our puppet
resource that included it in cinder's api-paste config is not longer
needed.

[1] If5aab9cc25a2e7c66a0bb13b5f7488a667b30309

Change-Id: I6141b6caf9b04ee73fae3ae2b94b3001b21b9999

Enable proxy header handling for cinder

Cinder is using http_proxy_to_wsgi middleware. This parses the
headers provided by the proxy, and helps us properly use TLS for
keystone discovery. There was an option introduced in this middleware
to have it disabled by default, and this change enables it.

Change-Id: Ia33b3fa04d71eab10effd0b33eb2c194282cd15b

Merge "Enable proxy header parsing for heat"

Merge "Configure CephStorage services via resource chains"

Enable proxy header parsing for heat

For handling the X-Forwarded-Proto, heat uses the http_proxy_to_wsgi
middleware from oslo.middleware. It used to work by default, but now
configuration is required to enable that. We require it since we are
effectively behind a proxy (HAProxy).

Change-Id: I256f27ec6a3f66316ff6aa3f78b2f1ec1472f097

Remove the delay resource and its constraints

With change 648099e1925e7d0d3f6906e5e8d15f3871e88460 and the replacement
of ceilometer-alarm with aodh, the delay resource became a leaf in the
ordering graph and serves no real purpose any longer.

It can now be removed without affecting anything else.

Change-Id: Ib86e609821b9f0b7b0d99c49aead20f9a177f63d

Configure CephStorage services via resource chains

Also wires in the steps into the CephStorage role.

Change-Id: Ib472f1279478ad7792349cc32bb3c5f510ba69fe

Merge "composable heat services"

Fix ceph keyring setting for gnocchi

The ceph_keyring value is expected to be a full path
to the keyring. But we currently only pass in
client.<cephuser>. This patch fixes the value
to be full path.

Closes-Bug: #1586010

Change-Id: I5666c44bb35b6ae109c68506704eff776f5dceda

Merge "Optimize Nova disk_cachemodes and hw_disk_discard options for RBD"

Merge "Dump IPs configuration as hieradata"

Update management_from_pool template version to 2015-10-15

The str_split function was added after the 2015-04-30 release so
it wasn't working as intended.

Change-Id: Ib8827879182e6ea3bd2227b0cfa77f70aabb0ac6
Closes-Bug: 1575622

Merge "Adds memcached as a composable service"

Merge "Add ExtraConfig example that always runs on update"

Merge "Tighten the access rules for galera"

Adds memcached as a composable service

Implements: blueprint composable-services-within-roles
Depends-On: Icd504aef7dda144582c286c56c925a78566af72c
Change-Id: I8802c2a0cf1e5fa1a6d1fab5e87f6014bea2f517

Merge "Deploy Loadbalancer as a composable role"

composable heat services

Adds new puppet and puppet pacemaker specific services for
Heat API, Heat API CFN, Heat API Cloudwatch, and Heat Engine.

The Pacemaker templates extend the default heat services and
swap in the pacemaker specific puppet-tripleo profile instead.

Change-Id: I387b6bfd763d2d86cad68a3119b0edd0caa237b0
Partially-implements: blueprint composable-services-within-roles
Depends-On: I194cbb6aa307c2331597147545cf10299cab132f
Depends-On: I14dc923ac8ee8d5d538e7f4cf8138ccee8805b53

Deploy Loadbalancer as a composable role

Deploy loadbalancer service using puppet-tripleo, and drop puppet code.

Implements: blueprint refactor-puppet-manifests
Depends-On: I9b106dcc1a4d446ab5dea8430ed295e6ec209cbd

Change-Id: I9ca50a4bc822ec17d89988894af9bdf07e4bd1a9

Merge "Add net-config-static.yaml"

Merge "Remove ControllerClusterConfig from overcloud.yaml"

Merge "add heat-api-cfn to endpoint map"

Merge "Add missing ManagementIpSubnet"

Merge "Change ping wait flag"

Tighten the access rules for galera

Set a password for the 'root' db user and add an additional
'clustercheck' user to be used only by the resource agent.
The password for this 'clustercheck' user is randomly generated
via a heat parameter.

Before this change the workflow to set up the database in the
manifest is the following:
- Step 1 -> Install all the basic galera packages and basic configuration
- Step 2.a -> Create /etc/sysconfig/clustercheck with root and empty password
- Step 2.b -> Start up galera-monitor xinetd service
- Step 2.c -> Start pacemaker ocf resource (no root user has been created
  so there will be an empty password per default)
- Step 2.d -> Wait for /bin/clustercheck to return success and then
  proceed with the other steps

After this change the workflow is slightly more complex because there
is a bit of a chicken and egg problem:
- Step 1 -> Install all the basic galera packages and basic configuration
- Step 2.a -> Create /etc/sysconfig/clustercheck with root and empty
  password unless the file does exists already and has a clustercheck user
  configured
- Step 2.b -> Start up galera-monitor xinetd service
- Step 2.c -> Start pacemaker ocf resource (no root user has been created
  yet, so there will be an empty password per default)
- Step 2.d -> Wait for /bin/clustercheck to return success and then proceed
  with the other steps
- Step 2.e -> Create clustercheck db user
- Step 3/4 -> Create /etc/sysconfig/clustercheck with clustercheck user credentials
- Step 5.a -> Update the sql root password on the each node (at this
  stage
- Step 5.b -> Create /root/.my.cnf with proper credentials on all nodes

Note that we cannot really create the root/clustercheck users right at
step 1 because the db is not running yet (an approach that spawned
mysqld on each node, created the users and shut it down, was tried but
was much more complex and cannot work on updating existing setups)

Given the new way of solving the root password issue, we also need to
make sure that Step1 and Step2 are running on updates.

Closes-bug: #1581677

Depends-On: I83eed8885503043e881db34411616f9726e00352
Change-Id: If3d6e7253af6195b96129be7ea3348d697e4bae1

Deploy RabbitMQ as a composable role

Change the way to implement RabbitMQ, as a composable role.

Implements: blueprint refactor-puppet-manifests
Change-Id: I5fed5c437ad492af75791a9163f99ae292f58895

Merge "Add step to ObjectStorage RingBuilder deployment"

Dump IPs configuration as hieradata

This might be useful if we switch to %{hiera()} calls to lookup
the bind address from within a service.

Also gets rid of NetIpSubnetMap and provides same output from
NetIpMap instead.

Change-Id: I328a417d1f1fff9c31e9ad7b2b5083ac19bc7329

Pass enabled and manage_service to Neutron/L3 when Pacemaker

We can drive enabled and manage_service from the Pacemaker specific
templates so change I8ef7bb94e048b998712b3534ceb51a7d10d016e9
removed that logic from the TripleO specific manifests. This change
adds them into the Pacemaker template for the Neutron/L3 agent.

Change-Id: I1146a8bae4938577e9927d1ce74009e066cb58dd

Add step to ObjectStorage RingBuilder deployment

https://review.openstack.org/#/c/236243 added a new conditional
for the controller steps, but we don't pass any step for the
ObjectStorage nodes, so the deployment fails.  This passes a
step that enables the ringbuilder again, although it does end
up inconsistent with the deployment Step name.

Change-Id: I506961f4a22dba9960d819d7376a39e7ccbcdece
Closes-Bug: #1583225

composable neutron metadata service

Adds new puppet and puppet pacemaker specific services for
the Neutron Metadata agent.

Partially-implements: blueprint composable-services-within-roles

Change-Id: I25f026507e78f18594599b3621613a54f246545d

composable neutron l3 service

Adds new puppet and puppet pacemaker specific services for
the Neutron L3 agent.

Partially-implements: blueprint composable-services-within-roles

Change-Id: I0316043efe357a41ef3b4088a55d98dbb6d25963

Merge "Ensure manage_service and enabled are false for Pacemaker"

Move dhcp agent maps to OS::Heat::None to resource_registry

Change Id Ia61295943e67efe354a51a26fe4540f288ff6ede added support for
composable Neutron dhcp agent services. However in the sample
environments for OpenContrail and Plumgrid where dhcp agent is disabled,
the mapping for OS::Heat::None was under parameter_defaults instead of
resource_registry.

Change-Id: I0aedbbc3720783d4208d524cd28c7eed4fc5d1d7

Remove ControllerClusterConfig from overcloud.yaml

AFAICS this isn't actually used anywhere, I assume it's left over
from the older element based implementation.

Change-Id: Ie95628bd7af1bcd50a6e331531b2987e434c7136

Merge "Remove Nova EC2 deployment"

Remove Nova EC2 deployment

Nova EC2 does not exist anymore since Mitaka, parameters are already
deprecated in Mitaka and send warnings to the Puppet catalog.
The service has been replaced by ec2api project, where Puppet OpenStack
team is currently writting a module.

In the meantime we add support in TripleO, this patch removes all
occurences of Nova EC2 configuration, which are useless and send
warnings for nothing.

Change-Id: Ief2d0e5c77b5ac58560606fee930fbd66c40ffc3

Merge "Add database directory mount for openvswitchdb"

Ensure manage_service and enabled are false for Pacemaker

We can control the two manage_service and enabled boolean from
the Pacemaker specific template now.

Change-Id: I91a4267f0fc230f63df3333747d28463c7ae55fe

add heat-api-cfn to endpoint map

Change-Id: I8f98ce92fc387d2263fda738c1c8a209e3cbbb85

Merge "composable neutron dhcp service"

composable neutron dhcp service

Adds new puppet and puppet pacemaker specific services for
the Neutron DHCP agent.

Depends-On: Ibbfd79421f871e41f870745a593cca65e8c0e58a

Partially-implements: blueprint composable-services-within-roles

Change-Id: Ia61295943e67efe354a51a26fe4540f288ff6ede

deployment: drop step6

Step6 was just about confuring fencing after creating all Pacemaker
resources.
It was created by this patch:
https://review.openstack.org/#q,1787fbc7ca58f9965cd5d64b685c1f9beed4cb9b,n,z
A bit of Puppet orchestration can help us to not require an extra step.

This patch:
* configure & enable fencing at step5
* make sure we don't configure fencing because creating Pacemaker
  resources and constraints.
* remove step6 from deployment workflow.
* depends on a patch in puppet-tripleo that moves keystone resources
  (endpoints, roles) to step 5.

Change-Id: Iae33149e4a03cd64c5831e689be8189ad0cf034b
Depends-On: Icea7537cea330da59fe108c9b874c04f2b94d062
Depends-On: I079e65f535af069312b602e8ff58be80ab2f2226

deployment: remove Step7

Step7 was created when we incremented the step of ringbuilder, by
https://review.openstack.org/#q,9988bd25aa4bac1375ef4783d636c7adecedee92,n,z

But step7 is not used anywhere and consumes some times for nothing.
This patch removes the step, so deployments and upgrades will be faster.

Change-Id: I77af9126abc61ace227cf1a69c2d3b5ceb735276

Set nova neutron auth back to 'v3password'.

Puppet-nova recently changed the default neutron auth setting
in I3416ae594e972e40ff0336779258a887987e46b1 to 'password'.

This single setting seems to break the tripleo upgrades job.

Setting it here manually for now and following up in puppet-nova.

Closes-bug: #1580076

Change-Id: I3f38a3e1ef3378a272a51ecbc1e8a801c8d3608a

Change ping wait flag

This is an optimization of the ping command. It changes ping test
from waiting for a single sent packet for 300 seconds to waiting
to receive a packet from any number of sent packets. The current
implemenation waits for full 300 seconds before retrying if we
do not get a reply for the first packet sent. By using -w flag,
we keep sending icmp packets until a reply is sent, making the
ping test more responsive to connectivity change.

Change-Id: I01ab374ae44718c8d56e2d7f35812dfb5bb2ce5a
Signed-off-by: Feng Pan <fpan@redhat.com>

Merge "Pass parameters to manage endpoints via puppet"

Use docker-cmd hook.

This patch switches to use docker-cmd without changing the heat
templates.

Change-Id: I4a6a42819e83e3b70bf1e37c09d155c5cf8a7ee4

Merge "Document IPv6 syntax for GlanceFilePcmkDevice"

Merge "Fixes ovs bonding option"

Merge "Additional parameters for Nuage Neutron plugin integration"

Merge "Remove calls to ::mysql from the manifests"

Pass parameters to manage endpoints via puppet

This commit passes the necessary hieradata in order to create
the endpoints, users and roles of the services in keystone via
puppet.

Change-Id: I2470dfa4661be7ba8218f6035fffa05f547214f0

Leave start/stop/restart for Keystone and Glance in charge to the role

Change-Id: I511052dc765788336ffd32dee2118d787fce725d

Remove calls to ::mysql from the manifests

The database will be created by the roles so we don't need to call
::mysql from the manifest.

Change-Id: I2b137cbd6597222a72cf46830f34a93f002c70ef
Depends-On: Id065a9180f1f1a41ab225ec5f755498ec7d9a827

Merge "Disable VIPs before stopping cluster during version upgrade"

Merge "Fix distinguishing between stack-create and stack-update"

Merge "Use str_split to compute netmask in _v6 port templates"

Optimize Nova disk_cachemodes and hw_disk_discard options for RBD

When using the Nova RBD driver for the ephemeral storage it is
suggested by the Ceph RBD OpenStack guide [1] to optimize certain
settings; this change will set disk_cachemodes and hw_disk_discard
accordingly to the guide.

1. http://docs.ceph.com/docs/master/rbd/rbd-openstack/

Change-Id: I8d2ee89ca4ff5458d1888cc037e2e91d19025ad4

Merge "Wire missing RabbitClientPort into Glance API role"

Merge "Updates ControlPlaneSubnetCidr to be a string"

Disable VIPs before stopping cluster during version upgrade

If "pcs cluster stop --all" is executed on a controller that
happens to have a VIP on the internal network, pcs may use the
VIP as the source address for communication with another cluster
node.  When pacemaker is stopped this VIP goes away, and pcs never
receives a response from the other node.  This causes pcs to hang
indefinitely; eventually the upgrade times out and fails.

Disabling the VIPs before stopping the cluster avoids this
situation.

Change-Id: I6bc59120211af28456018640033ce3763c373bbb
Closes-Bug: 1577570

Use str_split to compute netmask in _v6 port templates

Change-Id: I282dbc025500b1628d4f08a49b54a2adefd38b5f

Merge "Fix the Sahara public endpoint and make it point to the Public VIP"

Merge "Fix ControllerExtraConfig parameter name"

Wire missing RabbitClientPort into Glance API role

Change-Id: I0ebb5a1e504dd3ffef8ec15c721cf9a9bce6f05b

Additional parameters for Nuage Neutron plugin integration

Add additional parameters, specifically:

* set core plugin to Nuage
* disable service plugins
* disable OVS, l3, metadata and DHCP agent
* rename OVS bridge to alubr0
* include Nuage API extensions

Change-Id: Ia0c201fd3b01cd524e096e6f246d707c6e643944

Fixes ovs bonding option

Default ovs bonding options parameter BondInterfaceOvsOptions was wrongly set to "mode=active-backup" which makes os-net-config fail. This fix changes it to "bond_mode=active-backup".

Change-Id: If3eaac6558c1a15ac09b198f90f05f1a77cf794b
Closes-Bug: #1576137

Fix the Sahara public endpoint and make it point to the Public VIP

Change-Id: Iff287b9ea46100800e386efb98371be7ab48361f

Merge "Run sync in step 3 when $sync_db"

Merge "Fix the ManagementNetValueSpecs param type"

Merge "Update .sh references from openstack-keystone to openstack-core"

Merge "Use 'deeper' hiera_hash merge behavior for all roles"

Run sync in step 3 when $sync_db

This will configure the openstack services and run the initial
db sync in step 3 (instead of step 4) for the node for which
$sync_db is true.

Closes-Bug: #1572952
Change-Id: I29012ee0a8b281e4472353ee7d9d44912e8a9b6c

Fix the ManagementNetValueSpecs param type

The ManagementNetValueSpecs param type is currently set to string.
This change sets the param to the correct type of json, allowing the
network value specs to correctly parse.

Example Management Network value spec:

{'provider:physical_network': 'management', 'provider:network_type': 'flat'}

Change-Id: I5b12c7251690368d79a4d00725a9d6e0d5e75af8
Closes-Bug: #1573649

Merge "Enable client address in Horizon's logs."

Fix controller-no-external.yaml in bonded configs.

For some reason the controller-no-external.yaml template is configured
for DHCP on the control plane interface. We switched to static control
plane IPs before the controller-no-external.yaml was created (IIRC), so
I'm not sure how that happened. This change brings the
controller-no-external.yaml in line with the rest of the bonded NIC
templates.

Change-Id: I2ac929e241707db72a0beabf9d5cd7fc14b90f76

The Sahara SSL endpoint was announced on the wrong port

Change-Id: I0cab3cdb2189dab3844f2eda52b8697d05ad3447

Use 'deeper' hiera_hash merge behavior for all roles

This change configures the hiera merge behavior to 'deeper' [1],
which is useful to merge values when the same hiera key is found
in multiple datafiles.

The hiera default 'native' only picks the value from the key with
the highest priority in the hierarchy.

1. https://docs.puppetlabs.com/hiera/1/lookup_types.html#deep-merging-in-hiera--120

Change-Id: I88c764d9af510ffbbad9fcaa4b747655e38255c2

composable glance services

Adds new puppet and puppet pacemaker specific services for
Glance API and Glance Registry.

The Pacemaker templates extend the default glance services and
swap in the pacemaker specific puppet-tripleo profile instead.
In the case of pacemaker glance-registry there is no separate
puppet manifest so only the configuration parameters are maintained
there. (Due to the way the pacemaker glance constraints are written
the pacemaker varients of this service can't be split out...)

Depends-On: Ifc388f7058ccfff2818f531bcbc00c7179874bbc
Change-Id: I00a8c916129af43cda225754eb10370289bb4b41

Merge "Increase galera sync timeout in yum_update.sh"

Merge "Add ping_retry function"

Merge "Make HeatWorkers param affect the engine workers"

Merge "Reload haproxy after injecting certs w/o pcmk too"

Fix ControllerExtraConfig parameter name

We've had a typo for a while that a parameter is named
"controllerExtraConfig" with lowercase c, which can be quite confusing
for users because the other similar parameters
(e.g. NovaComputeExtraConfig) consistently start with an upper case
letter.

We'll support both variants from now on, marking the typoed variant as
deprecated.

Change-Id: Ic67a4297e7fa08308889b95ba35389a01f70f5a4

Enable client address in Horizon's logs.

Horizon's backends (httpd) see IP address of the haproxy in the logs instead
of the client address.
This patch allows to:
  - Install the remoteip httpd module [1].
  - Use the X-Forwarded-For HTTP header and override the haproxy address.
  - Configure the Horizon's logs with the client address via httpd logformat.

[1] https://httpd.apache.org/docs/2.4/mod/mod_remoteip.html
[2] https://httpd.apache.org/docs/2.4/mod/mod_log_config.html#logformat

Change-Id: Ib2f215913065426848b48f6293f33a75aff3d328
Depends-On: I54f0f5549d64768dacca71539c71a28cc99d9d95

Merge "Make sure openstack services are dependent on openstack-core"

Make HeatWorkers param affect the engine workers

With the addition of the num_engine_workers param in puppet-heat, we
can now wire the HeatWorkers parameter to also set that value, as
with the other workers.

Change-Id: I169b648737f797ccd45d12b66705d111e7b95bb7
Depends-On: I53a4333ca16df516294c733f85546c0b0a6a0b88

Fix Neutron enable_*_agent* Hiera parameters

This change will fix a logic error when L3 agent was disabled, where
a Pacemaker constraint (neutron-dhcp-agent-to-l3-agent-constraint) were
still looking for l3_agent_service in the Puppet catalog, but could not
because L3 agent was disabled.
It was sending this Puppet error:
Error: Could not find dependency
Pacemaker::Resource::Service[neutron-l3-agent] for
Pacemaker::Constraint::Base[neutron-dhcp-agent-to-l3-agent-constraint]

Change-Id: I0e5d24d844810c58a3205303399d1c20773af3dd

Merge "Add GlanceRegistry to the endpoint map"