Merge "Remove some properties from overcloud.yaml Controller group"

Merge "Replace hard-coded regionOne with parameter references"

Merge "Enable Manila integration - as a composable controller service"

Replace hard-coded regionOne with parameter references

In a few places we hard-code the config values to regionOne, but
there is a parameter available to set this.

Change-Id: I9f5138103deb45f7432ee44e03a08dcf54c2990d

Enable Manila integration - as a composable controller service

Allows the installation and configuration of Manila.
Supports the generic driver only. This has a dependency on the
puppet-tripleo classes for manila where the puppet specific
config now lives.

The review at https://review.openstack.org/#/c/315658/ has been
merge into this one, as of v68, so manila lands as a composable
service. This was brought up on the mailing list at [1]

[1] http://lists.openstack.org/pipermail/openstack-dev/2016-May/096126.html

Co-Authored-By: Marios Andreou <marios@redhat.com>
Implements: blueprint composable-services-within-roles
Depends-On: I444916d60a67bf730bf4089323dba1c1429e2e71
Depends-On: I9eda4b3364e5c59342761a1ec71b0eb567c69cf1
Depends-On: I571b65a5402c1028418476a573ebeb9450ed00c9
Change-Id: I7acebac4354fca1f8d7ff6c343c1346bf29b81c6

Merge "Enable glance to use the SSL middleware"

Merge "Enable keystone to use the SSL middleware"

Merge "Update heat-agents setup files"

Merge "move hieradata/ceph into ceph-base service"

Merge "Add default value for `RoleData`"

Remove usage of ::nova class in THT

The ::nova class definition is now done in puppet-tripleo.

Depends-On: Ie4e72e765f6a8ade48d4b2b766f067872554d1a2
Change-Id: Ic394e50aa2e288f12d7287a68ea5f691fb7ef07c

Enable glance to use the SSL middleware

The http_proxy_to_wsgi middleware was recently added to glance as
default in the pipeline [1].

We already enable this middleware for nova, cinder and heat.

[1] I481d88020b6e8420ce4b9072dd30ec82fe3fb4f7

Change-Id: I4a8f7fc079ca93c50aa0ef7b0548dc64f6c5cfa0
Depends-On: I51fbc6050dfbdc72f7ee56a2d17dd5223a208a17

Enable keystone to use the SSL middleware

The http_proxy_to_wsgi middleware was recently added to keystone as
default in the pipeline [1]. So this takes it into use instead of the
non-standard option we were using before, which will be deprecated.

We already enable this middleware for nova, cinder and heat.

[1] Iad628a863e55cbf20c89ef23ebc7527ba8e1a835

Depends-On: I0fec98a6e1d9c8be4d8b8df382b78ba2815790f9
Change-Id: I8c1b84adc828a2b8c9ea11c4e2b8349427b1b206

move hieradata/ceph into ceph-base service

Part of composable roles work, move hieradata/ceph into the ceph-base
profile directly.
Also add a comment in all hieradata files to stop adding more data and
use composable services.

Change-Id: I97cc22a253b547be6b99312b6072f53b428aae2c

Merge "Move constraints to their respective services"

Merge "Stop passing charset=utf8 for neutron database connection option"

Merge "Filter null/None service names"

Update heat-agents setup files

This patch moves the image pull step out of the service heat-agent
service script to ease the service init process and to make it more
reliable. By doing this outside of the service script, it's possible to
know when the `firstboot` script failed and report back.

It also updates the firstboot yaml file to point to the
`tripleoupstream` org.

Co-Authored-By: Flavio Percoco <flavio@redhat.com>
Co-Authored-By: Martin André <m.andre@redhat.com>
Change-Id: I2f0b8092ec69320ee370e1d7d20b8c15c95a1d0d

Add default value for `RoleData`

This just adds a default value for `RoleData` in
docker/compute-post.yaml

Change-Id: I96a01dc22e03980b93b32f0f9990f35b83ecfb24

Move constraints to their respective services

The openstack-core-then-httpd constraint needs to live in the apache
pacemaker manifest and not in the main controller manifest file.
The same goes for those specific vsm/cisco neutron resources.

Change-Id: Ifce6c253db004a98f8feb51b84a2f1731253f178
Depends-On: I2041d4d163f051427b62eec07b8345ad7006cc1d

Merge "We don't need to set a default for the CephX keys and cluster FSID"

Merge "Convert service_name to underscore syntax"

Merge "Move nova constraints from controller manifest to each service"

We don't need to set a default for the CephX keys and cluster FSID

Change-Id: I28021f27a5adc8433df8abdadf0b571b20674fa6
Partial-Bug: 1607407

Convert service_name to underscore syntax

Currently we use hyphens, e.g cinder-api, but in overcloud.yaml
we have a lot of references to services (e.g for AllNodesConfig)
by underscore, e.g cinder_api.  To enable dynamic generation of
this data, we need the service name in underscore format.

Change-Id: Ief13dfe5d8d7691dfe2534ad5c39d7eacbcb6f70

Merge "Allow to manually disable post-puppet restarts"

Merge "Create role for the fake openstack-core resource"

Move nova constraints from controller manifest to each service

Currently we are still creating all the pacemaker constraints for nova
in the main overcloud_controller_pacemaker.pp manifest file.

Let's move those to each role where they belong. Note that given
that a constraint depends on two separate pacemaker resources it is a
bit arbitrary in which file they end up being (the one of the first
resource or the second one).

Depends-On: I96a3a313d15fac820b020feae0568437c2cbade3

Change-Id: I4f15485b1f355b3b38fc6c16552f204aa8bba7bc

Create role for the fake openstack-core resource

Change-Id: Iacd94294b8a66bc082bb2b3e8d3364ec1bf053b8
Depends-On: I16a786ce167c57848551c7245f4344c382c55b3d

Migrate Puppet Hieradata to composable services

Migrate puppet/hieradata/*.yaml parameters to puppet/services/*.yaml
except for some services that are not composable yet.

Co-Authored-By: Juan Antonio Osorio Robles <jaosorior@redhat.com>
Change-Id: I7e5f8b18ee9aa63a1dffc6facaf88315b07d5fd7

Remove some properties from overcloud.yaml Controller group

Remove those parameters which simply shadow parameters defined in
puppet/controller.yaml, these can be passed via parameter_defaults,
which is the default.  The remaining properties are more tricky so
will be handled via subsequent patches.

Partially-Implements: blueprint custom-roles
Change-Id: I9bbbd12631de8cb1ad83e265f6ddc9e942dff9ab

Filter null/None service names

To enable use of the service_names lists in overcloud.yaml we need
to strip any null/None values or list processing becomes cumbersome.

These happen because we're currently disabling some services via
OS::Heat::None in the resource_registry, it may be possible to remove
when we've got a fully composable approach to generating the
*Services lists.

Change-Id: I8ef53b4279d93850c207c73aab0d75095a2497a2
Partially-Implements: blueprint custom-roles

Force a tty for sudo in get-occ-config.sh

This script will sometimes fail with "you must have a tty to run sudo"
depending on how it was executed. Add -tt to the $SSH_OPTIONS to always
force a tty.

Change-Id: Ic1144b9ba90d4af35db826a78e637da965569841
Closes-Bug: #1606544

Merge "Set MDS/OSD firewall ports from ceph-osd template"

Merge "Cleanup templates from the shared CephCluster config"

Merge "Composable firewall rules"

Merge "Convert Swift ringbuilder to composable services format"

Merge "Explicitly set nova and neutron host on controllers"

Merge "Remove tenant_id from nova v2.1 endpoint"

Set MDS/OSD firewall ports from ceph-osd template

Change-Id: Ie8d1678e6e32271ff31ea9dd7fcf7ef9e8956b86

Composable firewall rules

Split out the firewall rules in puppet/hieradata/controller.yaml
into the composable services

Depends-On: Id370362ab57347b75b1ab25afda877885b047263
Change-Id: Icaecab100d3f278035fbbb3facb9bf6c62c76c03

Cleanup templates from the shared CephCluster config

Removes from the templates the old CephCluster configuration and
deployment which before roles was distributing the shared settings
for the Ceph cluster configuration.

Change-Id: Ia704f5d7add85e52dd477f4bc758aa0a02e4b39b

Convert Swift ringbuilder to composable services format

This moves the ringbuilder puppet code to puppet-tripleo
and migrates to the composable services format.

Closes-Bug: #1601857
Change-Id: I0ea2230072d3ff61a4047ffff1f4187951370f67
Depends-On: I427f0b5ee93a0870d43419009178e0690ac66bd6

Merge "Move nova::db data within service template"

Merge "Fixes type and description for NeutronL3HA"

Merge "Remove unused redis_vip parameter"

Merge "Move mysql::host param from MysqlInternal to MysqlNoBracketsInternal"

Move nova::db data within service template

Change-Id: I86752248e59a2e98f8ff9b2c5998839f9ade4779

Add 'service_name' to composable services

This patch adds a new service_name section to each composable
service. We now have an explicit unit test check to ensure that
service_name exists in tools/yaml-validate.py.

This patch also wires service_names into hieradata on each
of the roles so that tools can access the deployed services locally
during deployment and upgrades.

Change-Id: I60861c5aa760534db3e314bba16a13b90ea72f0c

Merge "Deploy Horizon with composable apache service"

Fixes type and description for NeutronL3HA

puppet-neutron takes this variable as boolean.  Although it doesn't
change the behavior in master (because the variable is used directly as
config), in mitaka it is used as a conditional and should be properly
fixed.

Also a fix is needed in python-tripleoclient because it is hard coded to
be True there based on number of controllers being greater than 1.
Therefore we shoudl remove that logic from tripleoclient and implement
it in THT.  In order to do that the pacemaker version of the variable is
defaulted to true.

Partial-Bug: 1605379

Change-Id: I0b797dbe188382e2dc32506913aaa60a0a21bd68
Signed-off-by: Tim Rozet <trozet@redhat.com>

Explicitly set nova and neutron host on controllers

In I7d07c57b7276815c72d08acaa86f673e43eb0498 we set this for compute
nodes, but we also need it for controllers.  Otherwise when a
controller reboots it may come back up with a different host value,
which seems to break networking for anything that was created before
the reboot.  In my case, it changes from the short hostname (without
domain name) to the fqdn.  Since we set it to fqdn for the compute
nodes, let's do the same for controllers.

This moves all of the host setting to the base yaml of the nova
and neutron profiles.

Change-Id: Ieb793b9e9fd2dfc98584691412f9991aa99e0b47
Closes-Bug: 1604907

Move mysql::host param from MysqlInternal to MysqlNoBracketsInternal

The ::host parameter expects IPv6 addresses withouth brackets; this
change aligns the remaining services to use MysqlNoBracketsInternal
as it happens already for the others (eg. Keystone).

Change-Id: Ia72d325447408b1cb5fea836034bbcd75d17ddf1

Merge "Remove ::nova::cron::archive_deleted_rows"

Deploy Horizon with composable apache service

Deploy Horizon with composable apache service and don't include:
::tripleo::profile::pacemaker::apache

Because it's already included in the profiles in puppet-tripleo.

Change-Id: I5382d5cc95ba10805019142a9a223dbd4a4b8074
Depends-On: Id28c618133e53e28dfac7e3e9cf9f5f5a6b2421a

Merge "Include new apache pacemaker profile"

Merge "Remove the ControllerCount contraint"

Remove unused redis_vip parameter

Depends-On: I6ba962c682dc2ab8c6ee5238e0c176d9ae05d696
Change-Id: I796524128c49fe1927e96288d40b257a4d862ee7

Merge "Fix KeystoneWorkers default value"

Merge "Fix ceilometer auth url for compute"

Include new apache pacemaker profile

In https://review.openstack.org/345013 we are working to create a new
profile for Apache with Pacemaker. We can't include this class in the
profiles (keystone, etc) yet because it would cause a duplicate resource
error in Puppet catalog.

So we need to first clean the code in overcloud_controller_pacemaker.pp
and include the new class, and then we can either create a new
composable service in THT for apache or include the class directly in
puppet-tripleo profiles that need it (keystone, horizon, etc).

Change-Id: I1222fbf099b4268e33ec8ee32380f0a6b1d5e1af
Depends-On: I9ae6cee2bfb0f8974d41d700454cfde2df06c2d1

Fix KeystoneWorkers default value

The current default doesn't get expanded to its real value correctly,
the new one should work better, it's according to hiera docs:

https://docs.puppet.com/hiera/3.2/variables.html

Change-Id: I8d1df131d2f1eee4ae0f725358d33a3ecfa3175a

Fix ceilometer auth url for compute

Due to a recent change introduced in puppet ceilometer[1]
ceilometer auth type defaults to password type and v2
auth_url doesnt work with domain. This fixes the url to
not include suffix.

[1] https://review.openstack.org/#/c/320454/

Change-Id: If672b78b8ce9addf831f5b72a702447e1422f30e

Remove the ControllerCount contraint

Some deployments want to deploy zero controllers, and this will become
a more likely configuration when support for custom roles lands (e.g
a set of decomposed custom roles vs the monolithic controller role
may be deployed instead).

Change-Id: Idb21779f3ad9d875576bdb5e6502ed27a72600ba

Remove ::nova::cron::archive_deleted_rows

::nova::cron::archive_deleted_rows is not called in puppet-tripleo Nova
API profile.

Change-Id: Idc343e481ca04b404be5311b2908f016e4517aad
Depends-On: I7035f7998c11dc5508dae8c1a750b93c2944b2d4

Fix gnocchi::storage::ceph::ceph_keyring

This change configures gnocchi::storage::ceph::ceph_keyring to a
valid ceph keyring location.

Change-Id: I29fb0cb8a865353a43246a09d1c08eb0cf872cea
Closes-Bug: 1604508

Merge "Repurpose KeystoneWorkers add keystone::wsgi::apache::threads"

Merge "gnocchi: configure db_sync command in the profile"

Merge "Add MysqlNoBracketsInternal to enable-tls.yaml"

Merge "Remove enable_load_balancer on nonha manifest"

Merge "Don't collect gnocchi-service tag in THT"

Merge "Remove useless mongodb variables in ha manifest"

Merge "overcloud_compute.pp: remove nova_config params"

gnocchi: configure db_sync command in the profile

Configure db_sync extra command in the profile itself

Change-Id: Ia27068907a2149da2cb87b50ffe65b27a0542ed7

Remove enable_load_balancer on nonha manifest

The parameter is not used anywhere.

Change-Id: I31bd2b0524038b3a3b45f1c5b95fb02ef6cfa903

Merge "Missing CephClientKey parameter in puppet-ceph-devel and storage-environment"

Remove useless mongodb variables in ha manifest

Remove useless parameters that move to puppet-tripleo some time ago.

Change-Id: I54e99f2012f0dd12eb9e1cbad5bc73827019934a

Don't collect gnocchi-service tag in THT

The gnocchi-service tag is already collected in puppet-tripleo Pacemaker
Gnocchi profile and was not removed here.

Change-Id: Ic38aeae849d16db36663f16156d1c9fbcf86784a

overcloud_compute.pp: remove nova_config params

Remove usage of nova_config for 2 parameters. The parameters were here
for legacy and should not be useful anymore.

Change-Id: Ifd4e89ff43ab7ebc5c69dec526696eb9902aa621

Add MysqlNoBracketsInternal to enable-tls.yaml

Change-Id: Ife466e6a8b8112777d4c0e845e31fa633da5e53d

Move MySQL Galera within composable services

This patch just moves the Puppet code into puppet-tripleo.
A future iteration will be to move parameters within the service
template.

Closes-Bug: #1601853
Depends-On: I7ddae28a6affd55c5bffc15d72226a18c708850e
Change-Id: I51a05dbf53f516b200c146b35529ce563ce9ac7b

Merge "Composable Pacemaker service"

Composable Pacemaker service

Deploy Pacemaker using composable services.

Change-Id: I038514812af5a9f30260a81ea3366d46bee4ee4e
Depends-On: I46215f82480854b5e04aef1ac1609dd99455181b
Closes-Bug: #1601970

Ceilometer Compute Agent composable service

Implement the service for ceilometer agent compute.

Change-Id: I5ab3887832588ce26e2d258d05f725d87d2c103d

Remove ceilometer mysql db hieradata

We already moved this to service templates

Change-Id: Ic3c59a8ef753d8ea09900e9020779ccb55f3bd07

Merge "Gnocchi composable roles"

Merge "Fix network-isolation.yaml to stop clobbering Management net"

Merge "Combine BootstrapNodeDeployment with AllNodesDeployment"

Merge "compute: moving out iscsi bits, now in puppet-tripleo"

Merge "Composable OpenContrail compute plugin"

Merge "Composable Plumgrid compute plugin"

Merge "Composable Midonet compute plugin"

Merge "Composable Nuage Compute Plugin"

Merge "Composable Neutron Core Compute Plugin"

Merge "Use already Deployed/Installed servers"

Merge "Add a second proxy-logging middleware entry to swift-proxy"

Fix network-isolation.yaml to stop clobbering Management net

The network-isolation.yaml file explicitly set the Management
network to None and the ports to noop.yaml. This resulted in the
Management network being disabled if network-management.yaml was
included before network-isolation.yaml.

These changes comment out the Management declarations to show the
default, and mention that network-management.yaml may be included.
Since the Management network is disabled by default, it isn't
necessary to noop it here. This change also places the Redis VIP
in a more logical place next to the controller ports.

Change-Id: I50a71b3ddf77bda2d213821da5e4260b503a6cb7
Fixes-bug: 1602283

Composable OpenContrail compute plugin

Adds a new neutron compute plugin used to help configure opencontrail
for use on compute nodes.

Change-Id: I67a649445d5f1cb21ab9483bae7f5f4c2c657142

Composable Plumgrid compute plugin

Adds a new neutron compute plugin used to help configure plumgrid
for use on compute nodes.

Change-Id: Ied6493aba826a602b2ce73359d1acf26ebe89869

Composable Midonet compute plugin

Adds a new neutron compute plugin used to help configure midonet
for use on compute nodes.

Change-Id: I3a6996d3d9557ecad5ccd26a3901caccbf111468