Add nova-metadata template

This is needed because currently we're not generating
nova_metadata_vip or nova_metadata_nodes_ip, and a service profile is
required for that. Unfortunately, currently puppet-nova only deploys
osapi and metadata through the same manifest, so this profile doesn't
really inject any puppet code. We can make this more elegant later.

Change-Id: Id7112111f16d0c749a6203b90e29e6d9f1e4d57e
Closes-Bug: #1625543

Merge "Add a function to upgrade from full HA to NG HA"

Merge "Set VNC URL parameters for nova-compute"

Add a function to upgrade from full HA to NG HA

This is the initial work to have a function that migrates a full HA
architecture as deployed in Mitaka to the HA architecture as deployed in
Newton where only a few resources are managed by pacemaker.

The sequence is the following:
1) We remove the desired services from pacemaker's control. The services
   at this point are still running normally via the systemd service as
   invoked by pacemaker
2) We do a "systemctl stop <service>" on all controllers for all the
   services that were removed from pacemaker's control. We do this to make
   sure that during the yum upgrade, the %post sections that call
   "systemctl try-restart" do not take ages, because at this point during
   the upgrade rabbit is down. The only exceptions are "openstack-core"
   and "delay" which are dummy pacemaker resources that do not exist on
   the system
3) We do a "systemctl start <service>" on all nodes for all the services
   mentioned above.

We should probably merge this patch only when newton has branched as it
is very specific to the M/N upgrade.

Closes-Bug: 1617520
Change-Id: I4c409ce58c1a57b6e0decc3cf168b62698b32e39

Use osd_pool_default_* puppet parameters when creating the pools

While it is possible to override the pg_num, pgp_num and size for
each pool, the defaults are hardcoded. This patch uses as default
the values given via ceph::profile::params::osd_pool_default_*
parameters, if any.

Closes-Bug: 1623590
Change-Id: Iecde772e7f72fd9abedb54cff4b8f2605df8fedd

Merge "M/N upgrade sahara-api fails to restart."

Merge "Add fluentd client service"

Merge "Move rabbit's clustering port away from the ephemeral port range"

M/N upgrade sahara-api fails to restart.

Change-Id: I7a041dab8b1b1edc9c80248e1eef3ce7ab272292
Closes-Bug: 1615056

Merge "Rework the pacemaker_common_functions for M..N upgrades"

Set VNC URL parameters for nova-compute

These are needed so the computes can advertize the VNC URL correctly.

Change-Id: Ic3eba9fe929ce396b584249eb84415de09ab1b62
Closes-Bug: #1623607

Merge "Add mongo config settings in collector service templates"

Rework the pacemaker_common_functions for M..N upgrades

For N we cannot assume services are managed by pacemaker.
This adds functions to check if a service is systemd or
pcmk managed and start/stops it accordingly. For pcmk,
only stop/disable on bootstrap node for example, whereas
systemd should stop/start on all controllers.

There is also an equivalent change to the check_resource
which has been reworked to allow both pcmk and systemd.

Implements: blueprint overcloud-upgrades-workflow-mitaka-to-newton
Change-Id: Ic8252736781dc906b3aef8fc756eb8b2f3bb1f02

Merge "Add NetApp Manila driver integration and tidy up generic"

Merge "Convert AllNodesExtraConfig to support composable roles"

Add fluentd client service

This implements support for installing fluentd agents as a composable
service on the overcloud.

Depends-On: I2e1abe4d8c8359e56ff626255ee50c9cacca1940

Implements: tripleo-opstools-centralized-logging
Change-Id: I23b0e23881b742158fcfb6b8c145a3211d45086e

Merge "Expose parameter to enable combination alarms"

Merge "Refactor upgrade checks."

Merge "Add CephRgw to roles_data.yaml"

Merge "Convert UpdateWorkflow to support composable roles"

Merge "Fix use of batch_create in CephMon major upgrade template"

Merge "Add hyperconverged-ceph environment to include CephOSD on computes"

Merge "Fix _from_pool_v6.yaml str_split"

Move rabbit's clustering port away from the ephemeral port range

Currently RabbitMQ cluster uses a predefined port 35672 for clustering.
This port belongs to so-called ephemeral ports range.

Ephemeral ports are the ports kernel assings to application if it
doesn't specify which port to open. So there is a small chance that this
application being started before RabbitMQ itself could grab this port.
While rather unlikely we did see this happen.

Selinux change should already be in place. On my Centos 7 we have:
rabbitmq_port_t                tcp      25672
corenet_tcp_bind_rabbitmq_port(rabbitmq_t)
corenet_tcp_connect_rabbitmq_port(rabbitmq_t)

First noted via:
https://bugzilla.redhat.com/show_bug.cgi?id=1357522

Closes-Bug: #1623818

Depends-On: I0bcd0d063a7a766483426fdd5ea81cbe1dfaa348
Change-Id: I995bd96c2a17614e954ea5bbae4d58998ef420dc

Add mongo config settings in collector service templates

In scenario where mongo and collector are on separate nodes like as
indicated in the bug, collector should be able to access mongo replset
and other hiera data.

Closes-bug: #1620468

Depends-On: I0bcd0d063a7a766483426fdd5ea81cbe1dfaa348

Change-Id: Iadf4c78fb03da183d19e93c30f78817a3cfed425

Merge "Convert deploy steps to jinja2 loop"

Fix _from_pool_v6.yaml str_split

Previously [1] we updated from_pool_v6 to use str_split but mistakenly
copy/pasting lines referencing an attribute which isn't created in
these templates.

1. I282dbc025500b1628d4f08a49b54a2adefd38b5f

Closes-Bug: 1624412
Change-Id: I409ff5b36eab2a791db4d352dea5b68096c2dc21

Merge "Fixes the Ceph upgrade scripts"

Merge "Set client protocol for glance registry client"

Fix use of batch_create in CephMon major upgrade template

The batch_create and rolling_update keys were incorrectly defined
as properties of the resource instead of update policies.

Change-Id: I19261adc78e4cdc3616f16221e85490a6b48d47b
Closes-Bug: 1623506

Add CephRgw to roles_data.yaml

CephRgw defaults to None in the registry, seems like we missed it
in roles_data after a rebase.

Change-Id: I4ce8b160edfb193f5f6226f8295861e6625ef37b

Fixes the Ceph upgrade scripts

The Ceph upgrade scripts was failing on the following:

1. a syntax error in an if condition
2. an attempt to read a possibly unbound variable
3. an attempt to chown a directory which might not exist

this change aims at fixing all of the above.

Closes-Bug: 1623942
Change-Id: I9e9d63d4ab7626893aaf2a25dccfcafbb97ccbdf

Merge "Unset Keystone public_endpoint"

Merge "Populate vnc_api_lib.ini on compute nodes with OpenContrail"

Convert AllNodesExtraConfig to support composable roles

This adjusts the interface to OS::TripleO::AllNodesExtraConfig so
it supports custom/composable/optional roles.

Note this does break backwards compatibility, and I can't see any way
to avoid that.  I've converted the in-tree templates, and we'll have
to document carefully and or provide a script (or automated conversion
via mistral perhaps?) to allow folks to easily adjust any out of tree
templates to the new format.

Basically you just have to:

1. Remove all the *_servers parameters, replace with one "servers"
   json parameter

2. Replace references to e.g "controller_servers" with "servers, Controller"
   which does a path-based lookup into the json map provided by overcloud.yaml

Change-Id: I5eebf853646b2f6300d6b542fcd4f43e82d3b413
Partially-Implements: blueprint custom-roles

Convert UpdateWorkflow to support composable roles

We need to remove the hard-coded roles from overcloud.j2.yaml
as now it's valid to e.g remove BlockStorage completely.

The previous behavior for the per-role upgrade scripts is maintained
but we'll need to rework this for newton->ocata upgrades where we
can no longer be sure the servers mapping will contain all roles.

Change-Id: I25e6c84757e3c00fba2aae834cd8206c62e44acf
Partially-Implements: blueprint custom-roles

Convert deploy steps to jinja2 loop

Refactor so the post-deploy steps recently moved into
puppet/post.yaml are generated by jinja2 instead of hard-coded

Change-Id: I488e46aaa449c95571bd3d1de9513c3d0730baf3
Partially-Implements: blueprint custom-roles

Set client protocol for glance registry client

To communicate to glance registry, glance API has several parameters
that it uses to form the URI. Right now we are defaulting to http,
when we enable TLS everywhere, this will break. So setting the value
from the endpoint map should fix it.

Closes-Bug: #1623477
Change-Id: Id86787cbaa6f87fdcf9c26111c228fd59fbba012

Expose parameter to enable combination alarms

The puppet-tripleo change for the same is merged
I9220b7d020dc8ed45dd6ca83ea9647efd67ea648

Change-Id: Ic5309ada98c78a15aa3a47dd94acb9e68eb25295

Merge "Convert allNodesConfig properties to composable jinja2"

Merge "Add support for deploying Ceph RGW role"

Convert allNodesConfig properties to composable jinja2

To support custom roles we need to generate these lists of role
specific data.

Change-Id: Ide97cd57d1c07f7f7ff260ff7a6bbe2b71753bd0
Partially-Implements: blueprint custom-roles

Move role ResourceGroups inside the jinja2 loop

This moves the now nearly identical group resources inside the loop
there's a FIXME related to some deprecated compute parameters we'll
need to work around.

Change-Id: Iddd63c42754867125e65e7721ab9d9f46f4d6afb
Partially-Implements: blueprint custom-roles

Merge "Enable proxy header parsing for Manila"

Add NetApp Manila driver integration and tidy up generic

Enables configuring a NetApp backend for the Manila service
This was created based on the review at
https://review.openstack.org/#/c/188138/

This makes the netapp and generic backends disabled by default
in the services/manila-backend-*.yaml. A backend is then
enabled via backend-specific environment files, which will set
any config parameters and enable that backend.

It is expected that multiple manila backend specific environment
files might be specified simultaneously.

Finally generic and manila config is split into separate
service files rather than using manila-base for all the things.

Co-Authored-By: Ryan Hefner <rhefner@redhat.com>
Co-Authored-By: Ben Swartzlander <ben@swartzlander.org>
Closes-Bug: 1618479
Depends-On: Ic6f8e8d27ca20b9badddea5d16550aa18bff8418
Change-Id: I35fce32d0f6a5cc1c3382c2d0e0d6028928fd943

Merge "De-bracket vncproxy_host in compute profile"

Merge "Configure Keystone credentials"

Merge "Add trunking plugin to list of default ML2 service plugins"

Unset Keystone public_endpoint

The keystone public_endpoint value should be deduced from the calling
request and not hardcoded, or it makes network isolation impossible.

Change-Id: Ide6a65aa9393cb84591b0015ec5966cc01ffbcf8
Closes-Bug: 1381961

De-bracket vncproxy_host in compute profile

This is done in the vncproxy profile, but for some reason is not in
the compute one.  It causes hiera to explode when the brackets are
left, so we need to do the bracket stripping here too.

Also switches both places to just use the host_nobrackets version
of the endpoint instead of stripping them with str_replace.

Change-Id: I7ccd84b575fd652f6412fdb1869c31c79a7bf53b
Closes-Bug: 1618623

Configure Keystone credentials

Configure Keystone credentials by installing 2 keys with dynamic content
generated by python-tripleoclient.

Note: this is a first iteration of managing Keystone credentials. It has
a few limitations:
- keys are not exported to external storage.
- keys are not rotated automatically.

Change-Id: I45cf8821eadf528dfcdc8d74e6e0484597b0d2c0

Add explicit entry for ctlplane IP in /etc/hosts

There was currently no way of getting it and we can't asure that the
primary IP will use it. So it's explicitly needed there.

Change-Id: Idb3ca22ac136691b0bff6f94524d133a4fa10617

Refactor upgrade checks.

We make it clear that recoverable checks happen before starting the
upgrade to be able to run the upgrade after the offending error has been
manually corrected.

Add new check for the pcsd cluster status.

Add new check for galera password file: BZ 1357112

Closes-Bug: 1614907
Change-Id: If736c79121e1ffe0eaeb814bdb73ccbc0b64edcd

Merge "Fix service config files having wrong map_merge format"

Merge "Make Nova VNC Proxy service name match service net map"

Merge "Add Heat's Cfn and Cloudwatch networks to ServiceNetMap"

Enable proxy header parsing for Manila

This is necessary for when HAProxy is terminating TLS for manila,
else we will have keystone discovery errors. This is the same we do
for several other services, as manila uses the same middleware.

Change-Id: Ice78b0abceb6a956bb8c1dc6212ee1b56b62b43f

Move per-role NetIpListMap's into jinja template loop

Change-Id: I8fc855833e8c602e94d0e8b330a713de1c98f901

Merge "Adjust MTU to compensate for VLAN tag issue"

Add support for deploying Ceph RGW role

This patch add support for deploying Ceph RGW.

Co-Authored-By: Giulio Fidente <gfidente@redhat.com>
Change-Id: I88c8659a36c2435834e8646c75880b0adc52e964

Add Heat's Cfn and Cloudwatch networks to ServiceNetMap

these are needed if we want to be able to generate which nodes the
service and which VIP are they binding to.

Change-Id: I9d40459406f15db3ad9229c75392c4d959d44b3b
Closes-Bug: #1621371

Make Nova VNC Proxy service name match service net map

If these names don't match then we cannot set the service's nodes,
VIP and network.

Change-Id: I8f1c0eaf62eee2704a5f2556a553032106db606b
Closes-Bug: #1621368

Merge "Move AllNodesValidationDeployments into jinja template loop"

Merge "Move AllNodesDeployments into jinja template loop"

Merge "Convert overcloud.yaml to support jinja2 templating"

Merge "Add support for configuring the OVS firewall driver"

Merge "add composable services for Contrail"

Adjust MTU to compensate for VLAN tag issue

Some network configurations uncovered what appears to be an issue where
a spurious 802.1q header is injected into tunnelled traffic. Adjusting
the default value to accomodate the extra overhead should avoid this
problem.

Partial-Bug: #1621533
Change-Id: I9ebad2d6ad34d90fcb998497873059995cdef276

Move AllNodesValidationDeployments into jinja template loop

These are identical for all roles, so move them into the per-role
loop

Partially-Implements: blueprint custom-roles
Change-Id: Id85b830a0e225912a3ea8c8b17a11fc424f68bb0

Move AllNodesDeployments into jinja template loop

These are identical for all roles, so move them into the per-role
loop

Partially-Implements: blueprint custom-roles
Change-Id: I0a9918d5a2e9a73fe3ac68a96bdee02e95799bc1

Convert overcloud.yaml to support jinja2 templating

The first step of generating the Service chain resources via j2,
we'll then incrementally convert other resources to be created
in a similar way.

Partially-Implements: blueprint custom-roles
Depends-On: I81239991f36ed5f6453184bf9cffe930832cb68b
Change-Id: Iafa9b2afddf18a5a9833ec472a552fb256338b38

Merge "Generate VIP info for ctlplane VIP, not management"

Merge "Remove *ExtraConfig parameters from overcloud.yaml"

Merge "Move role deployment steps into puppet/post.yaml"

Merge "Add keystone networks for the different endpoints"

Remove *ExtraConfig parameters from overcloud.yaml

These per-role parameters are already handled inside the role templates

Change-Id: Ie71c8670ea427ea9c7d94680cff143ad9d524b7a
Partially-Implements: blueprint custom-roles

Move role deployment steps into puppet/post.yaml

To enable steps to be aligned between roles, we need to define
dependencies between the steps, which is only possible if we
move the steps out of distinct nested stacks so we can use
depends_on to serialized the steps for all roles.

Note that we may be able to further refactor later to remove the
per-role -config.yaml nested stacks as well.

Change-Id: Ia2ea559e8eeb64763908f75705e3728ee90b5744
Partially-Implements: blueprint custom-roles

Merge "Add global_config_settings to services' output"

Merge "Add service networks to hieradata"

Merge "Add Ceph cluster health validation on upgrade"

Generate VIP info for ctlplane VIP, not management

The management network does not have a VIP, so it's been wrong to
generate a cloud name and hieradata for this. Instead, the network
that actually needs a name and a hosts entry is the ctlplane network,
which actually has a VIP and there are services that use it.

bp tls-via-certmonger

Closes-Bug: #1621742
Change-Id: I163b2c7b5684da6dc290636f54eefe3f2b0c3e3f

Convert SwiftDevicesAndProxyConfig to composable format

Make use of the new composable per-service node_ips lists by
adding a ServiceNetMap entry for SwiftStorage, then
pass the data to construct the raw device list into puppet-tripleo
instead of mangling it in t-h-t inside the role templates.

This will allow running swift storage services on nodes other than
the Controller and ObjectStorage roles, and is required to enable
custom roles.

Depends-On: I11deed1df712ecccf85d36a75b3bd2e9d226af36
Change-Id: I1bf5f8a9d34b1a5d64ab8656b386226b54ec1a27
Partially-Implements: blueprint custom-roles

Merge "Add base neutron service configuration"

Populate vnc_api_lib.ini on compute nodes with OpenContrail

This is setting sane defaults for vnc_api_lib.ini as requested from the
field. The settings still can be overriden using NovaComputeExtraConfig
if needed.

Change-Id: I6a823c0b34f6ea21aa16939577ac0e1563483557
Closes-Bug: #1620647

Add support for configuring the OVS firewall driver

This patch introduces a parameter to allow customizing the Neutron
OpenvSwitch agent's firewall driver configuration.

Closes-Bug: 1618507
Change-Id: I595c392f7a1afe2164bf562224d9eda9b3dfa982

Merge "Create entries for overcloud VIPs in /etc/hosts"

Add keystone networks for the different endpoints

Keystone doesn't provide different flags to indicate that both of its
endpoints are enabled. So currently we have to manually add its
network to all-nodes-config.

bp tls-via-certmogner

Change-Id: Ibecd78706e84853107f698ba411a0c05e6f5be52

Merge "OVN heat templates"

Fix service config files having wrong map_merge format

map_merge in heat templates should start with hypen for
each map group, few templates are missing the hypen for the
second map group, which is added in this patch

Closes-Bug: #1621008
Change-Id: I307fdd7afc374cce46d6e378594f1b688b9fd4f6

Add base neutron service configuration

Include the neutron-base service definition to align pull in common
configurations. This might not be *absolutely* necessary as any required
common configuration would likely already be added by and OVS agent
service, etc. but it's better to be safe than sorry and it does keep
things consistent across the Neutron services.

Implements: blueprint tripleo-sriov
Change-Id: I10a9d9b29760475e6cd75e4057051c75a52ffbb7

Create entries for overcloud VIPs in /etc/hosts

This will aid us in using FQDNs instead of IPs if DNS is not set. If
the deployer already has DNS set up, they can easily disable this
profile by adding the use-dns-for-vips.yaml environment file.

bp tls-via-certmonger
Change-Id: I8c1b3f253d0149d575171c208f9a1342a7b26450
Depends-On: I1bdb2701dfb3e7ef072e674c9882d3be5af7296c

Add VIP names to allNodesConfig

The nodes need to be aware of the fqdn's for the specific endpoints
in the cloud. This could be either to set the entries in /etc/hosts
or to select an appropriate hostname for a certificate to be
generated.

bp tls-via-certmonger

Change-Id: I9b4645b937a344f46ec18a9a68c5afa2bc5206d0

Add bootstrap_node and vip_data to hierarchy for all roles

We recently made changes that add data to allNodesConfig, but
we didn't wire the files into the hierarchy on all roles.

Change-Id: I8e838b02bd982e600af54b14350106322244890a
Closes-Bug: #1620485

Merge "Fix aodh auth url to remove suffix"

Merge "Use Redis VIP when deploying with keepalived"

Merge "Set Redis VIP on all nodes"

Merge "Change NeutronWorkers default to result in previous behavior"

Merge "Update OpenContrail loadbalancer plugin value"

Merge "Add constraint to prohibit balance-tcp from BondInterfaceOvsOptions"

Merge "Add missing reference to ExternalPort for DVR"