Merge "No-op Puppet for upgrades/migrations according to composable roles"

Merge "Make apache-based services use network-dependent servername"

No-op Puppet for upgrades/migrations according to composable roles

Our previous no-ops stopped working because the Puppet run resources
moved under a different entry in resource registry. This is now fixed
to follow the latest way.

Change-Id: Ia5598385ddca185bfbf10e2d3babb53f6f77d1ac
Closes-Bug: #1626452

Merge "Make sure major upgrade script fails."

Merge "Provide for RAM-constrained environments"

Merge "Glance worker count fix"

Merge "Define step input as a Number type"

Merge "Update capabilities-map.yaml"

Merge "Set Neutron's metadata_ip to the nova metadata VIP"

Define step input as a Number type

Currently we pass numbers in (hard-coded in post.j2.yaml) but the
SoftwareConfig schema defaults to String.  If puppet requires an
integer number, setting this type may help preserve the type for
the hook.

Change-Id: Ie9227d7adb58ea3c791aa459a1ab5b17ad935919

Glance worker count fix

This patch changes the default value and type of the Glance worker
configuration to allow it to be unset and allow a system dependent
default to be used (e.g. processorcount or some derivative value). The
previous default of 0 would result in a single self contained process,
which while suitable for debugging and testing is not appropriate for
production deployments.

Partial-Bug: #1626126
Change-Id: I58a6a72a581e7083e1dc4e5ca568fdd3fdd6cdf1

Provide for RAM-constrained environments

We hit problems in environments which don't have a lot of RAM (e.g. dev
envs, could be also CI) that Apache ate too much memory due to
too many worker processes being spawned.

This commit allows customizing the Apache MaxRequestWorkers and
ServerLimit directives via Heat parameters. The default stays 256 as
that's the default in the Puppet module, to be suited for production
environments with powerful machines. Also low-memory-usage.yaml
environment file is added, which can be used to make dev/test/CI
overclouds less memory hungry, where the limits are now set to 32.

Change-Id: Ibcf1d9c3326df8bb5b380066166c4ae3c4bf8d96
Co-Authored-By: Carlos Camacho <ccamacho@redhat.com>
Closes-Bug: #1619205

Make defaults from roles_data.yaml more robust

The previous logic left out the default Count completely when it was
zero, which breaks nested validation and it's likely similar problems
would exist with the other optional defaults, so rework it so the
defaulting happens in the jinja2 logic, and document the interfaces
better in roles_data.yaml

Change-Id: I7f2eb4a3a0b43c5d2cd0d001ed3c73f783c95c74
Closes-Bug: #1625760

Merge "Enable L3 HA when multiple controllers and no DVR"

Make apache-based services use network-dependent servername

Currently the servername is incorrectly set for the services running
over apache. It currently takes the default value which is just the
regular FQDN, when the services actually might be running on
different IPs that require alternative FQDNs.

This fixes that by filling that value from a fact in hiera that's
dependant on the service's network.

Closes-Bug: #1625677
Change-Id: Ib7ea5fd2d18a376eaa2f5a3fa5687cb9b719a8e2

Make sure major upgrade script fails.

Running upgrade-non-controller.sh against compute and object storage did
not fail if the /root/tripleo_upgrade_node.sh failed.

This make it harder to detect error in CI system for instance.

Change-Id: I12b7d640547d3b8ec1f70104d159d6052b7638ff
Closes-Bug: 1620973

Merge "RabbitMQ threads should be configured dynamically"

Set Neutron's metadata_ip to the nova metadata VIP

The neutron metadata agent's metadata_ip field is meant to refer to the
nova metadata service, not the local address on the NeutronApiNetwork.

Change-Id: Ibb25a80ea3e66ab3f5cf63c197460d495939778d
Closes-Bug: #1625504

Add nova-metadata template

This is needed because currently we're not generating
nova_metadata_vip or nova_metadata_nodes_ip, and a service profile is
required for that. Unfortunately, currently puppet-nova only deploys
osapi and metadata through the same manifest, so this profile doesn't
really inject any puppet code. We can make this more elegant later.

Change-Id: Id7112111f16d0c749a6203b90e29e6d9f1e4d57e
Closes-Bug: #1625543

RabbitMQ threads should be configured dynamically

Currently in puppet/services/rabbitmq.yaml we hardcode the thread pool
size to 30 (via the +A30 snippet):
rabbitmq_environment:
    RABBITMQ_SERVER_ERL_ARGS: '"+K true +A30 +P 1048576 -kernel inet_default_connect_options [{nodelay,true},{raw,6,18,<<5000:64/native>>}] -kernel inet_default_listen_options [{raw,6,18,<<5000:64/native>>}]"'

Upstream rabbit has gained the ability to dynamically configure the
number of threads since 3.6.2 via the following commit:
https://github.com/rabbitmq/rabbitmq-server/commit/41ce5ad808863944cd6d62ce7f7e2271f1010582

Given that the default was hardcoded in rabbit from at least 3.4.0 up
until 3.6.2 (see LP bug associated to this commit), we can actually
remove this hardcoded value as it overrides a sane default.

Before the change:
/usr/lib64/erlang/erts-7.3.1/bin/beam.smp -W w -A 64 -K true -A30 -P 1048576 ...

After the change:
/usr/lib64/erlang/erts-7.3.1/bin/beam.smp -W w -A 64 -K true -P 1048576 ...

So effectively with this change we will have the following:
- With older rabbitmq versions we keep the +A30 default
- With rabbitmq versions >= 3.6.2 the thread number is dynamically
  computed to nr_cpus * 16

Change-Id: I8d30c7d141c29fcc439d40fc767498520be7966e
Closes-Bug: #1625486

Enable L3 HA when multiple controllers and no DVR

This patch conditionally enables Neutron L3 HA if there are multiple
controllers but DVR has not been enabled. If the conditions are false,
the value of NeutronL3HA is used.

Change-Id: If1ebeaf417c0da99d833450e394b71cabff2c800
Closes-Bug: #1623155

Merge "Add a function to upgrade from full HA to NG HA"

Merge "Set VNC URL parameters for nova-compute"

Add a function to upgrade from full HA to NG HA

This is the initial work to have a function that migrates a full HA
architecture as deployed in Mitaka to the HA architecture as deployed in
Newton where only a few resources are managed by pacemaker.

The sequence is the following:
1) We remove the desired services from pacemaker's control. The services
   at this point are still running normally via the systemd service as
   invoked by pacemaker
2) We do a "systemctl stop <service>" on all controllers for all the
   services that were removed from pacemaker's control. We do this to make
   sure that during the yum upgrade, the %post sections that call
   "systemctl try-restart" do not take ages, because at this point during
   the upgrade rabbit is down. The only exceptions are "openstack-core"
   and "delay" which are dummy pacemaker resources that do not exist on
   the system
3) We do a "systemctl start <service>" on all nodes for all the services
   mentioned above.

We should probably merge this patch only when newton has branched as it
is very specific to the M/N upgrade.

Closes-Bug: 1617520
Change-Id: I4c409ce58c1a57b6e0decc3cf168b62698b32e39

Use osd_pool_default_* puppet parameters when creating the pools

While it is possible to override the pg_num, pgp_num and size for
each pool, the defaults are hardcoded. This patch uses as default
the values given via ceph::profile::params::osd_pool_default_*
parameters, if any.

Closes-Bug: 1623590
Change-Id: Iecde772e7f72fd9abedb54cff4b8f2605df8fedd

Merge "M/N upgrade sahara-api fails to restart."

Merge "Add fluentd client service"

Merge "Move rabbit's clustering port away from the ephemeral port range"

M/N upgrade sahara-api fails to restart.

Change-Id: I7a041dab8b1b1edc9c80248e1eef3ce7ab272292
Closes-Bug: 1615056

Merge "Rework the pacemaker_common_functions for M..N upgrades"

Set VNC URL parameters for nova-compute

These are needed so the computes can advertize the VNC URL correctly.

Change-Id: Ic3eba9fe929ce396b584249eb84415de09ab1b62
Closes-Bug: #1623607

Merge "Add mongo config settings in collector service templates"

Rework the pacemaker_common_functions for M..N upgrades

For N we cannot assume services are managed by pacemaker.
This adds functions to check if a service is systemd or
pcmk managed and start/stops it accordingly. For pcmk,
only stop/disable on bootstrap node for example, whereas
systemd should stop/start on all controllers.

There is also an equivalent change to the check_resource
which has been reworked to allow both pcmk and systemd.

Implements: blueprint overcloud-upgrades-workflow-mitaka-to-newton
Change-Id: Ic8252736781dc906b3aef8fc756eb8b2f3bb1f02

Merge "Add NetApp Manila driver integration and tidy up generic"

Merge "Convert AllNodesExtraConfig to support composable roles"

Add fluentd client service

This implements support for installing fluentd agents as a composable
service on the overcloud.

Depends-On: I2e1abe4d8c8359e56ff626255ee50c9cacca1940

Implements: tripleo-opstools-centralized-logging
Change-Id: I23b0e23881b742158fcfb6b8c145a3211d45086e

Merge "Expose parameter to enable combination alarms"

Merge "Refactor upgrade checks."

Merge "Add CephRgw to roles_data.yaml"

Merge "Convert UpdateWorkflow to support composable roles"

Merge "Fix use of batch_create in CephMon major upgrade template"

Merge "Add hyperconverged-ceph environment to include CephOSD on computes"

Merge "Fix _from_pool_v6.yaml str_split"

Move rabbit's clustering port away from the ephemeral port range

Currently RabbitMQ cluster uses a predefined port 35672 for clustering.
This port belongs to so-called ephemeral ports range.

Ephemeral ports are the ports kernel assings to application if it
doesn't specify which port to open. So there is a small chance that this
application being started before RabbitMQ itself could grab this port.
While rather unlikely we did see this happen.

Selinux change should already be in place. On my Centos 7 we have:
rabbitmq_port_t                tcp      25672
corenet_tcp_bind_rabbitmq_port(rabbitmq_t)
corenet_tcp_connect_rabbitmq_port(rabbitmq_t)

First noted via:
https://bugzilla.redhat.com/show_bug.cgi?id=1357522

Closes-Bug: #1623818

Depends-On: I0bcd0d063a7a766483426fdd5ea81cbe1dfaa348
Change-Id: I995bd96c2a17614e954ea5bbae4d58998ef420dc

Add mongo config settings in collector service templates

In scenario where mongo and collector are on separate nodes like as
indicated in the bug, collector should be able to access mongo replset
and other hiera data.

Closes-bug: #1620468

Depends-On: I0bcd0d063a7a766483426fdd5ea81cbe1dfaa348

Change-Id: Iadf4c78fb03da183d19e93c30f78817a3cfed425

Merge "Convert deploy steps to jinja2 loop"

Fix _from_pool_v6.yaml str_split

Previously [1] we updated from_pool_v6 to use str_split but mistakenly
copy/pasting lines referencing an attribute which isn't created in
these templates.

1. I282dbc025500b1628d4f08a49b54a2adefd38b5f

Closes-Bug: 1624412
Change-Id: I409ff5b36eab2a791db4d352dea5b68096c2dc21

Merge "Fixes the Ceph upgrade scripts"

Merge "Set client protocol for glance registry client"

Fix use of batch_create in CephMon major upgrade template

The batch_create and rolling_update keys were incorrectly defined
as properties of the resource instead of update policies.

Change-Id: I19261adc78e4cdc3616f16221e85490a6b48d47b
Closes-Bug: 1623506

Add CephRgw to roles_data.yaml

CephRgw defaults to None in the registry, seems like we missed it
in roles_data after a rebase.

Change-Id: I4ce8b160edfb193f5f6226f8295861e6625ef37b

Fixes the Ceph upgrade scripts

The Ceph upgrade scripts was failing on the following:

1. a syntax error in an if condition
2. an attempt to read a possibly unbound variable
3. an attempt to chown a directory which might not exist

this change aims at fixing all of the above.

Closes-Bug: 1623942
Change-Id: I9e9d63d4ab7626893aaf2a25dccfcafbb97ccbdf

Merge "Unset Keystone public_endpoint"

Merge "Populate vnc_api_lib.ini on compute nodes with OpenContrail"

Convert AllNodesExtraConfig to support composable roles

This adjusts the interface to OS::TripleO::AllNodesExtraConfig so
it supports custom/composable/optional roles.

Note this does break backwards compatibility, and I can't see any way
to avoid that.  I've converted the in-tree templates, and we'll have
to document carefully and or provide a script (or automated conversion
via mistral perhaps?) to allow folks to easily adjust any out of tree
templates to the new format.

Basically you just have to:

1. Remove all the *_servers parameters, replace with one "servers"
   json parameter

2. Replace references to e.g "controller_servers" with "servers, Controller"
   which does a path-based lookup into the json map provided by overcloud.yaml

Change-Id: I5eebf853646b2f6300d6b542fcd4f43e82d3b413
Partially-Implements: blueprint custom-roles

Convert UpdateWorkflow to support composable roles

We need to remove the hard-coded roles from overcloud.j2.yaml
as now it's valid to e.g remove BlockStorage completely.

The previous behavior for the per-role upgrade scripts is maintained
but we'll need to rework this for newton->ocata upgrades where we
can no longer be sure the servers mapping will contain all roles.

Change-Id: I25e6c84757e3c00fba2aae834cd8206c62e44acf
Partially-Implements: blueprint custom-roles

Convert deploy steps to jinja2 loop

Refactor so the post-deploy steps recently moved into
puppet/post.yaml are generated by jinja2 instead of hard-coded

Change-Id: I488e46aaa449c95571bd3d1de9513c3d0730baf3
Partially-Implements: blueprint custom-roles

Set client protocol for glance registry client

To communicate to glance registry, glance API has several parameters
that it uses to form the URI. Right now we are defaulting to http,
when we enable TLS everywhere, this will break. So setting the value
from the endpoint map should fix it.

Closes-Bug: #1623477
Change-Id: Id86787cbaa6f87fdcf9c26111c228fd59fbba012

Expose parameter to enable combination alarms

The puppet-tripleo change for the same is merged
I9220b7d020dc8ed45dd6ca83ea9647efd67ea648

Change-Id: Ic5309ada98c78a15aa3a47dd94acb9e68eb25295

Merge "Convert allNodesConfig properties to composable jinja2"

Merge "Add support for deploying Ceph RGW role"

Convert allNodesConfig properties to composable jinja2

To support custom roles we need to generate these lists of role
specific data.

Change-Id: Ide97cd57d1c07f7f7ff260ff7a6bbe2b71753bd0
Partially-Implements: blueprint custom-roles

Move role ResourceGroups inside the jinja2 loop

This moves the now nearly identical group resources inside the loop
there's a FIXME related to some deprecated compute parameters we'll
need to work around.

Change-Id: Iddd63c42754867125e65e7721ab9d9f46f4d6afb
Partially-Implements: blueprint custom-roles

Merge "Enable proxy header parsing for Manila"

Add NetApp Manila driver integration and tidy up generic

Enables configuring a NetApp backend for the Manila service
This was created based on the review at
https://review.openstack.org/#/c/188138/

This makes the netapp and generic backends disabled by default
in the services/manila-backend-*.yaml. A backend is then
enabled via backend-specific environment files, which will set
any config parameters and enable that backend.

It is expected that multiple manila backend specific environment
files might be specified simultaneously.

Finally generic and manila config is split into separate
service files rather than using manila-base for all the things.

Co-Authored-By: Ryan Hefner <rhefner@redhat.com>
Co-Authored-By: Ben Swartzlander <ben@swartzlander.org>
Closes-Bug: 1618479
Depends-On: Ic6f8e8d27ca20b9badddea5d16550aa18bff8418
Change-Id: I35fce32d0f6a5cc1c3382c2d0e0d6028928fd943

Merge "De-bracket vncproxy_host in compute profile"

Merge "Configure Keystone credentials"

Merge "Add trunking plugin to list of default ML2 service plugins"

Unset Keystone public_endpoint

The keystone public_endpoint value should be deduced from the calling
request and not hardcoded, or it makes network isolation impossible.

Change-Id: Ide6a65aa9393cb84591b0015ec5966cc01ffbcf8
Closes-Bug: 1381961

De-bracket vncproxy_host in compute profile

This is done in the vncproxy profile, but for some reason is not in
the compute one.  It causes hiera to explode when the brackets are
left, so we need to do the bracket stripping here too.

Also switches both places to just use the host_nobrackets version
of the endpoint instead of stripping them with str_replace.

Change-Id: I7ccd84b575fd652f6412fdb1869c31c79a7bf53b
Closes-Bug: 1618623

Configure Keystone credentials

Configure Keystone credentials by installing 2 keys with dynamic content
generated by python-tripleoclient.

Note: this is a first iteration of managing Keystone credentials. It has
a few limitations:
- keys are not exported to external storage.
- keys are not rotated automatically.

Change-Id: I45cf8821eadf528dfcdc8d74e6e0484597b0d2c0

Add explicit entry for ctlplane IP in /etc/hosts

There was currently no way of getting it and we can't asure that the
primary IP will use it. So it's explicitly needed there.

Change-Id: Idb3ca22ac136691b0bff6f94524d133a4fa10617

Refactor upgrade checks.

We make it clear that recoverable checks happen before starting the
upgrade to be able to run the upgrade after the offending error has been
manually corrected.

Add new check for the pcsd cluster status.

Add new check for galera password file: BZ 1357112

Closes-Bug: 1614907
Change-Id: If736c79121e1ffe0eaeb814bdb73ccbc0b64edcd

Merge "Fix service config files having wrong map_merge format"

Merge "Make Nova VNC Proxy service name match service net map"

Merge "Add Heat's Cfn and Cloudwatch networks to ServiceNetMap"

Enable proxy header parsing for Manila

This is necessary for when HAProxy is terminating TLS for manila,
else we will have keystone discovery errors. This is the same we do
for several other services, as manila uses the same middleware.

Change-Id: Ice78b0abceb6a956bb8c1dc6212ee1b56b62b43f

Move per-role NetIpListMap's into jinja template loop

Change-Id: I8fc855833e8c602e94d0e8b330a713de1c98f901

Merge "Adjust MTU to compensate for VLAN tag issue"

Add support for deploying Ceph RGW role

This patch add support for deploying Ceph RGW.

Co-Authored-By: Giulio Fidente <gfidente@redhat.com>
Change-Id: I88c8659a36c2435834e8646c75880b0adc52e964

Add Heat's Cfn and Cloudwatch networks to ServiceNetMap

these are needed if we want to be able to generate which nodes the
service and which VIP are they binding to.

Change-Id: I9d40459406f15db3ad9229c75392c4d959d44b3b
Closes-Bug: #1621371

Make Nova VNC Proxy service name match service net map

If these names don't match then we cannot set the service's nodes,
VIP and network.

Change-Id: I8f1c0eaf62eee2704a5f2556a553032106db606b
Closes-Bug: #1621368

Merge "Move AllNodesValidationDeployments into jinja template loop"

Merge "Move AllNodesDeployments into jinja template loop"

Merge "Convert overcloud.yaml to support jinja2 templating"

Merge "Add support for configuring the OVS firewall driver"

Merge "add composable services for Contrail"

Adjust MTU to compensate for VLAN tag issue

Some network configurations uncovered what appears to be an issue where
a spurious 802.1q header is injected into tunnelled traffic. Adjusting
the default value to accomodate the extra overhead should avoid this
problem.

Partial-Bug: #1621533
Change-Id: I9ebad2d6ad34d90fcb998497873059995cdef276

Move AllNodesValidationDeployments into jinja template loop

These are identical for all roles, so move them into the per-role
loop

Partially-Implements: blueprint custom-roles
Change-Id: Id85b830a0e225912a3ea8c8b17a11fc424f68bb0

Move AllNodesDeployments into jinja template loop

These are identical for all roles, so move them into the per-role
loop

Partially-Implements: blueprint custom-roles
Change-Id: I0a9918d5a2e9a73fe3ac68a96bdee02e95799bc1

Convert overcloud.yaml to support jinja2 templating

The first step of generating the Service chain resources via j2,
we'll then incrementally convert other resources to be created
in a similar way.

Partially-Implements: blueprint custom-roles
Depends-On: I81239991f36ed5f6453184bf9cffe930832cb68b
Change-Id: Iafa9b2afddf18a5a9833ec472a552fb256338b38

Merge "Generate VIP info for ctlplane VIP, not management"

Merge "Remove *ExtraConfig parameters from overcloud.yaml"

Merge "Move role deployment steps into puppet/post.yaml"

Merge "Add keystone networks for the different endpoints"

Remove *ExtraConfig parameters from overcloud.yaml

These per-role parameters are already handled inside the role templates

Change-Id: Ie71c8670ea427ea9c7d94680cff143ad9d524b7a
Partially-Implements: blueprint custom-roles

Move role deployment steps into puppet/post.yaml

To enable steps to be aligned between roles, we need to define
dependencies between the steps, which is only possible if we
move the steps out of distinct nested stacks so we can use
depends_on to serialized the steps for all roles.

Note that we may be able to further refactor later to remove the
per-role -config.yaml nested stacks as well.

Change-Id: Ia2ea559e8eeb64763908f75705e3728ee90b5744
Partially-Implements: blueprint custom-roles

Merge "Add global_config_settings to services' output"

Merge "Add service networks to hieradata"

Merge "Add Ceph cluster health validation on upgrade"