Merge "Ensure cluster remains stable during services restarts"

Merge "Bump the pacemaker service op_params to 200s for start and stop"

Merge "Align template defaults with the client"

Bump the pacemaker service op_params to 200s for start and stop

Based on observed timeouts during updates bump the stop and start
timeouts for pacemaker service resources (via op_params) to 200.
This is based on the reasoning that the full timeout may be as
long as two elapsed timeout intervals. After an initial timeout,
the sigterm that follows is then allowed another
DefaultTimeoutStopSec seconds. The 200s is produced by allowing
this 2xDefaultTimeoutStopSec (@90s for systemd) and some
scheduling delta. Many thanks to Michele Baldessari.

Closes-Bug: 1531204
Change-Id: If6b43982c958f63bc78ad997400bf1279c23df7e

Merge "Remove deleted Nova rows"

Ensure cluster remains stable during services restarts

Using crm_resource --wait we wait for the cluster to get into
a stable state before moving into the next step of the piloted
restart procedure.

Change-Id: I80199653024383fd07900dad0b8d23fb8afade26
Co-Authored-By: Jiri Stransky <jistr@redhat.com>

Merge "Network Isolation support for containerized compute"

Merge "Wait for cluster to settle in yum_update.sh"

Network Isolation support for containerized compute

The template will all neutron-agents to be configured so that it can
run the network isolation templates on the containerized compute node.

Co-Authored-By: Dan Prince <dpince@redhat.com>
Change-Id: I7837ed7ed3e807ec5c1276904893695918bef293

Merge "Convert JSON generations from bash to python"

Wait for cluster to settle in yum_update.sh

Occasionally we hit "Error: unable to push cib" during update. This is
probably due to the fact that when we try to replace cib in
yum_update.sh, services on the previous updated controller are still
coming up and changing cib, and racing/conflicting with the cib push
from yum_update.sh.

This commit adds waiting for the cluster to settle before exiting from
yum_update.sh, to avoid this kind of conflict.

Also a check for cib-push success is added, to make the update fail
properly instead of hanging indefinitely as we've observed with this
issue.

Change-Id: I953087e0e565474ac553fd57bea2459d2e3a6081
Closes-Bug: #1527644

Remove deleted Nova rows

Creates cron job running every twelve hours
for "nova-manage db archive_deleted_rows"

Partial-bug: rhbz#1249106
Depends-On: Ic674f4d39bc88f89abfeb0ce99a571c2534e57e4
Change-Id: I4740cc02aa9714f48798521fe9918ac3487db031

Merge "Enable TLS in loadbalancer if cert path is detected"

Merge "Add all isolated networks to all nodes."

Merge "Add Management Network For System Administration."

Merge "Remove unsafe "unset" defaults"

Merge "Fix description of control plane route parameter"

Merge "Add sample environment file to document usage of predictable IPs"

Merge "MidoNet heat templates"

Merge "Add SoftwareConfigTransport for switching transports"

MidoNet heat templates

Deploy a TripleO overcloud with networking midonet. MidoNet is a
monolithic plugin and quite changes on the puppet manifest must be done.

Depends-On: I72f21036fda795b54312a7d39f04c30bbf16c41b
Depends-On: I6f1ac659297b8cf6671e11ad23284f8f543568b0
Depends-On: Icea9bd96e4c80a26b9e813d383f84099c736d7bf
Change-Id: I9692e2ef566ea37e0235a6059b1ae1ceeb9725ba

Add all isolated networks to all nodes.

This change allows every overcloud node to optionally participate in
any of the isolated networks. The optional networks are not enabled
by default, but allow additional flexibility. Since the new networks
are not enabled by default, the standared deployment is unchanged.
This change was originally requested for OpenDaylight support.

There are several use cases for using non-standard networks.
For instance, one example might be adding the Internal API network
to the Ceph nodes, in order to use that network for administrative
functions. Another example would be adding the Storage Management
network to the compute nodes, in order to use it for backup. Without
this change, any deviation from the standard set of roles that use a
network is a custom change to the Heat templates, which makes
upgrades much more difficult.

Change-Id: Ia386c964aa0ef79e457821d8d96ebb8ac2847231

Add Management Network For System Administration.

This change adds a system management network to all overcloud
nodes. The purpose of this network is for system administration,
for access to infrastructure services like DNS or NTP, or for
monitoring. This allows the management network to be placed on a
bond for redundancy, or for the system management network to be
an out-of-band network with no routing in or out. The management
network might also be configured as a default route instead of the
provisioning 'ctlplane' network.

This change does not enable the management network by default. An
environment file named network-management.yaml may be included to
enable the network and ports for each role. The included NIC config
templates have been updated with a block that may be uncommented
when the management network is enabled.

This change also contains some minor cleanup to the NIC templates,
particularly the multiple nic templates.

Change-Id: I0813a13f60a4f797be04b34258a2cffa9ea7e84f

Align template defaults with the client

This aligns the parameter default values from python-tripleoclient
with tripleo-heat-templates. This is in preparation for removing
all the defaults from the client, and maintaining them only in the
templates.

Change-Id: I7b635a250f1ecc170e18d8e434f0118c6fcbb942
Co-Authored-By: James Slagle <jslagle@redhat.com>

Merge "Fix typo in HostsEntry output description"

Merge "Allow for usage of pre-allocated IPs for the controller nodes"

Convert JSON generations from bash to python

Python script in the heat template will handle JSON generation
for the containers.

Change-Id: I296fd4a4948f3f937e3a108bc926af6415b350c4

Merge "Add fixup for pcs order constraints after update to new templates"

Merge "pacemaker: run neutron-server-start-wait-stop only at step 4"

Merge "Implement Workers parameters"

Merge "Wire Neutron ML2 plugin and OVS agent settings as arrays"

Add capabilities map

This file holds metadata about the capabilities of the tripleo-heat-templates
repository for deployment using puppet. It groups configuration by topic,
describes possible combinations of environments and resource capabilities

It's main purpose is to provide relevant information to the user to guide
him through the deployment options. tripleo-common can use this
information to streamline deployment process on environment and resource
registry level. Heat templates themself aren't currently able to provide
this information.

Change-Id: I82a7ba6defc13ac2efae73a6caa36bfee69dd94b

Add fixup for pcs order constraints after update to new templates

In https://review.openstack.org/#/c/248572/ yum_update.sh
sets the pcs constraints before restarting the cluster. However
after post-update pacemaker run, the previous constraint of
neutron-server...neutron-ovs-cleanup is re-added. Explicitly
remove this before the post-update restart of certain services

Change-Id: I84dd650dcc66ce3f48926cf369b7d691014c2254

Merge "Pacemaker maintenance mode for the duration of Puppet run on update"

Wire Neutron ML2 plugin and OVS agent settings as arrays

Wires the following as arrays to the neutron module:
 - mechanism_drivers
 - flat_networks
 - tenant_network_types
 - tunnel_types
 - bridge_mappings

Also updates the template version to use a Liberty feature which
allows serialization of comma_delimited_list into JSON.

Tidies up the manifests by removing the class declarations since
config is passed by the puppet/controller+compute hiera mapped_data.

Change-Id: Ie9f85fb827099f897ef750e267bc3ed3a864fe59
Co-Authored-By: Steven Hardy <shardy@redhat.com>

Fix description of control plane route parameter

In the other templates this seems to be already correct.

Change-Id: Ied3c49cca878bd370068c9b8d1cafdec176c1725

Add sample environment file to document usage of predictable IPs

This change adds a sample environment file which documents how to
assign to controllers a predictable IP on each network.

Change-Id: I5be21428c66c82488af8e0240c1614ac3b9b55f0

Allow for usage of pre-allocated IPs for the controller nodes

This change adds a new *_from_pool.yaml meant to return an IP from
a list instead of allocating a Neutron port, useful to pick an IP
from a pre-defined list and making it possible to configure, for
example an external balancer in advance (or dns), with the future
IPs of the controller nodes.

The list of IPs is provided via parameter_defaults (in the
ControllerIPs struct) using ControllerIPs param.

Also some additional VipPort types are created for the *VirtualIP
resources. The VIPs were previously created using the same port
resource used by the nodes, but when deploying with an external
balancer we want the VIP resource to be nooped instead.

Change-Id: Id3d4f12235501ae77200430a2dc022f378dce336

Merge "Set swift replicas = min(device_count, replicas)"

Merge "Fix wrong keypair parameter description"

Fix typo in HostsEntry output description

Change-Id: I72a79d8200adee8258033e8da370051bbfd1986b

Merge "Add output for host entries"

Set swift replicas = min(device_count, replicas)

Per Swift upstream commit: 7035639dfd239b52d4ed46aae50f78d16ec8cbfe
Swift's ringbuilder now validates that the number of devices is greater
than or equal to the replicas.

Change-Id: I56eaa9ddda138e87f7615d3bde797b568fa5e302
Related-bug: #1525356

Merge "Enable per-role SchedulerHints"

Merge "Remove deprecated overcloud-resource-registry.yaml"

Pacemaker maintenance mode for the duration of Puppet run on update

This enables pacemaker maintenantce mode when running Puppet on stack
update. Puppet can try to restart some overcloud services, which
pacemaker tries to prevent, and this can result in a failed Puppet run.

At the end of the puppet run, certain pacemaker resources are restarted
in an additional SoftwareDeployment to make sure that any config changes
have been fully applied. This is only done on stack updates (when
UpdateIdentifier is set to something), because the assumption is that on
stack create services already come up with the correct config.

(Change I9556085424fa3008d7f596578b58e7c33a336f75 has been squashed into
this one.)

Change-Id: I4d40358c511fc1f95b78a859e943082aaea17899
Co-Authored-By: Jiri Stransky <jistr@redhat.com>
Co-Authored-By: James Slagle <jslagle@redhat.com>

Add SoftwareConfigTransport for switching transports

This change adds a SoftwareConfigTransport parameter to role templates
so that the transport can be changed via a parameter_defaults entry.

This change will have no effect on an existing overcloud as the current
default POLL_SERVER_CFN is now explicit in the parameter default.

Change-Id: I5c2a2d2170714093c5757282cba12ac65f8738a4

Merge "Update typos"

pacemaker: run neutron-server-start-wait-stop only at step 4

neutron-server-start-wait-stop is a dangerous Exec that is exposed to
race conditions, because it does not have "onlyif" or "unless"
statements.

That means during a deployment, this exec can be run in the wrong order
during Step 5 and/or 6, while it was supposed to be run at Step 4 only.
If that happens, the exec will fail because puppet tries to start
neutron-server while Pacemaker already started the resource. So in that
case, systemd would returns 1 to Puppet which would return 6 to the
overcloud deployment and the deployment would fail to finish correctly.

This patch aims to prevent from this scenario by making sure we run the
exec only during the step 4.

Also, in order to secure it a bit more, we add 'unless' statement to
this exec, so we would make sure the Puppet run would be idempotent and
the Exec would run one successful time only.

https://bugzilla.redhat.com/show_bug.cgi?id=1290582

Change-Id: I42813c5cff6c525c15c9c24baad4e355f88af672

Fix wrong keypair parameter description

The parameters have nothing to do with EC2 keypairs, they are used to
specify Nova SSH key pairs.

Change-Id: Ia8d37cb5c443812d02133747cb54fcaf0110d091

Remove unsafe "unset" defaults

All of our sensitive parameters are defaulted to easily predictable
values, which is very bad from a security perspective because we don't
force clients to make sane choices thus risk deploying with the
predictable default values.  tripleoclient supports generating random
values for all of these, so remove the defaults, for non-tripleoclient
usage we can create a developer-only environment with defaults.

Related-Bug: #1516027
Change-Id: Ia0cf3b7e2de1aa42cf179cba195fb7770a1fc21c
Depends-On: Ifb34b43fdedc55ad220df358c3ccc31e3c2e7c14

Remove deprecated overcloud-resource-registry.yaml

We recently removed all the templates this references
in I29e2a8f1b0c66f3cf88f40244d6da49f3d7420be

Change-Id: I599d18675d829935893d6bfb375f8f0d15e01197

Merge "Remove Ceilometer Alarm from the overcloud"

Merge "Change for configuring use_forwarded_for value for Nuage"

Implement Workers parameters

* For each OpenStack service, create a new parameter to change worker
  number (default to 0 to keep default behavior)
* Use the parameter in Puppet configuration (Hiera) to configure the
  services with the number of workers defined by the parameter.

Change-Id: Ic147bc9225aab48e94243a94a2189467829b8d55

Enable per-role SchedulerHints

This adds a parameter for each role, where optional scheduler hints
may be passed to nova.  One potential use-case for this is using
the ComputeCapabilities to pin deployment to a specific node (not
just a specific role/profile mapping to a pool of nodes like we
have currently documented in the ahc-match docs).

This could work as follows:

1. Tag a specific node as "node:controller-0" in Ironic:

ironic node-update <id> replace properties/capabilities='node:controller-0,boot_option:local'

2. Create a heat environment file which uses %index%

parameters:
  ControllerSchedulerHints:
    'capabilities:node': 'controller-%index%'

Change-Id: I79251dde719b4bb5c3b0cce90d0c9d1581ae66f2

Enable TLS in loadbalancer if cert path is detected

If there is a value for the certificate path (which should only happen
if the environment for enabling TLS is used) then the loadbalancer will
detect it and configure it's front ends correctly. On the other hand
a proper override for the example environment was given, since this
will be needed because we want to pass the hosts and protocols
correctly so the tripleoclient will catch it and pass it to
os-cloud-config

Change-Id: Ifba51495f0c99398291cfd29d10c04ec33b8fc34
Depends-On: Ie2428093b270ab8bc19fcb2130bb16a41ca0ce09

Merge "Making nova parameters configurable for nuage-metadata-agent"

Merge "Add option to add metadata for the overcloud nodes"

Change for configuring use_forwarded_for value for Nuage

Added a parameter to Nuage ExtraConfig template for setting
use_forwarded_for value required by Nuage metadata agent

Change-Id: I02c15311272126c5e530f118fbfb4a8f6e11a620

Remove Ceilometer Alarm from the overcloud

The Ceilometer alarm service is no longer available
in Mitaka. It is replaced by Aodh.

Aodh support is added in a follow-up to this patch.

Partial-Bug: 1521922
Change-Id: I5babaab7029eaaccf3cc6f194b6c062fd62372cf
Backport: none

Merge "Fix the wrong selinux context when glance uses nfs backend"

Making nova parameters configurable for nuage-metadata-agent

Exposing 'instance_name_template' to be set via
  extra config for nuage-metadata-agent to function

Making nova::api::admin_tenant_name
  available on the compute node which is
    required by nuage-metadata-agent service

Making KeystonePublicApiVirtualIP available
  on the compute node, which is used by the
    nuage-metadata-agent to build the auth-url

Change-Id: I9736015e18cebf32b07940bf559063b60085f2fb

Add output for host entries

For testing purposes it is useful to have an easy way to get the given
IPs for the nodes; since currently one would have to ssh to one of the
ndoes and actually fetch the entries from there.

This will facilitate testing when the keystone endpoints have been
changed for hostnames, as done in this CR:
https://review.openstack.org/#/c/238887

Change-Id: I9b9362192d7e97690ba23d02e74389225913adb9

Add option to add metadata for the overcloud nodes

Some Nova hooks might require custom properties/metadata set for the
servers deployed in the overcloud, and this would enable us to inject
such information.

For FreeIPA (IdM) integration, there is effectively a Nova hook that
requires such data.

Currently this inserts metadata for all servers, but a subsequent CR
will introduce per-role metadata. However, that was not added to this
because it will require the usage of map_merge. which will block those
changes to be backported. However, this one is not a problem in that
sense.

Change-Id: I98b15406525eda8dff704360d443590260430ff0

Drop os-apply-config. No longer maintained.

Change-Id: I29e2a8f1b0c66f3cf88f40244d6da49f3d7420be

Rename overcloud-without-mergepy to overcloud.

Mergepy is gone. We can now rename our primary overcloud
template to be more sensible.

Change-Id: I14f5ff78b083b34590d30357df94c42ff6a0c2c0

Merge "Minor fixes to TLS related resources"

Merge "Make all network ports type to consume FixedIPs"

Merge "Add pcmk constraints against haproxy-clone only if applicable"

Merge "Fix default route in multiple nics net isolation templates"

Merge "Introduce domain configuration through parameter"

Merge "Apply mongod timeout via cib-push"

Merge "Added libvirt_vif_driver, ovs_bridge and security_group_api parameters"

Merge "Make enabling of controller services configurable."

Merge "Changes for configuring Nuage"

Merge "Changes for configuring Nuage"

Add pcmk constraints against haproxy-clone only if applicable

When the Overcloud does not host an instance of haproxy, pcmk will
not have any resource named haproxy-clone so we should not add
any constraint relying on it.

Change-Id: I801f07b7570f3805aa71c22998fec6b6f192b350

Introduce domain configuration through parameter

Introduce configuration of the nodes' domains through a parameter.

Change-Id: Ie012f9f2a402b0333bebecb5b59565c26a654297

Fix default route in multiple nics net isolation templates

The non-controller nodes in the network/config/multiple-nics
directory do not have a default route configured. This change
adds the default route to the non-controller nodes using the
ControlPlaneDefaultRoute parameter, which was already a part
of these templates.

Change-Id: Idaaeb2a539555ac14cc613b202c428108bc19a30

Merge "Drop deprecated templates/Makefile/merge.py"

Changes for configuring Nuage

Added ExtraConfig templates and environment files
 for Nuage Networks specific parameters.
Modified overcloud_compute.pp to conditionally
 include nuage-metadata-agent.

Change-Id: I28106d8e26ad4d0158fe5e3a13f2f7b21e5c0b28

Changes for configuring Nuage

Added ExtraConfig templates and environment files for Nuage specific parameters.
Modified overcloud_compute.pp and overcloud_controller.pp to conditionally
include Nuage plugin and agents.

Change-Id: I95510c753b0a262c73566481f9e94279970f4a4f

Merge "Make load balancer deployment optional via template param"

Merge "Add net_vip_map_external to be used for an external balancer"

Minor fixes to TLS related resources

* Fixed a comment to avoid ambiguity with concepts in Heat
* Removed default values from necessary parameters in the TLS
  environment
* Simplified setting of the cert/key into a file.

Change-Id: I351778150a6fbf7affe1a0fddb1abb9869324dfc

Make enabling of controller services configurable.

Following parameters will be user configurable:
1. enable_dhcp_agent
2. enable_metadta_agent
3. enable_l3_agent
4. enable_ovs_agent

This change was made as the Nuage plugin does not require these
services to come up as a part of the installation.
Now, a user can explicitly disable these services using a heat
template.

Change-Id: Ic132ecbb2e81a3746f304da1cecdc66d0342db72

Drop deprecated templates/Makefile/merge.py

This patch drops a bunch of deprecated stuff from
tripleo-heat-templates. Once we remove the Makefile
(which creates overcloud.yaml) we can proceed
in renaming overcloud-without-mergepy.yaml to
overcloud.yaml.

Change-Id: Ic6ab3777d19e207cae29dcbc2e3839815cd80181

Merge "Update: clean keepalived and radvd instances after pcs cluster stop"

Merge "Output the SSL Certificate and Key modulus"

Merge "Enable trust anchor injection"

Merge "Inject TLS certificate and keys for the Overcloud"

Merge "Fixup neutron constraints in older overclouds before updating"

Output the SSL Certificate and Key modulus

Provides a simple mechanism to verify the correct certificates
landed.

A quick and simple way to verify SSL certificates were generated for
a given key is by comparing the modulus of the two.  By outputing
the key modulus and certificate modulus we offer a way to verify
that the right cert and key have been deployed without compromising
any of the secrets.

Change-Id: I882c9840719a09795ba8057a19b0b3985e036c3c

Enable trust anchor injection

This commit enables the injection of a trust anchor or root
certificate into every node in the overcloud. This is in case that the
TLS certificates for the controllers are signed with a self-signed CA
or if the deployer would like to inject a relevant root certificate
for other purposes. In this case the other nodes might need to have
the root certificate in their trust chain in order to do proper
validation

Change-Id: Ia45180fe0bb979cf12d19f039dbfd22e26fb4856

Apply mongod timeout via cib-push

We forgot to apply the mongod timeout in the cib dump first, to
apply it later in a single cib-push step.

Change-Id: Ib104e51782c6d3f646907cdb06c74fd4cbf9028c

Update typos

Change-Id: Id63c1bcfc34058eb7285698ba9bf86d1cf2025a6

Update: clean keepalived and radvd instances after pcs cluster stop

Older neutron versions have a bug which makes them leave keepalived and
radvd running even after all neutron services are stopped, preventing
neutron router failover from happening. Router can then get stuck on the
inactive node, like this:

[stack@instack ~]$ neutron l3-agent-list-hosting-router default_router
+--------------------------------------+------------------------------------+----------------+-------+----------+
| id                                   | host                               | admin_state_up | alive | ha_state |
+--------------------------------------+------------------------------------+----------------+-------+----------+
| 48ca9477-b93b-4305-9e6d-9f1c5d3388f0 | overcloud-controller-1.localdomain | True           | :-)   | standby  |
| eba0575c-654f-4da6-b1cd-f7fdf1cd3726 | overcloud-controller-2.localdomain | True           | :-)   | standby  |
| 68815390-251f-4425-a5f8-38bdbf3bdb90 | overcloud-controller-0.localdomain | True           | xxx   | active   |
+--------------------------------------+------------------------------------+----------------+-------+----------+

We need to kill the leftover processes manually to prevent the state
described above from happening.

See https://review.gerrithub.io/#/c/248931

Change-Id: I2deaa176222983daa0c33ab52a6aa5dbe7365302

Merge "Point registry at tripleoupstream"

Make load balancer deployment optional via template param

Adds control over the load balancer deployment via template param.

Change-Id: I5625083ff323a87712a5fd3f9a64dd66d2838468