Enable predictable IPs on non-controllers

For the external loadbalancer work, we added the ability to specify
fixed ips for controller nodes on all network isolation networks.
In order to allow users full control over the placement and ip
addresses of deployed nodes, we need to be able to do the same thing
for the other node types.

Change-Id: I3ea91768b2ea3a40287f2f3cdb823c23533cf290

Merge "Store events in Ceilometer"

Merge "Set host in nova.conf for compute nodes"

Merge "Permits configuration of Cinder enabled_backend via hieradata"

Increase default netdev_max_backlog to 10x

It has been observed that on large clouds the netdev backlog
buffer might overflow. This change increases the default by ten
times.

The /proc/net/softnet_stat file contains a counter in the 2nd
column that is incremented when the netdev backlog queue overflows.
If this value is incrementing over time, then netdev_max_backlog
needs to be increased [1].

[1]. https://bugzilla.redhat.com/show_bug.cgi?id=1283676

Change-Id: Iec12324fd3a24e8b608b1e1849c270cc24cb0e60

Merge "Fixup the memcached servers string in nova.conf for v6"

Store events in Ceilometer

Adds an option to toggle whether events are stored in Ceilometer.

The default is false and remains unchanged.

Change-Id: I9accb679b97cf7172c67f3cd5f218bdaee507c94
Related-Bug: rhbz#1312373

Merge "Add an environment to use a swap partition"

Merge "Move ordering constraints from httpd to openstack-core"

Set host in nova.conf for compute nodes

In order for instance HA to function safely, nova-compute needs access
to the name by which nova knows the current compute node.

Since the names of the nova-compute and neutron ml2 agents must be the
same for vif binding to work, it also sets the host value in
neutron.conf.

Change-Id: I7d07c57b7276815c72d08acaa86f673e43eb0498

Merge "Make AllNodesExtraConfig depend on the validation deployments"

Merge "Set /64 cidr_netmask for pcmk VIPs when IPv6"

Merge "Fix rabbit_hosts list for glance-api for IPv6"

Merge "Allow to enable IPv6 on Corosync"

Merge "Use MysqlVirtualIPUri for nova_api and sahara database"

Merge "Make the Neutron subnet ipv6_{ra,address}_mode configurable"

Merge "Revert "Deploy Aodh services, replacing Ceilometer Alarm""

Merge "Function library for major upgrades"

Merge "Add IPv6 versions of the Controller NIC configs"

Merge "Fixup swift device string to delimit the ipv6 address with []"

Merge "Introduce a UpgradeScriptDeliveryWorfklow as part of tripleo upgrades"

Fixup the memcached servers string in nova.conf for v6

As discussed at https://bugzilla.redhat.com/show_bug.cgi?id=1299265
when providing a list of IPv6 addresses as the memcache_node_ips
the resulting nova.conf entry can't be parsed properly.

This adds a memcache_node_ips_v6 which has the required format like
inet6:[ADDR1],inet6:[ADDR2],inet6:[ADDR3]

Closes-Bug: 1536103
Change-Id: I7f95fa063cbba279c4c2e270841f0a279d2be2f6

Fixup swift device string to delimit the ipv6 address with []

The swift device string is formatted in the outputs of the
controller template and swift-storage templates.
For ipv6 we need to delimit the address with [] as discussed in
https://bugzilla.redhat.com/show_bug.cgi?id=1296701#c0

Change-Id: Ie611d62c3668a65a7be52777a613d265682c6a8b
Co-Authored-By: Jiri Stransky <jistr@redhat.com>
Closes-Bug: 1534135

Add an environment to use a swap partition

This environment can be used with AllNodesExtraConfig to enable swap on
a device with the given label as specified by the swap_partition_label
parameter.

If Ironic is used to create the swap partition, the partition will have
a label of swap1, so that's a reasonable default for the parameter.

The partition is also written to /etc/fstab as a swap mount so that it
will be enabled on reboot.

Change-Id: I5cd68c13dbfe53eecf6c6ad93151eadc980a902d

Revert "Deploy Aodh services, replacing Ceilometer Alarm"

This just a revert to see if reverting this gets back to a normal CI run time.

This reverts commit f72aed85594f223b6f888e6d0af3c880ea581a66.

Change-Id: I04a0893f6cf69f547a4db26261005e580e1fc90b

Set /64 cidr_netmask for pcmk VIPs when IPv6

We'll use /32 for IPv4, the default pacemaker was already using.

Change-Id: Iab584c3e50efc3ecc0ec87bb080bf2d5d802199d
Co-Authored-By: Giulio Fidente <gfidente@redhat.com>

Allow to enable IPv6 on Corosync

To enable IPv6 in Corosync, you'll need to set the --ipv6 parameter when
building the cluster.

To do so, we need to specify this parameter in puppet configuration when
running ::pacemaker::corosync class.

So we have now a new parameter: CorosyncIPv6 which is a boolean, False
by default. If set to True, it will pass right options to enable IPv6
when building the Pacemaker cluster.

Change-Id: I485f1399964ddd7a201ed19ec6580b8a136b3acd

Make the Neutron subnet ipv6_{ra,address}_mode configurable

Use of slaac does not permit stati assignment of IPs to a Neutron
port, so we default to dhcpv6-stateful instead.

Change-Id: Id7f104be60ae05785a3d0a33516d7875a4698ed1

Add IPv6 versions of the Controller NIC configs

This change adds Controller NIC configs for the sample NIC config
templates that are compatible with IPv6 on the External network.
These controller-v6.yaml templates include a default route for IPv6
on the External network, and a default route for IPv4 on the Control
Plane. The Heat parameters ExternalNetworkDefaultRoute and
ControlPlaneDefaultRoute are used to set these values.

Change-Id: Ifed8cb359eae1d9d623d3eb2fe40ea8a0d1d889a

Merge "Add IPv6 Support to Isolated Networks"

Fix rabbit_hosts list for glance-api for IPv6

Previously we were always appending the :port suffix to the list
of rabbitmq nodes but the syntax was invalid for IPv6.

This change wires rabbit_hosts from the templates as it happens
already for the other services. Port can be customized using
rabbit_port.

Change-Id: Iecc7a97d46d7de17e85398c57996c104c9125b0e

Use MysqlVirtualIPUri for nova_api and sahara database

Without this the nova_api and sahara database_connection string won't
add brackets around the IP address, when IPv6, causing db sync to fail.

Change-Id: I262e5de993ae59ad665edb043119aac2e09c6fdc

Make AllNodesExtraConfig depend on the validation deployments

AllNodesExtraConfig should really only run after the validation
deployments are done, which validate that basic networking is
functioning.

In particular, creating a swap file during AllNodesExtraConfig while the
validation deployments are still running might cause temporary network
outages which could fail the validations.

Change-Id: Ia2a10318de47854a9b8932d72243ce0a85603556
Partial-Bug: #1553243

Merge "Allow for usage of pre-allocated IPs for the management network"

Merge "Run keystone-manage bootstrap for HA deployment too"

Run keystone-manage bootstrap for HA deployment too

This is necessary to keep creating the Default domain.

Change-Id: Ib9911819e89f30270d4f7597639b33f30ad2e3a6
Closes-Bug: #1549867

Merge "Set notification driver for nova to send"

Add IPv6 Support to Isolated Networks

This change adds a new set of network templates with IPv6 subnets
that can be used instead of the existing IPv4 networks. Each network
can use either the IPv4 or IPv6 template, and the Neutron subnet will
be created with the specified IP version.

The default addresses used for the IPv6 networks use the fd00::/8
prefix for the internal isolated networks (this range is reserved
for private use similar to 10.0.0.0/8), and 2001:db8:fd00:1000::/64
is used as an example default for the External network
(2001:db8::/32 are the documentation addresses [RFC3849]), but this
would ordinarily be a globally addressable subnet. These
parameters may be overridden in an environment file.

This change will require updates to the OpenStack Puppet
Modules to support IPv6 addresses in some of the hieradata values.
Many of the OPM modules already have IPv6 support to support IPv6
deployments in Packstack, but some OPM packages that apply only to
Instack/TripleO deployments need to be updated.

IPv6 addresses used in URLs need to be surrounded by brackets in
order to differentiate IP address from port number. This change
adds a new output to the network/ports resources for
ip_address_uri, which is an IP address with brackets in the case
of IPv6, and a raw IP address without brackets for IPv4 ports.
This change also updates some URLs which are constructed in Heat.

This has been tested and problems were found with Puppet not
accepting IPv6 addresses. This is addressed in the latest Puppet.
Additional changes were required to make this work with Ceph.

IPv6 tunnel endpoints with Open vSwitch are not yet supported
(although support is coming soon), so this review leaves the
Tenant network as an isolated IPv4 network for the time being.

Change-Id: Ie7a742bdf1db533edda2998a53d28528f80ef8e2

Allow for usage of pre-allocated IPs for the management network

Id3d4f12235501ae77200430a2dc022f378dce336 added support for pre-allocated
IPs on the other overlay networks, but because the patch adding the
managment network (I0813a13f60a4f797be04b34258a2cffa9ea7e84f) was
under review around the same time, we missed adding the from_pool
capability to the ManagementNetwork.

Change-Id: If99f37634d5da7e7fb7cfc31232e926bd5ff074a

Merge "Deploy Aodh services, replacing Ceilometer Alarm"

Deploy Aodh services, replacing Ceilometer Alarm

Ceilometer Alarm is deprecated in Liberty by Aodh.

This patch:
* manage Aodh Keystone resources
* deploy Aodh API under WSGI, Notifier, Listener and Evaluator
* manage new parameters to customize Aodh deployment
* uses ceilometer DB for the upgrade path
* pacemaker config

Depends-On: I9e34485285829884d9c954b804e3bdd5d6e31635
Depends-On: I891985da9248a88c6ce2df1dd186881f582605ee
Depends-On: Ied8ba5985f43a5c5b3be5b35a091aef6ed86572f

Co-Authored-By: Pradeep Kilambi <pkilambi@redhat.com>
Change-Id: I58d419173e80d2462accf7324c987c71420fd5f6

Merge "endpoint_map: bump nova api from 2.0 to 2.1"

Merge "Use set -e for validation-scripts/all-nodes.sh"

Function library for major upgrades

This commit introduces a bash file to be sourced into major upgrade
scripts. Into this file we can put specific pieces of migration logic in
the form of bash functions, which can then be called from the upgrade
scripts.

Change-Id: Ibf7aa84d3880e9218c488dec9d707300e1784744

Merge "Moves the swift start/stop into the common_functions.sh file"

Merge "Add Satellite 5 support"

Introduce a UpgradeScriptDeliveryWorfklow as part of tripleo upgrades

This splits the upgrade script delivery out of the UpgradeWorkflow
and into a new task which delivers the upgrade script for
compute and object-storage nodes. This is intended to be the first
part of the upgrades process, since we need to upgrade swift nodes
before the controllers and then only one at a time. So this will
deliver the upgrade script which can be invoked by the operator
using the existing script in tripleo-common
'upgrade-non-controller.sh'.

This can be invoked by passing the -e
environments/major-upgrade-script-delivery.yaml (added here) to
the openstack overcloud deploy command.

Change-Id: I20a0d4978e907111404f8108c502ab53b69a3296

Merge "Cisco nexus config template - obsolete parameter (replay count)."

Moves the swift start/stop into the common_functions.sh file

Since swift isn't managed by pacemaker we need to manually (systemctl)
stop and start the swift services. This moves the duplicate blocks for
start/stop into a common function (we already include that
pacemaker_common_functions.sh here so may as well)

Change-Id: Ic4f23212594c1bf9edc39143bf60c7f6d648fd1d

Merge "Upgrades: install zaqarclient"

Merge "Upgrades: quiet yum update"

Merge "Support adding a swap file to overcloud nodes"

Upgrades: install zaqarclient

Old overcloud images don't have python-zaqarclient installed, and new
overclouds' os-collect-config are configured with Zaqar support. This
together means that on upgrade we need to install python-zaqarclient,
otherwise os-collect-config will be restarted during yum update and
crash due to trying to import missing Python module from zaqarclient.

Change-Id: I3e875e14cb60b1b78aec0d9ddc412ccf865abd01

Upgrades: quiet yum update

Quiet down yum during major upgrades to reduce the output size. This is
consistent with what was introduced into minor updates in change
I517271e8465885421a78b73c5af756816c37a977.

Change-Id: Ie6b470e383fdf42870ac6f60ca43e44b4c446ebe

Merge "Use service tenant for ceilometer"

Merge "Add HostnameMap to allow granular control of hostnames"

Support adding a swap file to overcloud nodes

Create a new SoftwareDeployment that can be used to add a swap file to
all nodes The amount of swap and the location of the swap file can be
customized via parameter_defaults and the swap_size_megabytes/swap_path
parameters.

Change-Id: I1fb14c0fab2255410fceb26c3a7d5cfe0ba57b3b

Merge "Enable heat-manage purge_deleted cron job"

Merge "Update the path to the Docker file"

endpoint_map: bump nova api from 2.0 to 2.1

Nova v2.1 allows to use the same API as 2.0 but with microversions
support, which is the recommended way to discover the latest API
version supported in the cloud.

Change-Id: Id011de03d883001fd48dbbcfed53cb821607c7f3

Move ordering constraints from httpd to openstack-core

With the move of keystone under wsgi and httpd, all openstack services received an
ordering constraint on the 'httpd' service (which now exposes keystone and horizon).

Since this is not only a layering violation, but it also removes the ability to
restart keystone (httpd) without having to restart all dependent services, we introduce
a dummy 'openstack-core' service which all other services depend on and we make also
keystone (httpd) depend on it.

The previous constraint ordering graph can be found here:
http://acksyn.org/files/tripleo/wsgi-2016-02-24-cib.pdf

Whereas after this change we have the following ordering graph:
http://acksyn.org/files/tripleo/wsgi-openstack-core.pdf

Once this is agreed upon, we can start working on fixing the upgrade path
from Liberty.

This fixes RHBZ#1290121

Closes bug: 1537885

Change-Id: Ie26908ac9bfc0b84b6b65ae3bda711236b03d9d4

controller/ha: disable keystone-manage bootstrap.

Because Overcloud Keystone resources are not managed by puppet-keystone
but by os-cloud-config, we need to let os-cloud-config managing keystone
bootstrap otherwise the Exec will fail since some data is already in
place.

Later, when Keystone resources will be managed by Puppet, drop this
parameter, because puppet-keystone is able to manage the boostrap
itself.

Change-Id: I027deaae5cf90c27a6b5e9d236ae61145cab3c3f
Closes-Bug: #1551501

Merge "Convert port cidr splitting to str_split"

Cisco nexus config template - obsolete parameter (replay count).

Due to fix: https://bugs.launchpad.net/networking-cisco/+bug/1469839,
the replay count parameter is no longer used.  This needs to be
reflected in the Triple O templates.

Change-Id: I666c4394108287adcb4989e897ab3936667a602b
Closes-bug:  #1551387

Add Satellite 5 support

Add Satellite 5 support to the RHEL registration environment and
resources. The registration script is updated to support both satellite
versions in place given the similarity of the options for both
scenarios.

The satellite version is detected based on $REG_SAT_URL, and that
determines whether subscription-manager or rhnreg_ks is used.

Change-Id: Ic261c8a16a7d6d3978f8bfc6e53f75dbe1b716db

Merge "OpenContrail heat templates"

Merge "Change the default value for NetworkNexusVxlanGlobalConfig"

Use set -e for validation-scripts/all-nodes.sh

Update this script to use 'set -e' for all commands except
the ping checks themselves which we allow to fail so we
can give enhanced output.

This resolves an issue where some commands could fail and cause
an undetectable error (the scripted exits with success) thus causing
a case where Heat won't detect any network errors at all. This
was recently the case with git commit 45be848 where we switched
to use python -c 'import ipaddr' which wasn't even installed as a
library on our overcloud nodes, thus causing all network validations
to silently fail.

Change-Id: I40ed6a537136e866357cc0d9304e905afdd28522
Depends-On: Ia617f44b4673b89202e5e5cdcac9b50f46b3e6c8
Related-bug: #1551048

Merge "Write the compute upgrade script for tripleo major upgrade workflow"

Merge "Enable notifications on the overcloud"

Merge "Add support for DeployArtifactURLs"

Merge "Add NovaVNCProxy back into endpoint_map"

Merge "Emits a different hostname for each network the node is on"

Add support for DeployArtifactURLs

Adds a new nested stack deployment which allows operators to
opt-in to deploy tarball's and RPM packages by setting
DeployArtifactURLs as a parameter_default in a Heat
environment.

The intent is to use this setting to allow t-h-t to
transparently deploy things like tarballs of puppet modules
via a Swift Temp URL.

Change-Id: I1bad4a4a79cf297f5b6e439e0657269738b5f326
Implements: blueprint puppet-modules-deployment-via-swift

Merge "Nova RPC unpinning"

Merge "Add meta notify=true to rabbitmq resource"

Write the compute upgrade script for tripleo major upgrade workflow

As part of the major upgrade workflow non-controller nodes are to
be updated by the operator, out-of-band and only after an initial
heat stack-update that invokes the upgrade of the controller nodes.

This review adds a ComputeDeliverUpgradeConfigDeployment_Step3
SoftwareDeploymentGroup to be applied only to compute nodes, and
that depends on the controllers having been upgraded after
ControllerPacemakerUpgradeConfig_Step2.

Its purpose is to deliver but not invoke the upgrade script on
compute nodes to /root/tripleo_upgrade_node.sh .

The non-controller nodes will then be upgraded later by an
operator that will run the script provided for that purpose, like
at https://review.openstack.org/#/c/284722/1 for example.

Change-Id: Ic6115fc8cf5320abfcf500112ff563bde8b88661

Merge "Add a sample network-environment.yaml file to environments"

Add NovaVNCProxy back into endpoint_map

Due to an incorrect rebase, d0dcb9401c868786df58f5801a431392b8e89df8
dropped the changes made in dd7602ad82100617126be26d80a6d3f67cb739ac to
add a vncproxy to the endpoint map. This change restores them.

Change-Id: Ifef7f955481405d5fe39ba48c8b1a79aa9c170f2

Set notification driver for nova to send

Currently since nova compute is not configured to
send notifications to ceilometer, tempest tests
fail on tempest.api.telemetry.test_telemetry_notification_api.

Change-Id: I763b7d246ae3f5955b6f555c8fd107d2cac89787

Enable notifications on the overcloud

Configures all services to send notifications to rabbit.  The puppet
modules are not consistent regarding how this is done - some expose
notification config as a top-level param, others you need to set it
through a *_config structure, and cinder provides a separate class
dedicated to enabling ceilometer notifications.

Change-Id: I23e2ddad3c59a06cfbfe5d896a16e6bad2abd943

Merge "Add UpgradeLevelNovaCompute parameter"

Merge "Introduce update/upgrade workflow"

Merge "Add resources for major upgrade in Pacemaker scenario"

Merge "Generate the endpoint map statically"

Add a sample network-environment.yaml file to environments

This change adds a sample network-environment.yaml file to the
environments. This sample includes pointers to NIC config files,
as well as default network subnets and allocation pools.

This is meant to be a demonstration of the default settings for
a virtual deployment. In a real deployment, the operator would
customize the settings here and point to custom NIC config
templates.

Change-Id: I0288c0680effea06b5f805a0d955e8bbf6152ba6

Merge "Rename tox env to pep8"

Merge "Adds v6 capability to the deploy validation test (pings)"

Emits a different hostname for each network the node is on

Populates /etc/hosts with an entry for each IP address the node
is on, which will be useful to migrate services configuration from
using IPs into using hostnames.

This is how the lines look like on a host which doesn't have all ports:

  172.16.2.6 overcloud-novacompute-0.localdomain overcloud-novacompute-0
  192.0.2.9 overcloud-novacompute-0-external
  172.16.2.6 overcloud-novacompute-0-internalapi
  172.16.1.6 overcloud-novacompute-0-storage
  192.0.2.9 overcloud-novacompute-0-storagemgmt
  172.16.0.4 overcloud-novacompute-0-tenant
  192.0.2.9 overcloud-novacompute-0-management

the network against which the default (or primary) name is resolved
can be configured (for computes) via ComputeHostnameResolveNetwork

Change-Id: Id480207c68e5d68967d67e2091cd081c17ab5dd7

Nova RPC unpinning

During upgrades, we only run Puppet on the whole deployment to converge
the state, after the upgrade workflow itself has been fully
completed. That is an opportunity to utilize Puppet to make sure Nova
Compute RPC doesn't remain pinned to the older version.

Change-Id: I6ebc813a80dfd9dfbbb213c38724487e044507b8

Generate the endpoint map statically

A stack is an extremely heavyweight abstraction in Heat. Particularly in
TripleO, every stack includes a copy of all the template and environment
data for all of the stacks in the tree, all of which must be stored anew
in the database.

The EndpointMap abstraction created no fewer than 30 nested stacks, none
of which contained any resources but which existed purely for the
purpose of abstracting out some intrinsic functions used to calculate
the endpoint URLs for the various services. This likely adds several GB
to the memory requirements of the undercloud, and can cause things to
slow to a crawl since all 30 nested stacks need to be queried whenever
we need data from any one of them.

This change eliminates the nested stacks and instead generates the
endpoint map statically. This can be done offline in less than 250ms,
allows the input data to be expressed in an even more human-readable
form, and reduces the runtime overhead of the endpoints map by a factor
of 31, all with no loss of functionality, compatibility or flexibility.

Since we don't run a setup script to generate the tarball, the
endpoint_map.yaml output is checked in to source control. The build
script offers a --check option that can be used to make sure that the
output file is up-to-date with the input data.

Change-Id: I2df8f5569d81c1bde417ff5b12b06b7f1e19c336

Change the default value for NetworkNexusVxlanGlobalConfig

This parameter leads to the nonoperational state
in Nexus Vxlan topology when set to True, when VNIs created
but the nve peers do not get discovered on the Nexus.
It is time consuming process to debug the configuration
and find out that this parameter should be changed
to False. To prevent future problems for the future
deployment we want to default this parameter to False.

Change-Id: I685ad7d212af0d9e568acbf1ccf1607d120c195e

Merge "Nova Neutron configuration now uses keystone v3 endpoint"

Merge "Update nova::network::neutron variables to drop deprecated parameters"

Merge "Allow vncproxy to work with ssl enabled"

Permits configuration of Cinder enabled_backend via hieradata

It is currently possible to provide arbitrary config settings for
Cinder using the "cinder::config::cinder_config:" hiera key. To add
a backend though particular one has to edit the list of enabled
backends in Cinder too which isn't possible. This change will make
it possible using a user-customizable array of backends to be enabled.

Change-Id: Ic664c1c2b0f7b1b4b6be8b5064a38650694d4857

Add UpgradeLevelNovaCompute parameter

This parameter can be used for pinning (and later unpinning) the Nova
Compute RPC version.

Change-Id: I2f181f3b01f0b8059566d01db0152a12bbbd1c3e

Introduce update/upgrade workflow

Change-Id: I7226070aa87416e79f25625647f8e3076c9e2c9a

Add resources for major upgrade in Pacemaker scenario

Add Heat software deployments to be used to upgrade major versions of
OpenStack on the controller nodes. All controller services are taken
down while the upgrade is in progress.

The new updated yum repositories should be configured by another process
e.g. the deployment artifacts transfer via Swift.

Change-Id: Ia0a04e4a11d67e7a5acc53c1f8a8f01ed5ca8675
Co-Authored-By: Giulio Fidente <gfidente@redhat.com>
Co-Authored-By: Jiri Stransky <jistr@redhat.com>

Nova Neutron configuration now uses keystone v3 endpoint

Our current nova-neutron configuration does not work with
the latest puppet-nova. In particular, this patch[1].

This commit adds keystone v3 endpoints to the map and gets the
nova::network::neutron configuration to use them.

[1] https://github.com/openstack/puppet-nova/commit/d09868a59c451932d67c66101b725182d7066a14

Change-Id: Ifb8c23c81c665c2732fa5cd757760668b06a449a