PLUMgrid Neutron integration

Enable PLUMgrid neutron liberty plugin in a TripleO overcloud environment.

Change-Id: I07025f67ec3f3399aac4dcd10cc37e857772548b
Signed-off-by: Qasim Sarfraz <qasims@plumgrid.com>

Merge "compute: use live_migration_tunnelled"

Merge "Install mongodb client package"

Merge "Fix typos"

Merge "Ensure access to Redis is password protected"

compute: use live_migration_tunnelled

In a previous patch [1], we added support for VIR_MIGRATE_TUNNELLED when
doing VM shared storage.

In Nova Mitaka [2] [3], we have now a parameter called
'live_migration_tunnelled' to whether or not use tunnelled migration.
It replaces 'block_migration_flag' and 'live_migration_flag' that are
both deprecated.

[1] https://review.openstack.org/#/c/286584/
[2] https://review.openstack.org/#/c/263436/
[3] https://review.openstack.org/#/c/263434/

Change-Id: I8b199b6e72c80b2df7b679e0a20e39f8400d0478

Merge "compute: include VIR_MIGRATE_TUNNELLED when doing VM shared storage"

Merge "Keystone domain for Heat"

Merge "Pass public_addr to ceph::profile::params instead of ceph::mon"

Merge "Remove unused Neutron Agents container"

Merge "Parameterize the heat-docker-agents image"

Merge "Allow the containerized compute node to spawn larger VMs"

Merge "Upgrades: quiet yum upgrade on cinder nodes"

compute: include VIR_MIGRATE_TUNNELLED when doing VM shared storage

This patch makes sure:

* When doing shared storage
Nova is configured with block_migration_flag and live_migration_flag = '(...),VIR_MIGRATE_TUNNELLED'
flag for security improvements.

* When not doing shared storage
Nova is not configured with VIR_MIGRATE_TUNNELLED flag because it's not
supported by Qemu yet. We need to make sure the value is unset otherwise
live migration will fail when not running shared storage for VMs.

Note: this patch will be backport to stable branches. In a further
iteration, we'll probably use live_migration_tunnelled new Nova
parameter which is a simplier way to manage this feature.

Co-Authored-By: Kashyap Chamarthy <kchamart@redhat.com>
Change-Id: I557c1624ee944a32b1831d504f7b189308cd1961

Merge "Enable predictable IPs on non-controllers"

Merge "Support the deployment of Ceph over IPv6"

Merge "Fix vncproxy_host for IPv6"

Merge "Allow the vnc server to bind on IPv6 address on computes"

Merge "Surround MongoDB IPs with braces in the connection string if IPv6"

Merge "Upgrades: initialization command/snippet"

Merge "Add a ceph-storage node upgrade script for the upgrade workflow"

Support the deployment of Ceph over IPv6

To deploy Ceph on IPv6, we need to enable ms_bind_ipv6 in addition
to passing the list of MON IPs in brackets.

Change-Id: I3644b8fc06458e68574afa5573f07442f0a09190

Fix vncproxy_host for IPv6

https://review.openstack.org/268356 can cause issues in IPv6
environments. It generates the following Hiera data:

nova::vncproxy::common::vncproxy_host: [2001:db8:fd00:1000::10]

which fails due to the brackets. Making sure there are no brackets
in nova_vncproxy_host makes it work for both the IP case and when
using DNS names.

Change-Id: Iafe18f042725eb9419d97cd674c4b9a1a895b187

Allow the vnc server to bind on IPv6 address on computes

Currently the vnc server on the compute nodes binds on 0.0.0.0.
which only works with IPv4 addresses, it breaks connectivity with
IPv6 addressing.

This fixes https://bugzilla.redhat.com/show_bug.cgi?id=1300678.

Change-Id: Id642d224fb3c62f786453dc684634adca1c2c09d
Co-Authored-By: Giulio Fidente <gfidente@redhat.com>

Surround MongoDB IPs with braces in the connection string if IPv6

Change-Id: I9ed917f32b3de95beb234ade4819a8b96affe3e9

Merge "Upgrades: object storage node upgrade fix"

Upgrades: quiet yum upgrade on cinder nodes

Yum update on cinder nodes should be quiet, as it is on controllers,
because results of these updates are sent to Heat. I mistakenly left
this out in the first patch because i used one of the standalone node
upgrade scripts as a copy/paste base for the cinder node upgrade script.

Change-Id: Id13190dc4d242317829c7994088183f52d21461d

Keystone domain for Heat

This patch adds support for configuring Keystone domain for Heat
via heat-keystone-setup-domain script. It should be reverted
as soon as Keystone v3 is fully functional.

This patch won't be fully functional without either python-keystoneclient
fix [1] or workaround [2].

[1] https://bugs.launchpad.net/python-keystoneclient/+bug/1452298
[2] https://review.openstack.org/180563

Change-Id: Ie9cdd518b299c141f0fdbb3441a7761c27321a88
Co-Authored-By: Jiri Stransky <jistr@redhat.com>
Depends-On: Ic541f11978908f9344e5590f3961f0d31c04bb0c

Merge "Upgrade of Cinder block storage nodes"

Merge "Updated the heat_template_version"

Merge "Fixup systemctl_swift stop/start  during the controller upgrade"

Enable predictable IPs on non-controllers

For the external loadbalancer work, we added the ability to specify
fixed ips for controller nodes on all network isolation networks.
In order to allow users full control over the placement and ip
addresses of deployed nodes, we need to be able to do the same thing
for the other node types.

Change-Id: I3ea91768b2ea3a40287f2f3cdb823c23533cf290

Remove unused Neutron Agents container

The Neutron Agents is currently not used. Refactor the heat templates
to accommodate for this change.

Change-Id: Ice3c5ce723fa16cfb66c2b0afbe51d7b282c3210

Allow the containerized compute node to spawn larger VMs

Atomic's root partition & logical volume defaults to 3G.
In order to launch larger VMs, we need to enlarge the root
logical volume and scale down the docker_pool logical volume.
We are allocating 80% of the disk space for vm data and the
remaining 20% for docker images.

Change-Id: If3fff78f476de23c7c51741a49bae227f2cdfe3e
Co-authored-by: Ian Main <imain@redhat.com>
Co-authored-by: Jeff Peeler <jpeeler@redhat.com>

Ensure access to Redis is password protected

Depends-On: I1a8741b9e00775763911222cbe0af677b59e03a1
Change-Id: I373f97ada4e4101700a12b42dfb8ee4b2ff701f2

Merge "Add Rabbit IPv6 only support"

Upgrades: object storage node upgrade fix

The variables in the heredoc should be escaped because they should
evaluate only when the inner script runs, not when the outer "writer"
script runs.

Python-zaqarclient is installed for os-collect-config to work, as we do
on the other node types.

Swift-proxy is removed from list of services to stop/start, as
swift-proxy isn't supposed to run on the swift storage nodes.

Change-Id: I8426b859d11378ebdc3da94dcc090133dab0c628

Fixup systemctl_swift stop/start  during the controller upgrade

During the controller upgrade in
major_upgrade_controller_pacemaker_1.sh we use systemctl to stop
all swift services and then start them again in _pacemaker_2.sh

In the case of stand-alone swift nodes the deployer may have
used the ControllerEnableSwiftStorage: false so that only the
swift-proxy service is left on controllers (wrt swift). The
systemctl_swift function used during upgrades is changed to factor
this in.

Change-Id: Ib22005123429f250324df389855d0dccd2343feb

Upgrades: initialization command/snippet

This allows to run a command or a script snippet on all overcloud nodes
at the beginning of the upgrade. The intended use is to switch to a new
set of repositories on the overcloud. This is done differently in
different contexts (e.g. upstream vs. downstream), but generally it
should be simple enough to not warrant creation of switchable
"UpgradeInit" resource in the resource registry, and a string
command/snippet parameter should suffice.

Change-Id: I72271170d3f53a5179b3212ec9bae9a6204e29e6

Merge "Add missing createUser line to /etc/snmp/snmpd.conf"

Merge "Change the CinderISCSIHelper to lioadm"

Make External Load Balancer templates work with IPv6

This change modifies the network isolation templates that allow for
fixed IP addresses on the controllers' IPs and VIPs, and makes them
compatible with IPv6 addresses.

The latest version of the patchset creates an from_service_v6.yaml
in order to properly handle service VIPs on IPv6 networks.

Note that since OVS is not currently compatible with IPv6 tunnel
endpoints, this patch does not yet enable IPv6 for the Tenant
network by default.

Change-Id: If881b000c6000ec13b54c0ee39f1c8940f079ae3
Co-Authored-By: Giulio Fidente <gfidente@redhat.com>

Merge "Update enable-tls.yaml with new endpoints"

Add Rabbit IPv6 only support

Adds Rabbit environment variable required for IPv6 only support

Change-Id: Iec209ca83a5b0708ac828c4afaf9d2222e597f24

Merge "Store events in Ceilometer"

Merge "Set host in nova.conf for compute nodes"

Change the CinderISCSIHelper to lioadm

Previously we used to always set CinderISCSIHelper to lioadm from
the client. With [1] we aim at cleaning up the client from any
default so this change move the actual default into the templates.

1. Iabc94ad1cce6f1744429aca9f866a59a698f5680

Change-Id: I662e4b0e3cf909ec2583d087ca1d246715caf0f7
Related-Bug: 1554564

Update enable-tls.yaml with new endpoints

A couple of new endpoints have been added, and if they're not in
the configured value for EndpointMap it will cause problems.

Sahara is not added as ssl-enabled because I don't believe it has
been added to the loadbalancer yet.

Note that there is work underway to CI overcloud SSL, which should
catch problems like this in the future.

Change-Id: Ia8a106fd94da7be8675ea84f5fbb9ac959771d10

Add a ceph-storage node upgrade script for the upgrade workflow

This adds delivery of an upgrade script to any ceph-storage nodes
during the script delivery that comes first during the upgrade
workflow.

The controllers have the ceph-mon whilst the ceph-osds are on the
ceph-storage nodes. The ceph-mons will be updated first as part of
the heat-driven controller upgrade, and ceph-osds on ceph nodes are
upgraded with the upgrade-non-controller.sh tripleo-common script
as with compute and swift nodes.

Also slight rename for the ObjectStorageConfig/Deployment here for
consistency.

Change-Id: I12abad5548dcb019ade9273da06fe66fd97f54cc

Merge "Permits configuration of Cinder enabled_backend via hieradata"

Increase default netdev_max_backlog to 10x

It has been observed that on large clouds the netdev backlog
buffer might overflow. This change increases the default by ten
times.

The /proc/net/softnet_stat file contains a counter in the 2nd
column that is incremented when the netdev backlog queue overflows.
If this value is incrementing over time, then netdev_max_backlog
needs to be increased [1].

[1]. https://bugzilla.redhat.com/show_bug.cgi?id=1283676

Change-Id: Iec12324fd3a24e8b608b1e1849c270cc24cb0e60

Fix typos

Multiple files in t-h-t were having small typos.
Fixed in this patchset.
.
Change-Id: I82d7071747f47544990ed46e2be22931190406b3

Merge "Fixup the memcached servers string in nova.conf for v6"

Store events in Ceilometer

Adds an option to toggle whether events are stored in Ceilometer.

The default is false and remains unchanged.

Change-Id: I9accb679b97cf7172c67f3cd5f218bdaee507c94
Related-Bug: rhbz#1312373

Merge "Add an environment to use a swap partition"

Merge "Move ordering constraints from httpd to openstack-core"

Set host in nova.conf for compute nodes

In order for instance HA to function safely, nova-compute needs access
to the name by which nova knows the current compute node.

Since the names of the nova-compute and neutron ml2 agents must be the
same for vif binding to work, it also sets the host value in
neutron.conf.

Change-Id: I7d07c57b7276815c72d08acaa86f673e43eb0498

Merge "Make AllNodesExtraConfig depend on the validation deployments"

Merge "Set /64 cidr_netmask for pcmk VIPs when IPv6"

Merge "Fix rabbit_hosts list for glance-api for IPv6"

Merge "Allow to enable IPv6 on Corosync"

Merge "Use MysqlVirtualIPUri for nova_api and sahara database"

Merge "Make the Neutron subnet ipv6_{ra,address}_mode configurable"

Merge "Revert "Deploy Aodh services, replacing Ceilometer Alarm""

Merge "Function library for major upgrades"

Merge "Add IPv6 versions of the Controller NIC configs"

Merge "Fixup swift device string to delimit the ipv6 address with []"

Merge "Introduce a UpgradeScriptDeliveryWorfklow as part of tripleo upgrades"

Fixup the memcached servers string in nova.conf for v6

As discussed at https://bugzilla.redhat.com/show_bug.cgi?id=1299265
when providing a list of IPv6 addresses as the memcache_node_ips
the resulting nova.conf entry can't be parsed properly.

This adds a memcache_node_ips_v6 which has the required format like
inet6:[ADDR1],inet6:[ADDR2],inet6:[ADDR3]

Closes-Bug: 1536103
Change-Id: I7f95fa063cbba279c4c2e270841f0a279d2be2f6

Fixup swift device string to delimit the ipv6 address with []

The swift device string is formatted in the outputs of the
controller template and swift-storage templates.
For ipv6 we need to delimit the address with [] as discussed in
https://bugzilla.redhat.com/show_bug.cgi?id=1296701#c0

Change-Id: Ie611d62c3668a65a7be52777a613d265682c6a8b
Co-Authored-By: Jiri Stransky <jistr@redhat.com>
Closes-Bug: 1534135

Add an environment to use a swap partition

This environment can be used with AllNodesExtraConfig to enable swap on
a device with the given label as specified by the swap_partition_label
parameter.

If Ironic is used to create the swap partition, the partition will have
a label of swap1, so that's a reasonable default for the parameter.

The partition is also written to /etc/fstab as a swap mount so that it
will be enabled on reboot.

Change-Id: I5cd68c13dbfe53eecf6c6ad93151eadc980a902d

Revert "Deploy Aodh services, replacing Ceilometer Alarm"

This just a revert to see if reverting this gets back to a normal CI run time.

This reverts commit f72aed85594f223b6f888e6d0af3c880ea581a66.

Change-Id: I04a0893f6cf69f547a4db26261005e580e1fc90b

Set /64 cidr_netmask for pcmk VIPs when IPv6

We'll use /32 for IPv4, the default pacemaker was already using.

Change-Id: Iab584c3e50efc3ecc0ec87bb080bf2d5d802199d
Co-Authored-By: Giulio Fidente <gfidente@redhat.com>

Allow to enable IPv6 on Corosync

To enable IPv6 in Corosync, you'll need to set the --ipv6 parameter when
building the cluster.

To do so, we need to specify this parameter in puppet configuration when
running ::pacemaker::corosync class.

So we have now a new parameter: CorosyncIPv6 which is a boolean, False
by default. If set to True, it will pass right options to enable IPv6
when building the Pacemaker cluster.

Change-Id: I485f1399964ddd7a201ed19ec6580b8a136b3acd

Make the Neutron subnet ipv6_{ra,address}_mode configurable

Use of slaac does not permit stati assignment of IPs to a Neutron
port, so we default to dhcpv6-stateful instead.

Change-Id: Id7f104be60ae05785a3d0a33516d7875a4698ed1

Add IPv6 versions of the Controller NIC configs

This change adds Controller NIC configs for the sample NIC config
templates that are compatible with IPv6 on the External network.
These controller-v6.yaml templates include a default route for IPv6
on the External network, and a default route for IPv4 on the Control
Plane. The Heat parameters ExternalNetworkDefaultRoute and
ControlPlaneDefaultRoute are used to set these values.

Change-Id: Ifed8cb359eae1d9d623d3eb2fe40ea8a0d1d889a

Merge "Add IPv6 Support to Isolated Networks"

Fix rabbit_hosts list for glance-api for IPv6

Previously we were always appending the :port suffix to the list
of rabbitmq nodes but the syntax was invalid for IPv6.

This change wires rabbit_hosts from the templates as it happens
already for the other services. Port can be customized using
rabbit_port.

Change-Id: Iecc7a97d46d7de17e85398c57996c104c9125b0e

Use MysqlVirtualIPUri for nova_api and sahara database

Without this the nova_api and sahara database_connection string won't
add brackets around the IP address, when IPv6, causing db sync to fail.

Change-Id: I262e5de993ae59ad665edb043119aac2e09c6fdc

Make AllNodesExtraConfig depend on the validation deployments

AllNodesExtraConfig should really only run after the validation
deployments are done, which validate that basic networking is
functioning.

In particular, creating a swap file during AllNodesExtraConfig while the
validation deployments are still running might cause temporary network
outages which could fail the validations.

Change-Id: Ia2a10318de47854a9b8932d72243ce0a85603556
Partial-Bug: #1553243

Parameterize the heat-docker-agents image

Heat docker agents needs to be parameterized so that
we can change the tag from the environment file.

Change-Id: I352fd0fdf982056de23285e366efe55ca3aaff1b
Co-authored-by: Jeff Peeler <jpeeler@redhat.com>

Merge "Allow for usage of pre-allocated IPs for the management network"

Merge "Run keystone-manage bootstrap for HA deployment too"

Run keystone-manage bootstrap for HA deployment too

This is necessary to keep creating the Default domain.

Change-Id: Ib9911819e89f30270d4f7597639b33f30ad2e3a6
Closes-Bug: #1549867

Merge "Set notification driver for nova to send"

Add IPv6 Support to Isolated Networks

This change adds a new set of network templates with IPv6 subnets
that can be used instead of the existing IPv4 networks. Each network
can use either the IPv4 or IPv6 template, and the Neutron subnet will
be created with the specified IP version.

The default addresses used for the IPv6 networks use the fd00::/8
prefix for the internal isolated networks (this range is reserved
for private use similar to 10.0.0.0/8), and 2001:db8:fd00:1000::/64
is used as an example default for the External network
(2001:db8::/32 are the documentation addresses [RFC3849]), but this
would ordinarily be a globally addressable subnet. These
parameters may be overridden in an environment file.

This change will require updates to the OpenStack Puppet
Modules to support IPv6 addresses in some of the hieradata values.
Many of the OPM modules already have IPv6 support to support IPv6
deployments in Packstack, but some OPM packages that apply only to
Instack/TripleO deployments need to be updated.

IPv6 addresses used in URLs need to be surrounded by brackets in
order to differentiate IP address from port number. This change
adds a new output to the network/ports resources for
ip_address_uri, which is an IP address with brackets in the case
of IPv6, and a raw IP address without brackets for IPv4 ports.
This change also updates some URLs which are constructed in Heat.

This has been tested and problems were found with Puppet not
accepting IPv6 addresses. This is addressed in the latest Puppet.
Additional changes were required to make this work with Ceph.

IPv6 tunnel endpoints with Open vSwitch are not yet supported
(although support is coming soon), so this review leaves the
Tenant network as an isolated IPv4 network for the time being.

Change-Id: Ie7a742bdf1db533edda2998a53d28528f80ef8e2

Allow for usage of pre-allocated IPs for the management network

Id3d4f12235501ae77200430a2dc022f378dce336 added support for pre-allocated
IPs on the other overlay networks, but because the patch adding the
managment network (I0813a13f60a4f797be04b34258a2cffa9ea7e84f) was
under review around the same time, we missed adding the from_pool
capability to the ManagementNetwork.

Change-Id: If99f37634d5da7e7fb7cfc31232e926bd5ff074a

Merge "Deploy Aodh services, replacing Ceilometer Alarm"

Updated the heat_template_version

Fixed the heat_template_version of these YAML files to the liberty
release version according to HOT template specs.

Change-Id: Ic5e0d843f7e164c59fb1737e52ef4cf6ad4df77f

Deploy Aodh services, replacing Ceilometer Alarm

Ceilometer Alarm is deprecated in Liberty by Aodh.

This patch:
* manage Aodh Keystone resources
* deploy Aodh API under WSGI, Notifier, Listener and Evaluator
* manage new parameters to customize Aodh deployment
* uses ceilometer DB for the upgrade path
* pacemaker config

Depends-On: I9e34485285829884d9c954b804e3bdd5d6e31635
Depends-On: I891985da9248a88c6ce2df1dd186881f582605ee
Depends-On: Ied8ba5985f43a5c5b3be5b35a091aef6ed86572f

Co-Authored-By: Pradeep Kilambi <pkilambi@redhat.com>
Change-Id: I58d419173e80d2462accf7324c987c71420fd5f6

Merge "endpoint_map: bump nova api from 2.0 to 2.1"

Merge "Use set -e for validation-scripts/all-nodes.sh"

Function library for major upgrades

This commit introduces a bash file to be sourced into major upgrade
scripts. Into this file we can put specific pieces of migration logic in
the form of bash functions, which can then be called from the upgrade
scripts.

Change-Id: Ibf7aa84d3880e9218c488dec9d707300e1784744

Merge "Moves the swift start/stop into the common_functions.sh file"

Merge "Add Satellite 5 support"

Introduce a UpgradeScriptDeliveryWorfklow as part of tripleo upgrades

This splits the upgrade script delivery out of the UpgradeWorkflow
and into a new task which delivers the upgrade script for
compute and object-storage nodes. This is intended to be the first
part of the upgrades process, since we need to upgrade swift nodes
before the controllers and then only one at a time. So this will
deliver the upgrade script which can be invoked by the operator
using the existing script in tripleo-common
'upgrade-non-controller.sh'.

This can be invoked by passing the -e
environments/major-upgrade-script-delivery.yaml (added here) to
the openstack overcloud deploy command.

Change-Id: I20a0d4978e907111404f8108c502ab53b69a3296

Upgrade of Cinder block storage nodes

This introduces upgrades for Cinder block storage nodes. Currently
Cinder doesn't support upgrade level pinning and cannot safely deal with
version skew. This means that we have to upgrade Cinder storage nodes in
sync with controller nodes (after they were taken down for upgrade,
before they are brought back up) to ensure that Cinder services perform
AMQP communication only within the same major version of Cinder.

According to our current knowledge, Cinder block storage nodes are the
only node type that will have to be upgraded in sync with controllers.

Change-Id: Icec913c015eff744b0f31b513176b4b657df43af

Merge "Cisco nexus config template - obsolete parameter (replay count)."

Moves the swift start/stop into the common_functions.sh file

Since swift isn't managed by pacemaker we need to manually (systemctl)
stop and start the swift services. This moves the duplicate blocks for
start/stop into a common function (we already include that
pacemaker_common_functions.sh here so may as well)

Change-Id: Ic4f23212594c1bf9edc39143bf60c7f6d648fd1d

Merge "Upgrades: install zaqarclient"