Merge "Upgrades: install zaqarclient"

Merge "Upgrades: quiet yum update"

Merge "Support adding a swap file to overcloud nodes"

Upgrades: install zaqarclient

Old overcloud images don't have python-zaqarclient installed, and new
overclouds' os-collect-config are configured with Zaqar support. This
together means that on upgrade we need to install python-zaqarclient,
otherwise os-collect-config will be restarted during yum update and
crash due to trying to import missing Python module from zaqarclient.

Change-Id: I3e875e14cb60b1b78aec0d9ddc412ccf865abd01

Upgrades: quiet yum update

Quiet down yum during major upgrades to reduce the output size. This is
consistent with what was introduced into minor updates in change
I517271e8465885421a78b73c5af756816c37a977.

Change-Id: Ie6b470e383fdf42870ac6f60ca43e44b4c446ebe

Merge "Use service tenant for ceilometer"

Merge "Add HostnameMap to allow granular control of hostnames"

Support adding a swap file to overcloud nodes

Create a new SoftwareDeployment that can be used to add a swap file to
all nodes The amount of swap and the location of the swap file can be
customized via parameter_defaults and the swap_size_megabytes/swap_path
parameters.

Change-Id: I1fb14c0fab2255410fceb26c3a7d5cfe0ba57b3b

Merge "Enable heat-manage purge_deleted cron job"

Merge "Update the path to the Docker file"

controller/ha: disable keystone-manage bootstrap.

Because Overcloud Keystone resources are not managed by puppet-keystone
but by os-cloud-config, we need to let os-cloud-config managing keystone
bootstrap otherwise the Exec will fail since some data is already in
place.

Later, when Keystone resources will be managed by Puppet, drop this
parameter, because puppet-keystone is able to manage the boostrap
itself.

Change-Id: I027deaae5cf90c27a6b5e9d236ae61145cab3c3f
Closes-Bug: #1551501

Merge "Convert port cidr splitting to str_split"

Merge "OpenContrail heat templates"

Merge "Change the default value for NetworkNexusVxlanGlobalConfig"

Merge "Write the compute upgrade script for tripleo major upgrade workflow"

Merge "Enable notifications on the overcloud"

Merge "Add support for DeployArtifactURLs"

Merge "Add NovaVNCProxy back into endpoint_map"

Merge "Emits a different hostname for each network the node is on"

Add support for DeployArtifactURLs

Adds a new nested stack deployment which allows operators to
opt-in to deploy tarball's and RPM packages by setting
DeployArtifactURLs as a parameter_default in a Heat
environment.

The intent is to use this setting to allow t-h-t to
transparently deploy things like tarballs of puppet modules
via a Swift Temp URL.

Change-Id: I1bad4a4a79cf297f5b6e439e0657269738b5f326
Implements: blueprint puppet-modules-deployment-via-swift

Merge "Nova RPC unpinning"

Merge "Add meta notify=true to rabbitmq resource"

Write the compute upgrade script for tripleo major upgrade workflow

As part of the major upgrade workflow non-controller nodes are to
be updated by the operator, out-of-band and only after an initial
heat stack-update that invokes the upgrade of the controller nodes.

This review adds a ComputeDeliverUpgradeConfigDeployment_Step3
SoftwareDeploymentGroup to be applied only to compute nodes, and
that depends on the controllers having been upgraded after
ControllerPacemakerUpgradeConfig_Step2.

Its purpose is to deliver but not invoke the upgrade script on
compute nodes to /root/tripleo_upgrade_node.sh .

The non-controller nodes will then be upgraded later by an
operator that will run the script provided for that purpose, like
at https://review.openstack.org/#/c/284722/1 for example.

Change-Id: Ic6115fc8cf5320abfcf500112ff563bde8b88661

Merge "Add a sample network-environment.yaml file to environments"

Add NovaVNCProxy back into endpoint_map

Due to an incorrect rebase, d0dcb9401c868786df58f5801a431392b8e89df8
dropped the changes made in dd7602ad82100617126be26d80a6d3f67cb739ac to
add a vncproxy to the endpoint map. This change restores them.

Change-Id: Ifef7f955481405d5fe39ba48c8b1a79aa9c170f2

Enable notifications on the overcloud

Configures all services to send notifications to rabbit.  The puppet
modules are not consistent regarding how this is done - some expose
notification config as a top-level param, others you need to set it
through a *_config structure, and cinder provides a separate class
dedicated to enabling ceilometer notifications.

Change-Id: I23e2ddad3c59a06cfbfe5d896a16e6bad2abd943

Merge "Add UpgradeLevelNovaCompute parameter"

Merge "Introduce update/upgrade workflow"

Merge "Add resources for major upgrade in Pacemaker scenario"

Merge "Generate the endpoint map statically"

Add a sample network-environment.yaml file to environments

This change adds a sample network-environment.yaml file to the
environments. This sample includes pointers to NIC config files,
as well as default network subnets and allocation pools.

This is meant to be a demonstration of the default settings for
a virtual deployment. In a real deployment, the operator would
customize the settings here and point to custom NIC config
templates.

Change-Id: I0288c0680effea06b5f805a0d955e8bbf6152ba6

Merge "Rename tox env to pep8"

Merge "Adds v6 capability to the deploy validation test (pings)"

Emits a different hostname for each network the node is on

Populates /etc/hosts with an entry for each IP address the node
is on, which will be useful to migrate services configuration from
using IPs into using hostnames.

This is how the lines look like on a host which doesn't have all ports:

  172.16.2.6 overcloud-novacompute-0.localdomain overcloud-novacompute-0
  192.0.2.9 overcloud-novacompute-0-external
  172.16.2.6 overcloud-novacompute-0-internalapi
  172.16.1.6 overcloud-novacompute-0-storage
  192.0.2.9 overcloud-novacompute-0-storagemgmt
  172.16.0.4 overcloud-novacompute-0-tenant
  192.0.2.9 overcloud-novacompute-0-management

the network against which the default (or primary) name is resolved
can be configured (for computes) via ComputeHostnameResolveNetwork

Change-Id: Id480207c68e5d68967d67e2091cd081c17ab5dd7

Nova RPC unpinning

During upgrades, we only run Puppet on the whole deployment to converge
the state, after the upgrade workflow itself has been fully
completed. That is an opportunity to utilize Puppet to make sure Nova
Compute RPC doesn't remain pinned to the older version.

Change-Id: I6ebc813a80dfd9dfbbb213c38724487e044507b8

Generate the endpoint map statically

A stack is an extremely heavyweight abstraction in Heat. Particularly in
TripleO, every stack includes a copy of all the template and environment
data for all of the stacks in the tree, all of which must be stored anew
in the database.

The EndpointMap abstraction created no fewer than 30 nested stacks, none
of which contained any resources but which existed purely for the
purpose of abstracting out some intrinsic functions used to calculate
the endpoint URLs for the various services. This likely adds several GB
to the memory requirements of the undercloud, and can cause things to
slow to a crawl since all 30 nested stacks need to be queried whenever
we need data from any one of them.

This change eliminates the nested stacks and instead generates the
endpoint map statically. This can be done offline in less than 250ms,
allows the input data to be expressed in an even more human-readable
form, and reduces the runtime overhead of the endpoints map by a factor
of 31, all with no loss of functionality, compatibility or flexibility.

Since we don't run a setup script to generate the tarball, the
endpoint_map.yaml output is checked in to source control. The build
script offers a --check option that can be used to make sure that the
output file is up-to-date with the input data.

Change-Id: I2df8f5569d81c1bde417ff5b12b06b7f1e19c336

Change the default value for NetworkNexusVxlanGlobalConfig

This parameter leads to the nonoperational state
in Nexus Vxlan topology when set to True, when VNIs created
but the nve peers do not get discovered on the Nexus.
It is time consuming process to debug the configuration
and find out that this parameter should be changed
to False. To prevent future problems for the future
deployment we want to default this parameter to False.

Change-Id: I685ad7d212af0d9e568acbf1ccf1607d120c195e

Merge "Nova Neutron configuration now uses keystone v3 endpoint"

Merge "Update nova::network::neutron variables to drop deprecated parameters"

Merge "Allow vncproxy to work with ssl enabled"

Add UpgradeLevelNovaCompute parameter

This parameter can be used for pinning (and later unpinning) the Nova
Compute RPC version.

Change-Id: I2f181f3b01f0b8059566d01db0152a12bbbd1c3e

Introduce update/upgrade workflow

Change-Id: I7226070aa87416e79f25625647f8e3076c9e2c9a

Add resources for major upgrade in Pacemaker scenario

Add Heat software deployments to be used to upgrade major versions of
OpenStack on the controller nodes. All controller services are taken
down while the upgrade is in progress.

The new updated yum repositories should be configured by another process
e.g. the deployment artifacts transfer via Swift.

Change-Id: Ia0a04e4a11d67e7a5acc53c1f8a8f01ed5ca8675
Co-Authored-By: Giulio Fidente <gfidente@redhat.com>
Co-Authored-By: Jiri Stransky <jistr@redhat.com>

Nova Neutron configuration now uses keystone v3 endpoint

Our current nova-neutron configuration does not work with
the latest puppet-nova. In particular, this patch[1].

This commit adds keystone v3 endpoints to the map and gets the
nova::network::neutron configuration to use them.

[1] https://github.com/openstack/puppet-nova/commit/d09868a59c451932d67c66101b725182d7066a14

Change-Id: Ifb8c23c81c665c2732fa5cd757760668b06a449a

Add meta notify=true to rabbitmq resource

See RHBZ 1311005 and 1247303. In short: sometimes when a controller
node gets fenced, rabbitmq is unable to rejoin the cluster. To fix this
we need two steps:
1) The fix for the RA in BZ 1247303
2) Add notify=true to the meta parameters of the rabbitmq resource on
   fresh installs and updates

Note that if this change is applied on systems that do not
have the fix for the rabbitmq resource agent, no action is taken.
So when the resource agent will be updated, the notify
operation will start to work as soon as the first monitor
action will take place.

Fixes RH Bug #1311005

Change-Id: I513daf6d45e1a13d43d3c404cfd6e49d64e51d5a

Add extra config yaml files for big switch agents.

This change adds extra config yaml files for big switch agent
and big switch lldp.

This change is mainly for compute nodes. The changes related
to controller nodes are landed at e78e1c8d9b5a7ebf327987b22091bff3ed42d1c1

This change also removes the neutron_enable_bigswitch_ml2 flag. Instead,
User needs to specify NeutronMechanismDrivers: bsn_ml2 in environment file.

Previous discussion about this change can be found at an abandoned
review request https://review.openstack.org/#/c/271940/

Depends-On: Iefcfe698691234490504b6747ced7bb9147118de

Change-Id: I81341a4b123dc4a8312a9a00f4b663c7cca63d7c

Update nova::network::neutron variables to drop deprecated parameters

This commit ensures we are not using any deprecated parameters for
nova::network::neutron and are using the right variable names.

Change-Id: Ic1b41e2cdbb6b180496822cc363c433e9388aa02

Merge "Use the class param to configure Cinder 'host' setting"

Merge "Add TripleO Heat Template Parameters for Neutron Tenant MTU"

Use the class param to configure Cinder 'host' setting

By configuring the Cinder 'host' setting via the appropriate class
param instead of cinder_config we don't risk to override it if the
user is to pass additional config settings using cinder_config in
ExtraConfig.

Change-Id: Idf33d87e08355b5b4369ccb0001db8d4c3b4c20f

Merge "Configure keystone public_endpoint"

Merge "Enable the ML2 port security extension driver by default"

Merge "Add missing : in hieradata key name"

Add sysctl settings to disable IPv6 autoconfig and accept_ra

This change adds puppet hieradata settings which disable IPv6
autoconfiguration and accept_ra by default on all interfaces.
When IPv6 is used, the interfaces are individually enabled and
configured with static IP addresses.

The networking on the compute host needs to be completely
separate from the tenant networking, in order to safeguard the
compute host and isolate tenant traffic. This change disables
IPv6 autoconfiguration and acceptance of RAs by default on
interfaces unless specifically enabled.

Without these settings, IPv6 is enabled on all interfaces, as well
as autoconfiguration and accept_ra, so when the compute host
creates a bridge interface for the router (qbr-<ID>), the
compute node will automatically assign an IPv6 address and will
install a default IPv6 route on the bridge interface when it
receives the RAs from the Neutron router.

The change to turn off autoconfiguration means that interfaces
will not self-assign an IPv6 address, and the change to not accept
RAs is a security hardening feature. This requires that a
static gateway address be declared in the network environment
in the parameter ExternalNetworkDefaultRoute. Alternately, sysctl
can be modified to change the accept_ra behavior for specific
interfaces.

Change-Id: I8a8d311a14b41baf6e7e1b8ce26a63abc2eaabef
Closes-bug: 1544296

Merge "Make injected CA file readable by others"

Merge "Increase size of connection tracking table"

Add TripleO Heat Template Parameters for Neutron Tenant MTU

This change adds the TripleO Heat Parameters and Puppet hieradata
to support setting the MTU for Neutron tenant networks. A new
parameter, NeutronTenantMtu is introduced, and this gets used for
the NeutronDnsmasqOptions and in Puppet hieradata.

NeutronTenantMtu is also used in the Puppet hieradata for both the
compute and control nodes. Two values are set:

nova::compute::network_device_mtu

which sets /etc/nova/nova.conf: network_device_mtu = <NeutronTenantMtu>

neutron::network_device_mtu

which sets in /etc/neutron/neutron.conf:
network_device_mtu = <NeutronTenantMtu>

finally, the NeutronDnsmasqOptions parameter becomes a str_format
that maps the NeutronTenantMtu onto the DHCP options,
so a default of 'dhcp-option-force=26,%MTU%' would be formatted to
'dhcp-option-force=26,1300' if NeutronTenantMtu were 1300.

This will set dnsmasq to serve an MTU via DHCP that matches the
NeutronTenantMtu:

/etc/neutron/dnsmasq-neutron.conf:dhcp-option-force=26,1300

Typically, you would change all three of these settings to use small
or jumbo frames in VMs. When using tunneling, NeutronTenantMtu
should be set at least 50 bytes smaller than the physical network
MTU in order to make room for tunneling overhead.

Note that this change does not support setting the MTU on veth
interfaces if veth patches are used to br-int instead of OVS
patches.

Change-Id: I38840e082ee01dc3b6fc78e1dd97f53fa4e63039

Merge "Wire the Glance rbd user correctly into the external Ceph template"

Make injected CA file readable by others

Currently the permissions for the CA file that is injected (if the
environment is set), doesn't permit users that don't belong to the group
that owns the file to read it. This is too restrictive and isn't
necessary, as the certificate should be public.

This is useful in the case where we want a service that can't read the
certificate chain (or bundle) to be able to read that CA certificate.
This is the case for the MariaDB version that is being used in CentOS
7.1 for example.

Change-Id: I6ff59326a5570670c031b448fb0ffd8dfbd8b025

Merge "Bind Galera on a hostname for compat with IPv6 addresses"

Merge "Remove start-delay=10s for the Nova resources monitor"

Wire the Glance rbd user correctly into the external Ceph template

We were incorrectly wiring the rbd user to the relevant glance
module parameter, making it was impossible to customize the
rbd user when using an external Ceph.

Change-Id: Ibe4eaedf986a9077f869c6530381e69ee0281f5b

Merge "Split pacemaker common check_service function out of _restart.sh"

Merge "Use timeout to check for services status"

Merge "Remove DNS hack."

Merge "Update Dell Storage Center api port setting"

Merge "Switch to POLL_TEMP_URL for config transport"

Merge "Minor fixes to allow local docker registry usage"

Merge "Enable SSL middleware for cinder"

Update the path to the Docker file

The file was renamed in db16fd6b59257ea9eacbf071e9e799041822dcab
(Change-Id I7837ed7ed3e807ec5c1276904893695918bef293).

Change-Id: Ia8bdd705fddf00acc20116d21f39cb80b9fd693e

Merge "Update the capabilities map file name to be more consistent"

Minor fixes to allow local docker registry usage

Changed the heat-docker-agents namespace to use the namespacing
specified in the environment file, which reduces modifications required
on the user when using a local registry.

Changed the start agents script to handle using a local registry both
with a namespace and without.

Change-Id: I16cc96b7ecddeeda07de45f50ffc6a880dabbba6

Add missing : in hieradata key name

This hieradata key, neutron::agents::ml2::ovs:bridge_mappings was
missing a : before bridge_mappings causing the value to be blank in
/etc/neutron/plugins/ml2/openvswitch_agent.ini even if a value had been
specified.

Change-Id: I377565d3fb821be1bb2dc7d92ec1ad25a4a3b1f1

Remove DNS hack.

With a properly configured undercloud the DNS is fine.  We can remove
the 8.8.8.8 dns setting.

Change-Id: I8ba98e76f95fd0a6f3f34cb5578e6c3ea7a1d15e

Merge "Nova now requires an api database to be created"

Remove start-delay=10s for the Nova resources monitor

As per conversation in [1], these settings should have probably never
been there.

1. https://bugzilla.redhat.com/show_bug.cgi?id=1262409

Change-Id: I116f825ba0fe3e4faac8dd347bb087e1b4c70e57

Enable heat-manage purge_deleted cron job

Without this the heat database tables will grow without limit.

Change-Id: I687e733db1a73ebc2047609a03be768093010dd4
DependsOn: Ia2b80e5003450cd794ebb0c9ca72200ec8616e81

Merge "Increase default Cinder LVM backing file to 10G"

Merge "puppet: run keystone in wsgi"

Rename tox env to pep8

It turns out the linters rename was a bit premature[1].  Use the
current standard pep8 name so we don't need custom jobs in the
gate to run this test on proposed changes.

Change-Id: I5226d4c5e3d4095d76cba24fcf27f87c59730587
1: http://lists.openstack.org/pipermail/openstack-dev/2016-February/086268.html

Merge "Update yaml-validate.py to accept files or directories"

Merge "Fixed typo in Dell Equallogic Cinder settings"

Merge "Pass -q option to yum"

Merge "Set 'host' globally in Cinder instead of per-backend basis"

Merge "Remove not needed completion-signal"

Merge "Fix endpoint names"

Nova now requires an api database to be created

This enables the creation of the nova_api database that is now
mandatory since https://review.openstack.org/#/c/245828/

Change-Id: Ia8242f23864ebb14ccf858a77ba754059e9c2d4a
Related-Bug: #1539793

Merge "Makes the iSCSI initiator name unique for compute nodes"

puppet: run keystone in wsgi

For both HA & non-HA scenarios, switch puppet-keystone configuration to
be run in a WSGI process instead of eventlet.
WSGI is the way to go for scaling Keystone, moreover, eventlet won't be
support in next OpenStack releases.

Co-Authored-By: Dan Prince <dprince@redhat.com>
Depends-On: I22a348c298ff44f616b2e898f4872eddea040239

Change-Id: I862b4a68f43347564ec3c0ddc4ec9e1d1c755cf2
Signed-off-by: Jason Guiditta <jguiditt@redhat.com>

Increase size of connection tracking table

During high load, the default limit of the kernel connection tracking
table (65536) is often too low, resuling in error messages such as:

kernel: nf_conntrack: table full, dropping packet

This patch increases the limit to 500,000.

Since the nf_conntrack kernel module is not always loaded by default, it also
adds a mechanism to load kernel modules via hieradata using the kmod puppet
module. In order to express the needed dependency in puppet that kernel modules
are loaded before sysctl settings are applied, the Exec resources tagged with
'kmod::load' are specified in a resource collector to express that that Exec
resources with the tag should run before Sysctl resources.

Depends-On: I59cc2280ebae315af38fb5008e6ee0073195ae51
Change-Id: Iffa0a77852729786b69945c1e72bc90ad57ce3bb

Update Dell Storage Center api port setting

Updated the setting for the dell storage center
api port to the right variable name ::dell_sc_api_port

Change-Id: I67a7533469947355629b6cb54b79759e21e0ec55

Merge "Fix MidoNet errors"

Merge "Create linux bridge vlans environments"

Set 'host' globally in Cinder instead of per-backend basis

This change will set a common value for 'host' across all
controllers. We missed to do so for the NFS backend previously.

It will still be possible to set a different per-backend 'host'
value by providing it via ExtraData.

Change-Id: I00fd05660a15be3611e1a394650be6ab713670f9

Fixed typo in Dell Equallogic Cinder settings

The name of the variable ::eqlx_pool had a typo. Fixed it

Change-Id: I83a94d4bccf9c9a60c7b37473ae8a64ac050671c

Pass -q option to yum

The maximum payload size of the return signal from a Heat software
deployment is 1MB, and the output of yum starts breaking this limit at
~1000 packages to update - which is not an atypical number. To prevent
this, pass the -q (quiet) option to reduce the amount of output to a
manageable level.

Change-Id: I517271e8465885421a78b73c5af756816c37a977
Resolves-rhbz: #1304878
Closes-Bug: #1543034

Merge "Allow the deployer to pick a predefined IP for VIPs"

Merge "neutron: delete by default router/dhcp namespaces"

Makes the iSCSI initiator name unique for compute nodes

When we utilise images for deployment, the iSCSI initiator name
is not unique, leading to problems with live migration. This
patch simply updates the iSCSI initiator name to a unique ID
randomly generated by iscsi-iname.

https://bugzilla.redhat.com/show_bug.cgi?id=1244328

Change-Id: I170e7f45f67fa8ce70436f24807d1ed7808f2c32

Increase default Cinder LVM backing file to 10G

We get false negatives from Tempest when the Cinder LVM backing
file runs out space. This change increases its default size to 10G,
matching devstack [1]

1. https://github.com/openstack-dev/devstack/blob/master/stackrc#L649

Change-Id: Ia334ea481e17c1d35aa67c33729cac6570f48199