Use set -e for validation-scripts/all-nodes.sh

Update this script to use 'set -e' for all commands except
the ping checks themselves which we allow to fail so we
can give enhanced output.

This resolves an issue where some commands could fail and cause
an undetectable error (the scripted exits with success) thus causing
a case where Heat won't detect any network errors at all. This
was recently the case with git commit 45be848 where we switched
to use python -c 'import ipaddr' which wasn't even installed as a
library on our overcloud nodes, thus causing all network validations
to silently fail.

Change-Id: I40ed6a537136e866357cc0d9304e905afdd28522
Depends-On: Ia617f44b4673b89202e5e5cdcac9b50f46b3e6c8
Related-bug: #1551048

Merge "Add support for DeployArtifactURLs"

Merge "Add NovaVNCProxy back into endpoint_map"

Merge "Emits a different hostname for each network the node is on"

Add support for DeployArtifactURLs

Adds a new nested stack deployment which allows operators to
opt-in to deploy tarball's and RPM packages by setting
DeployArtifactURLs as a parameter_default in a Heat
environment.

The intent is to use this setting to allow t-h-t to
transparently deploy things like tarballs of puppet modules
via a Swift Temp URL.

Change-Id: I1bad4a4a79cf297f5b6e439e0657269738b5f326
Implements: blueprint puppet-modules-deployment-via-swift

Merge "Nova RPC unpinning"

Merge "Add meta notify=true to rabbitmq resource"

Merge "Add a sample network-environment.yaml file to environments"

Add NovaVNCProxy back into endpoint_map

Due to an incorrect rebase, d0dcb9401c868786df58f5801a431392b8e89df8
dropped the changes made in dd7602ad82100617126be26d80a6d3f67cb739ac to
add a vncproxy to the endpoint map. This change restores them.

Change-Id: Ifef7f955481405d5fe39ba48c8b1a79aa9c170f2

Merge "Add UpgradeLevelNovaCompute parameter"

Merge "Introduce update/upgrade workflow"

Merge "Add resources for major upgrade in Pacemaker scenario"

Merge "Generate the endpoint map statically"

Add a sample network-environment.yaml file to environments

This change adds a sample network-environment.yaml file to the
environments. This sample includes pointers to NIC config files,
as well as default network subnets and allocation pools.

This is meant to be a demonstration of the default settings for
a virtual deployment. In a real deployment, the operator would
customize the settings here and point to custom NIC config
templates.

Change-Id: I0288c0680effea06b5f805a0d955e8bbf6152ba6

Merge "Rename tox env to pep8"

Merge "Adds v6 capability to the deploy validation test (pings)"

Emits a different hostname for each network the node is on

Populates /etc/hosts with an entry for each IP address the node
is on, which will be useful to migrate services configuration from
using IPs into using hostnames.

This is how the lines look like on a host which doesn't have all ports:

  172.16.2.6 overcloud-novacompute-0.localdomain overcloud-novacompute-0
  192.0.2.9 overcloud-novacompute-0-external
  172.16.2.6 overcloud-novacompute-0-internalapi
  172.16.1.6 overcloud-novacompute-0-storage
  192.0.2.9 overcloud-novacompute-0-storagemgmt
  172.16.0.4 overcloud-novacompute-0-tenant
  192.0.2.9 overcloud-novacompute-0-management

the network against which the default (or primary) name is resolved
can be configured (for computes) via ComputeHostnameResolveNetwork

Change-Id: Id480207c68e5d68967d67e2091cd081c17ab5dd7

Nova RPC unpinning

During upgrades, we only run Puppet on the whole deployment to converge
the state, after the upgrade workflow itself has been fully
completed. That is an opportunity to utilize Puppet to make sure Nova
Compute RPC doesn't remain pinned to the older version.

Change-Id: I6ebc813a80dfd9dfbbb213c38724487e044507b8

Generate the endpoint map statically

A stack is an extremely heavyweight abstraction in Heat. Particularly in
TripleO, every stack includes a copy of all the template and environment
data for all of the stacks in the tree, all of which must be stored anew
in the database.

The EndpointMap abstraction created no fewer than 30 nested stacks, none
of which contained any resources but which existed purely for the
purpose of abstracting out some intrinsic functions used to calculate
the endpoint URLs for the various services. This likely adds several GB
to the memory requirements of the undercloud, and can cause things to
slow to a crawl since all 30 nested stacks need to be queried whenever
we need data from any one of them.

This change eliminates the nested stacks and instead generates the
endpoint map statically. This can be done offline in less than 250ms,
allows the input data to be expressed in an even more human-readable
form, and reduces the runtime overhead of the endpoints map by a factor
of 31, all with no loss of functionality, compatibility or flexibility.

Since we don't run a setup script to generate the tarball, the
endpoint_map.yaml output is checked in to source control. The build
script offers a --check option that can be used to make sure that the
output file is up-to-date with the input data.

Change-Id: I2df8f5569d81c1bde417ff5b12b06b7f1e19c336

Merge "Nova Neutron configuration now uses keystone v3 endpoint"

Merge "Update nova::network::neutron variables to drop deprecated parameters"

Merge "Allow vncproxy to work with ssl enabled"

Add UpgradeLevelNovaCompute parameter

This parameter can be used for pinning (and later unpinning) the Nova
Compute RPC version.

Change-Id: I2f181f3b01f0b8059566d01db0152a12bbbd1c3e

Introduce update/upgrade workflow

Change-Id: I7226070aa87416e79f25625647f8e3076c9e2c9a

Add resources for major upgrade in Pacemaker scenario

Add Heat software deployments to be used to upgrade major versions of
OpenStack on the controller nodes. All controller services are taken
down while the upgrade is in progress.

The new updated yum repositories should be configured by another process
e.g. the deployment artifacts transfer via Swift.

Change-Id: Ia0a04e4a11d67e7a5acc53c1f8a8f01ed5ca8675
Co-Authored-By: Giulio Fidente <gfidente@redhat.com>
Co-Authored-By: Jiri Stransky <jistr@redhat.com>

Nova Neutron configuration now uses keystone v3 endpoint

Our current nova-neutron configuration does not work with
the latest puppet-nova. In particular, this patch[1].

This commit adds keystone v3 endpoints to the map and gets the
nova::network::neutron configuration to use them.

[1] https://github.com/openstack/puppet-nova/commit/d09868a59c451932d67c66101b725182d7066a14

Change-Id: Ifb8c23c81c665c2732fa5cd757760668b06a449a

Add meta notify=true to rabbitmq resource

See RHBZ 1311005 and 1247303. In short: sometimes when a controller
node gets fenced, rabbitmq is unable to rejoin the cluster. To fix this
we need two steps:
1) The fix for the RA in BZ 1247303
2) Add notify=true to the meta parameters of the rabbitmq resource on
   fresh installs and updates

Note that if this change is applied on systems that do not
have the fix for the rabbitmq resource agent, no action is taken.
So when the resource agent will be updated, the notify
operation will start to work as soon as the first monitor
action will take place.

Fixes RH Bug #1311005

Change-Id: I513daf6d45e1a13d43d3c404cfd6e49d64e51d5a

Add extra config yaml files for big switch agents.

This change adds extra config yaml files for big switch agent
and big switch lldp.

This change is mainly for compute nodes. The changes related
to controller nodes are landed at e78e1c8d9b5a7ebf327987b22091bff3ed42d1c1

This change also removes the neutron_enable_bigswitch_ml2 flag. Instead,
User needs to specify NeutronMechanismDrivers: bsn_ml2 in environment file.

Previous discussion about this change can be found at an abandoned
review request https://review.openstack.org/#/c/271940/

Depends-On: Iefcfe698691234490504b6747ced7bb9147118de

Change-Id: I81341a4b123dc4a8312a9a00f4b663c7cca63d7c

Update nova::network::neutron variables to drop deprecated parameters

This commit ensures we are not using any deprecated parameters for
nova::network::neutron and are using the right variable names.

Change-Id: Ic1b41e2cdbb6b180496822cc363c433e9388aa02

Merge "Use the class param to configure Cinder 'host' setting"

Merge "Add TripleO Heat Template Parameters for Neutron Tenant MTU"

Use the class param to configure Cinder 'host' setting

By configuring the Cinder 'host' setting via the appropriate class
param instead of cinder_config we don't risk to override it if the
user is to pass additional config settings using cinder_config in
ExtraConfig.

Change-Id: Idf33d87e08355b5b4369ccb0001db8d4c3b4c20f

Merge "Configure keystone public_endpoint"

Merge "Enable the ML2 port security extension driver by default"

Merge "Add missing : in hieradata key name"

Add sysctl settings to disable IPv6 autoconfig and accept_ra

This change adds puppet hieradata settings which disable IPv6
autoconfiguration and accept_ra by default on all interfaces.
When IPv6 is used, the interfaces are individually enabled and
configured with static IP addresses.

The networking on the compute host needs to be completely
separate from the tenant networking, in order to safeguard the
compute host and isolate tenant traffic. This change disables
IPv6 autoconfiguration and acceptance of RAs by default on
interfaces unless specifically enabled.

Without these settings, IPv6 is enabled on all interfaces, as well
as autoconfiguration and accept_ra, so when the compute host
creates a bridge interface for the router (qbr-<ID>), the
compute node will automatically assign an IPv6 address and will
install a default IPv6 route on the bridge interface when it
receives the RAs from the Neutron router.

The change to turn off autoconfiguration means that interfaces
will not self-assign an IPv6 address, and the change to not accept
RAs is a security hardening feature. This requires that a
static gateway address be declared in the network environment
in the parameter ExternalNetworkDefaultRoute. Alternately, sysctl
can be modified to change the accept_ra behavior for specific
interfaces.

Change-Id: I8a8d311a14b41baf6e7e1b8ce26a63abc2eaabef
Closes-bug: 1544296

Merge "Make injected CA file readable by others"

Merge "Increase size of connection tracking table"

Add TripleO Heat Template Parameters for Neutron Tenant MTU

This change adds the TripleO Heat Parameters and Puppet hieradata
to support setting the MTU for Neutron tenant networks. A new
parameter, NeutronTenantMtu is introduced, and this gets used for
the NeutronDnsmasqOptions and in Puppet hieradata.

NeutronTenantMtu is also used in the Puppet hieradata for both the
compute and control nodes. Two values are set:

nova::compute::network_device_mtu

which sets /etc/nova/nova.conf: network_device_mtu = <NeutronTenantMtu>

neutron::network_device_mtu

which sets in /etc/neutron/neutron.conf:
network_device_mtu = <NeutronTenantMtu>

finally, the NeutronDnsmasqOptions parameter becomes a str_format
that maps the NeutronTenantMtu onto the DHCP options,
so a default of 'dhcp-option-force=26,%MTU%' would be formatted to
'dhcp-option-force=26,1300' if NeutronTenantMtu were 1300.

This will set dnsmasq to serve an MTU via DHCP that matches the
NeutronTenantMtu:

/etc/neutron/dnsmasq-neutron.conf:dhcp-option-force=26,1300

Typically, you would change all three of these settings to use small
or jumbo frames in VMs. When using tunneling, NeutronTenantMtu
should be set at least 50 bytes smaller than the physical network
MTU in order to make room for tunneling overhead.

Note that this change does not support setting the MTU on veth
interfaces if veth patches are used to br-int instead of OVS
patches.

Change-Id: I38840e082ee01dc3b6fc78e1dd97f53fa4e63039

Merge "Wire the Glance rbd user correctly into the external Ceph template"

Make injected CA file readable by others

Currently the permissions for the CA file that is injected (if the
environment is set), doesn't permit users that don't belong to the group
that owns the file to read it. This is too restrictive and isn't
necessary, as the certificate should be public.

This is useful in the case where we want a service that can't read the
certificate chain (or bundle) to be able to read that CA certificate.
This is the case for the MariaDB version that is being used in CentOS
7.1 for example.

Change-Id: I6ff59326a5570670c031b448fb0ffd8dfbd8b025

Merge "Bind Galera on a hostname for compat with IPv6 addresses"

Merge "Remove start-delay=10s for the Nova resources monitor"

Wire the Glance rbd user correctly into the external Ceph template

We were incorrectly wiring the rbd user to the relevant glance
module parameter, making it was impossible to customize the
rbd user when using an external Ceph.

Change-Id: Ibe4eaedf986a9077f869c6530381e69ee0281f5b

Merge "Split pacemaker common check_service function out of _restart.sh"

Merge "Use timeout to check for services status"

Merge "Remove DNS hack."

Merge "Update Dell Storage Center api port setting"

Merge "Switch to POLL_TEMP_URL for config transport"

Merge "Minor fixes to allow local docker registry usage"

Merge "Enable SSL middleware for cinder"

Merge "Update the capabilities map file name to be more consistent"

Minor fixes to allow local docker registry usage

Changed the heat-docker-agents namespace to use the namespacing
specified in the environment file, which reduces modifications required
on the user when using a local registry.

Changed the start agents script to handle using a local registry both
with a namespace and without.

Change-Id: I16cc96b7ecddeeda07de45f50ffc6a880dabbba6

Add missing : in hieradata key name

This hieradata key, neutron::agents::ml2::ovs:bridge_mappings was
missing a : before bridge_mappings causing the value to be blank in
/etc/neutron/plugins/ml2/openvswitch_agent.ini even if a value had been
specified.

Change-Id: I377565d3fb821be1bb2dc7d92ec1ad25a4a3b1f1

Remove DNS hack.

With a properly configured undercloud the DNS is fine.  We can remove
the 8.8.8.8 dns setting.

Change-Id: I8ba98e76f95fd0a6f3f34cb5578e6c3ea7a1d15e

Merge "Nova now requires an api database to be created"

Remove start-delay=10s for the Nova resources monitor

As per conversation in [1], these settings should have probably never
been there.

1. https://bugzilla.redhat.com/show_bug.cgi?id=1262409

Change-Id: I116f825ba0fe3e4faac8dd347bb087e1b4c70e57

Merge "Increase default Cinder LVM backing file to 10G"

Merge "puppet: run keystone in wsgi"

Rename tox env to pep8

It turns out the linters rename was a bit premature[1].  Use the
current standard pep8 name so we don't need custom jobs in the
gate to run this test on proposed changes.

Change-Id: I5226d4c5e3d4095d76cba24fcf27f87c59730587
1: http://lists.openstack.org/pipermail/openstack-dev/2016-February/086268.html

Merge "Update yaml-validate.py to accept files or directories"

Merge "Fixed typo in Dell Equallogic Cinder settings"

Merge "Pass -q option to yum"

Merge "Set 'host' globally in Cinder instead of per-backend basis"

Merge "Remove not needed completion-signal"

Merge "Fix endpoint names"

Nova now requires an api database to be created

This enables the creation of the nova_api database that is now
mandatory since https://review.openstack.org/#/c/245828/

Change-Id: Ia8242f23864ebb14ccf858a77ba754059e9c2d4a
Related-Bug: #1539793

Merge "Makes the iSCSI initiator name unique for compute nodes"

puppet: run keystone in wsgi

For both HA & non-HA scenarios, switch puppet-keystone configuration to
be run in a WSGI process instead of eventlet.
WSGI is the way to go for scaling Keystone, moreover, eventlet won't be
support in next OpenStack releases.

Co-Authored-By: Dan Prince <dprince@redhat.com>
Depends-On: I22a348c298ff44f616b2e898f4872eddea040239

Change-Id: I862b4a68f43347564ec3c0ddc4ec9e1d1c755cf2
Signed-off-by: Jason Guiditta <jguiditt@redhat.com>

Increase size of connection tracking table

During high load, the default limit of the kernel connection tracking
table (65536) is often too low, resuling in error messages such as:

kernel: nf_conntrack: table full, dropping packet

This patch increases the limit to 500,000.

Since the nf_conntrack kernel module is not always loaded by default, it also
adds a mechanism to load kernel modules via hieradata using the kmod puppet
module. In order to express the needed dependency in puppet that kernel modules
are loaded before sysctl settings are applied, the Exec resources tagged with
'kmod::load' are specified in a resource collector to express that that Exec
resources with the tag should run before Sysctl resources.

Depends-On: I59cc2280ebae315af38fb5008e6ee0073195ae51
Change-Id: Iffa0a77852729786b69945c1e72bc90ad57ce3bb

Update Dell Storage Center api port setting

Updated the setting for the dell storage center
api port to the right variable name ::dell_sc_api_port

Change-Id: I67a7533469947355629b6cb54b79759e21e0ec55

Merge "Fix MidoNet errors"

Merge "Create linux bridge vlans environments"

Set 'host' globally in Cinder instead of per-backend basis

This change will set a common value for 'host' across all
controllers. We missed to do so for the NFS backend previously.

It will still be possible to set a different per-backend 'host'
value by providing it via ExtraData.

Change-Id: I00fd05660a15be3611e1a394650be6ab713670f9

Fixed typo in Dell Equallogic Cinder settings

The name of the variable ::eqlx_pool had a typo. Fixed it

Change-Id: I83a94d4bccf9c9a60c7b37473ae8a64ac050671c

Pass -q option to yum

The maximum payload size of the return signal from a Heat software
deployment is 1MB, and the output of yum starts breaking this limit at
~1000 packages to update - which is not an atypical number. To prevent
this, pass the -q (quiet) option to reduce the amount of output to a
manageable level.

Change-Id: I517271e8465885421a78b73c5af756816c37a977
Resolves-rhbz: #1304878
Closes-Bug: #1543034

Merge "Allow the deployer to pick a predefined IP for VIPs"

Merge "neutron: delete by default router/dhcp namespaces"

Makes the iSCSI initiator name unique for compute nodes

When we utilise images for deployment, the iSCSI initiator name
is not unique, leading to problems with live migration. This
patch simply updates the iSCSI initiator name to a unique ID
randomly generated by iscsi-iname.

https://bugzilla.redhat.com/show_bug.cgi?id=1244328

Change-Id: I170e7f45f67fa8ce70436f24807d1ed7808f2c32

Increase default Cinder LVM backing file to 10G

We get false negatives from Tempest when the Cinder LVM backing
file runs out space. This change increases its default size to 10G,
matching devstack [1]

1. https://github.com/openstack-dev/devstack/blob/master/stackrc#L649

Change-Id: Ia334ea481e17c1d35aa67c33729cac6570f48199

Fix endpoint names

The commit daad3d4224f12d2c23c41a70cdf522e7c55536ba added a bunch of new
endpoints, but failed to use the new input data in calculating the
outputs: the GlanceRegistry ones use the Glance endpoints and the
Horizon one the Heat endpoint. This would cause anything querying these
endpoints from the endpoints map to get the wrong ports.

Change-Id: I8e1780b26e285187142be41b4f3aae3efe7eaaee

Update yaml-validate.py to accept files or directories

For developer usage it's helpful to have the choice to provide either
an individual files, list of files, or some mix of files and directories
as you don't necessarily want to walk everything all the time.

Change-Id: I050de123bba51402a0dbb42d71e97fd27d7ce4bc

Allow the deployer to pick a predefined IP for VIPs

Adds three top-level params to allow the deployer pick a predefined IP
for the InternalApi, Storage and StorageMgmt VIPs. We had this already
for the External network (PublicVirtualFixedIPs) and the ctlplane
network (ControlFixedIPs).

Change-Id: I1509e1888774ffa72445ed681dd8107eec703d64

Merge "Remove empty value for wsrep_notify_cmd"

Merge "Removing Sahara password default"

Split pacemaker common check_service function out of _restart.sh

Also split out echo_error function to DRY the error output code and
allow changing the way we report errors in a single place.

Change-Id: I448bf0eb49390f03155335736bb4ab4e979db128
Co-Authored-By: Jiri Stransky <jistr@redhat.com>

Use timeout to check for services status

Replaces the bash loop with the timeout command in the piloted
cluster restart to minimize downtime.

Change-Id: I9067eed9626ae5aff833d7a9a9ad1e1a6c026327
Co-Authored-By: Jiri Stransky <jistr@redhat.com>

Merge "Allow container template to recognize an update"

Remove empty value for wsrep_notify_cmd

This was being silently ignored by the mysql puppet module
prior to this commit.[1] However, now that empty values are
allowed, the overcloud deploy fails because the option
--wsrep_notify_cmd requires an argument.

This is not currently failing on master because we are
pinned to an old puppet-mysql. We will need to remove that
pin in order to get on a newer delorean repo though. Also,
this is breaking stable/liberty HA job because we use the
packaged OPM there.

[1] https://github.com/puppetlabs/puppetlabs-mysql/commit/e30e0bc958761890ea4f06cdd3f1fc7242a00fe2

Change-Id: I9e07efe1650831e81e9a783428554578874aa765
Closes-Bug: 1537720

Enable SSL middleware for cinder

Change-Id: Ifd750e634812dae2b7945cbe2f35f98d8a82695e
Depends-On: If88dcdf9f4905e2a792b2fdc656eab51c85f637e

Merge "puppet: allow config of ad-hoc Neutron settings"

Merge "puppet: allow config of ad-hoc Cinder settings"

neutron: delete by default router/dhcp namespaces

The 'router_delete_namespaces' (L3 agent) and 'dhcp_delete_namespaces'
(DHCP agent) configuration settings default to false OpenStack Neutron
resulting in network namespaces not being deleted when
no longer needed. Disabling automatic namespace cleanup was appropriate
for older Linux distributions but is no longer required.
TripleO should set the values to true.

Change-Id: I39e1a347d24ecc99b6f878807c47103c4b3f85e1

Merge "puppet: allow config of ad-hoc Heat settings"

Merge "puppet: allow config of ad-hoc Glance settings"

Merge "puppet: allow config of ad-hoc Ceph settings"

puppet: allow config of ad-hoc Neutron settings

Including ::neutron::config on the controller and compute roles
will allow ad-hoc (non-puppet managed) settings to be made in all
the various neutron config files using Hiera.

Change-Id: Ifadc77cdcb60b7075d091d778cb92b0dd75bd949

puppet: allow config of ad-hoc Cinder settings

Including ::cinder::config on controller, and volume roles
will allow ad-hoc (non-puppet managed) settings to be
made in the cinder.conf using Hiera.

Change-Id: I519aff02e3cfb7fbf57e89c7a139564df42f8967

puppet: allow config of ad-hoc Heat settings

Including ::heat::config on the controller roles will allow
ad-hoc (non-puppet managed) settings to be made in the
heat config file using Hiera.

Change-Id: I80a39b798869ac330ea8a4d01699f5db47c93d47

puppet: allow config of ad-hoc Glance settings

Including ::glance::config on glance roles will allow ad-hoc
(non-puppet managed) settings to be made in the
glance config files using Hiera.

Change-Id: I7c86ae0e8f1a0a2b46d526598964454cb80319a6