Update nova::network::neutron variables to drop deprecated parameters

This commit ensures we are not using any deprecated parameters for
nova::network::neutron and are using the right variable names.

Change-Id: Ic1b41e2cdbb6b180496822cc363c433e9388aa02

Merge "Use the class param to configure Cinder 'host' setting"

Merge "Add TripleO Heat Template Parameters for Neutron Tenant MTU"

Use the class param to configure Cinder 'host' setting

By configuring the Cinder 'host' setting via the appropriate class
param instead of cinder_config we don't risk to override it if the
user is to pass additional config settings using cinder_config in
ExtraConfig.

Change-Id: Idf33d87e08355b5b4369ccb0001db8d4c3b4c20f

Merge "Configure keystone public_endpoint"

Merge "Enable the ML2 port security extension driver by default"

Merge "Add missing : in hieradata key name"

Add sysctl settings to disable IPv6 autoconfig and accept_ra

This change adds puppet hieradata settings which disable IPv6
autoconfiguration and accept_ra by default on all interfaces.
When IPv6 is used, the interfaces are individually enabled and
configured with static IP addresses.

The networking on the compute host needs to be completely
separate from the tenant networking, in order to safeguard the
compute host and isolate tenant traffic. This change disables
IPv6 autoconfiguration and acceptance of RAs by default on
interfaces unless specifically enabled.

Without these settings, IPv6 is enabled on all interfaces, as well
as autoconfiguration and accept_ra, so when the compute host
creates a bridge interface for the router (qbr-<ID>), the
compute node will automatically assign an IPv6 address and will
install a default IPv6 route on the bridge interface when it
receives the RAs from the Neutron router.

The change to turn off autoconfiguration means that interfaces
will not self-assign an IPv6 address, and the change to not accept
RAs is a security hardening feature. This requires that a
static gateway address be declared in the network environment
in the parameter ExternalNetworkDefaultRoute. Alternately, sysctl
can be modified to change the accept_ra behavior for specific
interfaces.

Change-Id: I8a8d311a14b41baf6e7e1b8ce26a63abc2eaabef
Closes-bug: 1544296

Merge "Make injected CA file readable by others"

Merge "Increase size of connection tracking table"

Add TripleO Heat Template Parameters for Neutron Tenant MTU

This change adds the TripleO Heat Parameters and Puppet hieradata
to support setting the MTU for Neutron tenant networks. A new
parameter, NeutronTenantMtu is introduced, and this gets used for
the NeutronDnsmasqOptions and in Puppet hieradata.

NeutronTenantMtu is also used in the Puppet hieradata for both the
compute and control nodes. Two values are set:

nova::compute::network_device_mtu

which sets /etc/nova/nova.conf: network_device_mtu = <NeutronTenantMtu>

neutron::network_device_mtu

which sets in /etc/neutron/neutron.conf:
network_device_mtu = <NeutronTenantMtu>

finally, the NeutronDnsmasqOptions parameter becomes a str_format
that maps the NeutronTenantMtu onto the DHCP options,
so a default of 'dhcp-option-force=26,%MTU%' would be formatted to
'dhcp-option-force=26,1300' if NeutronTenantMtu were 1300.

This will set dnsmasq to serve an MTU via DHCP that matches the
NeutronTenantMtu:

/etc/neutron/dnsmasq-neutron.conf:dhcp-option-force=26,1300

Typically, you would change all three of these settings to use small
or jumbo frames in VMs. When using tunneling, NeutronTenantMtu
should be set at least 50 bytes smaller than the physical network
MTU in order to make room for tunneling overhead.

Note that this change does not support setting the MTU on veth
interfaces if veth patches are used to br-int instead of OVS
patches.

Change-Id: I38840e082ee01dc3b6fc78e1dd97f53fa4e63039

Merge "Wire the Glance rbd user correctly into the external Ceph template"

Make injected CA file readable by others

Currently the permissions for the CA file that is injected (if the
environment is set), doesn't permit users that don't belong to the group
that owns the file to read it. This is too restrictive and isn't
necessary, as the certificate should be public.

This is useful in the case where we want a service that can't read the
certificate chain (or bundle) to be able to read that CA certificate.
This is the case for the MariaDB version that is being used in CentOS
7.1 for example.

Change-Id: I6ff59326a5570670c031b448fb0ffd8dfbd8b025

Merge "Bind Galera on a hostname for compat with IPv6 addresses"

Merge "Remove start-delay=10s for the Nova resources monitor"

Wire the Glance rbd user correctly into the external Ceph template

We were incorrectly wiring the rbd user to the relevant glance
module parameter, making it was impossible to customize the
rbd user when using an external Ceph.

Change-Id: Ibe4eaedf986a9077f869c6530381e69ee0281f5b

Merge "Split pacemaker common check_service function out of _restart.sh"

Merge "Use timeout to check for services status"

Merge "Remove DNS hack."

Merge "Update Dell Storage Center api port setting"

Merge "Switch to POLL_TEMP_URL for config transport"

Merge "Minor fixes to allow local docker registry usage"

Merge "Enable SSL middleware for cinder"

Merge "Update the capabilities map file name to be more consistent"

Minor fixes to allow local docker registry usage

Changed the heat-docker-agents namespace to use the namespacing
specified in the environment file, which reduces modifications required
on the user when using a local registry.

Changed the start agents script to handle using a local registry both
with a namespace and without.

Change-Id: I16cc96b7ecddeeda07de45f50ffc6a880dabbba6

Add missing : in hieradata key name

This hieradata key, neutron::agents::ml2::ovs:bridge_mappings was
missing a : before bridge_mappings causing the value to be blank in
/etc/neutron/plugins/ml2/openvswitch_agent.ini even if a value had been
specified.

Change-Id: I377565d3fb821be1bb2dc7d92ec1ad25a4a3b1f1

Remove DNS hack.

With a properly configured undercloud the DNS is fine.  We can remove
the 8.8.8.8 dns setting.

Change-Id: I8ba98e76f95fd0a6f3f34cb5578e6c3ea7a1d15e

Merge "Nova now requires an api database to be created"

Remove start-delay=10s for the Nova resources monitor

As per conversation in [1], these settings should have probably never
been there.

1. https://bugzilla.redhat.com/show_bug.cgi?id=1262409

Change-Id: I116f825ba0fe3e4faac8dd347bb087e1b4c70e57

Merge "Increase default Cinder LVM backing file to 10G"

Merge "puppet: run keystone in wsgi"

Merge "Update yaml-validate.py to accept files or directories"

Merge "Fixed typo in Dell Equallogic Cinder settings"

Merge "Pass -q option to yum"

Merge "Set 'host' globally in Cinder instead of per-backend basis"

Merge "Remove not needed completion-signal"

Merge "Fix endpoint names"

Nova now requires an api database to be created

This enables the creation of the nova_api database that is now
mandatory since https://review.openstack.org/#/c/245828/

Change-Id: Ia8242f23864ebb14ccf858a77ba754059e9c2d4a
Related-Bug: #1539793

Merge "Makes the iSCSI initiator name unique for compute nodes"

puppet: run keystone in wsgi

For both HA & non-HA scenarios, switch puppet-keystone configuration to
be run in a WSGI process instead of eventlet.
WSGI is the way to go for scaling Keystone, moreover, eventlet won't be
support in next OpenStack releases.

Co-Authored-By: Dan Prince <dprince@redhat.com>
Depends-On: I22a348c298ff44f616b2e898f4872eddea040239

Change-Id: I862b4a68f43347564ec3c0ddc4ec9e1d1c755cf2
Signed-off-by: Jason Guiditta <jguiditt@redhat.com>

Increase size of connection tracking table

During high load, the default limit of the kernel connection tracking
table (65536) is often too low, resuling in error messages such as:

kernel: nf_conntrack: table full, dropping packet

This patch increases the limit to 500,000.

Since the nf_conntrack kernel module is not always loaded by default, it also
adds a mechanism to load kernel modules via hieradata using the kmod puppet
module. In order to express the needed dependency in puppet that kernel modules
are loaded before sysctl settings are applied, the Exec resources tagged with
'kmod::load' are specified in a resource collector to express that that Exec
resources with the tag should run before Sysctl resources.

Depends-On: I59cc2280ebae315af38fb5008e6ee0073195ae51
Change-Id: Iffa0a77852729786b69945c1e72bc90ad57ce3bb

Update Dell Storage Center api port setting

Updated the setting for the dell storage center
api port to the right variable name ::dell_sc_api_port

Change-Id: I67a7533469947355629b6cb54b79759e21e0ec55

Merge "Fix MidoNet errors"

Merge "Create linux bridge vlans environments"

Set 'host' globally in Cinder instead of per-backend basis

This change will set a common value for 'host' across all
controllers. We missed to do so for the NFS backend previously.

It will still be possible to set a different per-backend 'host'
value by providing it via ExtraData.

Change-Id: I00fd05660a15be3611e1a394650be6ab713670f9

Fixed typo in Dell Equallogic Cinder settings

The name of the variable ::eqlx_pool had a typo. Fixed it

Change-Id: I83a94d4bccf9c9a60c7b37473ae8a64ac050671c

Pass -q option to yum

The maximum payload size of the return signal from a Heat software
deployment is 1MB, and the output of yum starts breaking this limit at
~1000 packages to update - which is not an atypical number. To prevent
this, pass the -q (quiet) option to reduce the amount of output to a
manageable level.

Change-Id: I517271e8465885421a78b73c5af756816c37a977
Resolves-rhbz: #1304878
Closes-Bug: #1543034

Merge "Allow the deployer to pick a predefined IP for VIPs"

Merge "neutron: delete by default router/dhcp namespaces"

Makes the iSCSI initiator name unique for compute nodes

When we utilise images for deployment, the iSCSI initiator name
is not unique, leading to problems with live migration. This
patch simply updates the iSCSI initiator name to a unique ID
randomly generated by iscsi-iname.

https://bugzilla.redhat.com/show_bug.cgi?id=1244328

Change-Id: I170e7f45f67fa8ce70436f24807d1ed7808f2c32

Increase default Cinder LVM backing file to 10G

We get false negatives from Tempest when the Cinder LVM backing
file runs out space. This change increases its default size to 10G,
matching devstack [1]

1. https://github.com/openstack-dev/devstack/blob/master/stackrc#L649

Change-Id: Ia334ea481e17c1d35aa67c33729cac6570f48199

Fix endpoint names

The commit daad3d4224f12d2c23c41a70cdf522e7c55536ba added a bunch of new
endpoints, but failed to use the new input data in calculating the
outputs: the GlanceRegistry ones use the Glance endpoints and the
Horizon one the Heat endpoint. This would cause anything querying these
endpoints from the endpoints map to get the wrong ports.

Change-Id: I8e1780b26e285187142be41b4f3aae3efe7eaaee

Update yaml-validate.py to accept files or directories

For developer usage it's helpful to have the choice to provide either
an individual files, list of files, or some mix of files and directories
as you don't necessarily want to walk everything all the time.

Change-Id: I050de123bba51402a0dbb42d71e97fd27d7ce4bc

Allow the deployer to pick a predefined IP for VIPs

Adds three top-level params to allow the deployer pick a predefined IP
for the InternalApi, Storage and StorageMgmt VIPs. We had this already
for the External network (PublicVirtualFixedIPs) and the ctlplane
network (ControlFixedIPs).

Change-Id: I1509e1888774ffa72445ed681dd8107eec703d64

Merge "Remove empty value for wsrep_notify_cmd"

Merge "Removing Sahara password default"

Split pacemaker common check_service function out of _restart.sh

Also split out echo_error function to DRY the error output code and
allow changing the way we report errors in a single place.

Change-Id: I448bf0eb49390f03155335736bb4ab4e979db128
Co-Authored-By: Jiri Stransky <jistr@redhat.com>

Use timeout to check for services status

Replaces the bash loop with the timeout command in the piloted
cluster restart to minimize downtime.

Change-Id: I9067eed9626ae5aff833d7a9a9ad1e1a6c026327
Co-Authored-By: Jiri Stransky <jistr@redhat.com>

Merge "Allow container template to recognize an update"

Remove empty value for wsrep_notify_cmd

This was being silently ignored by the mysql puppet module
prior to this commit.[1] However, now that empty values are
allowed, the overcloud deploy fails because the option
--wsrep_notify_cmd requires an argument.

This is not currently failing on master because we are
pinned to an old puppet-mysql. We will need to remove that
pin in order to get on a newer delorean repo though. Also,
this is breaking stable/liberty HA job because we use the
packaged OPM there.

[1] https://github.com/puppetlabs/puppetlabs-mysql/commit/e30e0bc958761890ea4f06cdd3f1fc7242a00fe2

Change-Id: I9e07efe1650831e81e9a783428554578874aa765
Closes-Bug: 1537720

Enable SSL middleware for cinder

Change-Id: Ifd750e634812dae2b7945cbe2f35f98d8a82695e
Depends-On: If88dcdf9f4905e2a792b2fdc656eab51c85f637e

Merge "puppet: allow config of ad-hoc Neutron settings"

Merge "puppet: allow config of ad-hoc Cinder settings"

neutron: delete by default router/dhcp namespaces

The 'router_delete_namespaces' (L3 agent) and 'dhcp_delete_namespaces'
(DHCP agent) configuration settings default to false OpenStack Neutron
resulting in network namespaces not being deleted when
no longer needed. Disabling automatic namespace cleanup was appropriate
for older Linux distributions but is no longer required.
TripleO should set the values to true.

Change-Id: I39e1a347d24ecc99b6f878807c47103c4b3f85e1

Merge "puppet: allow config of ad-hoc Heat settings"

Merge "puppet: allow config of ad-hoc Glance settings"

Merge "puppet: allow config of ad-hoc Ceph settings"

puppet: allow config of ad-hoc Neutron settings

Including ::neutron::config on the controller and compute roles
will allow ad-hoc (non-puppet managed) settings to be made in all
the various neutron config files using Hiera.

Change-Id: Ifadc77cdcb60b7075d091d778cb92b0dd75bd949

puppet: allow config of ad-hoc Cinder settings

Including ::cinder::config on controller, and volume roles
will allow ad-hoc (non-puppet managed) settings to be
made in the cinder.conf using Hiera.

Change-Id: I519aff02e3cfb7fbf57e89c7a139564df42f8967

puppet: allow config of ad-hoc Heat settings

Including ::heat::config on the controller roles will allow
ad-hoc (non-puppet managed) settings to be made in the
heat config file using Hiera.

Change-Id: I80a39b798869ac330ea8a4d01699f5db47c93d47

puppet: allow config of ad-hoc Glance settings

Including ::glance::config on glance roles will allow ad-hoc
(non-puppet managed) settings to be made in the
glance config files using Hiera.

Change-Id: I7c86ae0e8f1a0a2b46d526598964454cb80319a6

puppet: allow config of ad-hoc Ceph settings

Including ::ceph::conf on ceph roles will allow ad-hoc
(non-puppet managed) settings to be made in the
ceph.conf using Hiera.

Change-Id: I656a0ecde465023d7afad9371aa3c5c270078a67

Merge "Update VNI and TunnelID ranges."

Removing Sahara password default

In prior commit, added default for Sahara password in order to
avoid circular dependency. Removing this default now in order
to force password per other service definitions.

Change-Id: I91f98039e520804b25aaededefa25e80992ba6b5
Partially-implements: bp sahara-integration

Merge "Add update yaml backward compatibe with PublicVirtualIP on ctlplane"

Merge "Don't write CLOUDNAME to the hosts file."

Merge "Rename validate tox env to linters"

Merge "Let Puppet update all packages on non-controllers"

Rename validate tox env to linters

This is the new blessed naming scheme for lint-type jobs such as
pep8 or the yaml validation job we have in this project.  Doing
this rename will allow us to use standard infra job templates
to run validation on proposed changes.

Change-Id: I0a4c4372429a08e0babb4d323f2b027f1d95f3d7

Don't write CLOUDNAME to the hosts file.

Currently the value of the CloudName param gets written into the
/etc/hosts file on each controller, but it turns out this is an
invalid configuration.  CloudName is supposed to be the DNS name
of the overcloud, and the IP being written is (at least in my case)
the internal API VIP.  This breaks in cases such as SSL because
the services are not listening on an SSL port on the internal API
network, so if a service tries to talk to another service using a
CloudName-defined public endpoint it ends up pointed at a
non-existent internal address:port.

Since by definition CloudName is supposed to be resolvable by the
configured DNS server, we should not need an explicit hosts entry
as well.  Thus, this patch removes that from the file.

Change-Id: I919b42a219d95296f46852dd3266a54d968cf66b

Fix MidoNet errors

Some assignments must be fixed in order to make run midonet with HA
pacemaker properly and when the network isolation is enabled.

Change-Id: I69fb3a1911cfe3baea3349da8f3e185dddf60a95

Create linux bridge vlans environments

Define environments to create VLANs attached to a single physical nic as
'single-nic-vlans' does, but using linux_bridge instead of ovs_bridge

Change-Id: I8c6fe9ec7028178f783e7d9c0a1cc67a1517eb3d

Allow container template to recognize an update

The deployment resource looks for a change in name when
running an update.  If there is no change in containers,
docker will recognize that and the deployment will return.
If there is a new available container, docker will swap out
the old running container for a new one.

Change-Id: I60d45b5ef45714e6e0140dfc80c14d6a12701f32

Merge "Fix tunnel_types hieradata on compute nodes"

Merge "Fix neutron-nova notifications"

Fix tunnel_types hieradata on compute nodes

There was a missing : in the hieradata for the compute nodes that
caused tunnel_types to not be configured.  This also made it
impossible to boot instances on tunneled networks because the port
binding always failed.

Change-Id: Icc2a45aa9514ce62497f91e6abe9261d1c1374ed
Partial-Bug: 1534349

Fix neutron-nova notifications

In our neutron.conf we configure both keystone v2 and v3 options,
which confuses the keystoneclient code responsible for deciding
which to use.  For whatever reason, having it talk to the
unversioned keystone endpoint and letting the client decide which
version that way makes it happy.  Except that we write a wrong
value for project_name, which makes it unhappy again.

This change fixes both of those issues, which allows notifications
to work again.

Change-Id: Ic3a329354d0ed071363183b5e06c0a42d2dd84ad
Closes-Bug: 1519525

Merge "Set the name property for all deployment resources"

Let Puppet update all packages on non-controllers

With I02f7cf07792765359f19fdf357024d9e48690e42[1] in puppet-tripleo,
puppet is capable of updating all packages itself on non controller
nodes now.

This is a safer mechanism than using the exclude logic in yum_update.sh
since that can cause depdency problems across sub packages.

[1] https://review.openstack.org/#/c/261041/
Closes-Bug: 1534785

Change-Id: I9075a1bb85baa65a9d0afc5d0fd31a1f99a98819

Bind Galera on a hostname for compat with IPv6 addresses

Due to a bug [1] in Galera we can't pass an IPv6 as bind-address,
we pass an hostname instead.

1. https://bugzilla.redhat.com/show_bug.cgi?id=1298671

Change-Id: Ia5a5b66dd3e94d3dfb6588550fcfe34382897c27

Enable keystone handling of X-Forwarded-Proto header

If the X-Forwarded-Proto header is received by keystone, this option
will make the service properly handle it. This is useful, for instance,
if TLS is enabled for the admin endpoint.

Change-Id: I31a1f51591e8423367e61eafc3af9b2d61278468

Merge "Use pymysql database driver for OpenStack DBs"

Configure keystone public_endpoint

We need this set for SSL or keystone returns a non-https address.
It shouldn't hurt anything to set this in the non-SSL case since
the value will still be correct and the behavior will be the same
as if it were unset.

Change-Id: Iea3ea1d25dfc462fa844d3c12e6070f2c9b42036

Merge "Sahara Integration"

Use pymysql database driver for OpenStack DBs

PyMySQL is a new driver introduced in Liberty.
This patch change the MySQL url to use mysql+pymysql like recommanded.

Change-Id: I28e14acacba865241a0cc388a879a003181a85f3
Depends-On: I7604cca9e2d7bf0b93c820adec5f937f72b64fa8
Closes-Bug: #1499298

Sahara Integration

Integration of OpenStack data processing service (sahara) with
TripleO.

- Deploys sahara in distributed mode (separate api and engine
  processes on each controller node)
- Load balancing w/haproxy
- RabbitMQ/MySQL supported per current TripleO standard
- Minimal configurability at this time

Change-Id: I77a6a69ed5691e3b1ba34e9ebb4d88c80019642c
Partially-implements: blueprint sahara-integration
Depends-On: I0f0a1dc2eaa57d8226bad8cfb250110296ab9614
Depends-On: Ib84cc59667616ec94e7edce2715cbd7dd944f4ae
Depends-On: I9fe321fd4284f7bfd55bd2e69dcfe623ed6f8a2a

Remove not needed completion-signal

The completion-signal input is no longer needed, because for some
time 99-refresh-completed has supported using per-deployment
signal URLs instead provided the config group is set correctly
to os-apply-config.

Change-Id: I76cb5331917ff54e978bd22b9dea0c1a2c65a928

Switch for Keystone DB cron job

- Adds parameter to enable switching off token flush cron job.
- Sets destination for deleted rows to /dev/null

Change-Id: I9e8aed969e81595d8a1d0a5300da17da6ba15c03
Partial-bug: rhbz#1249106
Depends-On: I5e51562338f68b4ba1b2e942907e6f6a0ab7a61e

Merge "Add ExtraConfig to cinder storage role"

Merge "Fix yaml validation errors in multiple-nics templates"