Merge "Set 'host' globally in Cinder instead of per-backend basis"

Merge "Remove not needed completion-signal"

Merge "Fix endpoint names"

Merge "Makes the iSCSI initiator name unique for compute nodes"

Merge "Fix MidoNet errors"

Merge "Create linux bridge vlans environments"

Set 'host' globally in Cinder instead of per-backend basis

This change will set a common value for 'host' across all
controllers. We missed to do so for the NFS backend previously.

It will still be possible to set a different per-backend 'host'
value by providing it via ExtraData.

Change-Id: I00fd05660a15be3611e1a394650be6ab713670f9

Merge "Allow the deployer to pick a predefined IP for VIPs"

Merge "neutron: delete by default router/dhcp namespaces"

Makes the iSCSI initiator name unique for compute nodes

When we utilise images for deployment, the iSCSI initiator name
is not unique, leading to problems with live migration. This
patch simply updates the iSCSI initiator name to a unique ID
randomly generated by iscsi-iname.

https://bugzilla.redhat.com/show_bug.cgi?id=1244328

Change-Id: I170e7f45f67fa8ce70436f24807d1ed7808f2c32

Fix endpoint names

The commit daad3d4224f12d2c23c41a70cdf522e7c55536ba added a bunch of new
endpoints, but failed to use the new input data in calculating the
outputs: the GlanceRegistry ones use the Glance endpoints and the
Horizon one the Heat endpoint. This would cause anything querying these
endpoints from the endpoints map to get the wrong ports.

Change-Id: I8e1780b26e285187142be41b4f3aae3efe7eaaee

Allow the deployer to pick a predefined IP for VIPs

Adds three top-level params to allow the deployer pick a predefined IP
for the InternalApi, Storage and StorageMgmt VIPs. We had this already
for the External network (PublicVirtualFixedIPs) and the ctlplane
network (ControlFixedIPs).

Change-Id: I1509e1888774ffa72445ed681dd8107eec703d64

Merge "Remove empty value for wsrep_notify_cmd"

Merge "Removing Sahara password default"

Merge "Allow container template to recognize an update"

Remove empty value for wsrep_notify_cmd

This was being silently ignored by the mysql puppet module
prior to this commit.[1] However, now that empty values are
allowed, the overcloud deploy fails because the option
--wsrep_notify_cmd requires an argument.

This is not currently failing on master because we are
pinned to an old puppet-mysql. We will need to remove that
pin in order to get on a newer delorean repo though. Also,
this is breaking stable/liberty HA job because we use the
packaged OPM there.

[1] https://github.com/puppetlabs/puppetlabs-mysql/commit/e30e0bc958761890ea4f06cdd3f1fc7242a00fe2

Change-Id: I9e07efe1650831e81e9a783428554578874aa765
Closes-Bug: 1537720

Merge "puppet: allow config of ad-hoc Neutron settings"

Merge "puppet: allow config of ad-hoc Cinder settings"

neutron: delete by default router/dhcp namespaces

The 'router_delete_namespaces' (L3 agent) and 'dhcp_delete_namespaces'
(DHCP agent) configuration settings default to false OpenStack Neutron
resulting in network namespaces not being deleted when
no longer needed. Disabling automatic namespace cleanup was appropriate
for older Linux distributions but is no longer required.
TripleO should set the values to true.

Change-Id: I39e1a347d24ecc99b6f878807c47103c4b3f85e1

Merge "puppet: allow config of ad-hoc Heat settings"

Merge "puppet: allow config of ad-hoc Glance settings"

Merge "puppet: allow config of ad-hoc Ceph settings"

puppet: allow config of ad-hoc Neutron settings

Including ::neutron::config on the controller and compute roles
will allow ad-hoc (non-puppet managed) settings to be made in all
the various neutron config files using Hiera.

Change-Id: Ifadc77cdcb60b7075d091d778cb92b0dd75bd949

puppet: allow config of ad-hoc Cinder settings

Including ::cinder::config on controller, and volume roles
will allow ad-hoc (non-puppet managed) settings to be
made in the cinder.conf using Hiera.

Change-Id: I519aff02e3cfb7fbf57e89c7a139564df42f8967

puppet: allow config of ad-hoc Heat settings

Including ::heat::config on the controller roles will allow
ad-hoc (non-puppet managed) settings to be made in the
heat config file using Hiera.

Change-Id: I80a39b798869ac330ea8a4d01699f5db47c93d47

puppet: allow config of ad-hoc Glance settings

Including ::glance::config on glance roles will allow ad-hoc
(non-puppet managed) settings to be made in the
glance config files using Hiera.

Change-Id: I7c86ae0e8f1a0a2b46d526598964454cb80319a6

puppet: allow config of ad-hoc Ceph settings

Including ::ceph::conf on ceph roles will allow ad-hoc
(non-puppet managed) settings to be made in the
ceph.conf using Hiera.

Change-Id: I656a0ecde465023d7afad9371aa3c5c270078a67

Merge "Update VNI and TunnelID ranges."

Removing Sahara password default

In prior commit, added default for Sahara password in order to
avoid circular dependency. Removing this default now in order
to force password per other service definitions.

Change-Id: I91f98039e520804b25aaededefa25e80992ba6b5
Partially-implements: bp sahara-integration

Merge "Add update yaml backward compatibe with PublicVirtualIP on ctlplane"

Merge "Don't write CLOUDNAME to the hosts file."

Merge "Rename validate tox env to linters"

Merge "Let Puppet update all packages on non-controllers"

Rename validate tox env to linters

This is the new blessed naming scheme for lint-type jobs such as
pep8 or the yaml validation job we have in this project.  Doing
this rename will allow us to use standard infra job templates
to run validation on proposed changes.

Change-Id: I0a4c4372429a08e0babb4d323f2b027f1d95f3d7

Don't write CLOUDNAME to the hosts file.

Currently the value of the CloudName param gets written into the
/etc/hosts file on each controller, but it turns out this is an
invalid configuration.  CloudName is supposed to be the DNS name
of the overcloud, and the IP being written is (at least in my case)
the internal API VIP.  This breaks in cases such as SSL because
the services are not listening on an SSL port on the internal API
network, so if a service tries to talk to another service using a
CloudName-defined public endpoint it ends up pointed at a
non-existent internal address:port.

Since by definition CloudName is supposed to be resolvable by the
configured DNS server, we should not need an explicit hosts entry
as well.  Thus, this patch removes that from the file.

Change-Id: I919b42a219d95296f46852dd3266a54d968cf66b

Fix MidoNet errors

Some assignments must be fixed in order to make run midonet with HA
pacemaker properly and when the network isolation is enabled.

Change-Id: I69fb3a1911cfe3baea3349da8f3e185dddf60a95

Create linux bridge vlans environments

Define environments to create VLANs attached to a single physical nic as
'single-nic-vlans' does, but using linux_bridge instead of ovs_bridge

Change-Id: I8c6fe9ec7028178f783e7d9c0a1cc67a1517eb3d

Allow container template to recognize an update

The deployment resource looks for a change in name when
running an update.  If there is no change in containers,
docker will recognize that and the deployment will return.
If there is a new available container, docker will swap out
the old running container for a new one.

Change-Id: I60d45b5ef45714e6e0140dfc80c14d6a12701f32

Merge "Fix tunnel_types hieradata on compute nodes"

Merge "Fix neutron-nova notifications"

Fix tunnel_types hieradata on compute nodes

There was a missing : in the hieradata for the compute nodes that
caused tunnel_types to not be configured.  This also made it
impossible to boot instances on tunneled networks because the port
binding always failed.

Change-Id: Icc2a45aa9514ce62497f91e6abe9261d1c1374ed
Partial-Bug: 1534349

Fix neutron-nova notifications

In our neutron.conf we configure both keystone v2 and v3 options,
which confuses the keystoneclient code responsible for deciding
which to use.  For whatever reason, having it talk to the
unversioned keystone endpoint and letting the client decide which
version that way makes it happy.  Except that we write a wrong
value for project_name, which makes it unhappy again.

This change fixes both of those issues, which allows notifications
to work again.

Change-Id: Ic3a329354d0ed071363183b5e06c0a42d2dd84ad
Closes-Bug: 1519525

Merge "Set the name property for all deployment resources"

Let Puppet update all packages on non-controllers

With I02f7cf07792765359f19fdf357024d9e48690e42[1] in puppet-tripleo,
puppet is capable of updating all packages itself on non controller
nodes now.

This is a safer mechanism than using the exclude logic in yum_update.sh
since that can cause depdency problems across sub packages.

[1] https://review.openstack.org/#/c/261041/
Closes-Bug: 1534785

Change-Id: I9075a1bb85baa65a9d0afc5d0fd31a1f99a98819

Enable keystone handling of X-Forwarded-Proto header

If the X-Forwarded-Proto header is received by keystone, this option
will make the service properly handle it. This is useful, for instance,
if TLS is enabled for the admin endpoint.

Change-Id: I31a1f51591e8423367e61eafc3af9b2d61278468

Merge "Use pymysql database driver for OpenStack DBs"

Merge "Sahara Integration"

Use pymysql database driver for OpenStack DBs

PyMySQL is a new driver introduced in Liberty.
This patch change the MySQL url to use mysql+pymysql like recommanded.

Change-Id: I28e14acacba865241a0cc388a879a003181a85f3
Depends-On: I7604cca9e2d7bf0b93c820adec5f937f72b64fa8
Closes-Bug: #1499298

Sahara Integration

Integration of OpenStack data processing service (sahara) with
TripleO.

- Deploys sahara in distributed mode (separate api and engine
  processes on each controller node)
- Load balancing w/haproxy
- RabbitMQ/MySQL supported per current TripleO standard
- Minimal configurability at this time

Change-Id: I77a6a69ed5691e3b1ba34e9ebb4d88c80019642c
Partially-implements: blueprint sahara-integration
Depends-On: I0f0a1dc2eaa57d8226bad8cfb250110296ab9614
Depends-On: Ib84cc59667616ec94e7edce2715cbd7dd944f4ae
Depends-On: I9fe321fd4284f7bfd55bd2e69dcfe623ed6f8a2a

Remove not needed completion-signal

The completion-signal input is no longer needed, because for some
time 99-refresh-completed has supported using per-deployment
signal URLs instead provided the config group is set correctly
to os-apply-config.

Change-Id: I76cb5331917ff54e978bd22b9dea0c1a2c65a928

Switch for Keystone DB cron job

- Adds parameter to enable switching off token flush cron job.
- Sets destination for deleted rows to /dev/null

Change-Id: I9e8aed969e81595d8a1d0a5300da17da6ba15c03
Partial-bug: rhbz#1249106
Depends-On: I5e51562338f68b4ba1b2e942907e6f6a0ab7a61e

Merge "Add ExtraConfig to cinder storage role"

Merge "Fix yaml validation errors in multiple-nics templates"

Merge "updating enable_ceph conditions for controller"

Merge "Adding ManagementIpSubnet to linux bridge net conf"

Merge "Use new heat-docker-agents images"

Merge "Remove deleted Cinder rows"

Merge "Add TimeZone parameter for all node types"

Merge "Enable configuration of Neutron QoS"

Enable configuration of Neutron QoS

This change adds support for setting the configuration options required
to enable the quality of service feature in Neutron. The default values
will enable the feature.

Closes-Bug: #1524052

Depends-On: Iefc289a6eee13b9c66f8131c258af982f232df4b

Change-Id: I1abf7d37d39e6927e482b56de4ee3d3d7c313a1c

Enable Dell Storage Center iscsi Backends in Cinder

Enables support for configuring Cinder with a Dell
Storage Center iscsi storage backend.
This change adds all relevant parameters for:
 - Dell Storage Center SC Series (iSCSI)

Change-Id: I3b1a4346f494139ab123c7dc1a62f81d03c9e728

Merge "Enable Equallogic Backends in Cinder"

Merge "Ensure cluster remains stable during services restarts"

Merge "Bump the pacemaker service op_params to 200s for start and stop"

Remove deleted Cinder rows

Creates cron job running every 24 hours
for "cinder-manage db purge"

Partial-bug: rhbz#1249106
Change-Id: I9156e0bf1401eda49a7c9a2921dc3a8723af026d
Depends-On: I677f2ef3d9ca81fff0f672c8e34b6e4278674a96

Merge "Align template defaults with the client"

updating enable_ceph conditions for controller

- keeping enabled based on ceph node count being greater than 0
- adding enabled if ControllerEnableCephStorage is true

Intention here is to be able to run ceph without having dedicated
nodes for. Enabling Ceph alternativly from the ControllerEnableCeph
parameter allows ceph to be colocated on the controllers without
having to run any dedicated ceph nodes.

Change-Id: I71062d37226c679156380c0f4e194b51cb586bcf
Signed-off-by: Dan Radez <dradez@redhat.com>

Add ExtraConfig to cinder storage role

The ExtraConfig resource was missing from the cinder
storage role. Adding it for consistency.

Change-Id: I05ad33c113af6f67ded7699976103508c47a3f1a

Bump the pacemaker service op_params to 200s for start and stop

Based on observed timeouts during updates bump the stop and start
timeouts for pacemaker service resources (via op_params) to 200.
This is based on the reasoning that the full timeout may be as
long as two elapsed timeout intervals. After an initial timeout,
the sigterm that follows is then allowed another
DefaultTimeoutStopSec seconds. The 200s is produced by allowing
this 2xDefaultTimeoutStopSec (@90s for systemd) and some
scheduling delta. Many thanks to Michele Baldessari.

Closes-Bug: 1531204
Change-Id: If6b43982c958f63bc78ad997400bf1279c23df7e

Merge "Remove deleted Nova rows"

Ensure cluster remains stable during services restarts

Using crm_resource --wait we wait for the cluster to get into
a stable state before moving into the next step of the piloted
restart procedure.

Change-Id: I80199653024383fd07900dad0b8d23fb8afade26
Co-Authored-By: Jiri Stransky <jistr@redhat.com>

Use new heat-docker-agents images

Hosted at tripleoupstream/heat-docker-agents.

Change-Id: I2133a7cb789a34c60b87339d816d29d353cb015f

Merge "Network Isolation support for containerized compute"

Add TimeZone parameter for all node types

Adds a TimeZone parameter for node types and the top level
stack. Defaults to UTC.

Change-Id: I98123d894ce429c34744233fe3e631cbdd7c12b5
Depends-On: Icf7c681f359e3e48b653ea4648db6a73b532d45e

Adding ManagementIpSubnet to linux bridge net conf

Because of the new ManagementIpSubnet parameter (introduced by the
15bb6726 commit), the net-config-linux-bridge network configuration file
must be updated.

Change-Id: I020692eedd9a96e28d0b871e2c27b4f0ee87e3fa

Merge "Wait for cluster to settle in yum_update.sh"

Network Isolation support for containerized compute

The template will all neutron-agents to be configured so that it can
run the network isolation templates on the containerized compute node.

Co-Authored-By: Dan Prince <dpince@redhat.com>
Change-Id: I7837ed7ed3e807ec5c1276904893695918bef293

Merge "Convert JSON generations from bash to python"

Wait for cluster to settle in yum_update.sh

Occasionally we hit "Error: unable to push cib" during update. This is
probably due to the fact that when we try to replace cib in
yum_update.sh, services on the previous updated controller are still
coming up and changing cib, and racing/conflicting with the cib push
from yum_update.sh.

This commit adds waiting for the cluster to settle before exiting from
yum_update.sh, to avoid this kind of conflict.

Also a check for cib-push success is added, to make the update fail
properly instead of hanging indefinitely as we've observed with this
issue.

Change-Id: I953087e0e565474ac553fd57bea2459d2e3a6081
Closes-Bug: #1527644

Remove deleted Nova rows

Creates cron job running every twelve hours
for "nova-manage db archive_deleted_rows"

Partial-bug: rhbz#1249106
Depends-On: Ic674f4d39bc88f89abfeb0ce99a571c2534e57e4
Change-Id: I4740cc02aa9714f48798521fe9918ac3487db031

Merge "Enable TLS in loadbalancer if cert path is detected"

Merge "Add all isolated networks to all nodes."

Merge "Add Management Network For System Administration."

Merge "Remove unsafe "unset" defaults"

Merge "Fix description of control plane route parameter"

Merge "Add sample environment file to document usage of predictable IPs"

Merge "MidoNet heat templates"

Merge "Add SoftwareConfigTransport for switching transports"

MidoNet heat templates

Deploy a TripleO overcloud with networking midonet. MidoNet is a
monolithic plugin and quite changes on the puppet manifest must be done.

Depends-On: I72f21036fda795b54312a7d39f04c30bbf16c41b
Depends-On: I6f1ac659297b8cf6671e11ad23284f8f543568b0
Depends-On: Icea9bd96e4c80a26b9e813d383f84099c736d7bf
Change-Id: I9692e2ef566ea37e0235a6059b1ae1ceeb9725ba

Fix yaml validation errors in multiple-nics templates

One of the interfaces was not indented at the same level as the
others in some of the templates.

Change-Id: Iabd835724848d754d5522968e1c8e3cf9f78e6c6

Add all isolated networks to all nodes.

This change allows every overcloud node to optionally participate in
any of the isolated networks. The optional networks are not enabled
by default, but allow additional flexibility. Since the new networks
are not enabled by default, the standared deployment is unchanged.
This change was originally requested for OpenDaylight support.

There are several use cases for using non-standard networks.
For instance, one example might be adding the Internal API network
to the Ceph nodes, in order to use that network for administrative
functions. Another example would be adding the Storage Management
network to the compute nodes, in order to use it for backup. Without
this change, any deviation from the standard set of roles that use a
network is a custom change to the Heat templates, which makes
upgrades much more difficult.

Change-Id: Ia386c964aa0ef79e457821d8d96ebb8ac2847231

Add Management Network For System Administration.

This change adds a system management network to all overcloud
nodes. The purpose of this network is for system administration,
for access to infrastructure services like DNS or NTP, or for
monitoring. This allows the management network to be placed on a
bond for redundancy, or for the system management network to be
an out-of-band network with no routing in or out. The management
network might also be configured as a default route instead of the
provisioning 'ctlplane' network.

This change does not enable the management network by default. An
environment file named network-management.yaml may be included to
enable the network and ports for each role. The included NIC config
templates have been updated with a block that may be uncommented
when the management network is enabled.

This change also contains some minor cleanup to the NIC templates,
particularly the multiple nic templates.

Change-Id: I0813a13f60a4f797be04b34258a2cffa9ea7e84f

Align template defaults with the client

This aligns the parameter default values from python-tripleoclient
with tripleo-heat-templates. This is in preparation for removing
all the defaults from the client, and maintaining them only in the
templates.

Change-Id: I7b635a250f1ecc170e18d8e434f0118c6fcbb942
Co-Authored-By: James Slagle <jslagle@redhat.com>

Merge "Fix typo in HostsEntry output description"

Merge "Allow for usage of pre-allocated IPs for the controller nodes"

Convert JSON generations from bash to python

Python script in the heat template will handle JSON generation
for the containers.

Change-Id: I296fd4a4948f3f937e3a108bc926af6415b350c4

Merge "Add fixup for pcs order constraints after update to new templates"

Merge "pacemaker: run neutron-server-start-wait-stop only at step 4"

Merge "Implement Workers parameters"

Update VNI and TunnelID ranges.

Without modification we cannot scale to more than 1000 networks.

Neutron will send this message to the user:
"Unable to create the network. No tenant network is available for
allocation."

Change-Id: I5ecbc66a0b6aaa5edbe2669eed9caadfb0691511