Correct overcloud template to inherit passthrough

Inherit passthrough from nova-compute-instance.yaml, rather than
having an exact copy in overcloud-source.yaml.

Change-Id: I4f5a4a7be5835cb68755734aa72f8d9670cba0d4

Rename NovaCompute0Config to NovaCompute0Deploy

Rename NovaCompute0Config to NovaCompute0Deploy as this makes
the structured deployment name match the one in
nova-compute-instance.yaml.

Change-Id: I79f66c09006aa7f7118af1f48e1f6f10b87daec6

controller0AllNodesConfig to controller0AllNodes.

Rename all occurrences of controller0AllNodesConfig to
controller0AllNodes as this is in line with compute node
deployments. Also the current naming is confusing as this is a
deployment step not a configuration step.

Change-Id: I8efa3b6a64a099e1e8ee43009472152aed5f8ad8

Merge "Remove nova-compute-group.yaml"

Merge "Add signal_transport property"

Merge "Add user_data_format"

Remove nova-compute-group.yaml

This file is not used.

Change-Id: Ic03fb3402b3164c7c99cf02040f3a5e5abf6a9e9

Merge "Fix SSL with HAProxy."

Add signal_transport property

Specify NO_SIGNAL for signal_transport on the BlockStorage0Deployment
resource.  Otherwise, this resource remains CREATE_IN_PROGRESS forever.

Change-Id: I973d197245ed32612bde9209479e6ae3a443fc69

Add user_data_format

user_data_format must be set to SOFTWARE_CONFIG on instances of
OS::Nova::Server where there are deployments. Corrects the following
error:

ERROR: Resource BlockStorage0's property user_data_format should be set
to SOFTWARE_CONFIG since there are software deployments on it.

Change-Id: Iba29588374980098d71585ff1bf26ad914a6711c

Merge "Remove extra list"

Merge "Define and bind a public virtual IP"

Define and bind a public virtual IP

Prior to this change our heat templates define one virtual IP, which all
the services are bound to.

We wish to be able to segregate these endpoints: some need to be
accessible to "the public"; some are only intended to be accessed within
the cloud; some are only for admin use.

This change adds a second VIP which we can use for binding only the
endpoints that are intended to be publicly accessible, leaving the older
VIP to be used for internal end points.

Haproxy is told to also listen on that new VIP so that we can expose selected
services via the new VIP, and keepalived is in charge of assigning the VIP to
control plane nodes.

This change has a proposed split of services between control-only and
control+public interfaces. Assuming our yaml parsers (in merge.py and
Heat) understand YAML anchors/aliases, and assuming I've got the syntax
right, this should get expanded so that all the control+public services
get their config defined from the same block without needing to repeat
it for each service. (AFAICT both merge.py and heat use pyyaml, which
does support aliases/anchors)

The default is left at binding to only the controlplane interface, so
that new services added to this map will default to being internal-only

This patchset partially completes a spec which will one day live at
https://blueprints.launchpad.net/tripleo/+specs/tripleo-juno-virtual-public-ips
but for now can bee seen in  Id9addc65f0d2ed519ce4b3edbd561ed660a2786e

Implements: blueprint tripleo-juno-virtual-public-ips
Change-Id: I9649ee74ebaf62b6b929b28243a07c789a08867c
Co-Authored-By: Robert Collins <rbtcollins@hp.com>
Partial-Bug #1325114

Merge "expose glance_port,protocol as glance.port,protocol"

Merge "merge.py use a class to represent template syntax"

Fix SSL with HAProxy.

The current configuration of services is that if SSL is in use (signaled by
stunnel.connect_ip) we bind to 127.0.0.1 - which is great, but it breaks
simultaneous non-SSL due to there being no pass-through stunnel equivalent on
all the nodes. As an interim measure, teach stunnel to connect to the ctlplane
address instead. We will need this flexability in future anyway to deal with
mixed-mode configurations, but we don't yet have an SSL only configuration.

The change will permit SSL only by altering the Deployment object only - the
SSL config object should now be flexible enough to run in either mode (but as
yet on an all-one-way-or-the-other basis).

Change-Id: Ibac3dec1fe7b573029482fdd9ad2d2f6223fbce0

Merge "make keystone.host point to controller_virtual_ip"

Merge "Add corosync and pacemaker properties into overcloud template"

merge.py use a class to represent template syntax

Defining cfn template syntax as class attributes will make it easier
to port merge.py to HOT just by setting lang to a different class.

Change-Id: I2547333d727bf91cd3159790f0f20f4d10195a9c
Partial-Blueprint: tripleo-juno-remove-mergepy

Merge "make glance.host point to controller_virtual_ip"

Merge "use ControlVirtualInterface for keepalived VRRP"

Merge "add Horizon caches backend definition (memcached)"

Remove extra list

We are using "ctlplane" as the first parameter to Fn::Select here, so
the second parameter must be a map, not a list. Fixes the following
error:

ERROR: Property error : BlockStorage0Deployment: input_values Index to
"Fn::Select" must be an integer

Change-Id: I34153543f8c3152df449e1b42e1f76a78a7d6ba3

expose glance_port,protocol as glance.port,protocol

These values are available in metadata with underscores but
they are accessed by nova with dots.
Make them available with dots.

Required by: Idccc0d60c9f6b17a853c6de1bbea64bfc7e028b2
Change-Id: I5fe952f850339465de128e56e45c9bbda011ce7f

Merge "Use the right DSN for neutron agents."

add Horizon caches backend definition (memcached)

This change adds into the overcloud-source template a structure
name horizon.caches meant to define the Horizon caches backend.
It defaults to using memcached and provides a list of the
memcached nodes in horizon.caches.memcached.nodes

Related to blueprint tripleo-icehouse-ha-production-configuration

Change-Id: I728e05926f2de0e867fb8e8c74c63947da7d987a

make glance.host point to controller_virtual_ip

Previously glance.host was pointing to the local controller_host
which would have requests to glance from other services to fail
if the local glance daemon was unavailable.

Change-Id: Ifd4f4b12cd51e23313826288797cc00ba3cd1754

make keystone.host point to controller_virtual_ip

Previously keystone.host was pointing to the local controller_host
which would have caused all local services to become unavailable
if keystone was to go down.

Closes-Bug: #1339986
Change-Id: I9b73595d3e0ae6e872aa6b7e0f93354ff04f2956

use ControlVirtualInterface for keepalived VRRP

Change keepalived.keepalive_interface so that it uses the actual
ControlVirtualInterface (bridge) for VRRP rather than the bridged
interface (NeutronPublicInterface).

Fixes the issue which caused keepalived to bring up the VIP on
all control nodes.

Change-Id: Ifc484d6a6086d9872210aa576f21d326f60b7d35

Merge "Make target to validate a template"

Add corosync and pacemaker properties into overcloud template

Pacemaker will be used for managing ceilometer central agent,
we need basic metadata to setup corosync and pacemaker.

Related to: Ifa83d62c2132bcdcb40d0b7c80ce3adadc0b5587

Change-Id: I44909005d9bc653c3e7c2de1c12fe4ffecf6bede

Make target to validate a template

This adds make targets to run heat template-validate against the
generated templates.

These targets assume that credentials to a valid heat endpoint
have been sourced.

The target validate-all will validate every template in
generated_templates, but there is also a target created for each
template, for example:

  make validate-overcloud.yaml

This is a useful aid for
Partial-Blueprint: tripleo-juno-remove-mergepy

Change-Id: Id101402b8b2fa0bc6058c5bc4b7474f0f6a158ad

Specify the network for nodes

Without this, when there are multiple admin networks (e.g. a VLAN)
Nova will refuse to guess and we'll fail to deploy.

Change-Id: Id1dca43ef287fda2adcfdf5b5d30145b055dbe76

Make stack complete depend on all nodes

Previously the completion signal was just based on the first run of
os-refresh-config. But in this case, we actually need to wait until it
runs successfully with all hosts computed. That way we can know that
services aren't in an unstable state while that configuration rolls out.

Change-Id: I3b965c19c92b366df3069cb8e1daffa18252c884
Closes-Bug: #1337230

Merge "Enable multi-node rabbitmq cluster"

Merge "Compute all hosts matrix once"

Enable multi-node rabbitmq cluster

This causes that:
* rabbit.nodes is list of all control nodes
* rabbit_hosts in OS config files points to all nodes in
  rabbitmq cluster
* overcloud control nodes are joined into cluster

This works both for single or multiple control nodes and it's needed
for scaling out control nodes.

rabbit.nodes property is very similar to generating list of all hosts,
so it uses same StructuredConfig block. This block (and couple of references)
is renamed to allNodesConfig to make it more general.

Related to blueprint tripleo-icehouse-ha-production-configuration

Change-Id: Ice1a34ba7a52c41c1bb0c63350438971c651e7b6

Merge "Add galera clustering properties"

Compute all hosts matrix once

Then feed in through separate deployments. This reduces the exponential
growth of calculating the entire list for every server.

Change-Id: Ib1187eabeb91b46e29ddcf5065056e43a69bb2a0

Merge "Haproxy configuration"

Add galera clustering properties

Adding nodes and cluster_name properties for mysql in order to enable
galera clustering.

Change-Id: I522b7324460469c59f49983ca3becd9ea914cdc0

Haproxy configuration

Added several sections that are required for HAproxy configuration

1. haproxy.services - standard openstack services ports
2. haproxy.nodes - openstack controllers
3. haproxy.net_binds - virtual ips, that will also act as public endpoint

input controller_nodes scales with OVERCLOUD_CONTROLSCALE > 1

Related change t-i-e I641fa90c4a34c26e5699cf7f5a6f9643792c7b16

Implements blueprint tripleo-haproxy-configuration
Related to blueprint tripleo-icehouse-ha-production-configuration

Change-Id: I9c70812ee1b3e8c8c072705fc5123da88ecc8f9f

Use the right DSN for neutron agents.

Since the wrong one is a bad idea :)

Change-Id: I7ed40078f487459dee9055ef41f10a9b60a0e674

Merge "Set glance protocol and port as Heat configurable"

Add parameters for setting up keystone keys/certs in undercloud

This will allow us distribute identical keys/certs to all
control nodes in HA mode.

CAKey was removed because it's not required by keystone.

Change-Id: I187492d5fac448e57f8cd687f9cb751520df5921

Merge "Add custom public IP support to the undercloud."

Set glance protocol and port as Heat configurable

This change is to set the glance protocol and port as
configurable via the Heat template. Presently the port is
hard-coded in the elements nova.conf file, and the protocol
is assumed as being the default (http).

This change will allow the glance_api_servers
to be set (in nova.conf) using the constituent parts:
    glance_protocol://glance_host:glance_port

Change to nova.conf to read this value is:
    Idccc0d60c9f6b17a853c6de1bbea64bfc7e028b2

Default port value is set to the nova default(9292) which is
currently hard-coded in the elements nova.conf file.
Default protocol value is set to the nova default(http).

Change-Id: I3c7218292797c62c36e2aaab4f325bf053ef140b

Merge "Use virtual ip for OS services"

Merge "Add parameters for setting up keystone keys/certs"

Merge "Remove the tuskar-source template"

Use virtual ip for OS services

VIP should be used when pointing an OS service to
another OS service in config files (most typical is
setting Keystone's host IP, but also Glance and Netron
host needs to be set in Nova config file).

Change-Id: Id91e6ef2747981f17a43afd279d4eebaad01fe4d

Replace nagios3 template with HOT rewrite

Rewrote template from scratch using HOT. Mail delivery does not work yet
but it does produce Nagios.

Change-Id: I347f8a008aa7db1145da0988053c791e6f2dbbc2

Merge "Add Controller scale param to merge.py"

Setup SSL for Ceilometer

Establish the Public (SSL) port, 13777, and connect it to the internal port, 8777

Change-Id: I7bba7f8224b6e31fc4f5444eee679ca5a4ce4ebe

Remove the tuskar-source template

There is no need for a tuskar-specific undercloud template. Tuskar is
installed via elements just like any other undercloud service.

This template is not being used in devtest and I'm not sure it ever has
been.

Change-Id: I531d927b1984873b32f440d33a130788670f7cd9

Merge "Add passthrough configuration glue."

Merge "Fixes to swift-storage-source.yaml"

Add custom public IP support to the undercloud.

Now we're trying to automate VLAN deployed underclouds, this
suddenly becomes relevant.

Change-Id: I800a0ceab7443d685551d7a919724f6cf45fd891

Add passthrough configuration glue.

This provides a means for users to pass configuration through to the
machines they are deploying without us modelling that.

Change-Id: Ia8d1564bd0f3e7b988497a84e00831619047cd94

Move to software-config for the undercloud.

Change the undercloud deployment to use software-config similar to
that used by the overcloud.

Change-Id: I81bced2062e461fe10301969d856d709c0b573c3

Merge "Sequence deploys - compute after control plane."

Move bootstrap-host out from bootstack

We have had a change of opinion and are moving bootstrap_host properties
out of bootstack in order to prevent mysql / rabbit from depending on
boot-stack.

Change-Id: I85399019c5fc448e98362ef832988abc8d9d459d

Merge "ssl: Add support for a CA Certificate"

Export new bootstack keys for cluster init.

These provide a single consistent interface for checking whether
a given node is the bootstrap node, or not the bootstrap node
for database initialisation etc.

Change-Id: I7c5a09cb3477b61c4050e4a47a680ffc9aee97d8

Add Controller scale param to merge.py

We need a paremeter to attempt scaling of the Controller resources in
merge.py.

Change-Id: I4a79059e72850da4a5a3fe30dbb9df92a9dca212

Fixes to swift-storage-source.yaml

We've found a couple of bugs in swift-storage-source.yaml which
were exposed when we tried to use the template to build a second
Swift storage node.  These errors are:
a. Error in swift-devices metadata description - indentation
   wasn't correct and a "-" was missing
b. Keystone config data required by the swift-proxy element
   weren't defined
c. The signal_transport property wasn't defined and set to
   NO_SIGNAL for SwiftStorage0Deploy (this meant that the
   completion condition for the resource was never satisfied)
d. The user_data_format property for the SwiftStorage0
   resource was not defined and set to SOFTWARE_CONFIG, which
   meant that the SwiftStorage servers never got their config data
We've fixed the above errors.  We've added an
OS::Heat::StructuredConfig and corresponding
OS::Heat::StructuredDeployment for the Keystone config data.

Change-Id: I858ebf9eea4ed33987143277f4c986b4934555d1

Merge "Use vip address where controller0 was used for endpoints"

Merge "Adding Swift proxy-server memcache metadata"

Add parameters for setting up keystone keys/certs

This will allow us distribute identical keys/certs to all
control nodes in HA mode.

Change-Id: Ie84f3897717c02e196a405746865996c0a929977

Use vip address where controller0 was used for endpoints

This change is required to resolve scaling issue for
OVERCLOUD_CONTROLSCALE > 1

Basicly change affected all the places where endpoints
were configured to use controller0 ctlplane ip address

Change-Id: I76eb9d2b81d3ef5e9fae408f2432515f4de13e12

Merge "Configure NTP for overcloud compute"

ssl: Add support for a CA Certificate

Add SSLCACertificate to the overcloud yaml.

This allows a CA certificate to be specified in cases where the Cert
does not come from a CA in the system bundle.

Partially implements: blueprint tripleo-ssl-overcloud

Full set of blueprint changes:

https://review.openstack.org/#/c/85098
https://review.openstack.org/#/c/85099
https://review.openstack.org/#/c/85100

Change-Id: I67d7c1362df323762023be5c74fbe75b1583570c

Merge "Specify group os-apply-config for config resources"

Merge "Adding SNMPd auth credentials"

Sequence deploys - compute after control plane.

The control plane has to be up before the compute deployments can
work. By sequencing these we permit stopping the o-r-c scripts in
the overcloud rather than trying and failing to configure things.

It also reduces the total deploy time by front loading control
plane configuration - Heat has some sequence code which prevents
parallel instantiation on deployments, and the control plane bring
up is critical path for deploying OpenStack.

Change-Id: I0bb2f8ab41c4af1443af60f7547673d495e4e0fb

Introduce configurable virtual ip in templates

added ControlVirtualIP resource of type OS::Neutron::Port

Added ControlVirtualInterface - by default br-ex

To specify the IP address to use as ControlVirtualIP,
or for any others custom needs, you could provide:

-P 'ControlFixedIPs=[{"ip_address" : "192.0.2.251"}]'

Related to blueprint tripleo-icehouse-ha-production-configuration

Change-Id: Ie82750ac1537c80311a869880f636bda59ca5c58

Defer to element mysql.innodb_buffer_pool_size

Choosing 100MB here is not a production default. We also don't need two
places with the default value set. The closer a default is to the actual
usage of it, the better, so we'll set 0 here, which will defer to the
default in the element.

Change-Id: I1b41b604286245c2fb83249778db835253c02fc5

Merge "Add NeutronControlPlaneID parameter"

Merge "Make size of loop device used by cinder LVM configurable"

Add NeutronControlPlaneID parameter

Creation of OS::Neutron::Port requires network_id parameter
OS::Neutron::Port will be used for VIP creation

Creating port for network by name, e.g:
neutron port-create ctlplane
works only with neutron cli

Change-Id: Ia8bd6f700a4897efd277fd67189d2e04ad716b87

Merge "Increase PXE deployment timeout for overcloud"

Configure NTP for overcloud compute

Updates the overcloud nova-compute templates so that
the NTP server is properly configured.

Change-Id: I4fc407153da5e031dcf5e5e5e1b3b74d932dba45
Partial-bug: #1309677

Specify group os-apply-config for config resources

This will indicate to os-collect-config that this config
resource represents os-apply-config configuration data,
so it can only write out top-level config files for
os-apply-config data (or Heat::Ungrouped for backwards
compatibility).

Change-Id: I3552fdd6df8106ab83cfd17d5f4b137cf33fbc36
Related-Bug: #1299109

Scale the control plane in hosts files.

Being able to figure out the hypervisors from the control nodes seems
useful, and equally all the hypervisors should know about all the
control nodes (at least until we have virtual IPs all in place), and
lastly the control plane need to know each other by hostname.

Change-Id: I92877501c58d8c210e7b2c94935e107355271fb9

Adding SNMPd auth credentials

-Undercloud Ceilometer has to have access to SNMPd credentials,
 so it can poll the Overcloud nodes
-In every Overcloud node, we need to set the same cretentials
 to SNMPd.conf

Change-Id: Icf7c0c1772b6380b7136108e61c15cafe17274ba

Make size of loop device used by cinder LVM configurable

This was hard-coded to 5 gig, which is useless for anything other
than tempest runs and smoke testing

block-storage-nfs.yaml has intentionally not been changed, since
volume_size_mb is not used in that setup. Cleaning up that code will
be done separately.

Change-Id: I476b906a8d439d3e6643dd0c214965c5862418e8

Increase PXE deployment timeout for overcloud

The PXE deployment often times out on baremetal deployment with >5
overcloud nodes because the time being measured includes the
dd of the image, which can be slow when many images are sent
from the same undercloud host.

Ideally we'd make the image sizes smaller, and/or make the
undercloud cache the images more sanely.  It would also be
possible to split the timout to measure dd-time and boot-time
separately, but for now we just make the timeout configurable so
a user can raise it if they have problems.

Change-Id: I15540eec7a68eab4c9d128b65a95b1c0a2b64582
Co-Author: nicholas.randon@hp.com

Expose dnsmasq options

Adds a new parameter, NeutronDnsmasqOptions, to the overcloud template.

Allows the ability to set dnsmasq options for neutron dhcp agent. This
will allow us to configure mtu to be 1400 for tenant instances on the
overcloud.  This should help with poor network performance and vm's that
are just plain unreachable via ssh due to the GRE tunnel overhead.

The default here has been set to:
dhcp-option-force=26,1400

This is the recommended way to configure OpenStack with the Open vSwitch
plugin per:
http://docs.openstack.org/admin-guide-cloud/content/openvswitch_plugin.html

All the documentation I can find on the web (openstack-dev,
ask.openstack.org, etc), recommend applying this setting. Others have
reported slow vm performance as well, and this resolves that issue
(apparently anyway...we'd need to test).

Change-Id: If24326045987b5a484ba2f71f591092987966536
Partial-Bug: #1270646

Merge "Add passthrough configuration glue."

Merge "Adding undercloud ceilometer"

Add passthrough configuration glue.

This provides a means for users to pass configuration through to the
machines they are deploying without us modelling that.

Change-Id: I7134eb0c6be2d5cb1795b2f03cfba4afb69dc837
blueprint: passthrough-config

Adding Swift proxy-server memcache metadata

Swift proxy-servers use memcache to store and share metadata. This
change adds swift.proxy-memcache metadata to the swift-source and
swift-storage-source yaml templates modelled on the existing
swift.devices metadata.  This metadata will be consumed by the
swift-proxy/os-config-applier/etc/swift/proxy-server.conf element
if the metadata exists.

Change-Id: If0b5724f69e7ec1c98e4dbdbeb9f08c4a18151b6

Adding undercloud ceilometer

-adding Undercloud Ceilometer that will collect statistics
 about Overcloud nodes, via SNMP

Change-Id: I1e90ad8d5bad16bc1c418ca2dbd78163abe6267c

Switch overcloud to software-config

This migrates the overcloud to using OS::Heat::StructuredConfig and
OS::Heat::StructuredDeployment. With those tools, we can decouple
servers from software configuration and begin to deprecate features in
tripleo_heat_merge.

Change-Id: Ice85f0711e90d0fabf1d1bc4698201c4d6758508

Merge "Stop using notCompute in favor of controller"

Merge "Adding NTP to undercloud template"

Stop using notCompute in favor of controller

Updates all references for notCompute and notcompute
to use 'controller' instead.

Change-Id: I70ef83f35064ab388bdc7e1a6da62b6585580010
Partial-bug: #1300324

Merge "Add mysql innodb buffer pool size"

Merge "Allow setting the cinder iscsi-helper option"

Merge "Add enable_tunneling to swift storage metadata"