Merge "fix incorrect reference to rabbit_username"

Merge "Move config options under neutron.ovs"

Merge "Set basic pacemaker and corosync properties in undercloud"

Set basic pacemaker and corosync properties in undercloud

Because services which depend on pacemaker (ceilometer central
agent and neutron services) are used in undercloud too, we need to
set basic pacemaker and corosync metadata for undercloud.

Related to: Ifa83d62c2132bcdcb40d0b7c80ce3adadc0b5587
Related to: I63f054a8c80f9f676a77341c89e605b5b472d078
Change-Id: Icc97e36a1db198b973041346cf2056f68de661a2

Move config options under neutron.ovs

These config options are supposed to be under neutron.ovs (see template
for neutron openvswitch agent). They were mistakenly moved to be just
under neutron when the migration to SoftwareConfig was done.

Change-Id: I5769dc1dc501d48c965f8e4e36238cfcaac64a17

Remove duplicate config section from block-storage.yaml

Deletes a duplicate config section from file block-storage.yaml
(and a duplicate admin-password key too).

Change-Id: I226517ea467751d00dbf217a6b6e4e0839538225

fix incorrect reference to rabbit_username

Fixes a typo in nova-compute-config.yaml file where rabbit_username
was mistakenly written as rabbit_user_name; compute nodes received
null as rabbit username as consequence.

Change-Id: I796b9bdccd1863647a667edbbc96731fc924c55d

Convert Fn::Select to extended get_attr

Overcloud bootstrap_nodeid is now specified by parameter
BootStrapNodeResource with default value controller0.
This avoids the need to use Fn::Select on the mergy.py
built list of controllers to specify the first controller.

Change-Id: Id9cfeab50b90ceeeae51ea0e35997b7495b28cc4
Partial-Blueprint: tripleo-juno-remove-mergepy

Port all templates to HOT

This change was generated and validated by running the following:

    make hot clean all validate-all

This converts all templates to be valid HOT.

Fn::Select is not converted in this change but this will actually
work with heat_template_version 2013-05-23. Fn::Select is converted
manually in the next change in this series.

This change also sets the heat_template_version to 2014-10-16 which
includes the list_join intrinsic functions used throughout these
templates.

Partial-Blueprint: tripleo-juno-remove-mergepy
Change-Id: Ib3cbb83f6ae94adb7b793ab1b662bd5c55cbb5b3

Merge "Remove ImageBuilder::Elements from templates"

Merge "Fix swift memcache and device properties"

merge.py --hot to process and generate HOT

This adds a --hot flag to merge.py which will assume source templates
are in the HOT format, and generate a HOT template artifact.

Tests have also been ported to HOT, along with some minor corrections
to the existing tests to make the source and result templates valid
heat templates.

Partial-Blueprint: tripleo-juno-remove-mergepy

Change-Id: If18ff79f89456123c884a1ab2f910ce4cc9a6e0b

Add strict dependencies to the overcloud template

Currently there is very weak (no) ordering of StructuredDeployments during
heat stack creation (and, importantly, update) on the overcloud. This can
cause the deployment which sends the completion signal back to Heat to
happen before all others have completed, which in turn leads Heat to state
the stack is ready while ORC is still configuring services

The only workaround to this is to wait an unknown amount of time after the
heat stack completes before the system is usable.

This patch prevents the completion signal from being returned early, by
ensuring these are strictly ordered:
    controller0Deploy
    controller0Passthrough
    controller0AllNodesDeploy
    NovaCompute0Deploy
    NovaCompute0Passthrough
    NovaCompute0AllNodesDeploy

Change-Id: I0a549370b7aca55b1145de521ad51218428deaf5

Correct overcloud template to inherit passthrough

Inherit passthrough from nova-compute-instance.yaml, rather than
having an exact copy in overcloud-source.yaml.

Change-Id: I4f5a4a7be5835cb68755734aa72f8d9670cba0d4

Rename NovaCompute0Config to NovaCompute0Deploy

Rename NovaCompute0Config to NovaCompute0Deploy as this makes
the structured deployment name match the one in
nova-compute-instance.yaml.

Change-Id: I79f66c09006aa7f7118af1f48e1f6f10b87daec6

controller0AllNodesConfig to controller0AllNodes.

Rename all occurrences of controller0AllNodesConfig to
controller0AllNodes as this is in line with compute node
deployments. Also the current naming is confusing as this is a
deployment step not a configuration step.

Change-Id: I8efa3b6a64a099e1e8ee43009472152aed5f8ad8

Merge "Remove nova-compute-group.yaml"

Fix swift memcache and device properties

All controller nodes are added into the list of swift devices and into
the list of memcache servers. This patch also removes swift storage nodes
from the list of memcache servers - I don't think that each storage node
should run proxy server (also swift-storage element doesn't depend on
swift-proxy).

Change-Id: Idb2ce2e2050fb84d8f8b564626b20e7b059fd685

Merge "Add signal_transport property"

Merge "Add user_data_format"

Remove nova-compute-group.yaml

This file is not used.

Change-Id: Ic03fb3402b3164c7c99cf02040f3a5e5abf6a9e9

Merge "Fix SSL with HAProxy."

Add signal_transport property

Specify NO_SIGNAL for signal_transport on the BlockStorage0Deployment
resource.  Otherwise, this resource remains CREATE_IN_PROGRESS forever.

Change-Id: I973d197245ed32612bde9209479e6ae3a443fc69

Add user_data_format

user_data_format must be set to SOFTWARE_CONFIG on instances of
OS::Nova::Server where there are deployments. Corrects the following
error:

ERROR: Resource BlockStorage0's property user_data_format should be set
to SOFTWARE_CONFIG since there are software deployments on it.

Change-Id: Iba29588374980098d71585ff1bf26ad914a6711c

Merge "Remove extra list"

Merge "Define and bind a public virtual IP"

Define and bind a public virtual IP

Prior to this change our heat templates define one virtual IP, which all
the services are bound to.

We wish to be able to segregate these endpoints: some need to be
accessible to "the public"; some are only intended to be accessed within
the cloud; some are only for admin use.

This change adds a second VIP which we can use for binding only the
endpoints that are intended to be publicly accessible, leaving the older
VIP to be used for internal end points.

Haproxy is told to also listen on that new VIP so that we can expose selected
services via the new VIP, and keepalived is in charge of assigning the VIP to
control plane nodes.

This change has a proposed split of services between control-only and
control+public interfaces. Assuming our yaml parsers (in merge.py and
Heat) understand YAML anchors/aliases, and assuming I've got the syntax
right, this should get expanded so that all the control+public services
get their config defined from the same block without needing to repeat
it for each service. (AFAICT both merge.py and heat use pyyaml, which
does support aliases/anchors)

The default is left at binding to only the controlplane interface, so
that new services added to this map will default to being internal-only

This patchset partially completes a spec which will one day live at
https://blueprints.launchpad.net/tripleo/+specs/tripleo-juno-virtual-public-ips
but for now can bee seen in  Id9addc65f0d2ed519ce4b3edbd561ed660a2786e

Implements: blueprint tripleo-juno-virtual-public-ips
Change-Id: I9649ee74ebaf62b6b929b28243a07c789a08867c
Co-Authored-By: Robert Collins <rbtcollins@hp.com>
Partial-Bug #1325114

Merge "expose glance_port,protocol as glance.port,protocol"

Merge "merge.py use a class to represent template syntax"

Fix SSL with HAProxy.

The current configuration of services is that if SSL is in use (signaled by
stunnel.connect_ip) we bind to 127.0.0.1 - which is great, but it breaks
simultaneous non-SSL due to there being no pass-through stunnel equivalent on
all the nodes. As an interim measure, teach stunnel to connect to the ctlplane
address instead. We will need this flexability in future anyway to deal with
mixed-mode configurations, but we don't yet have an SSL only configuration.

The change will permit SSL only by altering the Deployment object only - the
SSL config object should now be flexible enough to run in either mode (but as
yet on an all-one-way-or-the-other basis).

Change-Id: Ibac3dec1fe7b573029482fdd9ad2d2f6223fbce0

Merge "make keystone.host point to controller_virtual_ip"

Merge "Add corosync and pacemaker properties into overcloud template"

merge.py use a class to represent template syntax

Defining cfn template syntax as class attributes will make it easier
to port merge.py to HOT just by setting lang to a different class.

Change-Id: I2547333d727bf91cd3159790f0f20f4d10195a9c
Partial-Blueprint: tripleo-juno-remove-mergepy

Merge "make glance.host point to controller_virtual_ip"

Merge "use ControlVirtualInterface for keepalived VRRP"

Merge "add Horizon caches backend definition (memcached)"

Remove extra list

We are using "ctlplane" as the first parameter to Fn::Select here, so
the second parameter must be a map, not a list. Fixes the following
error:

ERROR: Property error : BlockStorage0Deployment: input_values Index to
"Fn::Select" must be an integer

Change-Id: I34153543f8c3152df449e1b42e1f76a78a7d6ba3

Remove ImageBuilder::Elements from templates

We're not using this metadata for anything.

Change-Id: I9d27c76dfa7223cbd16b9afe967696644137b8d6

expose glance_port,protocol as glance.port,protocol

These values are available in metadata with underscores but
they are accessed by nova with dots.
Make them available with dots.

Required by: Idccc0d60c9f6b17a853c6de1bbea64bfc7e028b2
Change-Id: I5fe952f850339465de128e56e45c9bbda011ce7f

Merge "Use the right DSN for neutron agents."

add Horizon caches backend definition (memcached)

This change adds into the overcloud-source template a structure
name horizon.caches meant to define the Horizon caches backend.
It defaults to using memcached and provides a list of the
memcached nodes in horizon.caches.memcached.nodes

Related to blueprint tripleo-icehouse-ha-production-configuration

Change-Id: I728e05926f2de0e867fb8e8c74c63947da7d987a

make glance.host point to controller_virtual_ip

Previously glance.host was pointing to the local controller_host
which would have requests to glance from other services to fail
if the local glance daemon was unavailable.

Change-Id: Ifd4f4b12cd51e23313826288797cc00ba3cd1754

make keystone.host point to controller_virtual_ip

Previously keystone.host was pointing to the local controller_host
which would have caused all local services to become unavailable
if keystone was to go down.

Closes-Bug: #1339986
Change-Id: I9b73595d3e0ae6e872aa6b7e0f93354ff04f2956

use ControlVirtualInterface for keepalived VRRP

Change keepalived.keepalive_interface so that it uses the actual
ControlVirtualInterface (bridge) for VRRP rather than the bridged
interface (NeutronPublicInterface).

Fixes the issue which caused keepalived to bring up the VIP on
all control nodes.

Change-Id: Ifc484d6a6086d9872210aa576f21d326f60b7d35

Merge "Make target to validate a template"

Add corosync and pacemaker properties into overcloud template

Pacemaker will be used for managing ceilometer central agent,
we need basic metadata to setup corosync and pacemaker.

Related to: Ifa83d62c2132bcdcb40d0b7c80ce3adadc0b5587

Change-Id: I44909005d9bc653c3e7c2de1c12fe4ffecf6bede

Make target to validate a template

This adds make targets to run heat template-validate against the
generated templates.

These targets assume that credentials to a valid heat endpoint
have been sourced.

The target validate-all will validate every template in
generated_templates, but there is also a target created for each
template, for example:

  make validate-overcloud.yaml

This is a useful aid for
Partial-Blueprint: tripleo-juno-remove-mergepy

Change-Id: Id101402b8b2fa0bc6058c5bc4b7474f0f6a158ad

Specify the network for nodes

Without this, when there are multiple admin networks (e.g. a VLAN)
Nova will refuse to guess and we'll fail to deploy.

Change-Id: Id1dca43ef287fda2adcfdf5b5d30145b055dbe76

Make stack complete depend on all nodes

Previously the completion signal was just based on the first run of
os-refresh-config. But in this case, we actually need to wait until it
runs successfully with all hosts computed. That way we can know that
services aren't in an unstable state while that configuration rolls out.

Change-Id: I3b965c19c92b366df3069cb8e1daffa18252c884
Closes-Bug: #1337230

Merge "Enable multi-node rabbitmq cluster"

Merge "Compute all hosts matrix once"

Enable multi-node rabbitmq cluster

This causes that:
* rabbit.nodes is list of all control nodes
* rabbit_hosts in OS config files points to all nodes in
  rabbitmq cluster
* overcloud control nodes are joined into cluster

This works both for single or multiple control nodes and it's needed
for scaling out control nodes.

rabbit.nodes property is very similar to generating list of all hosts,
so it uses same StructuredConfig block. This block (and couple of references)
is renamed to allNodesConfig to make it more general.

Related to blueprint tripleo-icehouse-ha-production-configuration

Change-Id: Ice1a34ba7a52c41c1bb0c63350438971c651e7b6

Merge "Add galera clustering properties"

Compute all hosts matrix once

Then feed in through separate deployments. This reduces the exponential
growth of calculating the entire list for every server.

Change-Id: Ib1187eabeb91b46e29ddcf5065056e43a69bb2a0

Merge "Haproxy configuration"

Add galera clustering properties

Adding nodes and cluster_name properties for mysql in order to enable
galera clustering.

Change-Id: I522b7324460469c59f49983ca3becd9ea914cdc0

Haproxy configuration

Added several sections that are required for HAproxy configuration

1. haproxy.services - standard openstack services ports
2. haproxy.nodes - openstack controllers
3. haproxy.net_binds - virtual ips, that will also act as public endpoint

input controller_nodes scales with OVERCLOUD_CONTROLSCALE > 1

Related change t-i-e I641fa90c4a34c26e5699cf7f5a6f9643792c7b16

Implements blueprint tripleo-haproxy-configuration
Related to blueprint tripleo-icehouse-ha-production-configuration

Change-Id: I9c70812ee1b3e8c8c072705fc5123da88ecc8f9f

Use the right DSN for neutron agents.

Since the wrong one is a bad idea :)

Change-Id: I7ed40078f487459dee9055ef41f10a9b60a0e674

Merge "Set glance protocol and port as Heat configurable"

Add parameters for setting up keystone keys/certs in undercloud

This will allow us distribute identical keys/certs to all
control nodes in HA mode.

CAKey was removed because it's not required by keystone.

Change-Id: I187492d5fac448e57f8cd687f9cb751520df5921

Merge "Add custom public IP support to the undercloud."

Set glance protocol and port as Heat configurable

This change is to set the glance protocol and port as
configurable via the Heat template. Presently the port is
hard-coded in the elements nova.conf file, and the protocol
is assumed as being the default (http).

This change will allow the glance_api_servers
to be set (in nova.conf) using the constituent parts:
    glance_protocol://glance_host:glance_port

Change to nova.conf to read this value is:
    Idccc0d60c9f6b17a853c6de1bbea64bfc7e028b2

Default port value is set to the nova default(9292) which is
currently hard-coded in the elements nova.conf file.
Default protocol value is set to the nova default(http).

Change-Id: I3c7218292797c62c36e2aaab4f325bf053ef140b

Merge "Use virtual ip for OS services"

Merge "Add parameters for setting up keystone keys/certs"

Merge "Remove the tuskar-source template"

Use virtual ip for OS services

VIP should be used when pointing an OS service to
another OS service in config files (most typical is
setting Keystone's host IP, but also Glance and Netron
host needs to be set in Nova config file).

Change-Id: Id91e6ef2747981f17a43afd279d4eebaad01fe4d

Replace nagios3 template with HOT rewrite

Rewrote template from scratch using HOT. Mail delivery does not work yet
but it does produce Nagios.

Change-Id: I347f8a008aa7db1145da0988053c791e6f2dbbc2

Merge "Add Controller scale param to merge.py"

Setup SSL for Ceilometer

Establish the Public (SSL) port, 13777, and connect it to the internal port, 8777

Change-Id: I7bba7f8224b6e31fc4f5444eee679ca5a4ce4ebe

Remove the tuskar-source template

There is no need for a tuskar-specific undercloud template. Tuskar is
installed via elements just like any other undercloud service.

This template is not being used in devtest and I'm not sure it ever has
been.

Change-Id: I531d927b1984873b32f440d33a130788670f7cd9

Merge "Add passthrough configuration glue."

Merge "Fixes to swift-storage-source.yaml"

Add custom public IP support to the undercloud.

Now we're trying to automate VLAN deployed underclouds, this
suddenly becomes relevant.

Change-Id: I800a0ceab7443d685551d7a919724f6cf45fd891

Add passthrough configuration glue.

This provides a means for users to pass configuration through to the
machines they are deploying without us modelling that.

Change-Id: Ia8d1564bd0f3e7b988497a84e00831619047cd94

Move to software-config for the undercloud.

Change the undercloud deployment to use software-config similar to
that used by the overcloud.

Change-Id: I81bced2062e461fe10301969d856d709c0b573c3

Merge "Sequence deploys - compute after control plane."

Move bootstrap-host out from bootstack

We have had a change of opinion and are moving bootstrap_host properties
out of bootstack in order to prevent mysql / rabbit from depending on
boot-stack.

Change-Id: I85399019c5fc448e98362ef832988abc8d9d459d

Merge "ssl: Add support for a CA Certificate"

Export new bootstack keys for cluster init.

These provide a single consistent interface for checking whether
a given node is the bootstrap node, or not the bootstrap node
for database initialisation etc.

Change-Id: I7c5a09cb3477b61c4050e4a47a680ffc9aee97d8

Add Controller scale param to merge.py

We need a paremeter to attempt scaling of the Controller resources in
merge.py.

Change-Id: I4a79059e72850da4a5a3fe30dbb9df92a9dca212

Fixes to swift-storage-source.yaml

We've found a couple of bugs in swift-storage-source.yaml which
were exposed when we tried to use the template to build a second
Swift storage node.  These errors are:
a. Error in swift-devices metadata description - indentation
   wasn't correct and a "-" was missing
b. Keystone config data required by the swift-proxy element
   weren't defined
c. The signal_transport property wasn't defined and set to
   NO_SIGNAL for SwiftStorage0Deploy (this meant that the
   completion condition for the resource was never satisfied)
d. The user_data_format property for the SwiftStorage0
   resource was not defined and set to SOFTWARE_CONFIG, which
   meant that the SwiftStorage servers never got their config data
We've fixed the above errors.  We've added an
OS::Heat::StructuredConfig and corresponding
OS::Heat::StructuredDeployment for the Keystone config data.

Change-Id: I858ebf9eea4ed33987143277f4c986b4934555d1

Merge "Use vip address where controller0 was used for endpoints"

Merge "Adding Swift proxy-server memcache metadata"

Add parameters for setting up keystone keys/certs

This will allow us distribute identical keys/certs to all
control nodes in HA mode.

Change-Id: Ie84f3897717c02e196a405746865996c0a929977

Use vip address where controller0 was used for endpoints

This change is required to resolve scaling issue for
OVERCLOUD_CONTROLSCALE > 1

Basicly change affected all the places where endpoints
were configured to use controller0 ctlplane ip address

Change-Id: I76eb9d2b81d3ef5e9fae408f2432515f4de13e12

Merge "Configure NTP for overcloud compute"

ssl: Add support for a CA Certificate

Add SSLCACertificate to the overcloud yaml.

This allows a CA certificate to be specified in cases where the Cert
does not come from a CA in the system bundle.

Partially implements: blueprint tripleo-ssl-overcloud

Full set of blueprint changes:

https://review.openstack.org/#/c/85098
https://review.openstack.org/#/c/85099
https://review.openstack.org/#/c/85100

Change-Id: I67d7c1362df323762023be5c74fbe75b1583570c

Merge "Specify group os-apply-config for config resources"

Merge "Adding SNMPd auth credentials"

Sequence deploys - compute after control plane.

The control plane has to be up before the compute deployments can
work. By sequencing these we permit stopping the o-r-c scripts in
the overcloud rather than trying and failing to configure things.

It also reduces the total deploy time by front loading control
plane configuration - Heat has some sequence code which prevents
parallel instantiation on deployments, and the control plane bring
up is critical path for deploying OpenStack.

Change-Id: I0bb2f8ab41c4af1443af60f7547673d495e4e0fb

Introduce configurable virtual ip in templates

added ControlVirtualIP resource of type OS::Neutron::Port

Added ControlVirtualInterface - by default br-ex

To specify the IP address to use as ControlVirtualIP,
or for any others custom needs, you could provide:

-P 'ControlFixedIPs=[{"ip_address" : "192.0.2.251"}]'

Related to blueprint tripleo-icehouse-ha-production-configuration

Change-Id: Ie82750ac1537c80311a869880f636bda59ca5c58

Defer to element mysql.innodb_buffer_pool_size

Choosing 100MB here is not a production default. We also don't need two
places with the default value set. The closer a default is to the actual
usage of it, the better, so we'll set 0 here, which will defer to the
default in the element.

Change-Id: I1b41b604286245c2fb83249778db835253c02fc5

Merge "Add NeutronControlPlaneID parameter"

Merge "Make size of loop device used by cinder LVM configurable"

Add NeutronControlPlaneID parameter

Creation of OS::Neutron::Port requires network_id parameter
OS::Neutron::Port will be used for VIP creation

Creating port for network by name, e.g:
neutron port-create ctlplane
works only with neutron cli

Change-Id: Ia8bd6f700a4897efd277fd67189d2e04ad716b87

Merge "Increase PXE deployment timeout for overcloud"

Configure NTP for overcloud compute

Updates the overcloud nova-compute templates so that
the NTP server is properly configured.

Change-Id: I4fc407153da5e031dcf5e5e5e1b3b74d932dba45
Partial-bug: #1309677

Specify group os-apply-config for config resources

This will indicate to os-collect-config that this config
resource represents os-apply-config configuration data,
so it can only write out top-level config files for
os-apply-config data (or Heat::Ungrouped for backwards
compatibility).

Change-Id: I3552fdd6df8106ab83cfd17d5f4b137cf33fbc36
Related-Bug: #1299109

Scale the control plane in hosts files.

Being able to figure out the hypervisors from the control nodes seems
useful, and equally all the hypervisors should know about all the
control nodes (at least until we have virtual IPs all in place), and
lastly the control plane need to know each other by hostname.

Change-Id: I92877501c58d8c210e7b2c94935e107355271fb9

Adding SNMPd auth credentials

-Undercloud Ceilometer has to have access to SNMPd credentials,
 so it can poll the Overcloud nodes
-In every Overcloud node, we need to set the same cretentials
 to SNMPd.conf

Change-Id: Icf7c0c1772b6380b7136108e61c15cafe17274ba