Fixes to swift-storage-source.yaml

We've found a couple of bugs in swift-storage-source.yaml which
were exposed when we tried to use the template to build a second
Swift storage node.  These errors are:
a. Error in swift-devices metadata description - indentation
   wasn't correct and a "-" was missing
b. Keystone config data required by the swift-proxy element
   weren't defined
c. The signal_transport property wasn't defined and set to
   NO_SIGNAL for SwiftStorage0Deploy (this meant that the
   completion condition for the resource was never satisfied)
d. The user_data_format property for the SwiftStorage0
   resource was not defined and set to SOFTWARE_CONFIG, which
   meant that the SwiftStorage servers never got their config data
We've fixed the above errors.  We've added an
OS::Heat::StructuredConfig and corresponding
OS::Heat::StructuredDeployment for the Keystone config data.

Change-Id: I858ebf9eea4ed33987143277f4c986b4934555d1

Merge "Use vip address where controller0 was used for endpoints"

Merge "Adding Swift proxy-server memcache metadata"

Use vip address where controller0 was used for endpoints

This change is required to resolve scaling issue for
OVERCLOUD_CONTROLSCALE > 1

Basicly change affected all the places where endpoints
were configured to use controller0 ctlplane ip address

Change-Id: I76eb9d2b81d3ef5e9fae408f2432515f4de13e12

Merge "Configure NTP for overcloud compute"

Merge "Specify group os-apply-config for config resources"

Merge "Adding SNMPd auth credentials"

Introduce configurable virtual ip in templates

added ControlVirtualIP resource of type OS::Neutron::Port

Added ControlVirtualInterface - by default br-ex

To specify the IP address to use as ControlVirtualIP,
or for any others custom needs, you could provide:

-P 'ControlFixedIPs=[{"ip_address" : "192.0.2.251"}]'

Related to blueprint tripleo-icehouse-ha-production-configuration

Change-Id: Ie82750ac1537c80311a869880f636bda59ca5c58

Defer to element mysql.innodb_buffer_pool_size

Choosing 100MB here is not a production default. We also don't need two
places with the default value set. The closer a default is to the actual
usage of it, the better, so we'll set 0 here, which will defer to the
default in the element.

Change-Id: I1b41b604286245c2fb83249778db835253c02fc5

Merge "Add NeutronControlPlaneID parameter"

Merge "Make size of loop device used by cinder LVM configurable"

Add NeutronControlPlaneID parameter

Creation of OS::Neutron::Port requires network_id parameter
OS::Neutron::Port will be used for VIP creation

Creating port for network by name, e.g:
neutron port-create ctlplane
works only with neutron cli

Change-Id: Ia8bd6f700a4897efd277fd67189d2e04ad716b87

Merge "Increase PXE deployment timeout for overcloud"

Configure NTP for overcloud compute

Updates the overcloud nova-compute templates so that
the NTP server is properly configured.

Change-Id: I4fc407153da5e031dcf5e5e5e1b3b74d932dba45
Partial-bug: #1309677

Specify group os-apply-config for config resources

This will indicate to os-collect-config that this config
resource represents os-apply-config configuration data,
so it can only write out top-level config files for
os-apply-config data (or Heat::Ungrouped for backwards
compatibility).

Change-Id: I3552fdd6df8106ab83cfd17d5f4b137cf33fbc36
Related-Bug: #1299109

Scale the control plane in hosts files.

Being able to figure out the hypervisors from the control nodes seems
useful, and equally all the hypervisors should know about all the
control nodes (at least until we have virtual IPs all in place), and
lastly the control plane need to know each other by hostname.

Change-Id: I92877501c58d8c210e7b2c94935e107355271fb9

Adding SNMPd auth credentials

-Undercloud Ceilometer has to have access to SNMPd credentials,
 so it can poll the Overcloud nodes
-In every Overcloud node, we need to set the same cretentials
 to SNMPd.conf

Change-Id: Icf7c0c1772b6380b7136108e61c15cafe17274ba

Make size of loop device used by cinder LVM configurable

This was hard-coded to 5 gig, which is useless for anything other
than tempest runs and smoke testing

block-storage-nfs.yaml has intentionally not been changed, since
volume_size_mb is not used in that setup. Cleaning up that code will
be done separately.

Change-Id: I476b906a8d439d3e6643dd0c214965c5862418e8

Increase PXE deployment timeout for overcloud

The PXE deployment often times out on baremetal deployment with >5
overcloud nodes because the time being measured includes the
dd of the image, which can be slow when many images are sent
from the same undercloud host.

Ideally we'd make the image sizes smaller, and/or make the
undercloud cache the images more sanely.  It would also be
possible to split the timout to measure dd-time and boot-time
separately, but for now we just make the timeout configurable so
a user can raise it if they have problems.

Change-Id: I15540eec7a68eab4c9d128b65a95b1c0a2b64582
Co-Author: nicholas.randon@hp.com

Expose dnsmasq options

Adds a new parameter, NeutronDnsmasqOptions, to the overcloud template.

Allows the ability to set dnsmasq options for neutron dhcp agent. This
will allow us to configure mtu to be 1400 for tenant instances on the
overcloud.  This should help with poor network performance and vm's that
are just plain unreachable via ssh due to the GRE tunnel overhead.

The default here has been set to:
dhcp-option-force=26,1400

This is the recommended way to configure OpenStack with the Open vSwitch
plugin per:
http://docs.openstack.org/admin-guide-cloud/content/openvswitch_plugin.html

All the documentation I can find on the web (openstack-dev,
ask.openstack.org, etc), recommend applying this setting. Others have
reported slow vm performance as well, and this resolves that issue
(apparently anyway...we'd need to test).

Change-Id: If24326045987b5a484ba2f71f591092987966536
Partial-Bug: #1270646

Merge "Add passthrough configuration glue."

Merge "Adding undercloud ceilometer"

Add passthrough configuration glue.

This provides a means for users to pass configuration through to the
machines they are deploying without us modelling that.

Change-Id: I7134eb0c6be2d5cb1795b2f03cfba4afb69dc837
blueprint: passthrough-config

Adding Swift proxy-server memcache metadata

Swift proxy-servers use memcache to store and share metadata. This
change adds swift.proxy-memcache metadata to the swift-source and
swift-storage-source yaml templates modelled on the existing
swift.devices metadata.  This metadata will be consumed by the
swift-proxy/os-config-applier/etc/swift/proxy-server.conf element
if the metadata exists.

Change-Id: If0b5724f69e7ec1c98e4dbdbeb9f08c4a18151b6

Adding undercloud ceilometer

-adding Undercloud Ceilometer that will collect statistics
 about Overcloud nodes, via SNMP

Change-Id: I1e90ad8d5bad16bc1c418ca2dbd78163abe6267c

Switch overcloud to software-config

This migrates the overcloud to using OS::Heat::StructuredConfig and
OS::Heat::StructuredDeployment. With those tools, we can decouple
servers from software configuration and begin to deprecate features in
tripleo_heat_merge.

Change-Id: Ice85f0711e90d0fabf1d1bc4698201c4d6758508

Merge "Stop using notCompute in favor of controller"

Merge "Adding NTP to undercloud template"

Stop using notCompute in favor of controller

Updates all references for notCompute and notcompute
to use 'controller' instead.

Change-Id: I70ef83f35064ab388bdc7e1a6da62b6585580010
Partial-bug: #1300324

Merge "Add mysql innodb buffer pool size"

Merge "Allow setting the cinder iscsi-helper option"

Merge "Add enable_tunneling to swift storage metadata"

Merge "Add BlockStorage0Config Resource"

Merge "Update templates to default to preserve ephemeral"

Adding NTP to undercloud template

Change-Id: I30c0e175fda448a300cae0b233757d31ce73402f

Add enable_tunneling to swift storage metadata

Add the enable_tunneling option to the neutron-openvswitch-agent
metadata for the swift storage template. If not preset, this option is
left blank in the openvswitch plugin configuration plugin. This causes
the service to fail to start because a blank value is not permissible
for a boolean option.

Change-Id: Ieadcdab295913121bd00dbd25e4245024bc2240f

Add mysql innodb buffer pool size

Innodb buffer pool size in mysql config file is now set to 592M,
this value is for VMs with 2G RAM too much. This patch makes the
pool size configurable and decreases default value to 100 MB
(this should be sufficient for default devtest setup). A patch which
for tripleo-image-element which sets this value in my.cnf will follow.

Change-Id: I0d2529abe51d4dc34415bf6c40da7a267bf3e65b

Allow setting the cinder iscsi-helper option

This is necessary to support iscsi helpers other than tgtadm, such
as lioadm.

Change-Id: I8a63872185f73372fcf6c90d3dde31e5bb0a168b

Add BlockStorage0Config Resource

Add a BlockStorage0Config resource in the block-storage.yaml template.
This was missing previously and was causing the behavior of having all
block storage nodes only being created after all other nodes were up in
a deployment (I presume b/c of the wait conditions).

Also, we need the BlockStorage0Config resource so that we can get the
configuration of neutron-openvswitch-agent from the metadata, previously
the values in the file were unset, causing the service to fail to start.

Change-Id: I297de24079d1ece66d35213b4ef1f2c8c50e73f0

Drop dnsmasq_range from the undercloud source.

We don't make use of dnsmasq_range anywhere so lets remove it.

Change-Id: Id3e14aee8a9f720a09bc2c8ace99e06c4a2d09a9

Update templates to default to preserve ephemeral

Updated heat templates to default to preserve ephemeral partition
on a heat stack update. Allows undercloud and overcloud to be
re-imaged/updated and state preserved.

Change-Id: I6626af48d8c55672022a46fe48e5725ad2619f0c

Merge "Remove unnecessary cinder metadata"

Merge "Adding image update policy to undercloud template"

Fix Ironic templates

The merge of ironic-source wasn't actually merging, leading to bad
templates. As part of this add the needed SSH virtual power key
(because like nova-bm, Ironic requires that for now).

We also need to set the compute_manager for nova with Ironic, so that
gets set too.

Change-Id: I0d7d535dbac3584b3eb12865259ee6403e20c98f

Pass undercloud metadata to overcloud compute

Capture some undercloud metadata into the overcloud compute
configs, so the overcloud nodes can pull updated images from
the undercloud glance. Unset by default, but able to be set
during stack-create or stack-update.

Change-Id: I2997d23c584055c40034827e9beb58e6542ea11c

Adding image update policy to undercloud template

Allows image policy to be specified when updating the undercloud
stack. This enables the preservation of persistent ephemeral disks.

Change-Id: Id7bc0a72ae1737d2fdadb3f47006bd0cfb0bc42f
Closes-Bug: #1295616

Merge "Change nova compute driver location"

Change nova compute driver location

This patch changes the location of the Ironic Nova compute driver
in nova.conf so that it uses the driver from within the Ironic
directory tree. This patch will need to be reverted once the Ironic Nova
driver lands in the nova.

Change-Id: I9199d506f3665cb0827edd642a1806713a42b90e

Remove unnecessary cinder metadata

Previously all cinder functionality was in a single element and
required "volume: 'true'" to install the cinder-volume service.
Now cinder has been split into multiple elements and you build
an image with the cinder-volume element to achieve the same goal.

This patch removes the "volume: 'true'".

Change-Id: I2ed2e6f7c7db7619aee7ce4ba730f310344e0b0e

Add Wait Condition to Block Storage Templates

In some environments the heat stack-create command would complete
even though the block storage node would still be in a
build/spawning state.  This patch adds a wait condition to ensure
the block storage node has a chance to complete and the stack-create
command to complete properly.

Change-Id: Idb524625b8d6df1ff6f927c22b72bc6d3d611686
Partial-Bug: #1290764

Merge "Add heat.stack_domain_admin_password"

Merge "Merge Block Storage into Overcloud"

Merge "Remove Duplicate Rabbit Parameters"

Add heat.stack_domain_admin_password

This new parameter will be used to configure Heat for the new required
stack domain admin.

Change-Id: Ieace33154a14f472aab8ac76b2b876db77230110
Partial-Bug: #1287453

Merge "Swift storage heat templates"

Remove Duplicate Rabbit Parameters

This patch removes the duplicate rabbit username and password
parameters.  These parameters cause a conflict when running
merge.py because they already exist in the overcloud template.

Change-Id: I01d386577734c7c516a477e1e402882294ac4376

Merge Block Storage into Overcloud

This patch removes the seperate overcloud-with-block-storage.yaml
make target and merges the functionality into the main overcloud.yaml
target.  The default BLOCKSTORAGESCALE is 0. Change this number to add
additional block storage nodes.

This patch also updates the overcloud-with-block-storage-nfs target
to more closely resemble the overcloud.yaml target, including swift
and ssl templates as needed. The default BLOCKSTORAGESCALE is 1.
Change this number to add additional block storage nodes.

Change-Id: Ifcc733cfbf9f356393c3f6c72b2bbbb0214d3040

Merge "Add rabbit.cookie attribute"

Swift storage heat templates

Updated the existing swift-source template to properly list all
swift devices.

Created a new swift-storage-source template to add additional
swift-storage only nodes.

The default SWIFTSTORAGESCALE is 0. Change this number to add
additional swift storage nodes.

Change-Id: Ia05f4ad44593316430d60541106d23b032c3e760

Adds block-storage-nfs template

To support the changes to the cinder element to allow the nfs
backend to be utilized, this template has been added to show
the usage of the nfs_shares key in the cinder metadata.
The value is a list of strings containing share addresses.

This change is added to facilitate an example to test
the cinder element change: https://review.openstack.org/#/c/74563/

You may setup the nfs server manually or use the nfs-server
element at https://review.openstack.org/#/c/74712/.

Change-Id: I5b6cb118b34421ea07a81ed1fe68db24b1d4f19d

Merge "Fix Merge::Map for scatter-gather in Configs."

Merge "Add a check target."

Fix bad indentation

Lines for notifier-strategy and log-file had 1 level too much of
identation causing an error in the available metadata.

Change-Id: I559855887349bf2bbab87788ef9baa216bde60d8

Fix Merge::Map for scatter-gather in Configs.

When Merge::Map was used like so:

NovaCompute0Config:
  Merge::Map:
    NovaCompute0:
      Fn:....

We were adjusting the inner NovaCompute0 to the current scaling loop
position rather than exploding it out as part of the map. For now, we
want maps to be global in context so the fix is fortunately simple.

Change-Id: Ibea723d4c763f593d934a9d2acfd31ce369f6408

Add a check target.

Just developer convenience - I'm used to autotools 'make check'
environments.

Change-Id: Idf5bb882f798d22d4513756b5273d4ae19caa5c0

Merge "Add GlanceLogFile and GlanceNotifierStrategy"

Merge "Make Wait Conditions depend on config creation"

Make Wait Conditions depend on config creation

Currently our wait conditions are racing with Heat resolving
configurations. There should be plenty of time but sometimes Heat may
be dealing with a temporarily problematic Nova API and spinning on that.
While that is happening, the in-instance tools will not have their full
configuration available to them. We don't want the wait condition timeout
to start until the box has had its actual config exposed to it.

Change-Id: I0eab8fe7547d3cbcebb1559fd3d06206b1750e96

Add GlanceLogFile and GlanceNotifierStrategy

Expose 2 new parameters to control glance configuration:
- GlanceLogFile
- GlanceNotifierStrategy

This will allow the glance configuration options log_file and
notifier_strategy to be set in glance-api.conf and glance-registry.conf

Change-Id: I1af1ecfdfe0859f2baba4579aab6e947a2a54308

Add rabbit.cookie attribute

All nodes in rabbitmq cluster should have same cookie. This patch adds
default random cookie to existing templates.

Change-Id: I6579089bd95b0169db20635479e077f3ecade8e2

Different Flavors for Tuskar roles

- different Flavors for control, compute and storage nodes
- for devtest use, they default to 'baremetal', so nothing
  changes
- for Tuskar, there is a possibility to have them different for
  every role

Change-Id: I8c1b80f55a91c7a7fd5e560ccdb8da82ec374084

Fix the hosts setting - nova uses novalocal.

Not '.local'. Doh.

Change-Id: I61ac6e5d6dfefcfe8c78618f6fc5d4c2c61831f0

Gather all hypervisor names into /etc/hosts.

Nova compute uses hostnames to do live migration, so we need this, or
DNS, and for now this is simpler, as we don't have Designate available
in the undercloud.

Change-Id: Idf0b106c5fbe60680b23a730eb37619a3d796869

Add a Merge::Map feature.

We need to scatter gather in a few situations - determining rabbit
cluster membership, galera membership and configuring hosts for Nova
to permit live migration (which requires host->host communication).
This patch is a proof of concept for an eventual heat feature,
expressed in merge.py. The example given should work for actual use,
but I'll deliver that change separately.

Change-Id: I68e9b2471866810cc698ca3ea28ddf5bb1688d7b

Fix tests.

We're not gating yet - this skew crept in.

Change-Id: I97b064f6d0cb75bf80b423951101687b6d26d90c

Remove uses of functions in parameter defaults

This doesn't work in recent versions of Heat and it shouldn't really
have ever worked.

Change-Id: I60772173f8d5baa5768b5626266b2e61cd93fbe2
Closes-Bug: #1282594

Add username parameter for rabbit

Username is currently assumed to be guest in the configuration
files. This change makes it more explicit.

Configuration files in tripleo-image-elements will be updated
to use this parameter in an upcoming patch.

Change-Id: Ia176f4d573a3a293560c72236a4181befa678301

Fix typo in undercloud-vm-source.yaml

There is no NoEcho type.

Change-Id: Id652b80f394a0d0b9e4b83ca9a61d2b547a14c3e

Merge "Support TripleO-CI for overcloud builds."

Merge "Allow manual hosts entry exports in overcloud."

Support TripleO-CI for overcloud builds.

For Tripleo-CI we can't generate the key in the VM and hand it out,
because we have restricted access to the machine. Plus, this has been
ugly forever. Pass an SSH key in, rather than pulling one out.

Change-Id: I1def0757758e30e63891ff099106dac158bd8d83

Merge "Add a debian-mirror heat template"

Allow manual hosts entry exports in overcloud.

This makes it possible to have SSL connections to APIs from compute
hosts with no DNS or external connectivity - something the
ci-overcloud has.

Change-Id: I089ef8fdfb4a59279f09bf3cd2a4474000e4bfa6

Make it possible to do physical networks for VMs.

This patch makes it possible to setup physical networks for VMs,
separate to the control plane configuration which is needed for
routed/natted access to physical networks.

Future work is needed to automate ci-overcloud configuration of the
control plane where we need two distinct bridges, but this is enough
to stop folk dying of boredom setting up a sizeable ci-overcloud.

Change-Id: I6ac7129f22bb797467adb0408638781d20081f19

Permit overriding the undercloud controller ip.

Currently we infer the controller IP address from Neutron, but when
we get HA, the controller address may move around so would need to
be the floating IP. Equally, folk doing unusual sets may need to
have the IP address be something other than what the seed Neutron
handed out.

Change-Id: I97441d009b831fd7356a6c58f4c9edc7532f7d05

Drop PowerUserName from overcloud-source.yaml

This parameter is only used for underclouds... no need
for it here.

Change-Id: I8cfda18ef4c9d7aa20fca7f1ba596541c3aad1ac

Support neutron.flat-networks in overclouds.

This is needed to allow configuring the template in
I9fa923b63033edb694720bfe5fc756a7c0fbfd2a.

Change-Id: I65810db156cb3d93291ac56fcf96e3ed2c87e1b2

Make make overcloud.yaml DTRT always.

Change-Id: I3aebf49c87434026b9eea9de9a67cb3196bc48b2

Merge "Remove InstanceType and ImageId from cinder template"

Remove image parameter changing from merge

The merge tool originally was meant to merge somewhat different things,
and thus this was helpful in the early versions. However, at this point
we want parameters to be more stable and we don't generally merge things
that have their own image parameter.

Meanwhile this feature caused problems as we change resource names.

This is a backward incompatible change of default behavior, but the old
behavior can be had again by passing --change-image-params.

Change-Id: I78cf31f0443f3d9f274758f5471a5bca9155635d

Add a debian-mirror heat template

Populate defaults for the debian-mirror image-element using a heat
template.

Change-Id: I28de1d04be7292dad1bc448ff8bbde634cebd6f3

Remove file injection config option.

We're just forcing it off now that the seed is Neutron based.

Change-Id: I3ebc1454aba9d2c2587628f9cded6e0f445f3606

Prep work for a scalable control plane.

This is complete as far as it goes but it isn't enough to make running
a scaled out control plane actually work. Specifically, the constructs
to point at API hosts based on looking up a network address aren't
suirtable for scaled out - we need to be using the virtual IP or DNS
round robin or other such resilient configurations, but that is
largely / entirely orthogonal to making the template be ready for
scaling.

Change-Id: Ib9e6db5e7d5db84e4746afdabea046d2b8702bbb

Update overcloud to support N compute hosts.

This uses the new merge feature earlier in this series.

Exporting COMPUTESCALE before running make will build a different
template. Note that since Make doesn't depend on variable values, you
need to delete overcloud.yaml between building with different scales.

Change-Id: If05b99ae3596bcc794e3a899ab1443aeb14ec754

Merge "Make scaling out a feature for merge.py."

Merge "Make debugging merge.py in the test suite possible."

Merge "Permit writing output to other than stdout."

Remove InstanceType and ImageId from cinder template

InstanceType and ImageId properties belong to an
AWS::AutoScaling::LaunchConfiguration, for example as used for
NovaCompute0Config in nova-compute-instance.yaml. However this
template doesn't use a LaunchConfig but params instead. AFAICT
we don't need these here (and they cause HEAT template validation
to fail)

Change-Id: If444e4449e3d62cb954de48bc3b55b16dcc8886f

Make scaling out a feature for merge.py.

This is a simple implementation designed to work with our current
non-HOT approach. We need to adjust our templates a little to support
this - though future work could make that better, it's orthogonal to
this effort.

Change-Id: I555617e5f24a5882de915f057dc02e008c81e753

Make debugging merge.py in the test suite possible.

Change-Id: Ie30f0421601cbd5cf8f88dcc3dcf818b1db589ba