Fix Merge::Map for scatter-gather in Configs.

When Merge::Map was used like so:

NovaCompute0Config:
  Merge::Map:
    NovaCompute0:
      Fn:....

We were adjusting the inner NovaCompute0 to the current scaling loop
position rather than exploding it out as part of the map. For now, we
want maps to be global in context so the fix is fortunately simple.

Change-Id: Ibea723d4c763f593d934a9d2acfd31ce369f6408

Add a check target.

Just developer convenience - I'm used to autotools 'make check'
environments.

Change-Id: Idf5bb882f798d22d4513756b5273d4ae19caa5c0

Merge "Add GlanceLogFile and GlanceNotifierStrategy"

Merge "Make Wait Conditions depend on config creation"

Make Wait Conditions depend on config creation

Currently our wait conditions are racing with Heat resolving
configurations. There should be plenty of time but sometimes Heat may
be dealing with a temporarily problematic Nova API and spinning on that.
While that is happening, the in-instance tools will not have their full
configuration available to them. We don't want the wait condition timeout
to start until the box has had its actual config exposed to it.

Change-Id: I0eab8fe7547d3cbcebb1559fd3d06206b1750e96

Add GlanceLogFile and GlanceNotifierStrategy

Expose 2 new parameters to control glance configuration:
- GlanceLogFile
- GlanceNotifierStrategy

This will allow the glance configuration options log_file and
notifier_strategy to be set in glance-api.conf and glance-registry.conf

Change-Id: I1af1ecfdfe0859f2baba4579aab6e947a2a54308

Different Flavors for Tuskar roles

- different Flavors for control, compute and storage nodes
- for devtest use, they default to 'baremetal', so nothing
  changes
- for Tuskar, there is a possibility to have them different for
  every role

Change-Id: I8c1b80f55a91c7a7fd5e560ccdb8da82ec374084

Fix the hosts setting - nova uses novalocal.

Not '.local'. Doh.

Change-Id: I61ac6e5d6dfefcfe8c78618f6fc5d4c2c61831f0

Gather all hypervisor names into /etc/hosts.

Nova compute uses hostnames to do live migration, so we need this, or
DNS, and for now this is simpler, as we don't have Designate available
in the undercloud.

Change-Id: Idf0b106c5fbe60680b23a730eb37619a3d796869

Add a Merge::Map feature.

We need to scatter gather in a few situations - determining rabbit
cluster membership, galera membership and configuring hosts for Nova
to permit live migration (which requires host->host communication).
This patch is a proof of concept for an eventual heat feature,
expressed in merge.py. The example given should work for actual use,
but I'll deliver that change separately.

Change-Id: I68e9b2471866810cc698ca3ea28ddf5bb1688d7b

Fix tests.

We're not gating yet - this skew crept in.

Change-Id: I97b064f6d0cb75bf80b423951101687b6d26d90c

Remove uses of functions in parameter defaults

This doesn't work in recent versions of Heat and it shouldn't really
have ever worked.

Change-Id: I60772173f8d5baa5768b5626266b2e61cd93fbe2
Closes-Bug: #1282594

Add username parameter for rabbit

Username is currently assumed to be guest in the configuration
files. This change makes it more explicit.

Configuration files in tripleo-image-elements will be updated
to use this parameter in an upcoming patch.

Change-Id: Ia176f4d573a3a293560c72236a4181befa678301

Fix typo in undercloud-vm-source.yaml

There is no NoEcho type.

Change-Id: Id652b80f394a0d0b9e4b83ca9a61d2b547a14c3e

Merge "Support TripleO-CI for overcloud builds."

Merge "Allow manual hosts entry exports in overcloud."

Support TripleO-CI for overcloud builds.

For Tripleo-CI we can't generate the key in the VM and hand it out,
because we have restricted access to the machine. Plus, this has been
ugly forever. Pass an SSH key in, rather than pulling one out.

Change-Id: I1def0757758e30e63891ff099106dac158bd8d83

Merge "Add a debian-mirror heat template"

Allow manual hosts entry exports in overcloud.

This makes it possible to have SSL connections to APIs from compute
hosts with no DNS or external connectivity - something the
ci-overcloud has.

Change-Id: I089ef8fdfb4a59279f09bf3cd2a4474000e4bfa6

Make it possible to do physical networks for VMs.

This patch makes it possible to setup physical networks for VMs,
separate to the control plane configuration which is needed for
routed/natted access to physical networks.

Future work is needed to automate ci-overcloud configuration of the
control plane where we need two distinct bridges, but this is enough
to stop folk dying of boredom setting up a sizeable ci-overcloud.

Change-Id: I6ac7129f22bb797467adb0408638781d20081f19

Permit overriding the undercloud controller ip.

Currently we infer the controller IP address from Neutron, but when
we get HA, the controller address may move around so would need to
be the floating IP. Equally, folk doing unusual sets may need to
have the IP address be something other than what the seed Neutron
handed out.

Change-Id: I97441d009b831fd7356a6c58f4c9edc7532f7d05

Drop PowerUserName from overcloud-source.yaml

This parameter is only used for underclouds... no need
for it here.

Change-Id: I8cfda18ef4c9d7aa20fca7f1ba596541c3aad1ac

Support neutron.flat-networks in overclouds.

This is needed to allow configuring the template in
I9fa923b63033edb694720bfe5fc756a7c0fbfd2a.

Change-Id: I65810db156cb3d93291ac56fcf96e3ed2c87e1b2

Make make overcloud.yaml DTRT always.

Change-Id: I3aebf49c87434026b9eea9de9a67cb3196bc48b2

Merge "Remove InstanceType and ImageId from cinder template"

Remove image parameter changing from merge

The merge tool originally was meant to merge somewhat different things,
and thus this was helpful in the early versions. However, at this point
we want parameters to be more stable and we don't generally merge things
that have their own image parameter.

Meanwhile this feature caused problems as we change resource names.

This is a backward incompatible change of default behavior, but the old
behavior can be had again by passing --change-image-params.

Change-Id: I78cf31f0443f3d9f274758f5471a5bca9155635d

Add a debian-mirror heat template

Populate defaults for the debian-mirror image-element using a heat
template.

Change-Id: I28de1d04be7292dad1bc448ff8bbde634cebd6f3

Remove file injection config option.

We're just forcing it off now that the seed is Neutron based.

Change-Id: I3ebc1454aba9d2c2587628f9cded6e0f445f3606

Prep work for a scalable control plane.

This is complete as far as it goes but it isn't enough to make running
a scaled out control plane actually work. Specifically, the constructs
to point at API hosts based on looking up a network address aren't
suirtable for scaled out - we need to be using the virtual IP or DNS
round robin or other such resilient configurations, but that is
largely / entirely orthogonal to making the template be ready for
scaling.

Change-Id: Ib9e6db5e7d5db84e4746afdabea046d2b8702bbb

Update overcloud to support N compute hosts.

This uses the new merge feature earlier in this series.

Exporting COMPUTESCALE before running make will build a different
template. Note that since Make doesn't depend on variable values, you
need to delete overcloud.yaml between building with different scales.

Change-Id: If05b99ae3596bcc794e3a899ab1443aeb14ec754

Merge "Make scaling out a feature for merge.py."

Merge "Make debugging merge.py in the test suite possible."

Merge "Permit writing output to other than stdout."

Remove InstanceType and ImageId from cinder template

InstanceType and ImageId properties belong to an
AWS::AutoScaling::LaunchConfiguration, for example as used for
NovaCompute0Config in nova-compute-instance.yaml. However this
template doesn't use a LaunchConfig but params instead. AFAICT
we don't need these here (and they cause HEAT template validation
to fail)

Change-Id: If444e4449e3d62cb954de48bc3b55b16dcc8886f

Make scaling out a feature for merge.py.

This is a simple implementation designed to work with our current
non-HOT approach. We need to adjust our templates a little to support
this - though future work could make that better, it's orthogonal to
this effort.

Change-Id: I555617e5f24a5882de915f057dc02e008c81e753

Make debugging merge.py in the test suite possible.

Change-Id: Ie30f0421601cbd5cf8f88dcc3dcf818b1db589ba

Permit writing output to other than stdout.

Change-Id: I8349f347578bab564e4c37ee2c87314881e09b01

Allow setting a single NTP Server

We can allow multiple later when we have better tools for such things.

Change-Id: Ie902843c28f8a7258b207745653184784e3e9665
Partial-Bug: #1184486

Merge "Use OS::Heat::UpdateWaitConditionHandle"

Merge "Expose bridge_mappings in the overcloud."

Expose bridge_mappings in the overcloud.

Some overclouds will want physical networks to be accessible by VMs,
and this is a component of that.

Change-Id: I5f65c040526f785b4e976f87980d94588b3fb63c

Merge "Add SSL configuration metadata for overclouds."

Add license file

Change-Id: I6f1807b2c4f3ec8bc0b181015997516c692fafee

Merge "Add optional cinder storage node to overcloud"

Use OS::Heat::UpdateWaitConditionHandle

This alternate wait condition handle is used to make updates wait for
signals from all parties to signal they're ready.

This change will not work until the following Change Id lands in Heat:

Ibfadc6f9c436ce3d0f468a4e5560233f762038dd

Change-Id: Id11b5c79df5f41e49f1bf3c860e414204a242293

Add SSL configuration metadata for overclouds.

This passes SSL keys in via Heat which places a high cost on heat
compromises or the use of a non-SSL heat to do deploys. We'll want
to ensure that that is documented clearly.

Change-Id: I14d441460116fda91fbd1d2097c5598b57155a6d

Add optional cinder storage node to overcloud

Mergeable block storage yaml template. Makefile updated to create a
overcloud-with-block-storage template to deploy an additional machine
as a block storage node.

Change-Id: I37c06cde114592507a4583f7ec53ffac123d66e3

Merge "Add undercloud-vm-ironic-source yaml file"

Merge "Add all and clean targets to makefile"

Merge "Avoid echoing comment from makefile recipe"

Add all and clean targets to makefile

Just for convenience, particularly 'make clean'.

Change-Id: Ic9964ace7fb4c675e84b3b9343fc8239abca44ac

Avoid echoing comment from makefile recipe

We include a comment to explain why nova-compute-instance.yaml is
included in the prerequisite list for overcloud.yaml, but this comment
gets echoed by make before it executes the recipe using a shell.

  $> make overcloud.yaml
  # overcloud-source.yaml [..] won't work here because [..]
  # a prerequisite but don't want to pass it into merge.py
  python ./tripleo_heat_merge/merge.py overcloud-source.yaml [..]
  mv overcloud.yaml.tmp overcloud.yaml

Instead, maintain a list of files included by overcloud.yaml in a
variable and put a comment above that.

Change-Id: I1af69fbb33e1833170f086aec9b54c5c4e57138f

Add a wait condition to undercloud stack

Using of Heat wait conditions allows us to reliably reason when a
stack creation is complete (as the completion handle is triggered
when os-refresh-config completes).

Change-Id: I89725143532177a0b4aea23c1c31bc7737da0896

Add undercloud-vm-ironic-source yaml file

Copies the undercloud-vm-source yaml file and removes portions which
were particular to nova-baremetal, replacing them and paving the way
for further Ironic-specific changes.

Change-Id: Ied49b0f8018291a0851cf2e10d83a174cb180479

Merge "Add Ceilometer parameters for the overcloud"

Configure undercloud to use ext4 ephemeral FS

Ext4 is significantly more efficient when being created, and we do not
need to support older OS's or platforms that do not support ext4.

This will be ineffective until the change to the nova element lands,
but it is harmless to land this first. That change is referenced by this
Gerrit change ID in tripleo-image-elements:

Ic754f3b342b632a6919d4ad1b808627ec9fa4308

Closes-Bug: #1266262
Change-Id: Icca5fd94ca230141818ee9adb416f6f062869c6b

Add Ceilometer parameters for the overcloud

Change-Id: I205bb2c0bb7c9b956fd3e0d6b266bdf5afb48864

Make merge.py installable as a package using pbr

Now that merge.py is invokable from another script
(Ia6b6416fe10358d23f2b120283eecaf4c1178cfd) and from comments at that
review, it makes sense to offer a nicer way to consume the merge
functionality.

Once you git clone tripleo-heat-templates you can python setup.py
install and get /usr/bin/tripleo_heat_merge as well as a
tripleo_heat_merge package in python2.7/site-packages.

Makefile edits required because we moved merge.py into the
tripleo_heat_merge directory for the packaging.

Change-Id: I587fa7a826f93f89e8e5c266af7f5765438fe738

Permit setting overcloud image update policies.

This is the first step towards preserving state on stack updates when the image
id has changed.

I chose REPLACE as the default value because that is the current behaviour and
we can override it from the command line.

Change-Id: I64eab51892922ab51a89a9f389457fd1ed979fb2

Adds included-template-dir param for resolving template FileIncludes

In I587fa7a826f93f89e8e5c266af7f5765438fe738 there is a problem with
the overcloud.yaml Make target. Once the merge.py script is moved from
where the templates are, FileInclude paths cannot be resolved relative
to the script. The included-template-path defaults to './'

Change-Id: I220c5e52d8062e98aa28a1c582e29c7e844bc9ae

Make merge.py invokable from another script

Until now this script has been used at the command line. Tuskar would like
to consume the merge.py functionality to generate the overcloud heat stack
template. A main() is thus added here as well as a few related nits like
ensuring paths are absolute for included files. The actual merge
functionality is split into its own method so it can be invoked more
cleanly from calling scripts. The main method is then used at the command
line as before

For more info about how this will all be used by Tuskar see
I578b4e9f238590ea245b827bc75d252568d194fe

Change-Id: Ia6b6416fe10358d23f2b120283eecaf4c1178cfd

Merge "Fix case of OpenStack in templates."

Fix case of OpenStack in templates.

merge.py seems to look for OpenStack::ImageBuilder::Elements

But we use Openstack::ImageBuilder::Elements in our templates.

Change-Id: I94ee367cf77c3f2929ee23d2dcdd28622849c89e

Name the undercloud resources with 'undercloud'.

Using notcompute for the undercloud resources is a bit confusing
so lets rename them accordingly. This change shouldn't effect
the devtest scripts or toci because we don't pass a parameter
in for the undercloud.

Change-Id: I33c28a3554fe117c5a0a6e641ea277f7a95f2b35

Wait for o-r-c on nova compute as well.

We have seen situations where nova-compute is not ready when notcompute
has run its waitcondition. That leads to  errors while we fail to boot
instances until there is at least one nova compute available.

We also update nova-compute-instance.yaml so that it continues to work
stand-alone.

Change-Id: Iadea7a34e2cd4576cc78659b99c12e1041af5b45

Use merge.py for the undercloud templates.

This will require some changes to our devtest scripts
and TOCI to ensure we build the overcloud-vm template
before attempting to use it.

Change-Id: I14b5e4a0ccf5f18429bfc33e527bdb4760b8d1a3

enable Ironic password for keystone auth

The current version of the ironic-source.yaml uses AdminPassword, it
should use the ironic users password and not the admin user password.
The patch corrects an authentication error by adding IronicPassword
to ironic-source.yaml file.

Change-Id: Idbe4950bb3026e2201ddfddc4b58c2bf98972be9

Add metadata to configure swift

o Adds the required swift metadata (in swift-source.yaml).
o Sets up glance to use the swift backend on the overcloud.
o Sets up glance to use the file backend on the undercloud and seed,
  i.e. maintain the Status quo.

Change-Id: I4a70ffbf9c51f1fea5cfc84d8718d3d30d36b3f2

Merge "Drop NeutronNativePXE option from undercloud tmpls"

Drop NeutronNativePXE option from undercloud tmpls

Depends on https://review.openstack.org/55338

We now just want to default to using Neutron native PXE.

Change-Id: Idec46638b88d7c050e721588e5dbddf233d02493

Fix KeystoneURL

Currently KeystoneURL reports back the noncompute instance IP, not the proper
API endpoint for the Keystone service.

Change-Id: If121620ec549d33f81522465f72e501b7723dd7d

Rename heat_watch_server_url to watch_server_url

The other *_server_url parameters are not prefixed with heat_ and this
is already in the heat namespace.

Change-Id: I24effcfedccb7b69b4e4d022db6676da51083401

Merge "Add Ironic-source.yaml"

Merge "Disable nova bm file injection in undercloud"

Add Ironic-source.yaml

Mergeable Ironic yaml template. Makefile updated to create a
undercloud-vm-ironic template. This patch will allow Ironic
developers to include Ironic in the undercloud vm.

Change-Id: Ie3998336a12f3509742634e59de5c9bee922d579

Disable nova bm file injection in undercloud

We are now relying on host routes feature of neutron-dhcp-agent,
so it's time to disable nova bm file injection in undercloud
and use neutron-dhcp-agent instead (if file injection is enabled
the static route for metadata server is not set and overcloud
machines hit seed vm metadata server instead of undercloud one).

Co-Authored-By: Derek Higgins <derekh@redhat.com>
Partial-Bug: #1241042

Change-Id: I04a7fb0399031cbf475a427cceac080296f9bc8d

Merge "Add KeystoneURL to Outputs section"

Add release configuration.

We can now release through openstack.org infrastructure.

Change-Id: I6dff6ae4a97db15bdc4ce419e46e9a125bec277c

Add KeystoneURL to Outputs section

Having the KeystoneURL accessible in Heat allows the user to access the
overcloud services using the service catalog.

Change-Id: Ie6ef1aadf2f027d0b0793fea59385832c9f0c25f

Merge "Add tuskar API service configuration"

Move os-collect-config section

All these sections are in alphabetical order except this one.

Change-Id: Id0586b5ba11e3c00e36397c7e2cd46e0c8cae292

Add tuskar API service configuration

Needed for I1d16e535ae50a06a8792e1613bb6b6c4647bf128 to
work properly.

Change-Id: Ib66e688bd7500f03dea7d4282607cd51078e9a51

Make LaunchConfiguration resources mergeable

This can be very useful for merging of Metadata to be used
by optional services (e. g. to add services like tuskar to
undercloud on demand).

Change-Id: Ifc4016d6e994064c0772c12e668e98bf055fada9

Hide the AdminToken too.

This is arguably more important than passwords as it allow rooting
keystone :).

Change-Id: I12d8ae0f096480112a82d7598eedae64a6fbd861

Add metadata for the nova floating-ips extension.

Nova defaults to trying to allocate floating ips from a neutron
network called 'nova' but we called our external one ext-net (which
various Neutron documentation uses), so we need to override it or the
nova floating-ips extension isn't usable [without explicitly setting a
pool in the API calls].

Partial-Bug: #1239450
Change-Id: I1ef78642bdc1f19d25422961350e4f02a8f6c16f

Alpha sort the nova and neutron sections.

I'm having a minor OCD moment.

Change-Id: I49cdf078d24a38dcdb1f2801764dbcbd6dd10ccf

Add parameters for undercloud power_managers.

Adds a new PowerManager parameter for the baremetal power
management driver.

Change-Id: I3d3b1f8e190d9de9705b2319726cdddb5624fc83

Permit overriding the default route for neutron.

The intent here is that the undercloud default route will be discard,
but the router kept for access to the metadata service, and this
specified route will be used for all other traffic.

Change-Id: Idf3f8252c4d4be30839d9d08ad7d4ce49538f04e

Allow making the public interface a vlan.

In the CD overcloud we need to use a VLAN for public traffic.

Change-Id: I8d674e1ae58063d9be338023819f174d1bc028e4

Make it possible to set the public interface ip.

This is already supported by the ovs agent, but we didn't need it for
the emulated overclouds. Now we're working on bare metal, it's needed
for some deployments.

Change-Id: Ibb41c40d371e4c153a84fd09c370b158add75b81

Make neutron public interface configurable.

Not all machines use eth0 :).

Change-Id: I2d0cfd8df46e7eda1b7db2ea5c8e84d3e970c862

Delete unused interfaces.control key.

Change-Id: I3a84cf52cc46f0c338319a046d77edb2a9b29c45

Merge "Remove an unsed target from Makefile"

Remove an unsed target from Makefile

notcompute.yaml seems to be unsed for a while, but it's
still present in Makefile (its dependencies were removed
by change I952c630ca424d114feb643a6c34d182cad660f26).

Change-Id: If5d84bd822f748c962cdb2b95b6bbd5d5e1f11fa

Add a waitcondition for signalling stack-up.

Without this we need horrible hacks to detect whether the cloud is
ready to use.

Change-Id: Ic5c5fd16c6c283d3d339e1f1238d3349d0b93f7c

Merge "Add a bare metal undercloud template."

Make test_merge.bash executable

This is an executable script, lets make it so.

Change-Id: Ie8e1196fdd7883447d05e89e001418d284bfcbf3

Add a bare metal undercloud template.

This should be factored into a lib and different includes, but right
now - iteration one - we need the thing up and running.

Change-Id: I1d0ed1c33385fd66ddfe39440f181dbb9b295fe9

Add recursive whole-file __include__ tag

We can now merge an entire file with minimal effort.

Change-Id: If86657fb9f9cca0f048c9e01100a3667597a6596

Merge "Make it possible to enable native neutron PXE."