Merge "Make scaling out a feature for merge.py."

Merge "Make debugging merge.py in the test suite possible."

Merge "Permit writing output to other than stdout."

Make scaling out a feature for merge.py.

This is a simple implementation designed to work with our current
non-HOT approach. We need to adjust our templates a little to support
this - though future work could make that better, it's orthogonal to
this effort.

Change-Id: I555617e5f24a5882de915f057dc02e008c81e753

Make debugging merge.py in the test suite possible.

Change-Id: Ie30f0421601cbd5cf8f88dcc3dcf818b1db589ba

Permit writing output to other than stdout.

Change-Id: I8349f347578bab564e4c37ee2c87314881e09b01

Allow setting a single NTP Server

We can allow multiple later when we have better tools for such things.

Change-Id: Ie902843c28f8a7258b207745653184784e3e9665
Partial-Bug: #1184486

Merge "Use OS::Heat::UpdateWaitConditionHandle"

Merge "Expose bridge_mappings in the overcloud."

Expose bridge_mappings in the overcloud.

Some overclouds will want physical networks to be accessible by VMs,
and this is a component of that.

Change-Id: I5f65c040526f785b4e976f87980d94588b3fb63c

Merge "Add SSL configuration metadata for overclouds."

Add license file

Change-Id: I6f1807b2c4f3ec8bc0b181015997516c692fafee

Merge "Add optional cinder storage node to overcloud"

Use OS::Heat::UpdateWaitConditionHandle

This alternate wait condition handle is used to make updates wait for
signals from all parties to signal they're ready.

This change will not work until the following Change Id lands in Heat:

Ibfadc6f9c436ce3d0f468a4e5560233f762038dd

Change-Id: Id11b5c79df5f41e49f1bf3c860e414204a242293

Add SSL configuration metadata for overclouds.

This passes SSL keys in via Heat which places a high cost on heat
compromises or the use of a non-SSL heat to do deploys. We'll want
to ensure that that is documented clearly.

Change-Id: I14d441460116fda91fbd1d2097c5598b57155a6d

Add optional cinder storage node to overcloud

Mergeable block storage yaml template. Makefile updated to create a
overcloud-with-block-storage template to deploy an additional machine
as a block storage node.

Change-Id: I37c06cde114592507a4583f7ec53ffac123d66e3

Merge "Add undercloud-vm-ironic-source yaml file"

Merge "Add all and clean targets to makefile"

Merge "Avoid echoing comment from makefile recipe"

Add all and clean targets to makefile

Just for convenience, particularly 'make clean'.

Change-Id: Ic9964ace7fb4c675e84b3b9343fc8239abca44ac

Avoid echoing comment from makefile recipe

We include a comment to explain why nova-compute-instance.yaml is
included in the prerequisite list for overcloud.yaml, but this comment
gets echoed by make before it executes the recipe using a shell.

  $> make overcloud.yaml
  # overcloud-source.yaml [..] won't work here because [..]
  # a prerequisite but don't want to pass it into merge.py
  python ./tripleo_heat_merge/merge.py overcloud-source.yaml [..]
  mv overcloud.yaml.tmp overcloud.yaml

Instead, maintain a list of files included by overcloud.yaml in a
variable and put a comment above that.

Change-Id: I1af69fbb33e1833170f086aec9b54c5c4e57138f

Add a wait condition to undercloud stack

Using of Heat wait conditions allows us to reliably reason when a
stack creation is complete (as the completion handle is triggered
when os-refresh-config completes).

Change-Id: I89725143532177a0b4aea23c1c31bc7737da0896

Add undercloud-vm-ironic-source yaml file

Copies the undercloud-vm-source yaml file and removes portions which
were particular to nova-baremetal, replacing them and paving the way
for further Ironic-specific changes.

Change-Id: Ied49b0f8018291a0851cf2e10d83a174cb180479

Merge "Add Ceilometer parameters for the overcloud"

Configure undercloud to use ext4 ephemeral FS

Ext4 is significantly more efficient when being created, and we do not
need to support older OS's or platforms that do not support ext4.

This will be ineffective until the change to the nova element lands,
but it is harmless to land this first. That change is referenced by this
Gerrit change ID in tripleo-image-elements:

Ic754f3b342b632a6919d4ad1b808627ec9fa4308

Closes-Bug: #1266262
Change-Id: Icca5fd94ca230141818ee9adb416f6f062869c6b

Add Ceilometer parameters for the overcloud

Change-Id: I205bb2c0bb7c9b956fd3e0d6b266bdf5afb48864

Make merge.py installable as a package using pbr

Now that merge.py is invokable from another script
(Ia6b6416fe10358d23f2b120283eecaf4c1178cfd) and from comments at that
review, it makes sense to offer a nicer way to consume the merge
functionality.

Once you git clone tripleo-heat-templates you can python setup.py
install and get /usr/bin/tripleo_heat_merge as well as a
tripleo_heat_merge package in python2.7/site-packages.

Makefile edits required because we moved merge.py into the
tripleo_heat_merge directory for the packaging.

Change-Id: I587fa7a826f93f89e8e5c266af7f5765438fe738

Permit setting overcloud image update policies.

This is the first step towards preserving state on stack updates when the image
id has changed.

I chose REPLACE as the default value because that is the current behaviour and
we can override it from the command line.

Change-Id: I64eab51892922ab51a89a9f389457fd1ed979fb2

Adds included-template-dir param for resolving template FileIncludes

In I587fa7a826f93f89e8e5c266af7f5765438fe738 there is a problem with
the overcloud.yaml Make target. Once the merge.py script is moved from
where the templates are, FileInclude paths cannot be resolved relative
to the script. The included-template-path defaults to './'

Change-Id: I220c5e52d8062e98aa28a1c582e29c7e844bc9ae

Make merge.py invokable from another script

Until now this script has been used at the command line. Tuskar would like
to consume the merge.py functionality to generate the overcloud heat stack
template. A main() is thus added here as well as a few related nits like
ensuring paths are absolute for included files. The actual merge
functionality is split into its own method so it can be invoked more
cleanly from calling scripts. The main method is then used at the command
line as before

For more info about how this will all be used by Tuskar see
I578b4e9f238590ea245b827bc75d252568d194fe

Change-Id: Ia6b6416fe10358d23f2b120283eecaf4c1178cfd

Merge "Fix case of OpenStack in templates."

Fix case of OpenStack in templates.

merge.py seems to look for OpenStack::ImageBuilder::Elements

But we use Openstack::ImageBuilder::Elements in our templates.

Change-Id: I94ee367cf77c3f2929ee23d2dcdd28622849c89e

Name the undercloud resources with 'undercloud'.

Using notcompute for the undercloud resources is a bit confusing
so lets rename them accordingly. This change shouldn't effect
the devtest scripts or toci because we don't pass a parameter
in for the undercloud.

Change-Id: I33c28a3554fe117c5a0a6e641ea277f7a95f2b35

Wait for o-r-c on nova compute as well.

We have seen situations where nova-compute is not ready when notcompute
has run its waitcondition. That leads to  errors while we fail to boot
instances until there is at least one nova compute available.

We also update nova-compute-instance.yaml so that it continues to work
stand-alone.

Change-Id: Iadea7a34e2cd4576cc78659b99c12e1041af5b45

Use merge.py for the undercloud templates.

This will require some changes to our devtest scripts
and TOCI to ensure we build the overcloud-vm template
before attempting to use it.

Change-Id: I14b5e4a0ccf5f18429bfc33e527bdb4760b8d1a3

enable Ironic password for keystone auth

The current version of the ironic-source.yaml uses AdminPassword, it
should use the ironic users password and not the admin user password.
The patch corrects an authentication error by adding IronicPassword
to ironic-source.yaml file.

Change-Id: Idbe4950bb3026e2201ddfddc4b58c2bf98972be9

Add metadata to configure swift

o Adds the required swift metadata (in swift-source.yaml).
o Sets up glance to use the swift backend on the overcloud.
o Sets up glance to use the file backend on the undercloud and seed,
  i.e. maintain the Status quo.

Change-Id: I4a70ffbf9c51f1fea5cfc84d8718d3d30d36b3f2

Merge "Drop NeutronNativePXE option from undercloud tmpls"

Drop NeutronNativePXE option from undercloud tmpls

Depends on https://review.openstack.org/55338

We now just want to default to using Neutron native PXE.

Change-Id: Idec46638b88d7c050e721588e5dbddf233d02493

Fix KeystoneURL

Currently KeystoneURL reports back the noncompute instance IP, not the proper
API endpoint for the Keystone service.

Change-Id: If121620ec549d33f81522465f72e501b7723dd7d

Rename heat_watch_server_url to watch_server_url

The other *_server_url parameters are not prefixed with heat_ and this
is already in the heat namespace.

Change-Id: I24effcfedccb7b69b4e4d022db6676da51083401

Merge "Add Ironic-source.yaml"

Merge "Disable nova bm file injection in undercloud"

Add Ironic-source.yaml

Mergeable Ironic yaml template. Makefile updated to create a
undercloud-vm-ironic template. This patch will allow Ironic
developers to include Ironic in the undercloud vm.

Change-Id: Ie3998336a12f3509742634e59de5c9bee922d579

Disable nova bm file injection in undercloud

We are now relying on host routes feature of neutron-dhcp-agent,
so it's time to disable nova bm file injection in undercloud
and use neutron-dhcp-agent instead (if file injection is enabled
the static route for metadata server is not set and overcloud
machines hit seed vm metadata server instead of undercloud one).

Co-Authored-By: Derek Higgins <derekh@redhat.com>
Partial-Bug: #1241042

Change-Id: I04a7fb0399031cbf475a427cceac080296f9bc8d

Merge "Add KeystoneURL to Outputs section"

Add release configuration.

We can now release through openstack.org infrastructure.

Change-Id: I6dff6ae4a97db15bdc4ce419e46e9a125bec277c

Add KeystoneURL to Outputs section

Having the KeystoneURL accessible in Heat allows the user to access the
overcloud services using the service catalog.

Change-Id: Ie6ef1aadf2f027d0b0793fea59385832c9f0c25f

Merge "Add tuskar API service configuration"

Move os-collect-config section

All these sections are in alphabetical order except this one.

Change-Id: Id0586b5ba11e3c00e36397c7e2cd46e0c8cae292

Add tuskar API service configuration

Needed for I1d16e535ae50a06a8792e1613bb6b6c4647bf128 to
work properly.

Change-Id: Ib66e688bd7500f03dea7d4282607cd51078e9a51

Make LaunchConfiguration resources mergeable

This can be very useful for merging of Metadata to be used
by optional services (e. g. to add services like tuskar to
undercloud on demand).

Change-Id: Ifc4016d6e994064c0772c12e668e98bf055fada9

Hide the AdminToken too.

This is arguably more important than passwords as it allow rooting
keystone :).

Change-Id: I12d8ae0f096480112a82d7598eedae64a6fbd861

Add metadata for the nova floating-ips extension.

Nova defaults to trying to allocate floating ips from a neutron
network called 'nova' but we called our external one ext-net (which
various Neutron documentation uses), so we need to override it or the
nova floating-ips extension isn't usable [without explicitly setting a
pool in the API calls].

Partial-Bug: #1239450
Change-Id: I1ef78642bdc1f19d25422961350e4f02a8f6c16f

Alpha sort the nova and neutron sections.

I'm having a minor OCD moment.

Change-Id: I49cdf078d24a38dcdb1f2801764dbcbd6dd10ccf

Add parameters for undercloud power_managers.

Adds a new PowerManager parameter for the baremetal power
management driver.

Change-Id: I3d3b1f8e190d9de9705b2319726cdddb5624fc83

Permit overriding the default route for neutron.

The intent here is that the undercloud default route will be discard,
but the router kept for access to the metadata service, and this
specified route will be used for all other traffic.

Change-Id: Idf3f8252c4d4be30839d9d08ad7d4ce49538f04e

Allow making the public interface a vlan.

In the CD overcloud we need to use a VLAN for public traffic.

Change-Id: I8d674e1ae58063d9be338023819f174d1bc028e4

Make it possible to set the public interface ip.

This is already supported by the ovs agent, but we didn't need it for
the emulated overclouds. Now we're working on bare metal, it's needed
for some deployments.

Change-Id: Ibb41c40d371e4c153a84fd09c370b158add75b81

Make neutron public interface configurable.

Not all machines use eth0 :).

Change-Id: I2d0cfd8df46e7eda1b7db2ea5c8e84d3e970c862

Delete unused interfaces.control key.

Change-Id: I3a84cf52cc46f0c338319a046d77edb2a9b29c45

Merge "Remove an unsed target from Makefile"

Remove an unsed target from Makefile

notcompute.yaml seems to be unsed for a while, but it's
still present in Makefile (its dependencies were removed
by change I952c630ca424d114feb643a6c34d182cad660f26).

Change-Id: If5d84bd822f748c962cdb2b95b6bbd5d5e1f11fa

Add a waitcondition for signalling stack-up.

Without this we need horrible hacks to detect whether the cloud is
ready to use.

Change-Id: Ic5c5fd16c6c283d3d339e1f1238d3349d0b93f7c

Merge "Add a bare metal undercloud template."

Make test_merge.bash executable

This is an executable script, lets make it so.

Change-Id: Ie8e1196fdd7883447d05e89e001418d284bfcbf3

Add a bare metal undercloud template.

This should be factored into a lib and different includes, but right
now - iteration one - we need the thing up and running.

Change-Id: I1d0ed1c33385fd66ddfe39440f181dbb9b295fe9

Add recursive whole-file __include__ tag

We can now merge an entire file with minimal effort.

Change-Id: If86657fb9f9cca0f048c9e01100a3667597a6596

Merge "Make it possible to enable native neutron PXE."

Merge "Set the undercloud host name to 'undercloud'."

Set the undercloud host name to 'undercloud'.

This makes more sense than calling it 'ubuntu'.

Note: This will require an associated incubator change which
I will push momentarily.

Change-Id: I166b45a6ceb34635ed5ef7e29dd028f8c6a4cbe3

Make it possible to enable native neutron PXE.

This is used to control the dhcp_options_enabled flag in nova.conf,
needed to enable PXE orchestration (until Nova assumes all Neutron
libraries and servers support it).

Change-Id: I035a2341d829a9987eeeebdd9c22f039e69489db

Refactor test_merge.bash for multiple tests

We will be adding more tests, so make it more of a framework for that.

Also fix up minor lib.yaml formatting bug.

Change-Id: Ic0fe1679f8d62680dfd0acf215c849aa38b913da

Add functional tests and examples for merge

merge.py is undocumented and untested, which is undesirable, as it does
not seem to be going away any time soon.

Change-Id: I7e4870e58a32c567e5947b9a48893b8210ad4d65

Provide Neutron password in compute metadata

overcloud compute node makes requests to Neutron API
and requires quantum_admin_password option of nova.conf
to be set (it is defined in nova image element like
quantum_admin_password={{neutron.service-password}}).

Without this, booting of a user instance in overcloud
fails, because nova-compute service can't authorize
requests to Neutron API.

Change-Id: Ie726d0c3d54abc6c24a45fde3f5af03fd2cf9e37

Set NoEcho: true for parameters containing secrets

This prevents secret values being returned for stack-show.

Change-Id: I82eff26fda31511b66c6371f6ded2a5fb559f3fb
Fixes-Bug: #1226730

Finish correcting all OS::Nova::Server references

Some references to first_private_address were missed and some of the
Fn::Select calls were only half-completed.

Change-Id: I92a4e5e67784e5d64ec6e44ddcac55762cde81eb

Replace broken usage of first_private_address

The OpenStack native OS::Nova::Server gives us the full list of
networks rather than AWS::EC2::Instance's contrived view of 'private'
and 'public'. We know we want ctlplane, and use Fn::Select to choose
that network directly. The outer Fn::Select is meant to choose the
first network every time, which may not always be correct, but is at
this point.

Change-Id: Iae54ab8d9ac8d84f4f6e2f86ac1b66aacb687473

Allow customising the Nova BM architecture.

Nova BM can only run one architecture at a time, and the incubator
currently documents running sed against undercloud-vm.yaml!

Change-Id: Ib157cf405a40fa983f1df3fb3ed62d04262e3e81

Update PrivateIp to first_private_address.

Update the PrivateIp attribute to first_private_address as a result of
the change to the OS::Nova::Server type.

Change-Id: Id90f8c7c4e0217e1f94d3e5134744a810390e7b7

Make Heat service password configurable.

So that it can be a snowflake! (unique).

Change-Id: Ic823620ace7df5636cd9ff16dcd7476654692e6c

Remove unused swift undercloud definition.

The undercloud doesn't contain swift.

Change-Id: I1372ed28d7ee5bec2b0e03941bd8d50a0b749825

Get rid of global service-password.

No longer needed, less globals == win.

Change-Id: I2872e5a8775a09b2e857ef082f3b86109785a126

Add Nova service password.

Another service converted to match the keystone model of unique
accounts per service.

Change-Id: I62fce289a7032138be3aca8c74df499c2b1fde28

Add Glance service password.

The in-instance scripts are about to require this.

Change-Id: I0260da5502639acc60b2791e9f957952f7ab5956

Add cinder service-password.

The instance config is about to require this.

Change-Id: Ia778a7f5926b54758e73a4ee0940ef42fe5be6a9

Remove trailing whitespace.

Change-Id: Ifde42d405e22c32f4edc2fdd4f5aed5a0c8bff20

Remove unmaintained individual service templates

First rule in the zombie apocalypse: Burn the dead.

Change-Id: I952c630ca424d114feb643a6c34d182cad660f26

Use native server resource in overcloud

Change-Id: I4745627508e8b6b687fc17527cdd3c41d09b0d80

Use native resource for nova-compute-instance

Change-Id: I347465b32578467ca3d9f55ea2994d832fcd8b3f

Update undercloud-vm.yaml to use OS::Nova::Server

Change-Id: I34c294c62bf5da4c01d72931173c055c6a13706c

Add support for merging OS::Nova::Server

Change-Id: Id6a801ee36ae73d8c2133b455e9a850c1a7b6a4d

escription -> Description

Change-Id: Iec40d309f3099998fbeb85de7538ed5e0d2e9c42

Add in Neutron service password.

The in-instance scripts are being fixed to not confuse the admin
password with the neutron service password.

Change-Id: I341574bb838a9563120791b9ac014d75274a96aa

Make admin-password configurable.

We use the admin password in in-instance scripts that configure e.g.
nagios from the cloud metadata, but production clouds will all have
unique passwords - it has to be a parameter.

Change-Id: I1f6c697ce27580fd669c7623e7fcea4c96ec62d0

Make the keystone admin token configurable.

Because unique is good for auth secrets.

Change-Id: Iaadc102d11d68d7fc059e62bd992de7ee6f2c818

Update stackforge references to openstack

Change-Id: I3f1cc6ab666045257d5ef6afc3fd26c59d90e57b

Migrate nova-compute-instance to split Metadata.

The file was using the old 0.0.0.0 method from heat-localip, but it was
missed when converting the other templates to a split Metadata approach
to enable a machine to know its own IP.

Change-Id: I0b117de12416a52950b1c7079f659df8649d67f9

Correct os-collect-config.cfn.path to be string.

Specified as a list, it gets translated literally into
["NovaCompute0"] in /etc/os-collect-config.conf. This is not
desirable and results in 500 errors because ["NovaCompute0"] does
not exist.

Change-Id: I7dc01937d73c0c0e5cea70f5a3202d0e43c4caed

Load local IP using separate post-boot Metadata.

Previously we could not feed the IP of an instance into its own
Metadata because of circular dependency problems. 0.0.0.0 was used
with the heat-localip element to work around this problem. This
caused problems though, as heat-localip would edit the source local
heat metadata, which would make cfn-hup and/or os-collect-config think
that the Metadata had changed, causing it to restart everything every
time we query the Metadata, which was about every five minutes.

Now we can just query this inert LaunchConfiguration resource to get
its' Metadata once it is ready. This resource will only change when
legitimate things are changed in the stack, and so we won't restart
everything every five minutes anymore. Note that when the native Heat
DSL lands, the OS::Heat::SoftwareConfig resource is meant for exactly
this purpose.

After this is merged we no longer need the heat-localip element.

Fixes bug #1202322

Change-Id: Id06323ba43203570eeebfa5b3d03fa56c16c0c10