Add all and clean targets to makefile

Just for convenience, particularly 'make clean'.

Change-Id: Ic9964ace7fb4c675e84b3b9343fc8239abca44ac

Avoid echoing comment from makefile recipe

We include a comment to explain why nova-compute-instance.yaml is
included in the prerequisite list for overcloud.yaml, but this comment
gets echoed by make before it executes the recipe using a shell.

  $> make overcloud.yaml
  # overcloud-source.yaml [..] won't work here because [..]
  # a prerequisite but don't want to pass it into merge.py
  python ./tripleo_heat_merge/merge.py overcloud-source.yaml [..]
  mv overcloud.yaml.tmp overcloud.yaml

Instead, maintain a list of files included by overcloud.yaml in a
variable and put a comment above that.

Change-Id: I1af69fbb33e1833170f086aec9b54c5c4e57138f

Merge "Add Ceilometer parameters for the overcloud"

Configure undercloud to use ext4 ephemeral FS

Ext4 is significantly more efficient when being created, and we do not
need to support older OS's or platforms that do not support ext4.

This will be ineffective until the change to the nova element lands,
but it is harmless to land this first. That change is referenced by this
Gerrit change ID in tripleo-image-elements:

Ic754f3b342b632a6919d4ad1b808627ec9fa4308

Closes-Bug: #1266262
Change-Id: Icca5fd94ca230141818ee9adb416f6f062869c6b

Add Ceilometer parameters for the overcloud

Change-Id: I205bb2c0bb7c9b956fd3e0d6b266bdf5afb48864

Make merge.py installable as a package using pbr

Now that merge.py is invokable from another script
(Ia6b6416fe10358d23f2b120283eecaf4c1178cfd) and from comments at that
review, it makes sense to offer a nicer way to consume the merge
functionality.

Once you git clone tripleo-heat-templates you can python setup.py
install and get /usr/bin/tripleo_heat_merge as well as a
tripleo_heat_merge package in python2.7/site-packages.

Makefile edits required because we moved merge.py into the
tripleo_heat_merge directory for the packaging.

Change-Id: I587fa7a826f93f89e8e5c266af7f5765438fe738

Permit setting overcloud image update policies.

This is the first step towards preserving state on stack updates when the image
id has changed.

I chose REPLACE as the default value because that is the current behaviour and
we can override it from the command line.

Change-Id: I64eab51892922ab51a89a9f389457fd1ed979fb2

Adds included-template-dir param for resolving template FileIncludes

In I587fa7a826f93f89e8e5c266af7f5765438fe738 there is a problem with
the overcloud.yaml Make target. Once the merge.py script is moved from
where the templates are, FileInclude paths cannot be resolved relative
to the script. The included-template-path defaults to './'

Change-Id: I220c5e52d8062e98aa28a1c582e29c7e844bc9ae

Make merge.py invokable from another script

Until now this script has been used at the command line. Tuskar would like
to consume the merge.py functionality to generate the overcloud heat stack
template. A main() is thus added here as well as a few related nits like
ensuring paths are absolute for included files. The actual merge
functionality is split into its own method so it can be invoked more
cleanly from calling scripts. The main method is then used at the command
line as before

For more info about how this will all be used by Tuskar see
I578b4e9f238590ea245b827bc75d252568d194fe

Change-Id: Ia6b6416fe10358d23f2b120283eecaf4c1178cfd

Merge "Fix case of OpenStack in templates."

Fix case of OpenStack in templates.

merge.py seems to look for OpenStack::ImageBuilder::Elements

But we use Openstack::ImageBuilder::Elements in our templates.

Change-Id: I94ee367cf77c3f2929ee23d2dcdd28622849c89e

Name the undercloud resources with 'undercloud'.

Using notcompute for the undercloud resources is a bit confusing
so lets rename them accordingly. This change shouldn't effect
the devtest scripts or toci because we don't pass a parameter
in for the undercloud.

Change-Id: I33c28a3554fe117c5a0a6e641ea277f7a95f2b35

Wait for o-r-c on nova compute as well.

We have seen situations where nova-compute is not ready when notcompute
has run its waitcondition. That leads to  errors while we fail to boot
instances until there is at least one nova compute available.

We also update nova-compute-instance.yaml so that it continues to work
stand-alone.

Change-Id: Iadea7a34e2cd4576cc78659b99c12e1041af5b45

Use merge.py for the undercloud templates.

This will require some changes to our devtest scripts
and TOCI to ensure we build the overcloud-vm template
before attempting to use it.

Change-Id: I14b5e4a0ccf5f18429bfc33e527bdb4760b8d1a3

enable Ironic password for keystone auth

The current version of the ironic-source.yaml uses AdminPassword, it
should use the ironic users password and not the admin user password.
The patch corrects an authentication error by adding IronicPassword
to ironic-source.yaml file.

Change-Id: Idbe4950bb3026e2201ddfddc4b58c2bf98972be9

Add metadata to configure swift

o Adds the required swift metadata (in swift-source.yaml).
o Sets up glance to use the swift backend on the overcloud.
o Sets up glance to use the file backend on the undercloud and seed,
  i.e. maintain the Status quo.

Change-Id: I4a70ffbf9c51f1fea5cfc84d8718d3d30d36b3f2

Merge "Drop NeutronNativePXE option from undercloud tmpls"

Drop NeutronNativePXE option from undercloud tmpls

Depends on https://review.openstack.org/55338

We now just want to default to using Neutron native PXE.

Change-Id: Idec46638b88d7c050e721588e5dbddf233d02493

Fix KeystoneURL

Currently KeystoneURL reports back the noncompute instance IP, not the proper
API endpoint for the Keystone service.

Change-Id: If121620ec549d33f81522465f72e501b7723dd7d

Rename heat_watch_server_url to watch_server_url

The other *_server_url parameters are not prefixed with heat_ and this
is already in the heat namespace.

Change-Id: I24effcfedccb7b69b4e4d022db6676da51083401

Merge "Add Ironic-source.yaml"

Merge "Disable nova bm file injection in undercloud"

Add Ironic-source.yaml

Mergeable Ironic yaml template. Makefile updated to create a
undercloud-vm-ironic template. This patch will allow Ironic
developers to include Ironic in the undercloud vm.

Change-Id: Ie3998336a12f3509742634e59de5c9bee922d579

Disable nova bm file injection in undercloud

We are now relying on host routes feature of neutron-dhcp-agent,
so it's time to disable nova bm file injection in undercloud
and use neutron-dhcp-agent instead (if file injection is enabled
the static route for metadata server is not set and overcloud
machines hit seed vm metadata server instead of undercloud one).

Co-Authored-By: Derek Higgins <derekh@redhat.com>
Partial-Bug: #1241042

Change-Id: I04a7fb0399031cbf475a427cceac080296f9bc8d

Merge "Add KeystoneURL to Outputs section"

Add release configuration.

We can now release through openstack.org infrastructure.

Change-Id: I6dff6ae4a97db15bdc4ce419e46e9a125bec277c

Add KeystoneURL to Outputs section

Having the KeystoneURL accessible in Heat allows the user to access the
overcloud services using the service catalog.

Change-Id: Ie6ef1aadf2f027d0b0793fea59385832c9f0c25f

Merge "Add tuskar API service configuration"

Move os-collect-config section

All these sections are in alphabetical order except this one.

Change-Id: Id0586b5ba11e3c00e36397c7e2cd46e0c8cae292

Add tuskar API service configuration

Needed for I1d16e535ae50a06a8792e1613bb6b6c4647bf128 to
work properly.

Change-Id: Ib66e688bd7500f03dea7d4282607cd51078e9a51

Make LaunchConfiguration resources mergeable

This can be very useful for merging of Metadata to be used
by optional services (e. g. to add services like tuskar to
undercloud on demand).

Change-Id: Ifc4016d6e994064c0772c12e668e98bf055fada9

Hide the AdminToken too.

This is arguably more important than passwords as it allow rooting
keystone :).

Change-Id: I12d8ae0f096480112a82d7598eedae64a6fbd861

Add metadata for the nova floating-ips extension.

Nova defaults to trying to allocate floating ips from a neutron
network called 'nova' but we called our external one ext-net (which
various Neutron documentation uses), so we need to override it or the
nova floating-ips extension isn't usable [without explicitly setting a
pool in the API calls].

Partial-Bug: #1239450
Change-Id: I1ef78642bdc1f19d25422961350e4f02a8f6c16f

Alpha sort the nova and neutron sections.

I'm having a minor OCD moment.

Change-Id: I49cdf078d24a38dcdb1f2801764dbcbd6dd10ccf

Add parameters for undercloud power_managers.

Adds a new PowerManager parameter for the baremetal power
management driver.

Change-Id: I3d3b1f8e190d9de9705b2319726cdddb5624fc83

Permit overriding the default route for neutron.

The intent here is that the undercloud default route will be discard,
but the router kept for access to the metadata service, and this
specified route will be used for all other traffic.

Change-Id: Idf3f8252c4d4be30839d9d08ad7d4ce49538f04e

Allow making the public interface a vlan.

In the CD overcloud we need to use a VLAN for public traffic.

Change-Id: I8d674e1ae58063d9be338023819f174d1bc028e4

Make it possible to set the public interface ip.

This is already supported by the ovs agent, but we didn't need it for
the emulated overclouds. Now we're working on bare metal, it's needed
for some deployments.

Change-Id: Ibb41c40d371e4c153a84fd09c370b158add75b81

Make neutron public interface configurable.

Not all machines use eth0 :).

Change-Id: I2d0cfd8df46e7eda1b7db2ea5c8e84d3e970c862

Delete unused interfaces.control key.

Change-Id: I3a84cf52cc46f0c338319a046d77edb2a9b29c45

Merge "Remove an unsed target from Makefile"

Remove an unsed target from Makefile

notcompute.yaml seems to be unsed for a while, but it's
still present in Makefile (its dependencies were removed
by change I952c630ca424d114feb643a6c34d182cad660f26).

Change-Id: If5d84bd822f748c962cdb2b95b6bbd5d5e1f11fa

Add a waitcondition for signalling stack-up.

Without this we need horrible hacks to detect whether the cloud is
ready to use.

Change-Id: Ic5c5fd16c6c283d3d339e1f1238d3349d0b93f7c

Merge "Add a bare metal undercloud template."

Make test_merge.bash executable

This is an executable script, lets make it so.

Change-Id: Ie8e1196fdd7883447d05e89e001418d284bfcbf3

Add a bare metal undercloud template.

This should be factored into a lib and different includes, but right
now - iteration one - we need the thing up and running.

Change-Id: I1d0ed1c33385fd66ddfe39440f181dbb9b295fe9

Add recursive whole-file __include__ tag

We can now merge an entire file with minimal effort.

Change-Id: If86657fb9f9cca0f048c9e01100a3667597a6596

Merge "Make it possible to enable native neutron PXE."

Merge "Set the undercloud host name to 'undercloud'."

Set the undercloud host name to 'undercloud'.

This makes more sense than calling it 'ubuntu'.

Note: This will require an associated incubator change which
I will push momentarily.

Change-Id: I166b45a6ceb34635ed5ef7e29dd028f8c6a4cbe3

Make it possible to enable native neutron PXE.

This is used to control the dhcp_options_enabled flag in nova.conf,
needed to enable PXE orchestration (until Nova assumes all Neutron
libraries and servers support it).

Change-Id: I035a2341d829a9987eeeebdd9c22f039e69489db

Refactor test_merge.bash for multiple tests

We will be adding more tests, so make it more of a framework for that.

Also fix up minor lib.yaml formatting bug.

Change-Id: Ic0fe1679f8d62680dfd0acf215c849aa38b913da

Add functional tests and examples for merge

merge.py is undocumented and untested, which is undesirable, as it does
not seem to be going away any time soon.

Change-Id: I7e4870e58a32c567e5947b9a48893b8210ad4d65

Provide Neutron password in compute metadata

overcloud compute node makes requests to Neutron API
and requires quantum_admin_password option of nova.conf
to be set (it is defined in nova image element like
quantum_admin_password={{neutron.service-password}}).

Without this, booting of a user instance in overcloud
fails, because nova-compute service can't authorize
requests to Neutron API.

Change-Id: Ie726d0c3d54abc6c24a45fde3f5af03fd2cf9e37

Set NoEcho: true for parameters containing secrets

This prevents secret values being returned for stack-show.

Change-Id: I82eff26fda31511b66c6371f6ded2a5fb559f3fb
Fixes-Bug: #1226730

Finish correcting all OS::Nova::Server references

Some references to first_private_address were missed and some of the
Fn::Select calls were only half-completed.

Change-Id: I92a4e5e67784e5d64ec6e44ddcac55762cde81eb

Replace broken usage of first_private_address

The OpenStack native OS::Nova::Server gives us the full list of
networks rather than AWS::EC2::Instance's contrived view of 'private'
and 'public'. We know we want ctlplane, and use Fn::Select to choose
that network directly. The outer Fn::Select is meant to choose the
first network every time, which may not always be correct, but is at
this point.

Change-Id: Iae54ab8d9ac8d84f4f6e2f86ac1b66aacb687473

Allow customising the Nova BM architecture.

Nova BM can only run one architecture at a time, and the incubator
currently documents running sed against undercloud-vm.yaml!

Change-Id: Ib157cf405a40fa983f1df3fb3ed62d04262e3e81

Update PrivateIp to first_private_address.

Update the PrivateIp attribute to first_private_address as a result of
the change to the OS::Nova::Server type.

Change-Id: Id90f8c7c4e0217e1f94d3e5134744a810390e7b7

Make Heat service password configurable.

So that it can be a snowflake! (unique).

Change-Id: Ic823620ace7df5636cd9ff16dcd7476654692e6c

Remove unused swift undercloud definition.

The undercloud doesn't contain swift.

Change-Id: I1372ed28d7ee5bec2b0e03941bd8d50a0b749825

Get rid of global service-password.

No longer needed, less globals == win.

Change-Id: I2872e5a8775a09b2e857ef082f3b86109785a126

Add Nova service password.

Another service converted to match the keystone model of unique
accounts per service.

Change-Id: I62fce289a7032138be3aca8c74df499c2b1fde28

Add Glance service password.

The in-instance scripts are about to require this.

Change-Id: I0260da5502639acc60b2791e9f957952f7ab5956

Add cinder service-password.

The instance config is about to require this.

Change-Id: Ia778a7f5926b54758e73a4ee0940ef42fe5be6a9

Remove trailing whitespace.

Change-Id: Ifde42d405e22c32f4edc2fdd4f5aed5a0c8bff20

Remove unmaintained individual service templates

First rule in the zombie apocalypse: Burn the dead.

Change-Id: I952c630ca424d114feb643a6c34d182cad660f26

Use native server resource in overcloud

Change-Id: I4745627508e8b6b687fc17527cdd3c41d09b0d80

Use native resource for nova-compute-instance

Change-Id: I347465b32578467ca3d9f55ea2994d832fcd8b3f

Update undercloud-vm.yaml to use OS::Nova::Server

Change-Id: I34c294c62bf5da4c01d72931173c055c6a13706c

Add support for merging OS::Nova::Server

Change-Id: Id6a801ee36ae73d8c2133b455e9a850c1a7b6a4d

escription -> Description

Change-Id: Iec40d309f3099998fbeb85de7538ed5e0d2e9c42

Add in Neutron service password.

The in-instance scripts are being fixed to not confuse the admin
password with the neutron service password.

Change-Id: I341574bb838a9563120791b9ac014d75274a96aa

Make admin-password configurable.

We use the admin password in in-instance scripts that configure e.g.
nagios from the cloud metadata, but production clouds will all have
unique passwords - it has to be a parameter.

Change-Id: I1f6c697ce27580fd669c7623e7fcea4c96ec62d0

Make the keystone admin token configurable.

Because unique is good for auth secrets.

Change-Id: Iaadc102d11d68d7fc059e62bd992de7ee6f2c818

Update stackforge references to openstack

Change-Id: I3f1cc6ab666045257d5ef6afc3fd26c59d90e57b

Migrate nova-compute-instance to split Metadata.

The file was using the old 0.0.0.0 method from heat-localip, but it was
missed when converting the other templates to a split Metadata approach
to enable a machine to know its own IP.

Change-Id: I0b117de12416a52950b1c7079f659df8649d67f9

Correct os-collect-config.cfn.path to be string.

Specified as a list, it gets translated literally into
["NovaCompute0"] in /etc/os-collect-config.conf. This is not
desirable and results in 500 errors because ["NovaCompute0"] does
not exist.

Change-Id: I7dc01937d73c0c0e5cea70f5a3202d0e43c4caed

Load local IP using separate post-boot Metadata.

Previously we could not feed the IP of an instance into its own
Metadata because of circular dependency problems. 0.0.0.0 was used
with the heat-localip element to work around this problem. This
caused problems though, as heat-localip would edit the source local
heat metadata, which would make cfn-hup and/or os-collect-config think
that the Metadata had changed, causing it to restart everything every
time we query the Metadata, which was about every five minutes.

Now we can just query this inert LaunchConfiguration resource to get
its' Metadata once it is ready. This resource will only change when
legitimate things are changed in the stack, and so we won't restart
everything every five minutes anymore. Note that when the native Heat
DSL lands, the OS::Heat::SoftwareConfig resource is meant for exactly
this purpose.

After this is merged we no longer need the heat-localip element.

Fixes bug #1202322

Change-Id: Id06323ba43203570eeebfa5b3d03fa56c16c0c10

Migrate from cfn-hup to os-collect-config

Os-collect-config is meant to replace cfn-hup from heat-cfntools. It
allows pulling from multiple metadata sources and runs continuously.

Fixes bug #1211289

Change-Id: Ia4e9127fb79048bd1022b32a37272f8463a774ae

Make Resource names suitable for merge/include

In nova-compute-instance.yaml, we need to use resource names that are
unique within the entire set of resources that may be merged or
included. However, we need the instance resource name to _match_ the
one in overcloud-source.yaml so that its own access policies can
function.

Without this change we will not have unique users and Metadata access
keys/policies for compute and controller.

Change-Id: Iebde7e6adede4984f4f693cf2d57b6fadb8be558

Fix missing NovaComputeLibvirtType parameter.

Also change default to '' as null is not technically allowed as a
string default in cloudformation (Heat accidentally allows this).
Os-apply-config, via pystache, will still treat this as false for
the purposes of checking if it is set or not.

Change-Id: Ia02dbcf619bdc92647f1d21157fa4a8e3f749de3

Add ability to set overcloud hypervisor type.

This is needed for non-nested-kvm capable environments.

Change-Id: I2b87071941c04d3c99a687082db42d2a84f481fd

Set a physical bridge for network nodes.

The overcloud control plane needs to bring up an ovs bridge for the
ovs plugin hot-plugging and floating ip logic to work. The previous
in-instance script didn't migrate IP address and route information. We
can do that by using the core ovs script we wrote for baremetal setups
- triggered by setting the physical interface parameter.

Change-Id: I6d6b09140ee751371607c0963dc76cc5b95f7674

Remove unused network configuration metadata.

This is supplied to neutron etc via API calls - having it in Heat
leads to having redundancy, confusion and tricky scripts. Incubator
now has scripts to configure this and instances won't consult these
keys.

Change-Id: Ia45d9bf5bb326ec88f9f4a48c5520570cf5b6d72

Ignore built files.

We don't want someone accidentally committing them.

Change-Id: Iec4df61d3b7b1e1bd30f4cbba6b9991062758101

Increase PXE deploy timeout.

Several users with slightly older hardware report the PXE deploy
process aborting deploys that were progressing fine. By increasing the
default PXE deploy timeout we should cater for this. A separate bug
has been filed in Nova/Ironic about the timeout being too simple.

Change-Id: I9e340fc7f928b32b1146ce758cda7180888d6cc9

Fixed merge code populating properties from yaml.

Fixed merge code populating properties from yaml files which was
setting only Type attribute for certain attribues related to Image
For example, default value for notcomputeImage is populated properly
in overcloud.yaml

Fixes bug #1202884

Change-Id: I9ea270dd19e9ebdb997be5d07b04ee2df28e3721

Merge "overcloud-source: Fix overcloud parameters."

Reinstate architecture binding for nova-bm.

Per bug 1201656 (which this doesn't fix) nova-compute can only run one
bm arch from a single compute host.

Change-Id: I0eabe6e85ed388af111ef503882dfdf7959d8d97

Stop passing no longer honoured keys in.

The undercloud (and boot-stack in general) no longer create baremetal
flavors or register baremetal ramdisks, so passing in keys for that
isn't needed.

Change-Id: I8c20e95f3a57418d7ae160a296a092cd71254e3d

overcloud-source: Fix overcloud parameters.

These values were missed in the initial overcloud-source.yaml.

nova.metadata-proxy is required to allow vms to communicate with the
EC2-style metadata service.

quantum.ovs.fixed_range constraints DHCP allocation for the undercloud,
but in the overcloud we do not want this constraint because the individual
subnets we define will do that. quantum.ovs.ovs_range configures the
range of ips that can be assigned to the tenant subnets.

Change-Id: If7191fa8baf1209ae33b9e8200f52ea0ade97810

Provide values for all nova compute params needed.

Previously these would have to be set for overcloud at runtime, but we
have good sane defaults now, and for nova-compute-instance we are able
to feed them in using the appropriate references with Fn::GetAtt.

Change-Id: Idfff2885bf2afa58b2dec84f06639198e411eae2

Generate overcloud.yaml using overcloud-source.

This new version does not need any nested stacks and correctly
references notcompute.

Change-Id: I16f846f7983a956b5159d17bef85cf6a87d69b45

Add an example of Type: FileInclude.

Change-Id: Ie9d45ea5e26e38e8782e7a3d0a626e36090f5388

Add handling of parameter replacements.

We will need to replace the use of Parameters in the included template
with actual values in many cases.

Change-Id: I95fc9116dc2bba74c31d5570851c5c4eb476291a

Add FileInclude special type.

We need to be able to combine pieces without uploading bits to an
accessible URL.

Change-Id: If0cec8ce7c77fed786d54dd0af2eb7823c088920

Quantum -> Neutron rename

Almost all references to quantum have been changed
neutron in tripleo-image-elements.

Change-Id: Ib17353d5834dd95d0348f62111074180c6e47181

Update boot-stack vm image for overcloud use.

We now have an undercloud specific template, so we can use
bootstack-vm specifically for the overcloud control plane.

Change-Id: I06eb2b1d00e4d2211b632a06880aed51f01762ff

Set a default image name for compute nodes.

Defaults that match devtest.md will make adoption easier.

Change-Id: I6b8c2b13cada5454ff52681451f9124b67ea44a9