Merge "Disable nova bm file injection in undercloud"

Disable nova bm file injection in undercloud

We are now relying on host routes feature of neutron-dhcp-agent,
so it's time to disable nova bm file injection in undercloud
and use neutron-dhcp-agent instead (if file injection is enabled
the static route for metadata server is not set and overcloud
machines hit seed vm metadata server instead of undercloud one).

Co-Authored-By: Derek Higgins <derekh@redhat.com>
Partial-Bug: #1241042

Change-Id: I04a7fb0399031cbf475a427cceac080296f9bc8d

Merge "Add KeystoneURL to Outputs section"

Add release configuration.

We can now release through openstack.org infrastructure.

Change-Id: I6dff6ae4a97db15bdc4ce419e46e9a125bec277c

Add KeystoneURL to Outputs section

Having the KeystoneURL accessible in Heat allows the user to access the
overcloud services using the service catalog.

Change-Id: Ie6ef1aadf2f027d0b0793fea59385832c9f0c25f

Merge "Add tuskar API service configuration"

Move os-collect-config section

All these sections are in alphabetical order except this one.

Change-Id: Id0586b5ba11e3c00e36397c7e2cd46e0c8cae292

Add tuskar API service configuration

Needed for I1d16e535ae50a06a8792e1613bb6b6c4647bf128 to
work properly.

Change-Id: Ib66e688bd7500f03dea7d4282607cd51078e9a51

Make LaunchConfiguration resources mergeable

This can be very useful for merging of Metadata to be used
by optional services (e. g. to add services like tuskar to
undercloud on demand).

Change-Id: Ifc4016d6e994064c0772c12e668e98bf055fada9

Hide the AdminToken too.

This is arguably more important than passwords as it allow rooting
keystone :).

Change-Id: I12d8ae0f096480112a82d7598eedae64a6fbd861

Add metadata for the nova floating-ips extension.

Nova defaults to trying to allocate floating ips from a neutron
network called 'nova' but we called our external one ext-net (which
various Neutron documentation uses), so we need to override it or the
nova floating-ips extension isn't usable [without explicitly setting a
pool in the API calls].

Partial-Bug: #1239450
Change-Id: I1ef78642bdc1f19d25422961350e4f02a8f6c16f

Alpha sort the nova and neutron sections.

I'm having a minor OCD moment.

Change-Id: I49cdf078d24a38dcdb1f2801764dbcbd6dd10ccf

Add parameters for undercloud power_managers.

Adds a new PowerManager parameter for the baremetal power
management driver.

Change-Id: I3d3b1f8e190d9de9705b2319726cdddb5624fc83

Permit overriding the default route for neutron.

The intent here is that the undercloud default route will be discard,
but the router kept for access to the metadata service, and this
specified route will be used for all other traffic.

Change-Id: Idf3f8252c4d4be30839d9d08ad7d4ce49538f04e

Allow making the public interface a vlan.

In the CD overcloud we need to use a VLAN for public traffic.

Change-Id: I8d674e1ae58063d9be338023819f174d1bc028e4

Make it possible to set the public interface ip.

This is already supported by the ovs agent, but we didn't need it for
the emulated overclouds. Now we're working on bare metal, it's needed
for some deployments.

Change-Id: Ibb41c40d371e4c153a84fd09c370b158add75b81

Make neutron public interface configurable.

Not all machines use eth0 :).

Change-Id: I2d0cfd8df46e7eda1b7db2ea5c8e84d3e970c862

Delete unused interfaces.control key.

Change-Id: I3a84cf52cc46f0c338319a046d77edb2a9b29c45

Merge "Remove an unsed target from Makefile"

Remove an unsed target from Makefile

notcompute.yaml seems to be unsed for a while, but it's
still present in Makefile (its dependencies were removed
by change I952c630ca424d114feb643a6c34d182cad660f26).

Change-Id: If5d84bd822f748c962cdb2b95b6bbd5d5e1f11fa

Add a waitcondition for signalling stack-up.

Without this we need horrible hacks to detect whether the cloud is
ready to use.

Change-Id: Ic5c5fd16c6c283d3d339e1f1238d3349d0b93f7c

Merge "Add a bare metal undercloud template."

Make test_merge.bash executable

This is an executable script, lets make it so.

Change-Id: Ie8e1196fdd7883447d05e89e001418d284bfcbf3

Add a bare metal undercloud template.

This should be factored into a lib and different includes, but right
now - iteration one - we need the thing up and running.

Change-Id: I1d0ed1c33385fd66ddfe39440f181dbb9b295fe9

Add recursive whole-file __include__ tag

We can now merge an entire file with minimal effort.

Change-Id: If86657fb9f9cca0f048c9e01100a3667597a6596

Merge "Make it possible to enable native neutron PXE."

Merge "Set the undercloud host name to 'undercloud'."

Set the undercloud host name to 'undercloud'.

This makes more sense than calling it 'ubuntu'.

Note: This will require an associated incubator change which
I will push momentarily.

Change-Id: I166b45a6ceb34635ed5ef7e29dd028f8c6a4cbe3

Make it possible to enable native neutron PXE.

This is used to control the dhcp_options_enabled flag in nova.conf,
needed to enable PXE orchestration (until Nova assumes all Neutron
libraries and servers support it).

Change-Id: I035a2341d829a9987eeeebdd9c22f039e69489db

Refactor test_merge.bash for multiple tests

We will be adding more tests, so make it more of a framework for that.

Also fix up minor lib.yaml formatting bug.

Change-Id: Ic0fe1679f8d62680dfd0acf215c849aa38b913da

Add functional tests and examples for merge

merge.py is undocumented and untested, which is undesirable, as it does
not seem to be going away any time soon.

Change-Id: I7e4870e58a32c567e5947b9a48893b8210ad4d65

Provide Neutron password in compute metadata

overcloud compute node makes requests to Neutron API
and requires quantum_admin_password option of nova.conf
to be set (it is defined in nova image element like
quantum_admin_password={{neutron.service-password}}).

Without this, booting of a user instance in overcloud
fails, because nova-compute service can't authorize
requests to Neutron API.

Change-Id: Ie726d0c3d54abc6c24a45fde3f5af03fd2cf9e37

Set NoEcho: true for parameters containing secrets

This prevents secret values being returned for stack-show.

Change-Id: I82eff26fda31511b66c6371f6ded2a5fb559f3fb
Fixes-Bug: #1226730

Finish correcting all OS::Nova::Server references

Some references to first_private_address were missed and some of the
Fn::Select calls were only half-completed.

Change-Id: I92a4e5e67784e5d64ec6e44ddcac55762cde81eb

Replace broken usage of first_private_address

The OpenStack native OS::Nova::Server gives us the full list of
networks rather than AWS::EC2::Instance's contrived view of 'private'
and 'public'. We know we want ctlplane, and use Fn::Select to choose
that network directly. The outer Fn::Select is meant to choose the
first network every time, which may not always be correct, but is at
this point.

Change-Id: Iae54ab8d9ac8d84f4f6e2f86ac1b66aacb687473

Allow customising the Nova BM architecture.

Nova BM can only run one architecture at a time, and the incubator
currently documents running sed against undercloud-vm.yaml!

Change-Id: Ib157cf405a40fa983f1df3fb3ed62d04262e3e81

Update PrivateIp to first_private_address.

Update the PrivateIp attribute to first_private_address as a result of
the change to the OS::Nova::Server type.

Change-Id: Id90f8c7c4e0217e1f94d3e5134744a810390e7b7

Make Heat service password configurable.

So that it can be a snowflake! (unique).

Change-Id: Ic823620ace7df5636cd9ff16dcd7476654692e6c

Remove unused swift undercloud definition.

The undercloud doesn't contain swift.

Change-Id: I1372ed28d7ee5bec2b0e03941bd8d50a0b749825

Get rid of global service-password.

No longer needed, less globals == win.

Change-Id: I2872e5a8775a09b2e857ef082f3b86109785a126

Add Nova service password.

Another service converted to match the keystone model of unique
accounts per service.

Change-Id: I62fce289a7032138be3aca8c74df499c2b1fde28

Add Glance service password.

The in-instance scripts are about to require this.

Change-Id: I0260da5502639acc60b2791e9f957952f7ab5956

Add cinder service-password.

The instance config is about to require this.

Change-Id: Ia778a7f5926b54758e73a4ee0940ef42fe5be6a9

Remove trailing whitespace.

Change-Id: Ifde42d405e22c32f4edc2fdd4f5aed5a0c8bff20

Remove unmaintained individual service templates

First rule in the zombie apocalypse: Burn the dead.

Change-Id: I952c630ca424d114feb643a6c34d182cad660f26

Use native server resource in overcloud

Change-Id: I4745627508e8b6b687fc17527cdd3c41d09b0d80

Use native resource for nova-compute-instance

Change-Id: I347465b32578467ca3d9f55ea2994d832fcd8b3f

Update undercloud-vm.yaml to use OS::Nova::Server

Change-Id: I34c294c62bf5da4c01d72931173c055c6a13706c

Add support for merging OS::Nova::Server

Change-Id: Id6a801ee36ae73d8c2133b455e9a850c1a7b6a4d

escription -> Description

Change-Id: Iec40d309f3099998fbeb85de7538ed5e0d2e9c42

Add in Neutron service password.

The in-instance scripts are being fixed to not confuse the admin
password with the neutron service password.

Change-Id: I341574bb838a9563120791b9ac014d75274a96aa

Make admin-password configurable.

We use the admin password in in-instance scripts that configure e.g.
nagios from the cloud metadata, but production clouds will all have
unique passwords - it has to be a parameter.

Change-Id: I1f6c697ce27580fd669c7623e7fcea4c96ec62d0

Make the keystone admin token configurable.

Because unique is good for auth secrets.

Change-Id: Iaadc102d11d68d7fc059e62bd992de7ee6f2c818

Update stackforge references to openstack

Change-Id: I3f1cc6ab666045257d5ef6afc3fd26c59d90e57b

Migrate nova-compute-instance to split Metadata.

The file was using the old 0.0.0.0 method from heat-localip, but it was
missed when converting the other templates to a split Metadata approach
to enable a machine to know its own IP.

Change-Id: I0b117de12416a52950b1c7079f659df8649d67f9

Correct os-collect-config.cfn.path to be string.

Specified as a list, it gets translated literally into
["NovaCompute0"] in /etc/os-collect-config.conf. This is not
desirable and results in 500 errors because ["NovaCompute0"] does
not exist.

Change-Id: I7dc01937d73c0c0e5cea70f5a3202d0e43c4caed

Load local IP using separate post-boot Metadata.

Previously we could not feed the IP of an instance into its own
Metadata because of circular dependency problems. 0.0.0.0 was used
with the heat-localip element to work around this problem. This
caused problems though, as heat-localip would edit the source local
heat metadata, which would make cfn-hup and/or os-collect-config think
that the Metadata had changed, causing it to restart everything every
time we query the Metadata, which was about every five minutes.

Now we can just query this inert LaunchConfiguration resource to get
its' Metadata once it is ready. This resource will only change when
legitimate things are changed in the stack, and so we won't restart
everything every five minutes anymore. Note that when the native Heat
DSL lands, the OS::Heat::SoftwareConfig resource is meant for exactly
this purpose.

After this is merged we no longer need the heat-localip element.

Fixes bug #1202322

Change-Id: Id06323ba43203570eeebfa5b3d03fa56c16c0c10

Migrate from cfn-hup to os-collect-config

Os-collect-config is meant to replace cfn-hup from heat-cfntools. It
allows pulling from multiple metadata sources and runs continuously.

Fixes bug #1211289

Change-Id: Ia4e9127fb79048bd1022b32a37272f8463a774ae

Make Resource names suitable for merge/include

In nova-compute-instance.yaml, we need to use resource names that are
unique within the entire set of resources that may be merged or
included. However, we need the instance resource name to _match_ the
one in overcloud-source.yaml so that its own access policies can
function.

Without this change we will not have unique users and Metadata access
keys/policies for compute and controller.

Change-Id: Iebde7e6adede4984f4f693cf2d57b6fadb8be558

Fix missing NovaComputeLibvirtType parameter.

Also change default to '' as null is not technically allowed as a
string default in cloudformation (Heat accidentally allows this).
Os-apply-config, via pystache, will still treat this as false for
the purposes of checking if it is set or not.

Change-Id: Ia02dbcf619bdc92647f1d21157fa4a8e3f749de3

Add ability to set overcloud hypervisor type.

This is needed for non-nested-kvm capable environments.

Change-Id: I2b87071941c04d3c99a687082db42d2a84f481fd

Set a physical bridge for network nodes.

The overcloud control plane needs to bring up an ovs bridge for the
ovs plugin hot-plugging and floating ip logic to work. The previous
in-instance script didn't migrate IP address and route information. We
can do that by using the core ovs script we wrote for baremetal setups
- triggered by setting the physical interface parameter.

Change-Id: I6d6b09140ee751371607c0963dc76cc5b95f7674

Remove unused network configuration metadata.

This is supplied to neutron etc via API calls - having it in Heat
leads to having redundancy, confusion and tricky scripts. Incubator
now has scripts to configure this and instances won't consult these
keys.

Change-Id: Ia45d9bf5bb326ec88f9f4a48c5520570cf5b6d72

Ignore built files.

We don't want someone accidentally committing them.

Change-Id: Iec4df61d3b7b1e1bd30f4cbba6b9991062758101

Increase PXE deploy timeout.

Several users with slightly older hardware report the PXE deploy
process aborting deploys that were progressing fine. By increasing the
default PXE deploy timeout we should cater for this. A separate bug
has been filed in Nova/Ironic about the timeout being too simple.

Change-Id: I9e340fc7f928b32b1146ce758cda7180888d6cc9

Fixed merge code populating properties from yaml.

Fixed merge code populating properties from yaml files which was
setting only Type attribute for certain attribues related to Image
For example, default value for notcomputeImage is populated properly
in overcloud.yaml

Fixes bug #1202884

Change-Id: I9ea270dd19e9ebdb997be5d07b04ee2df28e3721

Merge "overcloud-source: Fix overcloud parameters."

Reinstate architecture binding for nova-bm.

Per bug 1201656 (which this doesn't fix) nova-compute can only run one
bm arch from a single compute host.

Change-Id: I0eabe6e85ed388af111ef503882dfdf7959d8d97

Stop passing no longer honoured keys in.

The undercloud (and boot-stack in general) no longer create baremetal
flavors or register baremetal ramdisks, so passing in keys for that
isn't needed.

Change-Id: I8c20e95f3a57418d7ae160a296a092cd71254e3d

overcloud-source: Fix overcloud parameters.

These values were missed in the initial overcloud-source.yaml.

nova.metadata-proxy is required to allow vms to communicate with the
EC2-style metadata service.

quantum.ovs.fixed_range constraints DHCP allocation for the undercloud,
but in the overcloud we do not want this constraint because the individual
subnets we define will do that. quantum.ovs.ovs_range configures the
range of ips that can be assigned to the tenant subnets.

Change-Id: If7191fa8baf1209ae33b9e8200f52ea0ade97810

Provide values for all nova compute params needed.

Previously these would have to be set for overcloud at runtime, but we
have good sane defaults now, and for nova-compute-instance we are able
to feed them in using the appropriate references with Fn::GetAtt.

Change-Id: Idfff2885bf2afa58b2dec84f06639198e411eae2

Generate overcloud.yaml using overcloud-source.

This new version does not need any nested stacks and correctly
references notcompute.

Change-Id: I16f846f7983a956b5159d17bef85cf6a87d69b45

Add an example of Type: FileInclude.

Change-Id: Ie9d45ea5e26e38e8782e7a3d0a626e36090f5388

Add handling of parameter replacements.

We will need to replace the use of Parameters in the included template
with actual values in many cases.

Change-Id: I95fc9116dc2bba74c31d5570851c5c4eb476291a

Add FileInclude special type.

We need to be able to combine pieces without uploading bits to an
accessible URL.

Change-Id: If0cec8ce7c77fed786d54dd0af2eb7823c088920

Quantum -> Neutron rename

Almost all references to quantum have been changed
neutron in tripleo-image-elements.

Change-Id: Ib17353d5834dd95d0348f62111074180c6e47181

Update boot-stack vm image for overcloud use.

We now have an undercloud specific template, so we can use
bootstack-vm specifically for the overcloud control plane.

Change-Id: I06eb2b1d00e4d2211b632a06880aed51f01762ff

Set a default image name for compute nodes.

Defaults that match devtest.md will make adoption easier.

Change-Id: I6b8c2b13cada5454ff52681451f9124b67ea44a9

Make merge.py output deterministic.

The current code uses dictionary sort order which is defined as being
an undefined order. Since humans review .yaml files having them sorted
is a good thing.

Change-Id: I43a31530bc042750448ac904c0c22f9a59b09b4d

Refine the Makefile rules.

The make rules in use were duplicative, which leads to maintenance
headaches.

Change-Id: Ic9e37796422caa2427c1575eb776c5d6a98516c3

Update bootstack-vm to match undercloud.

Also add Makefile stanza to produce overcoud.yaml from bootstack-vm
and nova-compute-group. This should allow independent usage of
nova-compute-group without having to manually update overcloud.

Change-Id: Id2bd20596e6be887b55019fdad31e6b0f4762eb7

Update nova-compute-instance URL.

Heat must download nested stack templates from a static URL. We
have chosen a reasonable default, the official repository for
tripleo-heat-templates.

Change-Id: I9f8f1f3d3ec6492cf3891fab4fe793e05e703eb5

Merge "Update undercloud-vm for new networking config."

Update nagios3.yaml to reflect changes to the postfix element.

Recent changes to the postfix element added new parameters so
the nagios3 template needed to updated to ensure postfix works
as expected.

Change-Id: I0a9eb8e0988470888f35adcc426ccd314f93b301
Authored-by: Chris Krelle <nobodycam@gmail.com>

Update undercloud-vm for new networking config.

It is currently broken due to mismatched config keys.

Change-Id: If3ce934730cb974af7bcd7c6b3134e499f4e2a0d

Remove reference to KeystoneLaunch

This resource was remove in
6504e6bd09b8b3b14ce56490ea3e17daf8cc0a93
"Simplify keystone into one instance."

Change-Id: Iea1502e4f00539abc4b8d04ea37e55c2133f7ae7

A template for dev-test underclouds.

Change-Id: Ibf59b34341129712c0e3187aa87ac90c092a74a7

Ignore editor files.

Change-Id: I2bf716cae119ccc8a4b4fa6fae4caa7444156526

Fixup https://review.openstack.org/#/c/33308.

The local_ip value of 127.0.0.1 breaks clusters. Using 0.0.0.0 will
have the right value when the heat-localip element is used.

Change-Id: Id0da5d46c60e808944a40bcaf05f1072be55eed7

Merge "Remove references to Fn::GetAtt."

Remove references to Fn::GetAtt.

These were causing a Circular dependency error during the
creation of a stack.

Change-Id: Iccdf4a081f38aa3a5fe0e250b9e9382958a0f26e

Merge "Fix default mysql usernames."

Merge "Adding floatingip_start and floatingip_end to heat template."

Merge "Add sample template for nagios3 element."

Fix default mysql usernames.

Username heat looks like it got copy and pasted.

Change-Id: I40666b8e80df7424e223b317ab4c9d6f614c43e6

Adding floatingip_start and floatingip_end to heat template.

These are needed by the quantum-network-node element

Change-Id: Ic89b7f25752778aa2145768152bbc6e634ea3e5f

Add sample template for nagios3 element.

Change-Id: I02a80a371a8ca493f4e143def82215f33b29ac6c
Authored-by: Chris Krelle <nobodycam@gmail.com>

Parameterise more settings for nova and quantum.

Change-Id: Ia35431302848666ad013adaeae1d06482cd3117a

Add .gitreview setup.

Change-Id: I22855e7f3c77984ffc81ebf00e62cb78839e63a7

Nested stack of nova-compute-instance.yaml