Bring back (abandoned) support for Cinder/NFS

We used to have a YAML file providing a test setup for Cinder/NFS
which could be used via a special Makefile target; this was not
used in CI anymore though and overtime things broke.

This change aims at bringing that functionality back and also
make it easier to use it via a number of changes:

* delete unmaintained nfs-server-source (not working due to
  changes in the elements)
* delete (unneeded) block-storage-nfs
* remove the hidden block-storage-with-nfs target from Makefile
* add a some nfs-source which supports newer elements and
  newer template language as well
* improve existing comments in Makefile documeting how to use it

Change-Id: I96144ee2f4ca33bd7467f09ad960ea268c1250bf

Merge "Remove default flavor from every template"

Merge "bump up the number of sesson limit for rabbitmq"

Remove missing cinder-storage Neutron* parameters

In I00af10e07feed6c9c97ee6cad545dbff88cd6afc we removed the
Neutron* parameters from cinder-storage.yaml but we forgot to
also remove them from overcloud-without-mergepy.yaml.

Change-Id: I09f2eb278fa0eba1dff80884f12b6f682c7b0484

Add missing novncproxy settings to controller

This patch adds the missing HAProxy novncproxy parameters to
controller.yaml

These parameters were adding to overcloud-source.yaml
in I0c6a3d6a8fd10da71abbf568633b28bdb5e56aa2.

Change-Id: Icff2f17a301e5e95fa43549ec1566c0c0d5b5353

Add missing HAProxy settings to controller

This patch adds the missing parameters to controller.yaml

These parameters were adding to overcloud-source.yaml
in I1581c091b996422fb1374ea4c024d0a88453e10b.

Change-Id: I3e4e0e1feb521dded2679fed508fa97e8dd27661

Add missing Neutron DVR params to without-mergepy

This patch adds the missing parameters to
overcloud-without-mergepy.yaml.

These parameters were adding to overcloud-source.yaml
in I422c65e7d941593083d52ad7fdf0dfd1d2fb3155. Due to
the concurrent review window they never made it
into the new overcloud-without-mergepy.yaml
implementation.

Change-Id: If54dc111aec852f906c9e7ac1bf56f9dcaf678ea

Remove duplicate Neutron params in overcloud

In I422c65e7d941593083d52ad7fdf0dfd1d2fb3155
(Enable Neutron DVR support in TripleO installation)
we added duplicate parameters for NeutronPublicInterfaceRawDevice
and NeutronNetworkType.

In preparation for syncing with overcloud-without-mergepy.yaml
lets remove these dups.

Change-Id: Ib4888bc91f30aeb3aba590b69e4919a93f577143

Add missing Keystone params to without-mergepy

This patch adds the missing KeystoneSSLCertificate and
KeystoneSSLCertificateKey to overcloud-without-mergepy.yaml.

These parameters were adding to overcloud-source.yaml
in Icf46132230512a31b6dec3c07164c95b13dd8f73. Due to
the concurrent review window they never made it
into the new overcloud-without-mergepy.yaml
implementation.

Change-Id: I8b1155ca0a28392e5d5ade57d53bf810d8b5f053

Add missing Rabbit params to without-mergepy

This patch adds the missing RabbitClientUseSSL and
RabbitClientPort to overcloud-without-mergepy.yaml.

These parameters were adding to overcloud-source.yaml
in I7b7613cb60b9095ba5665c335c496fea4514391a. Due to
the concurrent review window they never made it
into the new overcloud-without-mergepy.yaml
implementation.

Change-Id: I182671b84d0a21d7018eb136003968f101384716

Merge "Remove LiveUpdate params"

Align the cinder-storage.yaml template with block-storage.yaml

Change-Id: I00af10e07feed6c9c97ee6cad545dbff88cd6afc

Remove LiveUpdate params

The params were added in I2997d23c584055c40034827e9beb58e6542ea11c
as a means to pass undercloud image data to overcloud instances
so they could perform an update via takeovernode). We've
never actually made use of them via takeovernode... furthermore
these params are a bit stale in that they haven't been applied
to other instance types (storage, etc.).

I propose we remove them entirely and start with a fresh plan for
how these would get used (perhaps a blueprint).  As is these don't
appear to have ever been fully wired up to do anything removing
them should have no effect on end users.

Change-Id: I96f91fb0d67e7fe203d3767c8ab89ce82adbe331

bump up the number of sesson limit for rabbitmq

the default maxconn is only 150, which maybe good for api services
but not enough for the rabbitmq session in a cluster as small as 15
nodes. so bump up the number to 1500 for rabbitmq to allow for 100
nodes. this number should be calculated based on the scale numbers
in the long run.
Closes-bug: #1386406

Change-Id: Ieb707b31022a6fc9ade32ed2a332b67bf4dc0311

Remove default flavor from every template

With the push to using the new setup-flavors provided by
os-cloud-config, the default flavor will no longer be called
'baremetal', and Heat will always validate the default even if it
is overridden. To that end, remove the default flavor from every
flavor definition. Just to be certain, also add a custom_constraint
to every flavor definition that was missing it.

Change-Id: I24251e73be4e86738857f73b89499f592c4908de

Merge "Don't replace OS::Neutron::Port on update of undercloud"

Fix empty local_ip in ml2_conf.ini on undercloud

empty local_ip in ml2_conf.ini would make neutron-openvswitch-agent
fail to start, then fail to bridge dhcp to br-ctlplane and pxe boot an
overcloud, so provide the value in undercloud-source.yaml.

Related-Bug: #1394956

Change-Id: If3a94b9c2b971ceb7601f91a2db64989960fb5d3

Merge "Split out Nova software config"

Merge "Add swift.mount-check metadata"

Split out Nova software config

This is a step towards supporting pluggable software configurations
in the heat templates. By moving compute-config out of compute.yaml
we make it possible to define alternate implementations by
changing the OS::TripleO::Compute::SoftwareConfig value in the
overcloud-resource-registry.yaml heat environment file.

Co-Authored-By: Steve Hardy <shardy@redhat.com>
Change-Id: I250dc1a8c02626cf7d1a5d2ce92706504ec0c7de

Merge "Use HAProxy httpchk for openstack services"

Provide a single stunnel connect_host

At present connect_host is specified by each port, individually, as
the same value. Move connect_host to be a direct child of the stunnel
element so it is only specified once.

Although previously we could theoretically specify a different
connect_host for each service, in practice they were the same and
that never would have worked.

This change means Mustache like {{#stunnel.connect_host}} will work.

Change-Id: I25c4bb09cf28a3728e959d4dd583af26a602ad90
Partial-Bug: #1391926

Add swift.mount-check metadata

We've submitted a patch (https://review.openstack.org/#/c/130172/)
to set the value of mount_check to swift.mount-check if it exists,
and otherwise to set mount_check to false.  By default TripleO
deployments set mount_check to false since they do not use mounted
disks to store data.  However we (HP) and others are now using
TripleO to deploy Swift servers with mounted drives for data, in
which case mount_check should be set to True.  This change adds
swift.mount-check data and sets it to the value of the
SwiftMountCheck parameter, which has a default value of False.

Change-Id: I36fece56bafa9fe9c4883b572687b3fc819eeae1

Merge "Enable Neutron DVR support in TripleO installation"

Don't replace OS::Neutron::Port on update of undercloud

This change is congruent with I6dd02ae17407f8f4c81ae418e5027f4f38ae4e9b
but applies to undercloud configs rather than overcloud configs.

I've listed this as closing 138709 even though that bug didn't talk
about the undercloud as this seems like it's another instance of the
same issue seen there.

Change-Id: I3ee80043bb455460991e78525fa4310934df4697
Closes-Bug: #1383709

Use HAProxy httpchk for openstack services

Instead of the default TCP connection check use the HTTP check. This
provides a more reliable way to tell if the service is up or not, only
2xx and 3xx response codes will signal a healthy service. This check can
also be used in conjunction with check-ssl to enable checks for services
running SSL/TLS in overcloud.

Change-Id: I1581c091b996422fb1374ea4c024d0a88453e10b

Merge "Use parameter constraints for image, key and flavor"

Merge "Add converted version of block and object storage"

Merge "Don't replace OS::Neutron::Port on update"

Merge "Add SSL PKI properties for keystone"

Don't replace OS::Neutron::Port on update

Due to an ununsual interface to OS::Neutron::Port resources,
it's necessary to specify replacement_policy: AUTO, or the
resource is unconditionally replaced on every stack update.

I've started discussion re possibly changing the default in
Heat, but right now, we need this or we have the bad outcome
of replacing all (!) compute and controller nodes on every
stack-update, even if the templates are unmodified.

Passing the AUTO value should be safe regardless of any
potential change of default value in Heat.

Change-Id: I6dd02ae17407f8f4c81ae418e5027f4f38ae4e9b
Closes-Bug: #1383709

Add overcloud options for SSL RabbitMQ connections

Adds configuration options for Rabbit port and use_ssl settings using a shared
RabbitMQ parameter.

Change-Id: I7b7613cb60b9095ba5665c335c496fea4514391a

Merge "Simplify the layout of haproxy net binds config"

Merge "Add block completion signal"

Use parameter constraints for image, key and flavor

If you don't have (or provide) the wrong image, KeyName,
or flavor, we fail at some later point (not always early,
depending on what's wrong).

Since Icehouse, Heat has had a "custom constraints" method
of dynamically validating parameter values, by comparing the
value provided with a list from the underlying service.

Despite the name, there's nothing "custom" about the constraints,
these ones are included in Heat by default (though they are pluggable,
which is where the name comes from..)

See the docs for more info:
http://docs.openstack.org/developer/heat/template_guide/hot_spec.html#custom-constraint

Note, I've not considered network validation here, this could
possibly be added in a subsequent patch.

These constraints are evaluated via any of the following:
- heat template-validate -f <template>
- heat stack-preview <arguments given to create>
- heat stack-create <arguments, fails fast before creating anything>
- heat stack-update <arguments, fails fast before updating anything>

Change-Id: I3a6374ce5421575cdde893c62aa97c750a07acd8

Enable Neutron DVR support in TripleO installation

This change adds the necessary elements to the overcloud-source.yaml,
nova-compute-config.yaml and nova-compute-instance.yaml to allow Neutron
Distributed Virtual Routers (DVR) to be enabled.  The added elements are
set to default to values such that DVR is not enabled in keeping with
backwards compatibility.

Change-Id: I422c65e7d941593083d52ad7fdf0dfd1d2fb3155
blueprint: support-neutron-dvr

Add SSL PKI properties for keystone

To implement the SSL PKI spec we need to change the keystone ssl cert
and cert key properties to be more generalizable. We also need to
support the old properties for backwards compatibility.

Change-Id: Icf46132230512a31b6dec3c07164c95b13dd8f73

Simplify the layout of haproxy net binds config

Make the net binds simpler to maintain.

Change-Id: I7c7f2cde38a88976afe33097cdfe4a93d62a6417

Add converted version of block and object storage

This patch extends the previous 'Don't use merge.py for overcloud'
commit with the cinder-storage.yaml and swift-storage.yaml templates.

Requirements for this to deploy:

1. Block and object storage images have to be built
(overcloud-cinder-volume and overcloud-swift-storage)

2. The images have to be loaded by devtest_overcloud.sh
OVERCLOUD_CINDER_ID=$(load-image -d $TRIPLEO_ROOT/overcloud-cinder-volume.qcow2)
OVERCLOUD_SWIFT_ID=$(load-image -d $TRIPLEO_ROOT/overcloud-swift-storage.qcow2)

Change-Id: I45f9d9f051970a83e26c0fd924d7c98276958113

Add block completion signal

In I973d197245ed32612bde9209479e6ae3a443fc69, the signal_transport was
set to NO_SIGNAL to prevent the resource staying CREATE_IN_PROGRESS
forever. This means that Heat reports the stack is configured before it
actually is.

The correct fix was to add completion-signal to BlockStorageConfig.
However now there's a BlockStorage0AllNodesDeployment, we simply have to
receive the signal from allNodesConfig by setting the deployment
signal-transport.

Change-Id: I1f6408ca39fddd146e7aae140f61d265bbf563ec

Compute and controller templates without merge.py

This provides three templates: overcloud-without-mergepy.yaml,
compute.yaml and controller.yaml. These can be used in combination with
overcloud-resource-registry.yaml to deploy the overcloud on their own --
without having to do any pre-processing (via merge.py).

To test these you have to add the resource registry environment (in
addition to the existing `-e` option) and use the new overcloud template
in the Heat call in devtest_overcloud.sh (line 374):

    heat $HEAT_OP -e $TRIPLEO_ROOT/overcloud-env.json \
        -e "$TRIPLEO_ROOT/tripleo-heat-templates/overcloud-resource-registry.yaml" \
        -t 360 \
        -f $TRIPLEO_ROOT/tripleo-heat-templates/overcloud-without-mergepy.yaml \
        -P "ExtraConfig=${OVERCLOUD_EXTRA_CONFIG}" \
        $STACKNAME

The existing overcloud Heat environment
($TRIPLE_ROOT/overcloud-env.json) should keep on working.  Scaling is
now being controlled by the `ControllerCount` and `ComputeCount`
template parameters, though.

NOTE: the changes here depend on a fairly recent Heat build (commit
e5f285f6cb from ~7th September, 2014). In other words, this requires
Juno Heat.

Also, passing more than one environment file to Heat requires
python-heatclient version 0.2.11.

Change-Id: I687a00c7dc164ba044f9f2dfca96a02401427855

Merge "Passthrough{Specific} and allNodesConfig for BlockStorage nodes"

Passthrough{Specific} and allNodesConfig for BlockStorage nodes

Purpose of this change is to allow passthrough of *specific values*
for *same key* in particular to BlockStorage nodes. Same
behaviour is already implemented for controllers and computes.

Change-Id: I7074a8f7d406adaa56e55013b10bd520fcacfcf6

Merge "Refactor Heat dependencies for nova compute"

Merge "Configures haproxy to serve novnc_proxy"

Merge "Secure the MySQL bind-address on the undercloud"

Refactor Heat dependencies for nova compute

Allows heat to have more control of the parallelism of the deploy
and allow easy integration of the new heat dependencies required for
nova compute integration. At present is difficult understand and has
unnecessary complex dependencies.

Change-Id: Ie566b8b14cbd98fe29cc2368a96d45cc74ca4715
Co-Authored-By: Nicholas Randon <nicholas.randon@hp.com>

Sort inputs and parameters

They're mostly rather higgledy-piggledy at the moment which makes it
quite difficult to compare against files where these are sorted. EG
compute.yaml from I687a00c7dc164ba044f9f2dfca96a02401427855.

Change-Id: I508a3d0f6a79810d2100fdd1ad143bcd37bf8c00

Merge "Add SwiftMinPartHours parameter"

Secure the MySQL bind-address on the undercloud

The MySQL bind-address on the undercloud should be set to
localhost for security.

Change-Id: I0ea485fa6673c06087f5c5baedf591fba54288a4

Configures haproxy to serve novnc_proxy

This patch configures haproxy to serve novnc_proxy which currently
listens on 0.0.0.0. So before this patch goes in novnc needs to be
listening on local-ipv4 like the rest of the services. The following
patch does that in image-elements.

https://review.openstack.org/#/c/125326/

Change-Id: I0c6a3d6a8fd10da71abbf568633b28bdb5e56aa2

Merge "Remove unnecessary completion signal"

Add SwiftMinPartHours parameter

This parameter adds the facility for an operator to set the length
of time in hours that a partition in a swift ring can be altered
following a rebalance of that ring. The default value is set to one.

The corresponding element change is here:
Ie6438386a54794e1ae2f31ad925db01c2c10ed6d

Change-Id: Icc5e431a7e2884b3ca3a255b6fd901619bc98460

Merge "undercloud: use Nova compute Ironic driver"

undercloud: use Nova compute Ironic driver

Updates the NovaComputeDriver and NovaSchedulerHostManager
defaults so that we use the Nova in-tree versions of
the Ironic compute and scheduler host managers.

The old Ironic in-tree drivers are now deprecated.

Change-Id: I91667a3e7861591285c931006c448cc304649349

Drop CinderLVMLoopDeviceSize from the undercloud

This parameter is unused so lets drop it.

Change-Id: Ie0bec06b14b6b284716604281d29fea065c2a03b

Remove unnecessary completion signal

There is a spurious completion signal in nova compute config which is
confusing and unnecessary.

Change-Id: I302470933c80443a1069faa03cc924f14ba71ca3
Co-Author: Nicholas Randon

Merge "Deprecate Role and ImageBuilder metadata handling"

Merge "Parametrize Swift partition power"

Merge "Parameterize network type and tunnel types"

Parameterize network type and tunnel types

Remove the hardcoding of gre as the Neutron tenant network type for the
Overcloud. This will enable the ability to deploy an Overcloud that uses
vxlan instead of gre tunnels. A new parameter, NeutronTunnelTypes, is
added to allow configuring the tunnel_types parameter in the Neutron ML2
configuration.

This change is required by https://review.openstack.org/#/c/92913

Change-Id: I2c2e2153a61349e58ada28c87aa2338c9f00e7bd

Use the server name attribute

The 'show' attribute results in a nova API call, which has
performance overhead even with attribute memoization.
The name attribute was added to expose the name without needing
an API call, since the resource already knows the name. This
change switches from using 'show' to 'name' throughout.

Change-Id: I1e83dd008cd02e5cec97868db0d5a695f07b7199

Merge "Fix spelling of controller0_VLANPort"

Merge "Add specific pass-through config for each role"

Deprecate Role and ImageBuilder metadata handling

Our templates and elements no longer depend on `OpenStack::Role` or
`OpenStack::ImageBuilder::Elements` metadata. Using either now prints out a
deprecation warning.

Change-Id: I91e79b00bacca8caf13d4b6fa83d90e9c20b241c

Merge "Update overcloud examples for ExtraConfig"

Update overcloud examples for ExtraConfig

The existing examples for the overcloud ExtraConfig options
use an ironic setting that would likely never apply (Ironic
isn't for the overcloud).

This patch modifies the default section setting to use
the Nova force_config_drive option instead as a
config example.

Change-Id: Ieb893552fe9466b90b9d9a831a676d114efb6db1

Undercloud params for compute driver and manager

Add undercloud template parameters for NovaComputeDriver,
NovaComputeManager, and NovaSchedulerHostManager.

The motivation here is to be able to test configure Nova to use
the new (in-tree) Ironic compute driver (which used to live
in Ironic).

NOTE: The initial Nova in-tree Ironic driver won't have its
own ClusteredComputeManager (compute_manager). Even so I've
gone ahead and added a parameter for NovaComputeManager
so we can modify this accordingly in the future without
making hard coded template changes.

Change-Id: Ib48a6b6d8a6cff157bdf3948bd0330e9b29dd46a

Parametrize Swift partition power

The Swift partition power is currently hard-coded to 10.  While
this is fine for small Swift clusters there are some users who
will want to configure rings with higher partition powers.  We
have parametrized the value of the partition power, and the
default is set to 10.

Change-Id: If115cf5cf2f4c2ff7d28b0f5ae3d2ca3f4b4be5a

Fix spelling of controller0_VLANPort

Prior to this change, using these templates fails as
controller0_VLANPort is defined, but we attempt to use
controller0VLANPort instead.

Change-Id: Ieb2eece4e7d48177acae0bef916192d8e6a4a4a3

Merge "Make turning debug on globally easy."

Merge "Change | to > in templates."

Merge "Remove unused Neutron values"

Add specific pass-through config for each role

Supplement ExtraConfig with specific versions - ControllerExtraConfig and
NovaComputeExtraConfig. This allows the user to specify different
configurations for each role.

Change-Id: Ieaee80e414130504a5e40e878a5a4ca1c196ca2b

Change | to > in templates.

Clint pointed out that | prevents things rendering properly on
arbitrarily wide screens. For most things that makes sense but it
doesn't for the JSON examples IMO so I didn't alter those.

Change-Id: Ifb7dcc265c225b000bd5d26500212d41ea0233c8

Merge "Expose public_interface_tag support."

Remove unused Neutron values

These Neutron parameters are not actually needed or used on a Swift
Storage instance. neutron-openvswitch-agent does not even need to be
present on a Swift node.

Change-Id: I5d61cc1d22a719b186e6d89baaf25f119e0416d7

Expose public_interface_tag support.

Proper VLAN support requires adding the IP address to a new device,
rather than br-ex/br-ctlplane. This is added in the
tripleo-image-elements change https://review.openstack.org/103449
(I3f77f72ac623792e844dbb4d501b6ab269141f8e) and here we just expose
it with appropriate glue to get the IP address from Neutron.

With this we can now describe a VLAN public interface scenario
to the undercloud and overcloud control planes.

Change-Id: I4d2194fc813aebb0708d6fddf4f05bae5f091fd8

Make turning debug on globally easy.

We can obviously use passthrough for this, but I rather suspect that
OMFG something is broken get me debug will be a common phrase.

Change-Id: I62539630a4737bbbe6883ed71929f38c819ceed4

Merge "Make Swift replica count configurable."

Merge "Permit specifying VLAN mappings to overclouds."

Merge "Fixup network configuration for ext-net"

MySQL connections via HAProxy should not timeout

With the default 60 second timeout, many services will periodically
log "MySQL has gone away" as HAProxy has closed the connection.

Change-Id: Ied67344fbabcd77def4483be37a4706190ab28a0

Merge "Set vnc to use controller virtual_ip"

Merge "Make signal_transport a parameter"

Set vnc to use controller virtual_ip

The address for the vnc proxy is incorrectly configured in the nova
configuration file.
The correct IP address is the Public Virtual IP address of the
controller node as created by:
    I9649ee74ebaf62b6b929b28243a07c789a08867c

The nova image_element nova.conf already has:
  novncproxy_base_url=http://{{nova.public_ip}}:6080/vnc_auto.html
but nothing was setting nova.public_ip - until now

Closes-Bug: #1332554
Change-Id: I41214834511680170393dd4325b510f549373141

Merge "Remove hardcoded version."

Remove hardcoded version.

We use semantic versioning, not pbr's pre-version facility. This
line causes local package builds to have the wrong version, and
pbr will in future detect this and error.

Change-Id: Ia625d31e87d137e867badcdeac1f33630257bb8c

Merge "Set the MySQL root password"

Make signal_transport a parameter

There may be times where an update needs to change this without changing
the template, such as when updates will be done by something other than
Heat (i.e. Ansible).

Change-Id: I89d1153acab697b64468f841b3f2d17c169da649

Merge "Fix bash env var conditionals in merge.py call to be consistent"

Merge "Make BlockStorage deployment dependent on controller0AllNodes"

Merge "Ensure glance.host and glance.cinder are set for BlockStorage nodes"

Merge "Rename NovaCompute resources suffix to be consistent with controller"

Ensure glance.host and glance.cinder are set for BlockStorage nodes

Change-Id: I03056681b795a2078a678dcb0cd29002310e5843
Related-bug: 1351110

Make BlockStorage deployment dependent on controller0AllNodes

As per the NovaCompute nodes, this change makes deployment of
BlockStorage nodes dependent on controller0AllNodes.

Change-Id: I4bc4d33d42463a0abadc2bfd4e48b1a4e554d396

Merge "Use VIP for rabbit/keystone and mysql in block-storage.yaml"

Merge "Remove unneeded neutron config parts from block-storage.yaml"

Merge "Add strict dependencies to the undercloud template"

Replace occurrences of list_join with Fn::Join

When change I6730ffe1e27d952d563c16a9480298fbef9f61fe got merged we
introduced some occurrences of list_join which should have been
migrated to Fn::Join (change I039f57ab39c1fcfc319a7a34265ba4fabf4ccd08)

This caused overcloud CI jobs to fail with:
Property error : allNodesConfig: config Items to join must be strings

This change fixes this by replacing newly introduced occurrences
of list_join with Fn::Join

Change-Id: Ibac193781d31d6f81e955e7b9381e13cfdd0ab1d