Fix for AllNodesExtraConfig and fix environment files to create swap files/partitions

This submission:

 - Fix an error in the AllNodesExtraConfig resource.
   (Can't merge servers multiple times).
 - Add environment files to deploy swap file/partition
   without manual edit over the templates.
 - If a swap partition is mounted without having it available
   the deployment will fail, the fix checks that if the
   partition is not created then the deployment continues.
 - Removing empty extra lines in swap templates.
 - Adjust description and remove unnecessary comments in
   swap templates.

Closes-Bug: 1652184

Change-Id: I828bbbbd4c178956aac74af49f80fcd4f62fa16b

Updated from global requirements

Change-Id: Icadcb1b27852d729608195f4890f914c8350ac8c

Merge "Add ReNo support"

Merge "Add git to FreeIPA test server install script"

Merge "Revert "Specify cell0 db creation""

Add ReNo support

Add ReNo support to manage release notes.
http://docs.openstack.org/developer/reno/

Change-Id: Ie5154d909e616e4e7e813052f9c121d6ac5b0875

Merge "Add neutron service support for composable upgrades"

Revert "Specify cell0 db creation"

This reverts commit 4e3b085a59e7af49d1025986fd80796be338f5fd.

Change-Id: Id9b3610af7167572b292ba330c3f0aad660fedc4
Related-Bug: #1656276

Merge "Add THT for networking-fujitsu"

Merge "Use provided qemu.conf in libvirt container"

Add git to FreeIPA test server install script

This is needed to fetch the tripleo repo; since it's not available
because we're using the generic cloud image on CI.

Change-Id: I22ebe028c7b23cb5fba7d03ce89e967bca5951f8

Add neutron service support for composable upgrades

Change-Id: I9c6116ddb4475b798876635cbb701214759fa33b
Partially-Implements: blueprint overcloud-upgrades-per-service

Merge "Configure specific module path for ansible."

Add glance service support for composable upgrades

Change-Id: I730abee756598c0a23209a53e52cc83e0b815a50
Partially-Implements: blueprint overcloud-upgrades-per-service

Merge "Add retry to RHEL registration"

Merge "Fix protocol for ZaqarWebsockets endpoint"

Merge "Make build_endpoint_map.py output an ocata versioned template"

Merge "Remove unused pacemaker profiles"

Merge "Fix error path for tools/process-templates.py"

Merge "Allow freeipa environment file to be in /tmp"

Fix protocol for ZaqarWebsockets endpoint

We needed to set the 'ws' protocol so we would get the correct endpoint
map generated when using build_endpoint_map.py

Change-Id: I6f2cfce058a803f1925c4e22f9791d0117a6c0e3

Make build_endpoint_map.py output an ocata versioned template

the version it was using was 2015-04-30, but we should be using ocata
instead.

Change-Id: I3eca2f235b3623f08e9cd6b7c2eafe0959b2fb3c

Merge "Update net-config-noop to use apply-config"

Merge "Removes deprecated OpenDaylight L2 only deployments"

Merge "Add support for the deployment of Ceph MDS"

Fix error path for tools/process-templates.py

The error path for this fails because we don't import six
or install it in the templates tox venv

Change-Id: Ie9f46332f2b03d48a1b0a4a432e9721757833569

Allow freeipa environment file to be in /tmp

Relying on home can be tricky if run on CI, since we would need to
hard-code the user. So for this case, we can use /tmp to source that
environment file from.

bp tls-via-certmonger

Change-Id: Ie6234a15af7aa493257c13bd40cbf51ab36085be

Merge "Add example showing how to set root password via cloud-init"

Removes deprecated OpenDaylight L2 only deployments

Deploying ODL without L3 DVR is no longer supported.  This patch moves
the opendaylight-l3 env settings to be the new default for opendaylight
env file, while also removing any option to disable L3.

Closes-Bug: 1654586

Change-Id: Ia2488cb0b752fb4b33f03caa7a1d2469d20395f0
Signed-off-by: Tim Rozet <trozet@redhat.com>

Merge "Updated from global requirements"

Merge "README: Add mistral"

Merge "Setting networking-odl v2 as a mechanism driver"

Add support for the deployment of Ceph MDS

This change adds a CephMds service, disabled by default, on the
Controller role and an environment file to enable it.

Change-Id: If7cb46319038a80ed52f753a623989885e1b7da4
Depends-On: Iaecc3ff7acb851776c5057c42a5a513a70425d2c
Partial-Bug: #1644784

Add THT for networking-fujitsu

Introduce THT for networking-fujitsu. networking-fujitsu is a neutron ML2 plugin
which enables FUJITSU C-Fabric switch in OpenStack environment. This templates
deploy overcloud with C-Fabric switch.

Change-Id: Iee75a1a30552d8dc9f55f52d10b0dc2b623992ef
Implements: blueprint integration-networking-fujitsu
Depends-On: I37a502b43eb7d91bfe20625248ed117eae3ca535
Depends-On: I5eb2c2a9c50b5991d62f4b6d74b83351c86b02de

Add retry to RHEL registration

Occasionally we can see transient network outages when attempting
to register with the Redhat Portal or Satellite server. This causes
deployment or scaleout operations to fail. These outages are minimal
and retrying often resolves the issue. This becomes more prevelant
during testing as we deploy infrastructure far more frequently.

Change-Id: If23785fbe2eea4643918b2e68915bbc13c1b1112

Updated from global requirements

Change-Id: I9ae60dfb2ef5e8fb5aae482ddb08206fc1980ca5

Merge "Make update-from-keystone-admin-internal-api.yaml work on newton+"

Merge "Configure Kernel Args and Tuned and then reboot for Compute"

README: Add mistral

Mistral is tested by scenario003. Let's document it.

Change-Id: If715a2071b7e421b63033fd00f49d3a3f1948af1

Configure specific module path for ansible.

Change-Id: Icd23553e94fd573a8032c52e18857e722eb2ea49

Merge "Add FreeIPA server installation script"

Merge "Template and role support for the undercloud"

Merge "scenario001: add Panko testing"

Setting networking-odl v2 as a mechanism driver

The current environment files for OpenDaylight use
the opendaylight mechanism driver - changing it to
opendaylight_v2.
Also using the l3_odl_v2 as a service plugin

Depends-On: I2a1c5097614e47cc09e43bbc77305a0548d54baa
Change-Id: Iba6f52663ce4a5e4c070f58f079465fdd24ecc7c

Merge "Add missing VIP definitions into -no-tunneling env file"

Make update-from-keystone-admin-internal-api.yaml work on newton+

There are change of ServiceNetMapDefaults in service_net_map.j2.yaml but
were not reproduce in update-from-keystone-admin-internal-api.yaml
environment. Tested in newton.

Closes-Bug: #1646862

Change-Id: I307dcaabbc6d583896090bf3f046b442007fbc42
Signed-off-by: Cyril Lopez <cylopez@redhat.com>
Co-Authored-By: Gregory Charot <gcharot@redhat.com>

Update net-config-noop to use apply-config

Some deployments of the undercloud would like to use
net-config-noop (to disable all network configuration).
This patch changes this noop software deployment to use
'apply-config' instead of 'os-apply-config' which allows it
to work with the undercloud installer which only supports the
newer (apply-config) style due to heat signalling requirements.

Change-Id: If7b579b759477afd81ad64a4847169e59ddcbd77

Template and role support for the undercloud

Add a new roles data YAML file and environment to help
create the undercloud via t-h-t.

Partially-implements: blueprint heat-undercloud

Change-Id: I36df7fa86c2ff40026d59f02248af529a4a81861

Heat engine settings required for Undercloud

This patch adds several new heat engine setting that are required
in order to configure a fully working Heat engine in the undercloud.

New parameters have been added for the max resources and convergence
settings. I've hard coded the max stack depth at 6 which matches our
undercloud and should be fine as a default setting I think (would
rarely need overridden).

Change-Id: I335476f46b4bea4b9f3ac70a6312a7e906f43ba6

Merge "Set rabbitmq package_provider to yum"

Merge "Add custom roles data for deployed-server"

scenario001: add Panko testing

Panko has been introduced in TripleO but is not tested yet.
Adding it on scenario001 with other telemetry services.

Depends-On: If2f6559a7d76b26fa9b0a3ecfa2e2101aae93e3c

Change-Id: Ic76f1cb36ee05e22cfda1fff8ad3f0ec18acf617

README: updates for CI matrix

Update the CI matrix to fit with what is actually tested.

Change-Id: Ib9c96fe7a3ff25043395cb5a89657b3b6d22f12a

Remove unused pacemaker profiles

With change I80c8559bb2d915385bcc20ae71fe144ddd6591c1 we removed
all the unused puppet-tripleo pacemaker profiles. With this change
we remove the corresponding puppet profiles from tripleo-heat-templates.

We can also remove any trace of the fake ::Core service as it was
introduced via Iacd94294b8a66bc082bb2b3e8d3364ec1bf053b8
for the fake openstack-core pacemaker resource during the Mitaka cycle
and became unused in Newton.

Change-Id: I48cd2b6a4593d673d5883b45feae088392e7e713

Configure Kernel Args and Tuned and then reboot for Compute

* On top of the https://review.openstack.org/#/c/411204
* Added Kernel args and Tune-d configuration
* Added provision to provide different kernel args per role (applicable
  for different types of compute roles only)

Implements: blueprint tuned-nfv-dpdk

Change-Id: I5c538428c376c9d2ebd1c364f0ee8503fd7d620e

Merge "Merge mysql service_config_settings for nova"

Merge mysql service_config_settings for nova

The hieradata from the nova-base.yaml service template needs to be available to
the role running mysql, which isn't necessarily the same role as nova.

nova-base.yaml isn't an actual service template though that is included in any
ServiceChain resources, it's outputs need to be merged with an actual nova
service template, such as nova-api.yaml.

As nova-api.yaml already provides some hieradata for the mysql service in
service_config_settings, this patch uses map_merge to combine the 2 values.

Change-Id: I4dc684b3611b13f177f9499e69468d3f6ef6fa76
Closes-Bug: #1654058

Merge "nova-api: legacy cleanup with old wsgi params"

Merge "nova-api: also include hiera for new apache_api class"

Merge "Configure Heat engine metadata URL's"

puppet/role.role.j2.yaml has invalid get_resource reference

Found this today when rebasing the undercloud installer.
The puppet/role.role.j2.yaml Yaml has an invalid get_resource reference
that causes a cryptic heat stack failures.

Change-Id: Icfb7d73a1c4d02213b23a427605f2b0d5eaa984f

nova-api: legacy cleanup with old wsgi params

Cleanup old legacy params for wsgi config.

Change-Id: Ic775de171c95d43d9273e1a29db2ab685fdf7706
Depends-On: I59b3b36be33268fa6e261a7db3c4aa8e8e712ffb

nova-api: also include hiera for new apache_api class

puppet-nova renamed nova::wsgi::apache to nova::wsgi::apache_api to
welcome nova::wsgi::apache_placement (for nova placement API).

This patch adds the required parameters before we make the switch in
puppet-tripleo.

Legacy parameters will be removed when the switch will be done in
puppet-tripleo.

Change-Id: I5fc99062d349597393e2248c66f2d863029c7730

Merge "Add pre-network hook and example showing config-then-reboot"

Set rabbitmq package_provider to yum

When deploying with EnablePackageInstall:True, the rabbitmq puppet
module defaults to the rpm package provider, which then tries to "rpm -i
undef" since we are setting rabbitmq::package_source to undef. Instead
of using the rpm provider at all, we should just use the yum provider to
install whatever rabbitmq rpm's are found in enabled repos.

Change-Id: I29365e675bfde676fde7a54dfc6c660c3970f50a
Partially-implements: blueprint split-stack-software-configuration

Add custom roles data for deployed-server

Adds a custom roles data file for use when using the deployed-server
templates.  The file takes care of setting disable_constraints: True, so
that deployers don't have to do things like create fake images in
glance.

Also adds a comment to roles_data.yaml documenting disable_constraints.

Partially-implements: blueprint split-stack-software-configuration
Change-Id: I7c26c0c2851e0d6bcea42d7af7f4295a1944ec9f

Merge "Adds missing firewall rules for OpenDaylight API service"

Add example showing how to set root password via cloud-init

There have been some requests to enable this, and although it's not
something we should enable by default, this shows how you can use
the generic NodeUserData interface to have cloud-init do it.

To use this you create an environment file like:

resource_registry:
  OS::TripleO::NodeUserData: path/to/userdata_root_password.yaml
parameter_defaults:
  NodeRootPassword: insecure_changeme

Obviously this isn't that secure, and thus isn't intended for
production environments, but it may be useful for debugging and
as a further example showing how to configure things via cloud-init.

Change-Id: If87a1e1dbfaf31b84cc0667c9a60bbd3c757d8cd

Merge "DB connection: prevent src address from binding to a VIP"

Merge "Specify cell0 db creation"

Configure Heat engine metadata URL's

Tried to use the heat-engine composable service in the Undercloud and I
discovered that my software deployments (when spinning up an overcloud)
weren't getting signals from my t-h-t configured undercloud heat.
This patch resolves the issues by configuring the metadata URLs
for Heat.

Change-Id: I57c9e7010bfe4afc6e62fb4c3406716d11cdfa28
Closes-bug: #1653985

Add missing VIP definitions into -no-tunneling env file

Also removes from network-isolation env file the old RedisVioPort resource.

Change-Id: I09ea1fe441a9dbe71a0af36cb123a117f2f0055f

Expose enabled_perf_events libvirt options

For cache monitoring technology feature to work, nova config
libvirt settings should have the perf events enabled for
nova to emit these so telemetry can capture them.

Depends-On:  Ia27e6831f3f6e9cdeaacb650039be5c81b90cb40

Change-Id: I92c318008b965a6527acbce85b41a545eda7ee18

Specify cell0 db creation

This change pulls the hard coded value out of puppet-tripleo to later
allow people to skip the cell0 creation if they want a more complex cell
v2 setup for nova.

Change-Id: I08119d781ef60750cc19753bc03190e413159925
Related-Bug: #1649341

Merge "Increase libvirt/qemu.conf max_files and max_processes"

Merge "Set gnocchi wsgi display name"

Merge "Bump template version for all templates to "ocata""

Merge "Set aodh wsgi display name"

DB connection: prevent src address from binding to a VIP

When a service connects to the database VIP from the node hosting this
VIP, the resulting TCP socket has a src address which is by default
bound to the VIP as well. If the VIP is failed over to another node
while the socket's Send-Q is not empty, TCP keepalive won't engage and
the service will become unavailable for a very long time (by default
more than 10m).

To prevent failover issues, DB connections should have the src address
of their TCP socket bound to the IP of the network interface used for
MySQL traffic. This is achieved by passing a new option to the
database connection URIs. This option is available starting from
PyMySQL 0.7.9-2.

We use a new intermediate variable in hiera to hold the IP to be used
as a source address for all DB connections. All services adapt their
database URI accordingly.

Moreover, a new YAML validation check is added to guarantee that new
services will construct their database URI appropriately.

Change-Id: Ic69de63acbfb992314ea30a3a9b17c0b5341c035
Closes-Bug: #1643487

Merge "Use overcloud-full instead of atomic-image"

Merge "Pass nova rabbit information to mysql"

Merge "Split OVN northd and ml2 plugin"

Bump template version for all templates to "ocata"

Heat now supports release name aliases, so we can replace
the inconsistent mix of date related versions with one consistent
version that aligns with the supported version of heat for this
t-h-t branch.

This should also help new users who sometimes copy/paste old templates
and discover intrinsic functions in the t-h-t docs don't work because
their template version is too old.

Change-Id: Ib415e7290fea27447460baa280291492df197e54

Merge "Manage disallow_iframe_embed"

Merge "Add network_config_hook interface to run-os-net-config.sh"

Merge "Modify external loadbalancer environments to use new FixedIPs"

Merge "Add CI matrix to THT"

Merge "Introduce role-specific NodeUserData, use for docker"

Merge "FreeIPA: Make OTP and FreeIPA server parameters optional"

Merge "Use ws instead of http for Zaqar websocket endpoints"

Merge "Add bind mounts for agent state"

Merge "Adds missing OpenDaylight username/password from ODL OVS service"

Pass nova rabbit information to mysql

The cell v2 setup requires the transport url for nova. We need to
provide mysql with the rabbit connection information so that it can it
when setting up the cell information.

Change-Id: I43ba77cd4c8da7c6dc117ab0bd53e5cd330dc3de
Related-Bug: #1649341

Use provided qemu.conf in libvirt container

This allows us to workaround an issue where the default setting for
qemu changed to logging to virtlogd which is not yet containerized.

Change-Id: I9d25b1299c4f02068d1073c5b78d4c7a2099721e
Depends-On: I9a9705e5c79eec3bbaf02b491498886b858b7a95
Closes-Bug: #1652119

Merge "Decouple swift-proxy from ceilometer"

Add network_config_hook interface to run-os-net-config.sh

run-os-net-config.sh only allows for limited customization of the
network configuration in config.json. Namely, it only customizes the
bridge_name and interface_name.

This will likely not be sufficient for all use cases. This patch adds a
generic network_config_hook bash function that will be called if it is
defined. The function is an entry point for deployers to write custom
code to further influence run-os-net-config.sh.

A possible alternative approach would be to pass the server resource
into the NetworkConfig template. That would allow running arbitrary
SoftwareDeployments on the server before NetworkDeployment is executed.
However, the interface of NetworkDeployment is likely still not as
flexible as this approach as the inputs are hardcoded in the role
template files (role.role.j2.yaml), which are not meant to be modified
by deployers.

The immediate use case for this work is using os-net-config in our
multinode CI jobs where we need to create vxlan tunnels between the
nodes and we need to know the local private IP of each node for the
tunnel endpoint. As the IP is different for each node, it's not a
parameter we could specify in the templates.

Change-Id: I26d0ebdaba6fcd3fe885e41ed234eb79a2405228
Implements: blueprint multinode-ci-os-net-config

Merge "Add hook to generate metadata from service profiles"

Merge "Add a per service bootstrap node variable"

Add CI matrix to THT

Currently the description of CI matrix is defined
in tripleo-ci, but the services for each scenario
lives now in THT. This submission moves this table
to the repo in which the configuration is defined.

Change-Id: I9ef1acefc6e1f347528a48edcb4d997a9628fcf6

Add hook to generate metadata from service profiles

This enables the deployer to dynamically add nova metadata to the
servers based on the output of service profiles that implement the
metadata_settings key in the role_data output for the profiles.

One can set an implementation via the OS::TripleO::ServerMetadataHook
resource, which currently is set as OS::Heat::None. So, because of
the default implementation, if left untouched it actually does
nothing.

Currently, besides the list, which is metadata_settings, this hook also
takes the name of the node that it's setting the metadata for.

This is useful for nova vendordata plugins that can parse said metadata.

Change-Id: I8a937f711f0b90156fbb6c4632760435ef846474