Adds etcd composable service

etcd is used by networking-vpp ML2 driver as the messaging mechanism. This
patch adds etcd service which can be used by other services.

Implements: blueprint fdio-integration-tripleo

Depends-on: Idaa3e3deddf9be3d278e90b569466c2717e2d517

Change-Id: I8ae1e2c9b0c3d6f448e1da712100938d011289f5
Signed-off-by: Feng Pan <fpan@redhat.com>

Merge "Add IP to provisioning interface for FreeIPA if requested"

Merge "Remove CeilometerStoreEvents parameter"

Merge "Add deployed server bootstrap to noop-ctlplane"

Remove CeilometerStoreEvents parameter

This is removed upstream, so lets not set it anymore.

Closes-Bug: #1657555

Change-Id: I6ca9f51d27d7ca49980a4b3dea4128c7bdc20a0f

Add IP to provisioning interface for FreeIPA if requested

If a variable is set in the environment, one can assign an IP for the
provisioning interface for FreeIPA, this is set by OVB and it doesn't
use DHCP, so it's needed since we want the overcloud nodes to
communicate with the CA.

bp tls-via-certmonger

Change-Id: I44a8135118b047f154e3edbb8846751bd2e16c84

Merge "Add a environment file to disable ceilo api"

Add a environment file to disable ceilo api

Use the standard composable interface to disable
ceilo api instead of using a separate flag.

Closes-bug: #1656364

Change-Id: I67900f7e6816212831aea8ed18f323652857fbd3

Check that all templates are using the release alias

Quick verification to check that the release name
is used instead the date.

Im also adding here all the updated templates required
to pass the check and merge this check as soon as possible.

Change-Id: Ifdc9ac4a9d0a4872d3e21672c93fc87da2e68a4e

Merge "Correct typo in ManagementAllocationPools in network-environment.yaml"

Merge "Parameterizes Nova API default floating IP pool"

Merge "Bump missing template names to ocata"

Merge "Set manila cephfs backend if ceph is deployed"

Merge "Conditionally set OVS agent firewall driver"

Merge "Add endpoint map matching validation to validate-yaml.py"

Merge "Remove Glance Registry service"

Merge "Nova Placement API composable service"

Add deployed server bootstrap to noop-ctlplane

This patch adds the new OS::TripleO::DeployedServer::Bootstrap
entry to this template as OS::Heat::None.

This fixes the undercloud t-h-t installer.

Change-Id: I211fff6dd81cb1a6425dbae4b81d4e9e8819fc52

Add endpoint map matching validation to validate-yaml.py

This validation checks that the TLS-related environment files contain
all of the services defined in the base endpoint map. This will
hopefully help to keep them updated.

Change-Id: I58df72e104d8eb74e577484405f15e0a6f92d0ce

Merge "Allow user to configure Ceph rbd_default_features"

Merge "HPELeftHandISCSIDriver support for Cinder"

Merge "Simplify passing config to ovs agent container"

Nova Placement API composable service

Add support to deploy Nova Placement API service in TripleO.

Change-Id: Ie41ebc362a0695c8f55419e231100c63007405ed

Bump missing template names to ocata

Update pending templates to use the release name alias.

Change-Id: I39f9be212d3e9f3bec6f45d9757eca7a3b0ccc06

Merge "Fix typo in template description"

Merge "Use custom role names in deployed-server roles"

Conditionally set OVS agent firewall driver

Using an empty string to allow the default value in the puppet module no
longer seems to work, resulting in the OVS agent configuration having an
empty firewall driver configuration. This patch uses a heat template
condition to set the hieradata only if something other than an empty
string has been set.

Change-Id: Ifef9ded1dbb719e75997474bf5ada909dbf40599
Related-Bug: #1656939

Simplify passing config to ovs agent container

The mechanism to pass config files to the neutron-ovs-agent container
was overly complex and not at all justified. This commit removes a few
useless parameters and aligns the neutron-ovs-agents with the rest of
the containers.

Change-Id: Ib9a5985ac9d098731c2fb798d6c9e03cba4b87dd

Merge "Remove old ControllerConfig override from puppet-pacemaker.yaml"

Merge "Fix for AllNodesExtraConfig and fix environment files to create swap files/partitions"

Allow user to configure Ceph rbd_default_features

Allow user to configure rbd_default_features parameter in
ceph.conf / [client] section. Operators deploying newer
Ceph clients that must use older Ceph servers need to be
able to easily set this option for backwards compatibility.

Change-Id: I685c95c47282894bb6309168c537de877dbccc66
Depends-On: I477640c5db2cc84622da7734fb54cfe7740bd137
Related-Bug: 1633552

Remove Glance Registry service

Glance registry is not required for the v2 of the API and there are
plans to deprecate it in the glance community.

Let's remove v1 support since it has been deprecated for a while in
Glance.

Depends-On: I77db1e1789fba0fb8ac014d6d1f8f5a8ae98ae84
Co-Authored: Flavio Percoco <flaper87@gmail.com>
Change-Id: I0cd722e8c5a43fd19336e23a7fada71c257a8e2d

Merge "Deployed server bootstrap via Heat"

Merge "Add heat service support for composable upgrades"

Merge "Add cinder service support for composable upgrades"

Fix typo in template description

The DeployedServerPortMap parameter actually joins the hostname and
network name with a dash, not an underscore. This commit just fixes the
template description for documentation purproses.

Change-Id: Iea874e090bc615fd56b07e327465d093bcb0df9c

Use custom role names in deployed-server roles

Custom role names need to be used in the deployed server role files,
otherwise the new customized roles are not generated by jinja since the
default roles are excluded from templating in j2_excludes.yaml.

This patch also removes the OS::TripleO::Services::Core service that was
recently removed from the default Controller role as well in
I48cd2b6a4593d673d5883b45feae088392e7e713

Partially-implements: blueprint split-stack-software-configuration
Change-Id: I60cb60382d472cd093f07e134245f666029f3b16

Deployed server bootstrap via Heat

Adds an environment file, template, and script that can be used to do
initial bootstrapping of deployed servers during NodeExtraConfig. It is
meant to install and configure the initial dependencies needed to apply
the rest of the OpenStack configuration via Heat.

Enabling yum repos and installing the initial python-heat-agent package
would still have to be manual steps when using this environment. But the
goal is to keep those manual steps to a minimum and automate as much as
possible in deployed-server-bootstrap.sh.

Along with setting EnablePackageInstall: True, this could eventually
replace bootstrap-overcloud-full.sh from tripleo-ci.

Partially-implements: blueprint split-stack-software-configuration
Change-Id: I6be94604a46382e6288df1b36b9de8fab58696cc

Fix for AllNodesExtraConfig and fix environment files to create swap files/partitions

This submission:

 - Fix an error in the AllNodesExtraConfig resource.
   (Can't merge servers multiple times).
 - Add environment files to deploy swap file/partition
   without manual edit over the templates.
 - If a swap partition is mounted without having it available
   the deployment will fail, the fix checks that if the
   partition is not created then the deployment continues.
 - Removing empty extra lines in swap templates.
 - Adjust description and remove unnecessary comments in
   swap templates.

Closes-Bug: 1652184

Change-Id: I828bbbbd4c178956aac74af49f80fcd4f62fa16b

Merge "Adds a step0 for pre upgrade-init checks"

Merge "Add deployed-server backwards compatible template"

Merge "Continue checking for request url if initially null"

Merge "Add UpgradeInitCommand to deployed-server"

Updated from global requirements

Change-Id: Icadcb1b27852d729608195f4890f914c8350ac8c

Merge "Add ReNo support"

Merge "Add git to FreeIPA test server install script"

Merge "Revert "Specify cell0 db creation""

Add ReNo support

Add ReNo support to manage release notes.
http://docs.openstack.org/developer/reno/

Change-Id: Ie5154d909e616e4e7e813052f9c121d6ac5b0875

Merge "Add neutron service support for composable upgrades"

Revert "Specify cell0 db creation"

This reverts commit 4e3b085a59e7af49d1025986fd80796be338f5fd.

Change-Id: Id9b3610af7167572b292ba330c3f0aad660fedc4
Related-Bug: #1656276

HPELeftHandISCSIDriver support for Cinder

Cinder configuration with HPELeftHandISCSIDriver
for VSA storage

Change-Id: Iaefbf38522069f6c636130e357f19a7fb7d54fe4

Merge "Add THT for networking-fujitsu"

Merge "Use provided qemu.conf in libvirt container"

Add git to FreeIPA test server install script

This is needed to fetch the tripleo repo; since it's not available
because we're using the generic cloud image on CI.

Change-Id: I22ebe028c7b23cb5fba7d03ce89e967bca5951f8

Add heat service support for composable upgrades

Change-Id: Idbbff1e7b3947a8a381ddae172006d724a98a344
Partially-Implements: blueprint overcloud-upgrades-per-service

Add cinder service support for composable upgrades

Change-Id: I5447afb18b43bc3442e411a6b0ac7c32e8075116
Partially-Implements: blueprint overcloud-upgrades-per-service

Add neutron service support for composable upgrades

Change-Id: I9c6116ddb4475b798876635cbb701214759fa33b
Partially-Implements: blueprint overcloud-upgrades-per-service

Merge "Configure specific module path for ansible."

Adds a step0 for pre upgrade-init checks

Adds a step0 for any pre-upgrade checks. This migrates
some of the checks we have at the top of
extraconfig/tasks/major_upgrade_controller_pacemaker_1.sh

Checks for other services (and for the cluster) will follow
in separate commits.

Partially-Implements: blueprint overcloud-upgrades-per-service
Change-Id: I607f1fed68d7f11773484c3d7cb3e5af67465d57

Parameterizes Nova API default floating IP pool

This allows a user to modify the parameter based on what name he/she
wants to use for the default neutron external network.

Closes-Bug: 1656079

Change-Id: Iaa245c234aa7e80818d901bc9947ac57cf5e903a
Signed-off-by: Tim Rozet <trozet@redhat.com>

Add glance service support for composable upgrades

Change-Id: I730abee756598c0a23209a53e52cc83e0b815a50
Partially-Implements: blueprint overcloud-upgrades-per-service

Merge "Add retry to RHEL registration"

Merge "Fix protocol for ZaqarWebsockets endpoint"

Merge "Make build_endpoint_map.py output an ocata versioned template"

Merge "Remove unused pacemaker profiles"

Merge "Fix error path for tools/process-templates.py"

Merge "Allow freeipa environment file to be in /tmp"

Fix protocol for ZaqarWebsockets endpoint

We needed to set the 'ws' protocol so we would get the correct endpoint
map generated when using build_endpoint_map.py

Change-Id: I6f2cfce058a803f1925c4e22f9791d0117a6c0e3

Make build_endpoint_map.py output an ocata versioned template

the version it was using was 2015-04-30, but we should be using ocata
instead.

Change-Id: I3eca2f235b3623f08e9cd6b7c2eafe0959b2fb3c

Merge "Update net-config-noop to use apply-config"

Merge "Removes deprecated OpenDaylight L2 only deployments"

Merge "Add support for the deployment of Ceph MDS"

Fix error path for tools/process-templates.py

The error path for this fails because we don't import six
or install it in the templates tox venv

Change-Id: Ie9f46332f2b03d48a1b0a4a432e9721757833569

Allow freeipa environment file to be in /tmp

Relying on home can be tricky if run on CI, since we would need to
hard-code the user. So for this case, we can use /tmp to source that
environment file from.

bp tls-via-certmonger

Change-Id: Ie6234a15af7aa493257c13bd40cbf51ab36085be

Merge "Add example showing how to set root password via cloud-init"

Removes deprecated OpenDaylight L2 only deployments

Deploying ODL without L3 DVR is no longer supported.  This patch moves
the opendaylight-l3 env settings to be the new default for opendaylight
env file, while also removing any option to disable L3.

Closes-Bug: 1654586

Change-Id: Ia2488cb0b752fb4b33f03caa7a1d2469d20395f0
Signed-off-by: Tim Rozet <trozet@redhat.com>

Merge "Updated from global requirements"

Merge "README: Add mistral"

Add deployed-server backwards compatible template

In Newton, the ctlplane port on deployed-server was called
<hostname>-ctlplane-port. When this code was refactored in
I29fbc720c3d582cbb94385e65e4b64b101f7eac9, the -port suffix was dropped
in favor of <hostname>-<network> convention, and the port resource was
created directly in deployed-server.yaml instead of in a nested stack.

Both of those changes were backwards incompatible -- making it
impossible to upgrade to the new version of deployed-server.yaml without
the ctlplane port getting deleted/recreated, which causes a change in IP
address. The IP address change causes services to be misconfigured on
upgrade attempts.

Change-Id: I45991b60a151abf3c5e4d05a3aa7246b2d25ac5a

Merge "Setting networking-odl v2 as a mechanism driver"

Add support for the deployment of Ceph MDS

This change adds a CephMds service, disabled by default, on the
Controller role and an environment file to enable it.

Change-Id: If7cb46319038a80ed52f753a623989885e1b7da4
Depends-On: Iaecc3ff7acb851776c5057c42a5a513a70425d2c
Partial-Bug: #1644784

Add THT for networking-fujitsu

Introduce THT for networking-fujitsu. networking-fujitsu is a neutron ML2 plugin
which enables FUJITSU C-Fabric switch in OpenStack environment. This templates
deploy overcloud with C-Fabric switch.

Change-Id: Iee75a1a30552d8dc9f55f52d10b0dc2b623992ef
Implements: blueprint integration-networking-fujitsu
Depends-On: I37a502b43eb7d91bfe20625248ed117eae3ca535
Depends-On: I5eb2c2a9c50b5991d62f4b6d74b83351c86b02de

Add retry to RHEL registration

Occasionally we can see transient network outages when attempting
to register with the Redhat Portal or Satellite server. This causes
deployment or scaleout operations to fail. These outages are minimal
and retrying often resolves the issue. This becomes more prevelant
during testing as we deploy infrastructure far more frequently.

Change-Id: If23785fbe2eea4643918b2e68915bbc13c1b1112

Updated from global requirements

Change-Id: I9ae60dfb2ef5e8fb5aae482ddb08206fc1980ca5

Merge "Make update-from-keystone-admin-internal-api.yaml work on newton+"

Correct typo in ManagementAllocationPools in network-environment.yaml

There was a comma after 'end' in ManagementAllocationPools that causes
a failure if using this parameter straight without modification.
Replaced comma with colon.

Closes-Bug: 1655204

Change-Id: Ic25606ea0b6637fcd33f1375f34a6486eda2af85
Signed-off-by: Kevin Jones <kevinjones@redhat.com>

Merge "Configure Kernel Args and Tuned and then reboot for Compute"

README: Add mistral

Mistral is tested by scenario003. Let's document it.

Change-Id: If715a2071b7e421b63033fd00f49d3a3f1948af1

Configure specific module path for ansible.

Change-Id: Icd23553e94fd573a8032c52e18857e722eb2ea49

Merge "Add FreeIPA server installation script"

Merge "Template and role support for the undercloud"

Merge "scenario001: add Panko testing"

Setting networking-odl v2 as a mechanism driver

The current environment files for OpenDaylight use
the opendaylight mechanism driver - changing it to
opendaylight_v2.
Also using the l3_odl_v2 as a service plugin

Depends-On: I2a1c5097614e47cc09e43bbc77305a0548d54baa
Change-Id: Iba6f52663ce4a5e4c070f58f079465fdd24ecc7c

Merge "Add missing VIP definitions into -no-tunneling env file"

Make update-from-keystone-admin-internal-api.yaml work on newton+

There are change of ServiceNetMapDefaults in service_net_map.j2.yaml but
were not reproduce in update-from-keystone-admin-internal-api.yaml
environment. Tested in newton.

Closes-Bug: #1646862

Change-Id: I307dcaabbc6d583896090bf3f046b442007fbc42
Signed-off-by: Cyril Lopez <cylopez@redhat.com>
Co-Authored-By: Gregory Charot <gcharot@redhat.com>

Continue checking for request url if initially null

When using get-occ-config.sh during overcloud upgrades, the script could
potentially be started before the stack has been upgraded. In that
scenario, the script will return null for the request metadata url for
the deployed-server resource since the stack has not yet been updated
and it's still using the previous Heat signaling.

This patch updates the script to just continue checking the resource
metadata if the request url is null. Eventually, once the resource has
been updated, the script will continue and properly populate the
os-collect-config configuration.

Change-Id: I9db54d8ad278715f42b768edf8f0fd21998b2098

Update net-config-noop to use apply-config

Some deployments of the undercloud would like to use
net-config-noop (to disable all network configuration).
This patch changes this noop software deployment to use
'apply-config' instead of 'os-apply-config' which allows it
to work with the undercloud installer which only supports the
newer (apply-config) style due to heat signalling requirements.

Change-Id: If7b579b759477afd81ad64a4847169e59ddcbd77

Add UpgradeInitCommand to deployed-server

The commands specified by UpgradeInitCommand need to be run before
InstanceIdDeployment in deployed-server.yaml, otherwise the upgrades
hang with the resource in progress. This is because the new
python-heat-agent-apply-config has not yet been installed on the
deployed server.

Adding the UpgradeInitCommand (and corresponding
SoftwareConfig/SoftwareDeployment to apply it) will cause the new repos
and python-heat-agent-* rpm's to be installed before
InstanceIdDeployment.

An open question is whether or not Heat should even be triggering the
InstanceIdDepoyment to IN_PROGRESS on upgrade when only the group is
changing from os-apply-config to apply-config. If that turns out to be a
Heat bug, then this patch wouldn't be necessary.

Change-Id: I9d87f995744415b110a7d0bca8d2309d7167148c

Template and role support for the undercloud

Add a new roles data YAML file and environment to help
create the undercloud via t-h-t.

Partially-implements: blueprint heat-undercloud

Change-Id: I36df7fa86c2ff40026d59f02248af529a4a81861

Heat engine settings required for Undercloud

This patch adds several new heat engine setting that are required
in order to configure a fully working Heat engine in the undercloud.

New parameters have been added for the max resources and convergence
settings. I've hard coded the max stack depth at 6 which matches our
undercloud and should be fine as a default setting I think (would
rarely need overridden).

Change-Id: I335476f46b4bea4b9f3ac70a6312a7e906f43ba6