Deployed server: switch to apply-config hook

This patch switches the deployed-server.yaml template to use
apply-config instead of os-apply-config. The 'apply-config' hook
is now installed via a package (no longer requires elements for
installation) and supports more signalling options.

This is required to support the undercloud installer which doesn't work
with os-collect-config heat metadata.

Change-Id: I7963fe4f38e8f04c9871fe651d39efec1aa17c41

Merge "Add Neutron network type and VLAN ranges to network-environment.yaml"

Merge "Add Mistral to scenario003"

Merge "get-occ-config.sh replace deprecated heat commands"

Merge "Test encrypted volumes in scenario002"

Merge "Apply os-net-config with a script instead of element"

Add Mistral to scenario003

Install Mistral into the test overcloud and create a workflow to
verify the Mistral installation. This does not currently actually
execute the workflow. It merely tests that it can be created.

Change-Id: Ia03a605bcfd92498bf299d3042dca7c9932f5b63
Depends-On: Id5ff9cb498b5a47af38413d211ff0ed6ccd0015b

Merge "Disable all repos during rhel registration"

Fix grammar

Fix English grammar error I did in a previous commit.

Change-Id: I06209ab782240f05844793e56270135d48792f3d

Merge "Revert "Set NeutronL3HA to false when deploying DVR""

Merge "Import TripleO CI environments from tripleo-ci"

Test encrypted volumes in scenario002

This effectively adds barbican-api to the deployment in scenario002
and uses it to provide encrypted volumes for cinder that a nova
instance boots from in the test.

Change-Id: I132e346755fb49c9563247b4404be06b97f77872

Merge "Stop using puppet to configure VIPs in /etc/hosts"

get-occ-config.sh replace deprecated heat commands

The modern openstack equivalent heat commands require no awk and will
be slightly more efficient.

The roles variable is optionally populated by OVERCLOUD_ROLES so that
a subset of roles can be specified.

Change-Id: I6b66cb3bd81825fba726dd45b0db25896908f6dd

Apply os-net-config with a script instead of element

Wire in os-net-config via a normal script heat deployment, which has the
following advantages:

1. Improved error path, currently o-a-c deployments don't report any
errors, thus hang and eventually the deployment times out

2. It's far more hackable from a deployer perspective, e.g it's
much easier to change the os-net-config options or include a
mapping file

3. Reduces our dependencies on o-a-c (it's only os-net-config and hiera
which requires it), although the script does currently still use oac to
get the metadata IP.

4. May enable passing os-net-config yaml via a json parameter in future,
reducing the need for resource_registry mappings (although we'll have to
support that for backwards compatibility)

The script used is based directly on 20-os-net-config (from t-i-e
at cf94c5e, we can probably improve this now that we have an error path,
but for this initial commit it's a straight copy other than the changes to
replace o-a-c for rendering the json config file.

Co-Authored-By: Steven Hardy <shardy@redhat.com>
Change-Id: I0ed08332cfc49a579de2e83960f0d8047690b97a

Use correct type for SensuRedactVariables parameter

The parameter type is invalid making it impossible to enable monitoring-environment.

Change-Id: I835d1e82480edb0b6d082a7496d7ceebb1781728
Closes-Bug: #1641080
Closes-Bug: rhbz#1392473

Merge "Enable TLS in the internal networkf or Mysql"

Merge "adding swift middleware that is typically enabled by default"

Revert "Set NeutronL3HA to false when deploying DVR"

DVR+HA routers are officially supported, so this patch can be reverted.

This reverts commit ce39dbac56123354576d2c31674e1b18535b0111.

Conflicts:
    environments/neutron-ovs-dvr.yaml

Change-Id: Ifeceb0c3ba01e81403903401ebfe69b9e9d7d2f2

Merge "Cleanup some inline comments in network/config"

Stop using puppet to configure VIPs in /etc/hosts

This patch drops use of the vip-hosts.yaml service which can
cause issues during deployment because puppet 'hosts' resources
overwrite the data in /etc/hosts. The only reason things seem to work
at all at the moment is because our hosts element in t-i-e runs
on each os-refresh-config iteration and re-adds the dropped hosts
entries.

To work around the issue we add a conditional which selectively
adds the extra hosts entries only if the AddVipsToEtcHosts is set
to true.

Closes-bug: 1645123

Change-Id: Ic6aaeb249a127df83894f32a704219683a6382b2

Import TripleO CI environments from tripleo-ci

Import TripleO CI environments from tripleo-ci into THT for some
reasons:

1) THT is branched while tripleo-ci is not. Having them here would allow
   to make scenarios able to evolve over the releases without adding
   more scenarios.
2) Help our developers to run TripleO CI scenarios themselves from THT
   by exposing the templates here.

The whole discussion is here:
http://lists.openstack.org/pipermail/openstack-dev/2016-November/107816.html

Change-Id: I3527a64c0c8f56ca77115d32849fa23fe710112d

Provide full list of services for Compute role in HCI scenario

Until bug #1635409 is fixed, we can provide the full list of
services needed on the Compute role, plus CephOSD, in the
hyperconverged-ceph environment file, preserving the user
experience.

Change-Id: I42409bc098c740759b378969526e13efaf002d3c
Related-Bug: #1635409

Enable TLS in the internal networkf or Mysql

This adds the necessary hieradata for enabling TLS for MySQL (which
happens to run on the internal network). It also adds a template so
this can be done via certmonger. As with other services, this will
fill the necessary specs for the certificate to be requested in a
hash that will be consumed in puppet-tripleo.

Note that this only enables that we can now use TLS, however, we still
need to configure the services (or limit the users the services use)
to only connect via SSL. But that will be done in another patch, as
there is some things that need to land before we can do this (changes
in puppetlabs-mysql and puppet-openstacklib).

Change-Id: I71e1d4e54f2be845f131bad7b8db83498e21c118
Depends-On: I7275e5afb3a6550cf2abbb9a8007dedb62ada4b4

Merge "Increase reserved memory for computes when enabling DVR"

Merge "Disable Neutron agents with OVN."

Merge "Make Ceilometer notifications non-blocking"

Merge "Remove conditional for neutron l3_ha"

Merge "Run os-net-config before restarting cluster on update"

Disable Neutron agents with OVN.

OVN natively implements services that are provided by Neutron agents.
This patch disables the Neutron DHCP agent as well as the OVS agent
for compute nodes.

Closes-bug: 1634580

Change-Id: I70631c2facbbf08257868e26e14af942ad7f2893

Merge "Explicitly set rabbit hosts so its not overridden during upgrade"

Merge "Add panko api support to service templates"

Merge "Add necessary parameters for encrypted volumes support"

Run os-net-config before restarting cluster on update

Running os-net-config before restarting the cluster prevents changes to
the interface files caused by changes to implementation from bouncing
network interfaces after the cluster has restarted.

Closes-Bug: #1644138

Change-Id: I65fb104465ff3d37ddc791634302994334136014

Merge "Make the CloudDomain defaults match the doc strings"

Merge "Remove Combination alarms support"

Explicitly set rabbit hosts so its not overridden during upgrade

During ceilometer pre upgrade, rabbit host config gets overridden in
ceilometer conf as its setting to defaults. This explicitly sets the
host info in standalone manifest.

Closes-Bug: #1644278

Change-Id: I862ea7165c5d42ba1f9a19111a8be8934c0ef883

Cleanup some inline comments in network/config

This patch cleans up some inline comments that are a bit
non-standardly formatted so that we can more easily parse
these templates in an automated fashion.

Change-Id: Ibf91f3478fd894f9323d8805729ece9c5fab256f

Merge "Configure Keystone Fernet Keys"

Merge "Fix resource_registry path in enable-internal-tls"

Merge "Fix ovs 2.4 to 2.5 upgrade - minor update non controllers"

Merge "Containerized Services for Composable Roles"

Merge "Enables auto-detection for VIP interfaces"

Make the CloudDomain defaults match the doc strings

Not having the default easily accessible is causing issues for the UI,
as it cannot guess at it and can accidentally overwrite the value with
an empty string (the expected default when unset). The default is
already helpfully spelled out in the doc string for each file, this
updates the parameter to match it.

Change-Id: Ic284f9904e8f1d01cc717d59a0759f679d94106d
Closes-Bug: #1643670

Fix ovs 2.4 to 2.5 upgrade - minor update non controllers

In I9b1f0eaa0d36a28e20b507bec6a4e9b3af1781ae and
I11fcf688982ceda5eef7afc8904afae44300c2d9 we landed a workaround
for the openvswitch 2.4 to 2.5 upgrade discussed in the bug below.

Unfortunately testing has revealed a problem with the minor update
case specifically for non controllers. It seems we would exit
before the ovs workaround has had a chance to execute. This moves
the block up a few lines to avoid this condition. As with the
other two reviews noted here, this will need to go into newton
and then mitaka too.

Change-Id: If905de82d96302334ebe02de9c43f00faed9b72b
Related-Bug: 1635205

Fix resource_registry path in enable-internal-tls

It had a wrong path and thus crashed when one tried to use it.

Change-Id: Ida4f899c76cce6e819d7e0effaf038f699763bee
Closes-Bug: #1643863

Containerized Services for Composable Roles

This change modifies the template interface to support containers and
converts the compute services to composable roles.

Co-Authored-By: Dan Prince <dprince@redhat.com>
Co-Authored-By: Flavio Percoco <flavio@redhat.com>
Co-Authored-By: Martin André <m.andre@redhat.com>
Co-Authored-By: Steve Baker <sbaker@redhat.com>
Change-Id: I82fa58e19de94ec78ca242154bc6ecc592112d1b

Merge "Disable Options Indexes in horizon"

Merge "Enable enforce_password_check"

Add necessary parameters for encrypted volumes support

If barbican is set, it will configure cinder and nova-compute with
the necessary parameters to enable encrypted volumes to be created if
requested.

Change-Id: Id13811cf8e090706c590ffff46c237ff8131efd9

Make Ceilometer notifications non-blocking

Ceilometer notifications can be sent in a background thread, unblocking
the Swift proxy in case the RabbitMQ is not processing notifications
quick enough or even unavailable.

There is a default queue size of 1000 notifications. If more messages
are added to the queue these will be discarded, and a warning log entry
will be emitted.

Change-Id: I98022dcbf661a5bb7425f49ba8525225d61212dc

Disable keepalived for HA deployments via t-h-t

Currently this is disabled via a conditional in the keepalived
profile in puppet-tripleo, but this will be incompatible with
the planned composable upgrades implementation.  Instead we should
disable the service template by mapping to OS::Heat::None, and
ensure the haproxy manifest uses the t-h-t generated hiera value
keepalived_enabled instead of hard-coding a hiera override in the
haproxy template.

Change-Id: I85a8b1cca7268506de22adfb3a8ce7faa4f157ef
Partial-Bug: #1642936
Depends-On: I90faf51881bd05920067c1e1d82baf5d7586af23

Merge "Use j2 loops in post.j2.yaml"

Merge "Correct AllNodesDeploySteps depends_on"

Disable Options Indexes in horizon

Security scanners complain that directory listings are enabled in horizon.

Change-Id: I1d7cfcb3521e8235a99bc452f1b7b92c20ce72ac
Closes-Bug: #1637576

Add panko api support to service templates

This integrates panko service api into tripleo heat templates.
By default, we will disable this service, an environment service
file is included to enable if needed.

Depends-On: I35f283bdf8dd0ed979c65633724f0464695130a4

Change-Id: I07da3030c6dc69cce7327b54091da15a0c58798e

Remove conditional for neutron l3_ha

This is handled in puppet-tripleo instead so we can remove the
hard-coded reference to ControllerCount and instead use the
hiera neutron_api_node_names to derive the number of neutron API
nodes regardless of roles.

Note that the NeutronL3HA parameter is maintained despite being
marked deprecated because we need to backport this bugfix so we
can't just remove it.  I'm not sure if we want to consider removing
the deprecation as leaving the override parameter in place seems
fairly low overhead.

Closes-Bug: #1629187
Change-Id: I7a77836dcaf809cc7959fca7691a4cd7d4af5d6a
Depends-On: I01c50973eec8138ec61304f2982d5026142f267c

Configure Keystone Fernet Keys

Provision the Keystone Fernet Token provider
by installing 2 keys with dynamic content
generated by python-tripleoclient.

Note that this only sets up the necessary keys to use fernet as a token
provider, however, this does not intend to set it up as the default
provider; This will be discussed and will come as part of another
commit.

Co-Authored-By: Juan Antonio Osorio Robles <jaosorior@redhat.com>
Depends-On: Ic070d160b519b8637997dbde165dbf15275e0dfe
Change-Id: Iaa5499614417000c1b9ba42a776a50cb22c1bb30

Enable enforce_password_check

By setting ENFORCE_PASSWORD_CHECK to `True`, it displays an 'Admin
Password' field on the Change Password form to verify that it is indeed
the admin logged-in who wants to change the password.

Change-Id: Ib11bef93b6b0c74063052875fa361290bf1e92fd
Depends-On: If7af97df7a011569a7e14fbab4f880688d7b82c3
Closes-Bug: #1640806

Remove Combination alarms support

combination alarms are completely removed in Ocata.
Remove this from tripleo.

Change-Id: Iec2e26ebdaa108ddbb2cf45fc4b6c68023fb6ce0

Merge "Do not manage overcloud repositories when using external Ceph"

Merge "Use keystone profile parameter to pass heat password"

Merge "Fix up Newton->Ocata rabbitmq ha policy"

Merge "Replace ceilometer-dbsync by ceilometer-upgrade"

Do not manage overcloud repositories when using external Ceph

ceph::profile::params::manage_repo should default to false when
using external Ceph.

Overcloud Ceph clients use Ceph packages, which may be provided by
the 'ceph' metapackage, but not for all repos, see related bug. So,
this change also includes a list of packages as a workaround as
used in change Ie55d22301dd22102d471e6002dfcaad4bfadd5f6.

Change-Id: I338e51637aa39d3f7bbbad0263740f728d42cb9b
Closes-bug: 1641989
Related-Bug: 1629933

Correct AllNodesDeploySteps depends_on

This is wrong atm, it should loop to create a list for the depends_on
not multiple depends_on statements.

Note this was first corrected in https://review.openstack.org/#/c/330659/
but we need it as a standalone patch that can be backported.

Change-Id: I4d1d6346f2147e573fc0900038f1ad1d782e75ee
Closes-Bug: #1642069

Use keystone profile parameter to pass heat password

Instead of relying on an explicit hiera call to get the stack domain
password, this uses the keystone parameter to introduce that value
instead.

Change-Id: I0e5124d57fdc519262fdec2dbeaaac85afaeebdf

Nova base cleanups for hiera json hook

This patch resolves an issue with nova-base.yaml that prevents
it from working with the new heat hiera agent hook (which
uses Json instead of Yaml).

It updates the service so that we only set the upgrade level if it
is not an empty string.

Partial-bug: #1596373

Change-Id: I595f2e16c33a6f935c7ca8935fec445d19c7b8f3

Horizon service cleanups for hiera json hook

This patch resolves a few issues I noticed when porting our
Horizon service to support the new heat hiera agent hook (which
uses Json instead of Yaml).

 -we only need to set django_debug if the string is non-empty. This
  should match previous behavior.

 -remove the duplicated NeutronMechanismDrivers setting. This is already
  managed in the neutron services and shouldn't be set here.

Change-Id: I473e110bb9b14cb8f57d41c4fc398871548726b0
Partial-bug: #1596373

Merge "Fix external Load Balancer deployment"

Merge "Revert "Adjust MTU to compensate for VLAN tag issue""

Merge "Enable internal TLS for Barbican API"

Merge "Define keystone token provider"

Merge "Disable password reveal in horizon"

Replace ceilometer-dbsync by ceilometer-upgrade

https://review.openstack.org/#/c/388688/ has removed ceilometer-dbsync so
ceilometer-upgrade must be used instead.

Additionally, ceilometer-dbsync enabled option --skip-gnocchi-resource-types
and ceilometer-upgrade doesn't, so i'm setting it by default to ensure backwards compatibility.

Note this is based on the corresponding fix to puppet-ceilometer ref

https://review.openstack.org/#/c/396570

Change-Id: Ic0a15c75d1cd3e3f70eeafd9ba09d50c58cc1293
Closes-Bug: #1641076

Fix external Load Balancer deployment

Deployments using external LB will file like this:
  deploy_stderr: |
    + RESTART_FOLDER=/var/lib/tripleo/pacemaker-restarts
    + [[ -d /var/lib/tripleo/pacemaker-restarts ]]
    ++ systemctl is-active haproxy
    + haproxy_status=unknown
  deploy_status_code: 3
openstack software deployment show 4f339ca4-7600-4ca0-b0ef-f798bc47b6cf

The reason is that via https://review.openstack.org/#/c/393644/ we
introducted the haproxy restart like this:
haproxy_status=$(systemctl is-active haproxy)
if [ "$haproxy_status" = "active" ]; then
    systemctl reload haproxy
fi

The problem is that if haproxy is not running/installed systemctl
is-active can fail and the script will terminate with an error return
code. Let's just move the call inside the if so the script does not fail
in case haproxy is not there.

The snippet before the change (on a system without haproxy installed):
[root@mrg-09 tmp]# ./test.sh
++ systemctl is-active haproxy
+ haproxy_status=unknown
[root@mrg-09 tmp]# echo $?
3

After this change:
[root@mrg-09 tmp]# ./test.sh
++ systemctl is-active haproxy
+ '[' unknown = active ']'
[root@mrg-09 tmp]# echo $?
0

Change-Id: I837c63a9dbcde8c922f843c442974fa79cf1eede
Closes-Bug: #1641904

Define keystone token provider

In order to eventually enable fernet tokens for keystone, we need to be
specify the token provider. This change codifies the current default
used by TripleO of uuid tokens and fernet token setup disabled.

Change-Id: I7c03ed7b6495d0b9a57986458d020b3e3bf7224a
Closes-Bug: #1641763

Merge "Fix typo in Keystone Sensu subscription"

Merge "Use default Sensu redact"

Fix up Newton->Ocata rabbitmq ha policy

In ocata we changed the ha policy to "ha-exactly" via the following changes:
- tht: Iace6daf27a76cb8ef1050ada0de7ff1f530916c6
- puppet-tripleo: Ib62001c03e1e08f58cf0c6e0ba07a8879a584084

We initially also took care of changing this policy (which is set in the
pacemaker resource agent) for the M/N upgrade path:
I2468a096b5d7042bc801a742a7a85fb1521c1c02

In the end we decided against changing the policy in Newton as well (it
was only for ocata) as it was too close to the release date and we took
the safer path.
This patch does two things:
1) It renames the upgrade function to "newton_ocata" since that is the
only upgrade path we need to take care of
2) It reinstates the actual upgrade function which was mistakenly
removed via an unrelated change in the ceilometer upgrade path:
If9d6987cd0a8fc5d3f9de518ba422d97d5149732

Closes-Bug: #1628998

Change-Id: I3a97505d2ae1ae27f3080ffe74c33fdabffd2420

Merge "Fixes missing OVS Firewall config with OpenDaylight"

Enable internal TLS for Barbican API

This adds the necessary hieradata for enabling TLS in the internal
network for Barbican API.

bp tls-via-certmonger
Depends-On: I1c1d3dab9bba7bec6296a55747e9ade242c47bd9

Change-Id: Ib100faa9dc222f836695a0e8f6e101dc7637d1d6

Merge "Configure civetweb bind socket via puppet-tripleo"

Merge "Neutron L3 service cleanups for hiera json hook"

Merge "Enable internal TLS for Cinder API"

Merge "Increasing neutron timeout for low memory usage"

Merge "Handle null role_data in services"

Fixes missing OVS Firewall config with OpenDaylight

Currently OVS tunnel firewall rules are held within the neutron ovs
agent service heat template.  That service is not used with ODL, so
consequently ODL was missing the VXLAN and GRE firewall rules and
traffic would not pass between nodes.  This adds the missing rules to
the OpenDaylight OVS service.

Closes-Bug: 1641191

Change-Id: Icfd7db6a3e8fcdd02646fb7e413f40f26b03b994
Signed-off-by: Tim Rozet <trozet@redhat.com>

Configure civetweb bind socket via puppet-tripleo

When the civetweb binding IP is version 6 it needs to be enclosed
in brackets or the bind socket parsing fails. The mangling happens
in puppet-tripleo, this change updates the templates to push the
appropriate hiera keys.

Change-Id: Ic7004d768ed5e0f2382ffaa57961ea0ef9162527
Closes-Bug: #1636515
Depends-On: Ib84fa3479c2598bff7e89ad60a1c7d5f2c22c18c

Merge "Fix inconsistent Manila service naming"

Increasing neutron timeout for low memory usage

We are noticing several tests failing in our low memory environment
because of timeout in neutron requests.
As an example the test
tempest.api.compute.servers.test_server_actions.ServerActionsTestJSON
fails because it requests to plug a vif, and send request to neutron,
which responds in more than neutron_url_timeout, and since the option
vif_plugging_is_fatal is set to True as default, the test fails.
Shortly thereafter, checking in neutron log you can see the request,
returning with the proper status, after more than neutron_url_timeout,
however, it's already too late once nova already marked the instance
with error status, and so the test fails.

Closes-Bug: #1641135

Change-Id: If0991c114f199490ac0deb71eb569a42d4711359

Increase reserved memory for computes when enabling DVR

This patch adds an example increased value for NovaReservedHostMemory
and some documentation around tuning this value when DVR is enabled.

Closes-Bug: #1630583

Change-Id: I2718d72d307a1c90061606e5f36c96f964cd2fb5

Use default Sensu redact

By default sensu-puppet is overring default list of varibles which should
be redacted. This patch enables to configure redact list and uses default
value given by [1]. This patch also serves as a workaround until [2]
is merged in the module itself (or in case it won't get merged).

[1] https://sensuapp.org/docs/0.24/reference/clients.html
[2] https://github.com/sensu/sensu-puppet/pull/580

Closes-Bug: #1641080
Closes-Bug: rhbz#1392473
Change-Id: I21201f734d2fbf5f571091603126cf11cfdd8c40

Merge "Add missing Barbican endpoint from tls-everywhere environment"

Merge "Fix race during major-upgrade-pacemaker step"

Merge "Removes deprecated overcloud VIP outputs"

Merge "Fixes incorrect reference to OpendaylightApiNetwork"

Merge "Ensure heat-domain hiera is in nodes that contain keystone"

Fix inconsistent Manila service naming

The capitalization of OS::Tripleo is wrong compared to all other services
so correct this for avoidance of confusion when folks write custom roles_data
files or pass custom service lists via *Services parameters.

Change-Id: Ib73c80871b45586edb5774e90280ff89fc0d9895
Closes-Bug: 1640871

Fix typo in Keystone Sensu subscription

Closes-Bug: rhbz#1392428
Closes-Bug: #1640834
Change-Id: I2a1a869493ccb4c8d5b9aea26b8ef947750d2cfe