Use Keystone internal endpoint instead of admin for nova-ironic

As per I1213a83ef8693c1cca1d20de974f7949a801d9f1 this moves to
using KeystoneInternal for the nova-ironic template and updates
some deprecated hiera keys.

Change-Id: Ib1103c00ddb7d6d624f4911147197d8355a3a6dd

Use Keystone internal endpoint instead of admin for services

The admin endpoint is listening on the ctlplane network by default;
services should ideally be using the internal api network for this kind
of traffic, as the ctlplane network is mostly for provisioning. On the
other hand, the admin endpoint shouldn't be as relevant with services
switching to keystone v3.

Change-Id: I1213a83ef8693c1cca1d20de974f7949a801d9f1

Merge "Configure the placement API's interface to use the internal endpoint"

Merge "Remove duplicated release notes"

Merge "Add missing TripleO services to ci/multinode"

Merge "Enables support for configuring Cinder with Dell EMC ScaleIO storage backend."

Remove duplicated release notes

Change-Id: I8c2e0af3ad4e47b12f4ecf2d5762df95e66fa34d

Merge "Added further security functionality in release notes."

Merge "nova-placement: support upgrade"

Merge "placement: switch service to use NovaPlacementNetwork"

Merge "Remove [heat,glance,ironic,cinder,keystone] db sync from ansible"

Add missing TripleO services to ci/multinode

Add:
    - OS::TripleO::Services::TripleoPackages
    - OS::TripleO::Services::TripleoFirewall

to the CI environments, so we can test Firewalling and also TripleO
packages upgrades.

Change-Id: I5d39c7a332a4c376fb4d6ee9463d27f481b6a0d0

Merge "Add missing release notes for Ocata"

Merge "Fix Neutron region in nova.conf"

nova-placement: support upgrade

Upgrade nova-placement service with Ansible.

Change-Id: I43cac37afbc8b39708389895d9f7350b6bd4bcfd

Merge "Remove the ansible neutron-api db sync as for other services"

Remove [heat,glance,ironic,cinder,keystone] db sync from ansible

These are handle by puppet as usual (puppet run comes after the
ansible steps) so remove them from these remaining upgrade_tasks

Change-Id: Ic341f31251622ccb11a5f7818b2edf7a82391560

Merge "FreeIPA: don't preprovision service principals if novajoin is enabled"

Remove the ansible neutron-api db sync as for other services

In line with other service we leave the db sync to puppet unless
needed for some workaround/upgrade related reason.

Change-Id: I9ae463cda19ffdd66f9ccbae40e85551841ab938

Configure the placement API's interface to use the internal endpoint

Due to the keystoneauth library's defaults, it uses the public interface
currently. This is not desirable in most cases (specially when using
network isolation); so we set it to use the internal one.

Change-Id: Ic222a2b734f4d512349fd8556aa2864b13a1eb07
Depends-On: I1c7fd3a32d04e2fafb3820d1c1f221f45c613c83
Closes-Bug: #1663187

Merge "adding Congress Support"

Add missing release notes for Ocata

Change-Id: I1bc3f37f910d6dfa833166217b1f58931d06be02

Merge "Adds cluster status check_and_fail before running upgrade (step0)"

placement: switch service to use NovaPlacementNetwork

... instead of using NovaApiNetwork.

Change-Id: I34043c68c24b05bac98f864bc2ac2fc4743617ab

Fix Neutron region in nova.conf

Default in puppet-neutron is 'RegionOne', so let's override it with the
right parameter in TripleO.

Change-Id: I3f1693b91178027c8e05288aeba72b7d6bd042be

Merge "Dump and  run puppet for role which are disable_upgrade_deployment true"

Merge "Remove gnocchi db sync from the ansible upgrade step"

Merge "Remove unused SR-IOV parameter NeutronSupportedPCIVendorDevs"

Remove gnocchi db sync from the ansible upgrade step

Since gnocchi db sync for upgrade is made by puppet
we need to remove it from ansible tasks

Change-Id: I4a26513c3e3d0dcf77c007ea865364e38da3a94a

Adds cluster status check_and_fail before running upgrade (step0)

This depends on a change in the pacemaker_cluster resource
https://review.gerrithub.io/#/c/307078/

Change-Id: Iaf50e27607b159173190912604198b6a471fe35f

Merge "Add pacemaker composable upgrade steps"

Merge "Remove legacy major upgrade scripts for Ceph and BlockStorage"

Merge "Remove aodh db sync from ansible upgrade"

Dump and  run puppet for role which are disable_upgrade_deployment true

We wants to run puppet on each role which has the flag
disable_upgrade_deployment to true. It will run after the upgrade
of the role and before running the whole converge step.

Change-Id: Ia85be688d070dfb5b8337e8ef3c4bc439fb6052e

adding Congress Support

Depends-On: Ic74ccd5fa7b3b04ca810416e5160463252f17474

Implements: blueprint congress-service-integration

Change-Id: Ie60540c340c0eb71ff376aba65507a8bb3e909b6
Signed-off-by: Dan Radez <dradez@redhat.com>

Remove legacy major upgrade scripts for Ceph and BlockStorage

We do not need the upgrade scripts used to migrate Ceph from
hammer to jewel. This submission removes that and the legacy
upgrade scripts used for the BlockStorage role.

Change-Id: I2674216dd9b5b849de6a2624ee1115420a254182

Delivers upgrade scripts where upgrade steps are disabled

This delivers a /root/tripleo_upgrade_node.sh to those nodes
that have the disable_upgrade_deployment flag set to true.
They will later be upgraded manually by the operator who will
invoke the script delivered here using upgrade-non-controller.sh

We can also deliver any service specific upgrade configuration,
such as configuring nova-compute to use the placement API as this
is required in order for placement to be configured and installed
during the subsequent upgrade steps for controller services.

This removes the compute and swift specific upgrade scripts as
they are now merged into the common
tripleo_upgrade_node.sh - removing any hard coded
reference to a particular role name (compute/objectstorage) and
only relying on the disable_upgrade_deployment is roles_data.yaml

Change-Id: I4531a4038b78087ef4a1a62c35f1328822427817
Co-Authored-By: Mathieu Bultel <mbultel@redhat.com>

Make UpgradeBatch resource depends on BatchConfig step0

Make UpgradeBatch depends on BatchConfig, for step0
avoid creation of the UpgradeBatchConfig_stepX prior
to UpgradeBatchConfig step0 and add condition

Change-Id: I852beee65590270422cfbc9abe02111d88442f2e

Remove aodh db sync from ansible upgrade

The db sync won't be run by ansible but by puppet
as part of the converge step

Change-Id: Ie868a92ece020e5749a401e0897be5ab80f13559

Adding Tacker Support

Depends-On: Ide0e60f3b7a3733788af4337c1c39b4a956c876f
Depends-On: I3d6bbc05644e840395f87333ec80e3b844f69903
Depends-On: Idf6abcb7fe766546cb362ad4afe54f4bccd9c994

Implements: blueprint tacker-service-integration

Change-Id: Ibddc81561f6e6ba671bd01a9251c57d3ad67ba8c
Signed-off-by: Dan Radez <dradez@redhat.com>

Merge "Re-organizes Contrail services to the correct roles"

Re-organizes Contrail services to the correct roles

In current setup some Contrail services belong to the wrong roles.
The Contrail control plane can be impacted if the Analytics database has
problems.

Change-Id: I0d57a2324c38b5b20cc687c6217a7a364941f7e6
Depends-On: Id0dd35b95c5fe9d0fcc1e16c4b7d6cc601f10818
Closes-Bug: #1659560

Merge "Remove openstack-ceilometer-expirer check"

Merge "Composable service support for Cinder Dell EMC Storage Center"

Merge "implement a collectd composable service"

Merge "Add registry and role service list entries for Octavia"

Merge "Stop deploying Nova API in WSGI with Apache"

Merge "Introduce Octavia implementation services"

Merge "Stop setting bind_address on nova db uri."

Stop deploying Nova API in WSGI with Apache

It was suggested by Nova team to not deploying Nova API in WSGI with
Apache in production.
It's causing some issues that we didn't catch until now (see in the bug
report). Until we figure out what was wrong, let's disable it so we can
move forward in the upgrade process.

Change-Id: I09b73476762593642a0e011f83f0233de68f2c33
Related-Bug: 1661360

Enables support for configuring Cinder with Dell EMC
ScaleIO storage backend.

This change adds all relevant parameters for:
 - Dell EMC ScaleIO Block Storage driver configuration

Closes-Bug: #1661316
Depends-On: I5534aab53b70de215336a076d25263c73b8d7b5b
Change-Id: I8927151adbce235595a5c62365e1f87a6503c462

Stop setting bind_address on nova db uri.

This reverts the changes in https://review.openstack.org/414629 for nova as
they are incompatible with cell_v2.

This is a temporary fix for HA while a long-term solution is developed.

Change-Id: I79d30a2d76a354999152c0c997ea77f104c51027
Related-bug: #1643487
Closes-bug: #1662344

Composable services support for Cinder Dell EMC PS Series

Updated the heat templates for Cinder Dell EMC PS Series backend
to use composable services and rebranding of EQLX to Dell EMC PS Series

Closes-Bug: #1661313

Change-Id: Id9d6f172f3f79a31788b26c7776d738fda5a30fa

implement a collectd composable service

The collectd composable service permits an operator to configure
collectd metrics collection as part of the overcloud install.

Depends-on: I03cfbd96778a76125d18e2ca2f48d96e292608de
Change-Id: I143565329f5128f15cc39c9b62a6b242666383ab

Merge "Adds default Keystone region to regionOne Closes-Bug: #1661839"

Merge "Remove openstack-ceilometer-api pre upgrade check"

Merge "Remove precheck on services which run on httpd for upgrade"

Merge "Remove old host param"

Remove precheck on services which run on httpd for upgrade

Those services is not handle with systemctl

Change-Id: Ia57dffd42a11070696fda14f1e91de2993e63479

Remove openstack-ceilometer-api pre upgrade check

This change removes the pre upgrade check for a running
openstack-ceilometer-api service as this service doesn't exists in
Newton. Ceilometer API runs under httpd:
[root@overcloud-controller-0 ~]# httpd -t -D DUMP_VHOSTS | grep ceilo
10.0.0.23:8777         overcloud-controller-0.internalapi.localdomain
(/etc/httpd/conf.d/10-ceilometer_wsgi.conf:6)

Change-Id: I5cbf8ccf72f9071e328f52d373cf9e8edf5793f4
Closes-Bug: 1661251

Merge "Provide a default value for Ironic cleaning_network configuration"

Adds default Keystone region to regionOne
Closes-Bug: #1661839

Change-Id: I9498be04749dc866d0423e75e57d4c07eaf3e904

Merge "Disable batch upgrade deployments for disabled roles"

Merge "Reduce number of steps for upgrades"

Merge "Simplify/fix config enabled conditions for upgrades"

Merge "Configure VNC Server listen address through t-h-t"

Merge "net-config-multinode: make controlplane int idempotent"

Composable service support for Cinder Dell EMC Storage Center

Updated the heat templates for Cinder Dell EMC Storage Center
Backend to use composable services

Closes-Bug: #1661314

Change-Id: I454549c45da7388f0e42975c9f4637dde9ec51e3

Add registry and role service list entries for Octavia

This patch adds the Octavia services to the registry and controller role
(disabled by default). Also included is an example environment file for
enabling the services and required configuration. The API service
profile is also amended configure the load balancer service provider in
neutron to point to the octavia load balancer driver.

Change-Id: I7f3bba950f5b1574ba842a39e93a8ac2b1ccf7bb
Partially-implements: blueprint octavia-service-integration

net-config-multinode: make controlplane int idempotent

When doing a stack-update, it will try to create the control plane
interface again.
Add this conditional so the interface is not created if already exist.

Note: this code has been taken from tripleo-ci and is consistent with
how multinode jobs are currently tested.

Co-Authored-By: James Slagle <jslagle@redhat.com>
Co-Authored-By: Steven Hardy <shardy@redhat.com>
Co-Authored-By: Mathieu Bultel <mbultel@redhat.com>
Change-Id: I773fdf5359cead6961b595e3c8192b02406452b7
Related-Bug: #1661412

Provide a default value for Ironic cleaning_network configuration

Ironic will soon refuse to start when at least some value is not provided.
Unfortunately, we do not create any overcloud[*] networks during deployment.
Fortunately, Ironic does not validate this value until actual cleaning. So,
this change sets it to "provisioning", which is what people often use.

An update will follow to the documentation to recommend this name:
http://tripleo.org/advanced_deployment/baremetal_overcloud.html#configuring-cleaning

A new parameter is created for this value, with a reminded to change it to
an actual UUID later on. While a pre-defined name will work in a simplest case,
in a real multi-tenant deployment a network name conflict is possible.
Using a UUID is safer in this regard.

[*] networks created in overcloud neutron

Change-Id: I1b7dc2ff70d3b76f19a183a60e88cf72f6d2a318
Closes-Bug: #1661082

Remove openstack-ceilometer-expirer check

This wont work as openstack-ceilometer-expirer
cant be listed from systemctl.

Also we are not runing any upgrade task.

i.e.:
[root@overcloud-controller-0 ceilometer]# systemctl list-units | grep ceilometer
  openstack-ceilometer-api.service           loaded active running   OpenStack ceilometer API service
  openstack-ceilometer-central.service       loaded active running   OpenStack ceilometer central agent
  openstack-ceilometer-collector.service     loaded active running   OpenStack ceilometer collection service
  openstack-ceilometer-notification.service  loaded active running   OpenStack ceilometer notification agent

Change-Id: Ia9f7d3744264af1a37c06b9c8878cd95bed4e1c5

Disable batch upgrade deployments for disabled roles

Currently we don't correctly disable the batch_upgrade_tasks, so
rework the loops to ensure we only create the batch deployments
for roles which enabled upgrades.

Note this modifies some loop whitespace too which cleans up the
rendered output and makes it a bit more readable/compact.

Change-Id: I1c257dcc351e99efa54f9cae4b3009287908756e
Partially-Renders: blueprint overcloud-upgrades-per-service

Reduce number of steps for upgrades

We don't need all the steps currently enabled for either batched
or concurrent updates, so decrease them.  In future we can perhaps
introspect the task tags during plan creation and set these
dynamically.

Change-Id: I0358886a332dfbecd03bc4a67086b08d25756c22
Partially-Implements: blueprint overcloud-upgrades-per-service

Simplify/fix config enabled conditions for upgrades

We should enable each kind of upgrade per role, not per step
so rework the conditions, and also only apply it to the deployment
(to save the round-trip to the nodes applying an empty config)
but don't disable the *Config resources as the overhead of these
is small, and we reference the Step1 config in the outputs, even
if it's empty.

Change-Id: Iee2f1fb5b1d8b0b6001c6ab0f2a4ef2858cef281
Partially-Implements: blueprint overcloud-upgrades-per-service

Disable puppet on upgrade for roles not upgrading

Where the role has disabled upgrades, we need to skip both the ansible and
puppet steps.  To do this we refactor the post.j2.yaml so that it can be
included in the upgrade template with an adjusted list of roles.

Note this requires https://review.openstack.org/#/c/425220/ - this
change will be required for local testing of this patch
(run mistral-db-mange populate after updating tripleo-common
and restart the mistral services, or update your repos and re-run
openstack undercloud install).

Partially-Implements: blueprint overcloud-upgrades-per-service
Change-Id: Ie7d0fa6fef3528bd93e6cde076b964ea8de3185a

Added further security functionality in release notes.

This patch seeks to add futher security functions present within
tripleo for the ocata release.

Change-Id: Ie89b85589c2dfd3580de75253b73009b5d06c9f2

Merge "Moving the validation for using the template alias version for all templates"

Merge "Switch item notation to jinja format"

CI: enable debug on multinode and upgrade job

We're running TripleO CI jobs outside TripleO projects (nova, gnocchi,
etc), folks need more debug to be helpful.

Change-Id: I512ad89d9ac82ae62f9cbe7d0029fb1ac7445cc9

Remove old host param

Change-Id: Ib9e1a4ccdf447455a330687184eae471b9f3f4d4
Depends-On: I2b48d23006e38f56f04456b4556374bf0fcdb14a

Switch item notation to jinja format

This change fixes the item variable notation in
puppet/services/ceph-osd.yaml.

Change-Id: I4d105619e4ac913b4a711bf91fea5f6e3c9b4caa
Closes-Bug: 1661339

Merge "Allow the override of pacemaker::corosync::settle_tries"

Add pacemaker composable upgrade steps

This review adds the pacemaker ansible upgrade steps
into the pacemaker service manifest.

It makes use of the ansible-pacemaker module which for now
is at https://github.com/redhat-openstack/ansible-pacemaker

Change-Id: I33c798a198046d5f66e6b20f86080a8187dc208b

Merge "Don't run yum_update.sh inside docker"

Merge "Temporary UCSM mapping files should be opened with write mode"

Merge "Use common directory in CI scenario for net-config"

Merge "Don't run ceilometer-upgrade via upgrade_tasks"

Moving the validation for using the template alias version for all templates

Currently we are applying this validation for the services templates, this
submission moves it to run with all templates.

Also fixed those templates not using the alias name.

Change-Id: I3a2c0ce6adcc8061fdc51f73fdc6b9748c0fead9

Remove unused SR-IOV parameter NeutronSupportedPCIVendorDevs

This parameter has been removed in neutron from the sriov conf
file, in Ocata. Removing the parameter from tripleo.
Closes-Bug: #1660929

Change-Id: Icd8a1f6c9049434fd86ceeb24881e1ed49f2bb17

Merge "Add more explicit messagae to build_endpoint_map's check option"

Merge "Add deployed server bootstrap for RHEL"

Merge "Validate that endpoint_map.yaml is up to date in the gate"

Merge "Add ability to toggle swift's ceilometer transport_url SSL"

Add more explicit messagae to build_endpoint_map's check option

This will hopefully help developers know what to do if their patch fails
this verification.

Change-Id: I01fe9ca30295c6264affdbdb773b039a744289ea

Validate that endpoint_map.yaml is up to date in the gate

Change-Id: I72aa48c72c825151739cb478c58e9a6c841c9130

Configure VNC Server listen address through t-h-t

This adds an entry for libvirt (which is used by the VNC server) on
which we can tell it via t-h-t on which IP address to listen on.

Change-Id: Ie377c09734e9f6170daa519aed69c53fc67c366b
Related-Bug: #1660099

FreeIPA: don't preprovision service principals if novajoin is enabled

novajoin will do this once it's enabled in CI.

Change-Id: I9f19d833f306930704b09de0c4d425461f1f3f63

Don't run ceilometer-upgrade via upgrade_tasks

This needs to be run by puppet or ansible runs it as root and the
later run by puppet fails due to permissions on the logfile.

Probably we need to remove the *sync calls for most services to
avoid similar issues, now that we're running puppet as part of the
pre-converge upgrade process but that will be done in another patch.

Change-Id: I808db2c175325a25058226842684558ea06fb5c5
Partially-Implements: blueprint overcloud-upgrades-per-service

Remove Gemfile and Rakefile

We are not running syntax and lint jobs in THT for master & newton,
let's remove useless files.

Change-Id: Ia572a0eb8872ab199bc68a51750dfc17ca5ee034