Containerize panko api service

Co-Authored-By: Pradeep Kilambi <pkilambi@redhat.com>
Closes-bug: #1668918

Change-Id: Ie1ebd25965bd2dbad2a22161da0022bad0b9e554

Merge "docker: Add metadata_settings to optional parameters for yaml validate"

Merge "Keep existing data for containerized MongoDB"

Merge "Explicitly configure credentials used by ironic to access other services"

Bind redis-sentinel to its network

We currently do not bind redis-sentinel to any IP:
redis      21144  0.0  0.0 142908  5908 ?        Ssl  07:43   0:11 /usr/bin/redis-sentinel *:26379 [sentinel]

Let's bind it to the same network as redis.

Change-Id: I8a782ae1db84eb614aa3995a1638a2f370e70d06
Partial-Bug: #1673715

Add NodeCreateBatchSize parameter

This uses the heat resource group batched create feature to ensure
we don't create more than 30 nodes at a time, which has been reported
as the maximum supported by the default ironic ipxe/TFTP configuration.

Change-Id: If3651e4c465d8d7bd4c8f2b48d45b1272ff2d272

Pick dynamically the first node for stack validation

When replacing the controller node with resource id 0,
AllNodesValidation will fail because there is an hardcoded reference
to resource.0. With this commit the id for validation is extracted
dynamically with yaql query, picking the first available.
Thanks to Steven Hardy for pointing to the right direction.

Change-Id: I8f2bfacbc005d948bd31ebd51c3d3df3182d5a3c
Closes-Bug: #1673439

Merge "Added release note for NeutronExternalNetworkBridge deprecation"

Explicitly configure credentials used by ironic to access other services

Using keystone_authtoken credentials for this purpose is deprecated, and also
prevents ironic-conductor from being used as a separate role.

Also remove neutron_url, it can be fetched from the catalog instead.

Change-Id: I12822568cb4db31808aec5fd407d71fe4b7b09e0
Depends-On: I21180678bec911f1be36e3b174bae81af042938c
Partial-Bug: #1661250

Merge "Keep existing data when moving to containerized MariaDB"

docker/keystone: add metadata_settings to output

This is used for the TLS-everywhere bits. It will be taken into account
by a metadata hook that outputs relevant entries for the nova-metadata
service; and subsequently kerberos principals will be created from
these.

Subsequent patches will add support for TLS in the internal network for
the containerized keystone.

Change-Id: Ic747ad9c8d6e76c8c16e347c1cdcabc899dd9f9a

docker: Add metadata_settings to optional parameters for yaml validate

This section will be needed for TLS-everywhere. So it should be added as
optional in the yaml-validate.

Change-Id: Ic6ea563b6c8e454cb51f640bb5aaa3adda82a5dd

Merge "etcd: secure EtcdInitialClusterToken parameter"

Keep existing data for containerized Libvirt

Use mounts instead of docker volumes to preserve existing data when
moving from baremetal to containerized Libvirt.

Change-Id: I2215d451a4ef4023741f0750ac1b45a94652026a

Keep existing data for containerized Swift

Use mounts instead of docker volumes to preserve existing data when
moving from baremetal to containerized Swift.

Change-Id: Ib7cbca2ef674a0245a67b69ee2c77f574d74c181

Merge "Add upgrade tasks for aodh containers"

etcd: secure EtcdInitialClusterToken parameter

Secure EtcdInitialClusterToken parameter by:

* removing the default value.
* make it hidden.

Change-Id: I938af697f9faaadb9c9aeb950e9410db24b1b961
Depends-On: I6e30cce469736e84a3c483fafa29d542b8347ba9
Closes-Bug: #1673266

Merge "Cleanup no longer used upgrade files"

Add upgrade tasks for aodh containers

Change-Id: I936b31fd24c43e35092b3bfef4454a8da81d19c8

Cleanup no longer used upgrade files

Removes some of the no longer used scripts and templates used by
the upgrades workflow in previous versions.

Change-Id: I7831d20eae6ab9668a919b451301fe669e2b1346

Switch keystone default provider to fernet

UUID is to be deprecated, and we should be using fernet.

Change-Id: I61b999e65ba5eb771776344d38eb90fc52d49d56

keystone/containers: Add support for fernet keys

Since the 'file' resource is included in the tags that puppet takes into
account, we already generate the fernet keys if it's enabled as a token
provider.

This merely adds the keys to the container. However, if fernet is not
the provider, we make this file addition optional.

Change-Id: Id92039b3bad9ecda169323e01de7bebae70f2ba0

Merge "Update properties being set for octavia rabbit properties"

Keep existing data for containerized RabbitMQ

Use mounts instead of docker volumes to preserve existing data when
moving from baremetal to containerized RabbitMQ.

Change-Id: I8de6610d13d2d878ffba12eb742880eed694eb3e

Keep existing data for containerized MongoDB

We used named Docker volume for MongoDB storage, which meant that when
moving from bare metal to containerized, we lost data and reinitialized
the storage from scratch.

With this commit we keep the data by mounting the original data into the
container. We also need make sure that file ownership is correct
according to the uid/gid used within MongoDB container image.

Change-Id: I86ef2cb37a068b767462d6d50fe451389b7cbb58

Keep existing data when moving to containerized MariaDB

We used named Docker volume for MariaDB storage, which meant that when
moving from BM to containerized wit MariaDB, we lost data and
reinitialized the storage from scratch.

With this commit we keep the data by mounting the original data into the
container.

We also need to make sure that file ownership is correct according to
the MariaDB container image used, and that Kolla bootstrap mechanisms
aren't retriggered, as they aren't idempotent.

Change-Id: I1fc955021c6dd83f1a366495dd8c7281fb9e7cc5

Fixes multiple issues with retry function in rhel-registration.

There were multiple issues in retry() in rhel-registration:
 - There was no need for it to be recursive (local variables
   got overwritten)
 - There was no delay between multiple attempts, leading to faster but
   more frequent failures.
 - The max number of attempts was set too low for some environements.

With this patch, rhel-registration now works more reliably with slow-links
for portal registration and does not attempt to DDos the portal or your
satellite server.

Change-Id: I594d3c94867b45a7a58766dbcc66edead78d6a4e

Merge "Update README for Glance coverage"

Merge "Tasks hook for preparing BM host for deploying containerized services"

Merge "Add bindep support"

Merge "congress/tacker: switch auth_uri to use uri_no_suffix"

Update README for Glance coverage

Change-Id: I0c57f7b8a97b854e3c44ff7776ea05e3888e78e8

Merge "cinder: switch auth_uri to uri_no_suffix"

Merge "Containerize gnocchi services"

Merge "Pass the DOCKER_* env vars when running docker"

Merge "neutron: switch auth_uri to uri_no_suffix"

Merge "gnocchi: deploy services with Keystone v3 endpoints"

Merge "manila: switch auth_uri to use uri_no_suffix"

Merge "heat: switch auth_uri to use uri_no_suffix"

Merge "ironic: switch auth_uri to uri_no_suffix"

Merge "telemetry: switch auth_uri to uri_no_suffix"

Merge "nova: switch auth_uri to keystone versionless endpoint"

Merge "horizon: switch keystone_url to use uri_no_suffix"

Merge "Improve SSL support for Sensu"

Add bindep support

Bindep is an automation tool used by openstack-infra to bootstrap a
worker with default packages. This is not needed, since we depend on
puppet to automate this step.

Change-Id: I759614ed0cf1fab5433956ed459419e564590398
Signed-off-by: Paul Belanger <pabelanger@redhat.com>

Containerize gnocchi services

Closes-bug: #1668928

Change-Id: I291df31be97c3d55cddb3924482aa5976a79c2b1

Merge "Fix bogus parameters in get_param"

Merge "Containerize Aodh alarm services"

Add certmonger-user profile

This profile will request the certificates for the services on the node.
So with this, we will remove the requesting of these certs on the
services' profiles themselves.

The reasoning for this is that for a containerized environment, the
containers won't have credentials to the CA while the baremetal node
does. So, with this, we will have this profile that still gets executed
in the baremetal nodes, and we can subsequently pass the requested
certificates by bind-mounting them on the containers. On the other hand,
this approach still works well for the TLS-everywhere case when the
services are running on baremetal.

Change-Id: Ibf58dfd7d783090e927de6629e487f968f7e05b6
Depends-On: I4d2e62b5c1b893551f9478cf5f69173c334ac81f

congress/tacker: switch auth_uri to use uri_no_suffix

Switch Congress and Tacker to use auth_uri with keystone versionless
endpoint.

Change-Id: I7e17d061344849b0421f3a6c9571f1609e8861fb
Partial-Implement: blueprint keystone-v3

Don't try to run os-net-config from yum_update.sh

The UpdateDeployment already depends on NetworkDeployment.
We should not run os-net-config unconditionally before update.

Closes-Bug: #1666227

Change-Id: I48cbf5de00d47c6fdad71ff24c00e9db05cec5d5

Merge "Upgrades: wait for galera to be settled"

gnocchi: deploy services with Keystone v3 endpoints

* Move swift_authurl to gnocchi-base hieradata, where other swift auth
  credentials live and switch it to versionless keystone endpoint.
* Force swift_auth_version to 3 for Keystone v3.
* Switch auth_uri to use versionless Keystone endpoint.
* Switch auth_url to use Keystone admin endpoint (instead of internal).
* Remove old parameters from gnocchi::api, not used anymore.

Partial-blueprint: keystone-v3

Change-Id: I2feed8b1219069128faa1a1e8dcd2ddfbae7e40a

telemetry: switch auth_uri to uri_no_suffix

Switch Aodh, Ceilometer and Panko to use auth_uri parameter with
keystone versionless endpoint.

Change-Id: I5800f4161d0406d3717e1f539d23411b11378fbc
Partial-implement: blueprint keystone-v3

cinder: switch auth_uri to uri_no_suffix

Switch Cinder to use auth_uri with keystone versionless endpoint.

Change-Id: Iccc6e3df6a8bb1aca3667b1783bc7f6eebf262e5
Partial-implement: blueprint keystone-v3

heat: switch auth_uri to use uri_no_suffix

Switch Heat to use auth_uri with keystone versionless endpoint.

Change-Id: Iddd091a659d37d965b216db9f536d30245cd3c3a
Partial-implement: blueprint keystone-v3

ironic: switch auth_uri to uri_no_suffix

Switch Ironic to use auth_uri with keystone versionless endpoint.

Change-Id: Ia8061a1e08bd31425f8d4192cd45b64b9f8e1f74
Partial-implement: blueprint keystone-v3

manila: switch auth_uri to use uri_no_suffix

Switch Manila to use auth_uri with keystone versionless endpoint.

Change-Id: If05032a5c7d93b5787d3f18c0aa374bac3cbd478
Partial-implement: blueprint keystone-v3

neutron: switch auth_uri to uri_no_suffix

Switch Neutron to use auth_uri with keystone versionless endpoint, also
for notifications with Nova.

Change-Id: I530e3dcdfe6961e14755a63767c1fb5c0e1cfa22
Partial-implement: blueprint keystone-v3

nova: switch auth_uri to keystone versionless endpoint

Switch nova authtoken auth_uri to use keystone endpoint without version.
Also switch ironic config in nova.conf to use it.

Change-Id: I8046f2eed0b9a7da76d6d7c3507a92bf5054b000
Partial-Implement: blueprint keystone-v3

Tasks hook for preparing BM host for deploying containerized services

This implements a host_prep_tasks hook where we can specify Ansible
tasks to perform on the host before deploying containerized
services. The hook runs in a single step, the assumption is that we will
mostly use the hook for creating per-service directories on the host to
ensure we are able to mount them into the containers. (We cannot do this
operation via Puppet because all containerized services run their Puppet
within a config container, so Puppet doesn't have access to host's
filesystem.)

Change-Id: I7d8bac39e0cd422fd651eefe29f7d10941ab4a1a

Merge "Remove ha-by-default release note"

Remove unnecesary code to enable panko-api

We are already enabling panko-api by default
`https://github.com/openstack/tripleo-heat-templates/blob/34c46241cda3be567017943560d218ced3bbdc03/overcloud-resource-registry-puppet.j2.yaml#L226`
so there is no need to have the environment file
or the resource in the ci environment template.

Change-Id: I6af6e2196a77320c8d3b5914d161a795b007151a

Upgrades: wait for galera to be settled

We also need to wait for the galera resource to settle down
before we proceed starting up with the other services.

Note that before merging this, we need to land the following
change in ansible-pacemaker:
https://review.gerrithub.io/#/c/351387/

Change-Id: Id71c9cb41cfd4c17685c922db2683e28ab7588fd
Closes-Bug: #1668372

Merge "Move zaqar into services-docker"

Merge "Add BGPVPN composable service"

Remove double quotes in the "when" Ansible conditional.

Change-Id: I677075012a948c7c32959680608255eff919b8d4

Add upgrade tasks for heat over httpd

Change-Id: Ia7b8c41d4d8135f58661a74a4298f60abb251fbe

Merge "Pass hieradata relevant for httpd in the Heat APIs"

Merge "Add pep8 tests on docker/services/*"

horizon: switch keystone_url to use uri_no_suffix

Switch Horizon to use keystone_url with keystone versionless endpoint.

Change-Id: I7a22136937d414b2c3713894e04b0f093247ad33
Partial-implement: blueprint keystone-v3

Merge "Move mistral into services-docker"

Merge "Remove glance-base service"

Merge "Move ironic into services-docker"

Remove ha-by-default release note

This has not landed yet but was accidentally release noted for
Ocata.  The release note should land with the patch that actually
makes the change: I0f61016df6a9f07971c5eab51cc9674a1458c66f

Change-Id: I7d68899a5892e219b73007b18ab42e06196ae07a

Clarify Kolla build overrides for tripleo

Add an example build script, and link the
current overrides template which can be
used to build Kolla packages that work with
TripleO.

Change-Id: I2ca122bfe797ed7c38a01ed9462cd880681d21f1
Signed-off-by: Bogdan Dobrelya <bdobreli@redhat.com>

Containerize Aodh alarm services

Closes-bug: #1668930

Change-Id: If5dff4388b255373083e164a74aaacd529a94111

Add BGPVPN composable service

 This project aims at supporting inter-connection between L3VPNs
 and Neutron resources, i.e. Networks, Routers and Ports.

Partially-Implements: blueprint bgpvpn-service-integration

Depends-On:I7c1686693a29cc1985f009bd7a3c268c0e211876
Change-Id: I576c9ac2b443dbb6886824b3da457dcc4f87b442
Signed-off-by: Ricardo Noriega <rnoriega@redhat.com>

Cleanup docker services templates

Use yaml anchors wherever possible for image definition and drop unused
anchors.

Renamed parameters to Docker*ConfigImage to clarify that an image is
specifically used to generate configuration files.

Change-Id: I388bd59de7f1d36a3a881fbb723ba5bcba09e637

Add pep8 tests on docker/services/*

This patch adds the beginning of a set of unit tests
for the new docker services templates. This should help
us the new interfaces as they evolve.

Change-Id: I98a73cf090ebab4593a682f5f34c0950d37e010c

Remove docker_image sections (unused)

We don't use docker_image for anything. It is a remant of the
pre-composable docker templates and we can now remove it.

This patch removes references to the 'docker_image' section
from docker/post.yaml and all of the docker/services* templates.

Change-Id: I208c1ef1550ab39ab0ee47ab282f9b1937379810

Merge "Pass hieradata for internal TLS for RabbitMQ"

Merge "FQDN validation"

Merge "Keystone token flush cron job should log to a file"

Pass hieradata relevant for httpd in the Heat APIs

The patch this depends on passes through the classes some parameters
that are meant to be passed via t-h-t. This patch addresses these and
other things required for deploying these services over httpd:

* Set the number of workers taking care not to set this value to 0.
* Add the apache base hieradata to the service profiles.
* Set the servernames and other httpd-specific values.

bp tls-via-certmonger

Change-Id: I88e5ea7b9bbf35ae03f84fdc3ec76ae09f11a1b6
Depends-On: I23971b0164468e67c9b3577772af84bd947e16f1

Update docs per new puppet_config interface

This updates the docker/service README so that it
correctly documents the current requirements of the new
puppet_config interface.

Change-Id: I0f3e00ea3cce24152475abf6df34f4836e32c9c8

Improve SSL support for Sensu

This patch allows operator to create SSL certificates for SSL auth to RabbitMQ.

Change-Id: I250aedcfdbe3b7a7e8c611c0e6122cf8fe0edda4

Merge "Move nova-scheduler data into puppet_config"

Merge "Add validation for VPP upgrade tasks"

Merge "Enable Docker service for Compute role"

Merge "Set number of Swift proxy server workers to auto"

Pass hieradata for internal TLS for RabbitMQ

As with other services, this passes the necessary hieradata to enable
TLS for RabbitMQ. This will mean (once we set it via puppet-tripleo)
that there will only be TLS connections, as the ssl_only option is being
used.

bp tls-via-certmonger

Change-Id: I960bf747cd5e3040f99b28e2fc5873ca3a7472b5
Depends-On: Ic2a7f877745a0a490ddc9315123bd1180b03c514

Merge "sahara: configure keystone_authtoken parameters"

Merge "barbican: Use versionless keystone endpoints"

Enables increasing mariadb open files for noha deployments

There is currently an issue where the max open files limit is hit with
MariaDB in noha deployments, because it is defaulted to 1024 by system
limits.  In HA deployments the limit is bumped to 16384.  This patch
introduces a flag to be able to increase the limit to 16384 for noHA
deployments.

In the future we should change this to be an integer, and let the
operator decide the setting.  Since this setting is set in a different
path for HA, we would need to implement a change that allows setting
both (ha and nonha) via the same integer param.

Depends-On: Ia0907b2ab6062a93fb9363e39c86535a490fbaf6

Closes-Bug: #1648181
Related-Bug: #1524809

Change-Id: I95393fc798b833a8575afbff03ef74a839565c5e
Signed-off-by: Tim Rozet <trozet@redhat.com>

Move zaqar into services-docker

This patch moves enabling Zaqar docker services into
a separate environment in the environments/services-docker
directory.

Change-Id: I6755eb7ae2abb2b9c8b213ff6fd21b0392353ef5

Move mistral into services-docker

This patch moves enabling Mistral docker services into
a separate environment in the environments/services-docker
directory.

Change-Id: I8b484532de5f5d61fc0240defbc5fc27789a1279

Move ironic into services-docker

This patch moves enabling Ironic docker services into
a separate environment in the environments/services-docker
directory.

Change-Id: I236de47d422b3563a0192359f2327610fc1714ca

sahara: configure keystone_authtoken parameters

Configure keystone_authtoken for Sahara service.

Change-Id: I045b7d1d52851ab0d532a8524fcea95705e3db78
Partial-implement: blueprint keystone-v3

Merge "Remove the openvswitch special case upgrade code"