Merge "MySQL: Use conditional instead of nested stack for TLS-specific bits"

Merge "Apache: Use conditional instead of nested stack for TLS-specific bits"

Merge "Rabbitmq: Use conditional instead of nested stack for TLS-specific bits"

Merge "Remove kolla_config copy from keystone service."

Merge "Nic config mappings for deployed-server"

Merge "Restrict Access to Kernel Message Buffer"

Merge "Sort ResourceGroup resource list"

Remove kolla_config copy from keystone service.

Simplify the config of the keystone service by mounting in the
configurations instead of specifying them all in kolla config.

This is change is useful to limit the side effects of generating the
config files and running the container is two separate steps as config
directories are now bind-mounted inside the container instead of having
files being copied to the container. We've seen examples of Apache's
mod_ssl configuration file present on the container preventing it to
start when puppet configured apache not to load the ssl module (in case
TLS is disabled).

Co-Authored-By: Martin André <m.andre@redhat.com>
Change-Id: Ie33ffc7c2b1acf3e4e505d38efb104bf013f2ce6

Merge "Run nova-api hosts discovery after nova-compute start"

Merge "docker/keystone: Bind mount entire fernet keys repository"

Merge "Pick dynamically the first node for stack validation"

MySQL: Use conditional instead of nested stack for TLS-specific bits

Usually a nested stack is used that contains the TLS-everywhere bits
(config_settings and metadata_settings). Nested stacks are very
resource intensive. So, instead of doing using nested stacks, this patch
changes that to use a conditional, and output the necessary
config_settings  and metadata_settings this way in an attempt to save
resources.

Change-Id: Ib7151d67982957369f7c139a3b01274a1a746c4a

Apache: Use conditional instead of nested stack for TLS-specific bits

Usually a nested stack is used that contains the TLS-everywhere bits
(config_settings and metadata_settings). Nested stacks are very
resource intensive. So, instead of doing using nested stacks, this patch
changes that to use a conditional, and output the necessary
config_settings  and metadata_settings this way in an attempt to save
resources.

Change-Id: Ia7ee632383542ac012c20448ff1b4435004e57e3

Rabbitmq: Use conditional instead of nested stack for TLS-specific bits

Usually a nested stack is used that contains the TLS-everywhere bits
(config_settings and metadata_settings). Nested stacks are very
resource intensive. So, instead of doing using nested stacks, this patch
changes that to use a conditional, and output the necessary
config_settings  and metadata_settings this way in an attempt to save
resources.

Change-Id: Ic25f84a81aefef91b3ab8db2bc864853ee82c8aa

docker/keystone: Bind mount entire fernet keys repository

Previously only the first two intial fernet keys were mounted into the
container. This is not practical, however, as doing key rotation will
generate more entries in this repository. So instead we mount the whole
directory, which would allow us to do rotation in the base host and
seamlessly affect the container as well.

Change-Id: I7763a09e57fe6a7867ffd079ab0b9222374c38c8

Merge "Remove unused KeystoneRegion parameter from gnocchi-base"

Merge "Setting keystone region for congress"

Merge "docker/keystone: Actually set fernet as the default token provider"

Merge "docker-puppet: skip empty volume entries"

Merge "Enables increasing mariadb open files for noha deployments"

Merge "Remove unnecesary code to enable panko-api"

Merge "Fixes missing firewall rules for neutron_ovs_dpdk_agent service"

Merge "Install openstack-selinux for deployed-server"

Merge "Fix usage of CinderNfsServers"

Merge "Add missing metadata_settings from neutron-api profile"

Merge "Rework container volumes as hostpath mounts"

Merge "Fixes OpenDaylightProviderMappings hiera parsing"

Merge "Clarify Kolla build overrides for tripleo"

Rework container volumes as hostpath mounts

Also add upgrade_tasks to disable corresponding host
services in order to not data race with containers

Change-Id: I19c16aaa3e5a73436ca7aa7d06facf64feee2327
Signed-off-by: Bogdan Dobrelya <bdobreli@redhat.com>

Fixes OpenDaylightProviderMappings hiera parsing

The str_replace conversion used previously is no longer needed and
breaks the hieradata value.

Closes-Bug: 1675426

Change-Id: I7a052d1757efe36daf6ed47e55598ca3c2ee9055
Signed-off-by: Tim Rozet <trozet@redhat.com>

Merge "Keep existing data for containerized Libvirt"

Add missing metadata_settings from neutron-api profile

This is needed for the TLS everywhere work. This will break on
TLS-everywhere setups where neutron would be deployed in its own role.
So we need to add the metadata_settings.

bp tls-via-certmonger

Change-Id: I7934a258e032d8eaa6f07c0e48b3fbdb1f8c6a06

Fix usage of CinderNfsServers

This feature stopped working somewhere along the lines. In the past it
was working with parameter_defaults like this:

 CinderNfsServers: '10.0.0.254:/srv/nfs/cinder'

or

 CinderNfsServers: "[fd00:fd00:fd00:3000::1]:/srv/nfs/cinder"

The problem was that the templating escaped these strings, and
puppet-tripleo didn't receive a proper array, but a string.

This patch fixes this. It accepts strings as above as well as
comma-delimited lists of Nfs Servers.

Closes-Bug: 1671153
Change-Id: I89439c1d969e92cb8e0503de561e22409deafdfc

Install openstack-selinux for deployed-server

No other packages actually require openstack-selinux, so it must be
explicity installed.

Change-Id: Ic7b39ddfc4cfb28b8a08e9b02043211e4ca4a39a
Closes-Bug: #1675170

Nic config mappings for deployed-server

Adds default nic config mappings when using the deployed-server custom
roles data at deployed-server/deployed-server-roles-data.yaml.
Previously there were no default mappings as the hardcoded mapping for
the Controller role from overcloud-resource-registry-puppet.j2.yaml
would not be used since there is no Controller role when using
deployed-server.

The default mapping is net-config-static.yaml instead of
net-config-noop.yaml, since there is no requirement of a L2 domain for
dhcp between undercloud and overcloud nodes when using deployed-server.

The convenience mapping of ControllerDeployedServer to
net-config-static-bridge.yaml is also added so that out of the box the
roles with controller services will get the right bridge created.

The mappings can always be overridden in later environment files if
needed.

Change-Id: I581fec99b459a12512686e47b10b962756652eb3
Closes-Bug: #1670493
Depends-On: Ib681729cc2728ca4b0486c14166b6b702edfcaab

Fixes missing firewall rules for neutron_ovs_dpdk_agent service

Firewall config was being inherited by the dpdk service, however
since the firewall service name was the parent (neutron_ovs_agent)
and technically that service was not enabled - the rules were never
applied.  This modifies the service name as it is inherited using
map_replace.

Closes-Bug: 1674689

Change-Id: I6676205b8fc1fd578cb2435ad97fe577a9e81d95
Signed-off-by: Tim Rozet <trozet@redhat.com>

Run nova-api hosts discovery after nova-compute start

The previous code had a race condition where nova-api host discovery
and nova-compute where run at the same step. This commit ensures host
discovery happens after nova-compute has started.

Change-Id: Id2fc795a64783d958d98d4ac523a19079e8a4fab
Closes-Bug: #1675011

Remove unused KeystoneRegion parameter from gnocchi-base

This is used in gnocchi-api.yaml and is not needed on the base template.

Change-Id: I5ebd27dff3dca7053647a57eb4cdef56d38526c6

docker/keystone: Actually set fernet as the default token provider

A previous commit [1] added support for fernet in the keystone docker
service; however, this was not set as the default token provider. This
patch makes it the default.

[1] Id92039b3bad9ecda169323e01de7bebae70f2ba0

Change-Id: Ib44ab61eba0be8ba54bc7d0bdb22437d769cb960

docker-puppet: skip empty volume entries

This allows to optionally add volumes, where we could use a heat
conditional to either put the volume path we want or put an empty string
which should be safely skipped.

Change-Id: I68f91ffdd8ceb14735adad1322fcf124c47b160c

Merge "Enables OpenDaylight clustering in HA deployments"

Merge "Change kolla_config from required to optional in pep8."

Restrict Access to Kernel Message Buffer

Unprivileged access to the kernel syslog can expose sensitive
kernel address information.

Change-Id: If40f1b883dfde6c7870bf9c463753d037867c9e2
Signed-off-by: zshi <zshi@redhat.com>

Merge "Keep existing data for containerized ironic-conductor"

Merge "Cleanup docker services templates"

Change kolla_config from required to optional in pep8.

We've decided to use volumes for configuration wherever possible.
This means moving away from kolla_config blocks in the templates.
Update pep8 to reflect this.

Change-Id: If1ec40d0e5a515eed35e0cd04711079294f358c3

Merge "Containerize panko api service"

Merge "Don't try to run os-net-config from yum_update.sh"

Merge "Bind redis-sentinel to its network"

Setting keystone region for congress

Change-Id: I4958b886cbd6c2b34da0c265e8774105474ace13

Enables OpenDaylight clustering in HA deployments

Port 2550 is required for inter-ODL communication when clustering.
odl-jolokia feature is required to expose REST APIs from ODL for
monitoring the cluster.

Implements: blueprint opendaylight-ha

Depends-On: Ic9a955a1c2afc040b2f9c6fb86573c04a60f9f31

Change-Id: Ie108ab75cce0cb7d89e72637c600e30fc241d186
Signed-off-by: Tim Rozet <trozet@redhat.com>

Merge "Fixes multiple issues with retry function in rhel-registration."

Keep existing data for containerized ironic-conductor

Use mounts instead of docker volumes, and preserve existing data when
moving from baremetal to containerized ironic-conductor.

We cannot keep the data in the same directory to avoid hard-linking
errors in ironic, because of this issue:

https://github.com/docker/docker/issues/7457

This means we need to copy the data over to a new location before we
start the containers.

Change-Id: If98460120212f887b06adf117c5d88b97682638e

Merge "Make sure PrePuppet runs before any Deployment_Step"

Merge "Add certmonger-user profile"

Merge "docker/keystone: add metadata_settings to output"

Merge "Keep existing data for containerized Swift"

Merge "Keep existing data for containerized RabbitMQ"

Make sure PrePuppet runs before any Deployment_Step

We used to have this in mitaka:
https://github.com/openstack/tripleo-heat-templates/blob/stable/mitaka/puppet/controller-post.yaml#L45

but we lost it along the way. The problem without this change is that we
are open to the following race:
1) ControllerDeployment_Step1 is started and manages to do a successful
   "systemctl start pacemaker"
2) PrePuppet gets called and in the HA deployment calls
   pacemaker_maintenance_mode.sh
3) pacemaker_maintenance_mode.sh will set the maintenance-mode=true
   property because the pacemaker service is already up:
   https://github.com/openstack/tripleo-heat-templates/blob/master/extraconfig/tasks/pacemaker_maintenance_mode.sh#L8-L9
4) If the maintenance property is set to true at this stage, the
   creation of any resource will take place but they won't really
   start.

Change-Id: Icb7495edd00385b2975dd42f63085d20292ef9a9
Closes-Bug: #1673795
Co-Authored-By: Jiri Stransky <jstransk@redhat.com>

Containerize panko api service

Co-Authored-By: Pradeep Kilambi <pkilambi@redhat.com>
Closes-bug: #1668918

Change-Id: Ie1ebd25965bd2dbad2a22161da0022bad0b9e554

Merge "docker: Add metadata_settings to optional parameters for yaml validate"

Merge "Keep existing data for containerized MongoDB"

Merge "Explicitly configure credentials used by ironic to access other services"

Bind redis-sentinel to its network

We currently do not bind redis-sentinel to any IP:
redis      21144  0.0  0.0 142908  5908 ?        Ssl  07:43   0:11 /usr/bin/redis-sentinel *:26379 [sentinel]

Let's bind it to the same network as redis.

Change-Id: I8a782ae1db84eb614aa3995a1638a2f370e70d06
Partial-Bug: #1673715

Pick dynamically the first node for stack validation

When replacing the controller node with resource id 0,
AllNodesValidation will fail because there is an hardcoded reference
to resource.0. With this commit the id for validation is extracted
dynamically with yaql query, picking the first available.
Thanks to Steven Hardy for pointing to the right direction.

Change-Id: I8f2bfacbc005d948bd31ebd51c3d3df3182d5a3c
Closes-Bug: #1673439

Merge "Added release note for NeutronExternalNetworkBridge deprecation"

Explicitly configure credentials used by ironic to access other services

Using keystone_authtoken credentials for this purpose is deprecated, and also
prevents ironic-conductor from being used as a separate role.

Also remove neutron_url, it can be fetched from the catalog instead.

Change-Id: I12822568cb4db31808aec5fd407d71fe4b7b09e0
Depends-On: I21180678bec911f1be36e3b174bae81af042938c
Partial-Bug: #1661250

Merge "Keep existing data when moving to containerized MariaDB"

docker/keystone: add metadata_settings to output

This is used for the TLS-everywhere bits. It will be taken into account
by a metadata hook that outputs relevant entries for the nova-metadata
service; and subsequently kerberos principals will be created from
these.

Subsequent patches will add support for TLS in the internal network for
the containerized keystone.

Change-Id: Ic747ad9c8d6e76c8c16e347c1cdcabc899dd9f9a

docker: Add metadata_settings to optional parameters for yaml validate

This section will be needed for TLS-everywhere. So it should be added as
optional in the yaml-validate.

Change-Id: Ic6ea563b6c8e454cb51f640bb5aaa3adda82a5dd

Merge "etcd: secure EtcdInitialClusterToken parameter"

Keep existing data for containerized Libvirt

Use mounts instead of docker volumes to preserve existing data when
moving from baremetal to containerized Libvirt.

Change-Id: I2215d451a4ef4023741f0750ac1b45a94652026a

Keep existing data for containerized Swift

Use mounts instead of docker volumes to preserve existing data when
moving from baremetal to containerized Swift.

Change-Id: Ib7cbca2ef674a0245a67b69ee2c77f574d74c181

Merge "Add upgrade tasks for aodh containers"

etcd: secure EtcdInitialClusterToken parameter

Secure EtcdInitialClusterToken parameter by:

* removing the default value.
* make it hidden.

Change-Id: I938af697f9faaadb9c9aeb950e9410db24b1b961
Depends-On: I6e30cce469736e84a3c483fafa29d542b8347ba9
Closes-Bug: #1673266

Merge "Cleanup no longer used upgrade files"

Add upgrade tasks for aodh containers

Change-Id: I936b31fd24c43e35092b3bfef4454a8da81d19c8

Cleanup no longer used upgrade files

Removes some of the no longer used scripts and templates used by
the upgrades workflow in previous versions.

Change-Id: I7831d20eae6ab9668a919b451301fe669e2b1346

Switch keystone default provider to fernet

UUID is to be deprecated, and we should be using fernet.

Change-Id: I61b999e65ba5eb771776344d38eb90fc52d49d56

keystone/containers: Add support for fernet keys

Since the 'file' resource is included in the tags that puppet takes into
account, we already generate the fernet keys if it's enabled as a token
provider.

This merely adds the keys to the container. However, if fernet is not
the provider, we make this file addition optional.

Change-Id: Id92039b3bad9ecda169323e01de7bebae70f2ba0

Merge "Update properties being set for octavia rabbit properties"

Keep existing data for containerized RabbitMQ

Use mounts instead of docker volumes to preserve existing data when
moving from baremetal to containerized RabbitMQ.

Change-Id: I8de6610d13d2d878ffba12eb742880eed694eb3e

Keep existing data for containerized MongoDB

We used named Docker volume for MongoDB storage, which meant that when
moving from bare metal to containerized, we lost data and reinitialized
the storage from scratch.

With this commit we keep the data by mounting the original data into the
container. We also need make sure that file ownership is correct
according to the uid/gid used within MongoDB container image.

Change-Id: I86ef2cb37a068b767462d6d50fe451389b7cbb58

Keep existing data when moving to containerized MariaDB

We used named Docker volume for MariaDB storage, which meant that when
moving from BM to containerized wit MariaDB, we lost data and
reinitialized the storage from scratch.

With this commit we keep the data by mounting the original data into the
container.

We also need to make sure that file ownership is correct according to
the MariaDB container image used, and that Kolla bootstrap mechanisms
aren't retriggered, as they aren't idempotent.

Change-Id: I1fc955021c6dd83f1a366495dd8c7281fb9e7cc5

Fixes multiple issues with retry function in rhel-registration.

There were multiple issues in retry() in rhel-registration:
 - There was no need for it to be recursive (local variables
   got overwritten)
 - There was no delay between multiple attempts, leading to faster but
   more frequent failures.
 - The max number of attempts was set too low for some environements.

With this patch, rhel-registration now works more reliably with slow-links
for portal registration and does not attempt to DDos the portal or your
satellite server.

Change-Id: I594d3c94867b45a7a58766dbcc66edead78d6a4e

Merge "Update README for Glance coverage"

Merge "Tasks hook for preparing BM host for deploying containerized services"

Merge "Add bindep support"

Merge "congress/tacker: switch auth_uri to use uri_no_suffix"

Update README for Glance coverage

Change-Id: I0c57f7b8a97b854e3c44ff7776ea05e3888e78e8

Merge "cinder: switch auth_uri to uri_no_suffix"

Merge "Containerize gnocchi services"

Merge "Pass the DOCKER_* env vars when running docker"

Merge "neutron: switch auth_uri to uri_no_suffix"

Merge "gnocchi: deploy services with Keystone v3 endpoints"

Merge "manila: switch auth_uri to use uri_no_suffix"

Merge "heat: switch auth_uri to use uri_no_suffix"

Merge "ironic: switch auth_uri to uri_no_suffix"

Merge "telemetry: switch auth_uri to uri_no_suffix"

Merge "nova: switch auth_uri to keystone versionless endpoint"