Enables support for configuring Cinder with Pure Storage
FlashArray storage backend

This adds the necessary parameters for:
 - Pure Storage FlashArray Block Storage driver configuration

Change-Id: I5b5617dd57015c0944a2d0c60187b01ede09b480

Merge "Re-Add bigswitch agent support"

Merge "Output service_metadata_settings in docker services.yaml"

Merge "Do not install openstack-heat-agents"

Merge "[N->O] Fix wrong database connection for cell0 during upgrade."

Merge "[N->O] is creating 2 default cell_v2 cells"

Merge "Add NodeCreateBatchSize parameter"

Merge "Run cluster check on nodes configured in wsrep_cluster_address."

Output service_metadata_settings in docker services.yaml

This output gets nova metadata into the servers this is deployed to and
is necessary for the TLS-everywhere work.

bp tls-via-certmonger-containers

Change-Id: Iff54f7af9c63a529f88c6455047f6584d29154b4

Merge "Include panko in the default dispatcher"

Merge "Allow to configure policy.json for OpenStack projects"

Do not install openstack-heat-agents

Installing openstack-heat-agents is unnecessary since it has the same
effect as installing python-heat-agent-* which happens on the next
line.

Installing openstack-heat-agents is causing issues when mixing ocata
and master repos, since there hasn't been a release on master since
ocata was branched.

Change-Id: I1a75e16810b6a89cf1dd9ff4f4b3b5dccfc0466e
Closes-Bug: #1677278

Merge "Modify pci_passthrough hiera value as string"

Allow to configure policy.json for OpenStack projects

For both containers and classic deployments, allow to configure
policy.json for all OpenStack APIs with new parameters (hash,
empty by default).

Example of new parameter: NovaApiPolicies.
See environments/nova-api-policy.yaml for how the feature can be used.

Note: use it with extreme caution.

Partial-implement: blueprint modify-policy-json
Change-Id: I1144f339da3836c3e8c8ae4e5567afc4d1a83e95

Include panko in the default dispatcher

panko is enabled by default, we might as well make it
the default dispatcher along with gnocchi.

Closes-bug: #1676900

Change-Id: Icb6c98ed0810724e4445d78f3d34d8b71db826ae

Merge "Remove 'Controller' role references from overcloud.j2.yaml"

Merge "N->O upgrade, blanks ipv6 rules before activating it."

Merge "N->O Upgrade, make sure all nova placement parameter properly set."

Merge "Stop openstack-nova-compute during nova-ironic upgrade"

Merge "Only set EnableConfigPurge on major upgrades"

Merge "Updated from global requirements"

Merge "Swift auth url should use a suffix"

Updated from global requirements

Change-Id: I86fd68da7b2d96590f21a8511fa1a23dcf1a6dda

Merge "MySQL: Use conditional instead of nested stack for TLS-specific bits"

Merge "Apache: Use conditional instead of nested stack for TLS-specific bits"

Merge "Rabbitmq: Use conditional instead of nested stack for TLS-specific bits"

Run cluster check on nodes configured in wsrep_cluster_address.

Attempt to check galera's cluster status fails when galera service
is not running on the same node.

Change-Id: I27fb0841d85cd0dc86e92ac2e21eedf5f8f863ab

Merge "Remove kolla_config copy from keystone service."

Merge "Nic config mappings for deployed-server"

Modify pci_passthrough hiera value as string

Hiera value of nova::compute::pci_passthrough should be a string.
It has been modified to JSON with the heira hook changes. Modifying
it again back to string.
Closes-Bug: #1675036

Change-Id: I441907ff313ecc5b7b4da562c6be195687fc6c76

Merge "Restrict Access to Kernel Message Buffer"

Merge "Sort ResourceGroup resource list"

Remove 'Controller' role references from overcloud.j2.yaml

This patch again removes hard coded role references to
the overcloud.yaml template that was added in
fd15a091f7ab6927833275df17b96ecacc2b1827. This
breaks the composable undercloud work (undercloud-containers ci job as
well).

Change-Id: Ie30b2573dc4d2b45ebc0afc0e0d73bfdf41e4d4b
Closes-bug: #1676528

Remove kolla_config copy from keystone service.

Simplify the config of the keystone service by mounting in the
configurations instead of specifying them all in kolla config.

This is change is useful to limit the side effects of generating the
config files and running the container is two separate steps as config
directories are now bind-mounted inside the container instead of having
files being copied to the container. We've seen examples of Apache's
mod_ssl configuration file present on the container preventing it to
start when puppet configured apache not to load the ssl module (in case
TLS is disabled).

Co-Authored-By: Martin André <m.andre@redhat.com>
Change-Id: Ie33ffc7c2b1acf3e4e505d38efb104bf013f2ce6

Merge "Run nova-api hosts discovery after nova-compute start"

Merge "docker/keystone: Bind mount entire fernet keys repository"

Swift auth url should use a suffix

gnocchi metricd and statsd are broken due to recent change
to support keystone v3. see I2feed8b1219069128faa1a1e8dcd2ddfbae7e40a
We need swift auth url to have suffix so it knows what endpoint
to use.

Change-Id: I753f37e121b95813e345f200ad3f3e75ec4bd7e1

Merge "Pick dynamically the first node for stack validation"

MySQL: Use conditional instead of nested stack for TLS-specific bits

Usually a nested stack is used that contains the TLS-everywhere bits
(config_settings and metadata_settings). Nested stacks are very
resource intensive. So, instead of doing using nested stacks, this patch
changes that to use a conditional, and output the necessary
config_settings  and metadata_settings this way in an attempt to save
resources.

Change-Id: Ib7151d67982957369f7c139a3b01274a1a746c4a

Apache: Use conditional instead of nested stack for TLS-specific bits

Usually a nested stack is used that contains the TLS-everywhere bits
(config_settings and metadata_settings). Nested stacks are very
resource intensive. So, instead of doing using nested stacks, this patch
changes that to use a conditional, and output the necessary
config_settings  and metadata_settings this way in an attempt to save
resources.

Change-Id: Ia7ee632383542ac012c20448ff1b4435004e57e3

Rabbitmq: Use conditional instead of nested stack for TLS-specific bits

Usually a nested stack is used that contains the TLS-everywhere bits
(config_settings and metadata_settings). Nested stacks are very
resource intensive. So, instead of doing using nested stacks, this patch
changes that to use a conditional, and output the necessary
config_settings  and metadata_settings this way in an attempt to save
resources.

Change-Id: Ic25f84a81aefef91b3ab8db2bc864853ee82c8aa

N->O upgrade, blanks ipv6 rules before activating it.

When the firewall is enabled with ipv6, the default rules set is
taken as not ipv6 firewall was present for Newton.  This make
communication impossible until puppet is run again.

This ensures that no rules are loaded when the firewall is enabled.

This mimic this patch[1]

[1] https://github.com/openstack/tripleo-heat-templates/commit/ae8aac36143d5dadb08af0d275f513678909dcc7

Change-Id: Id878b5caae666a799c89c8466ce46b9ecb86d9f7
Closes-Bug: #1675782

docker/keystone: Bind mount entire fernet keys repository

Previously only the first two intial fernet keys were mounted into the
container. This is not practical, however, as doing key rotation will
generate more entries in this repository. So instead we mount the whole
directory, which would allow us to do rotation in the base host and
seamlessly affect the container as well.

Change-Id: I7763a09e57fe6a7867ffd079ab0b9222374c38c8

Merge "Remove unused KeystoneRegion parameter from gnocchi-base"

Merge "Setting keystone region for congress"

Merge "docker/keystone: Actually set fernet as the default token provider"

Merge "docker-puppet: skip empty volume entries"

Merge "Enables increasing mariadb open files for noha deployments"

Merge "Remove unnecesary code to enable panko-api"

Merge "Fixes missing firewall rules for neutron_ovs_dpdk_agent service"

Merge "Install openstack-selinux for deployed-server"

Merge "Fix usage of CinderNfsServers"

Merge "Add missing metadata_settings from neutron-api profile"

Merge "Rework container volumes as hostpath mounts"

Merge "Fixes OpenDaylightProviderMappings hiera parsing"

Merge "Clarify Kolla build overrides for tripleo"

Stop openstack-nova-compute during nova-ironic upgrade

This change ensures that that openstack-nova-compute is
stopped and disabled during the upgrade process.

Closes-Bug: 1675814

Change-Id: Ifd2557b11e4317f1e76e459e8de4162116578eff

N->O Upgrade, make sure all nova placement parameter properly set.

The restart of openstack-nova-compute takes place before crudini set
the password, user_domain and project_name get set.

Change-Id: I57b54d5f59d5803d7ad4e399d598f699785a5825
Closes-Bug: #1675739
Co-Authored-By: Oliver Walsh <owalsh@redhat.com>

Rework container volumes as hostpath mounts

Also add upgrade_tasks to disable corresponding host
services in order to not data race with containers

Change-Id: I19c16aaa3e5a73436ca7aa7d06facf64feee2327
Signed-off-by: Bogdan Dobrelya <bdobreli@redhat.com>

[N->O] Fix wrong database connection for cell0 during upgrade.

During upgrade the cell0 database has the connection pointing to

   mysql+pymysql://nova:c2cdagE8PyAbnpers3AD88Hge@10.0.0.19/nova_cell0?bind_address=10.0.0.20

where 10.0.0.20 was the ip of the bootstrap node.  This makes the
nova-api fails on 2/3 node at the end of the
major-upgrade-composable-steps.yaml step.

We do have the right value in the hiera database so make sure we use
it for cell0 creation and not the nova.conf file which hasn't been
updated yet.

Change-Id: I09775206cb8fc5e15934f7e4475506a7fe17271e
Closes-Bug: #1675359

Fixes OpenDaylightProviderMappings hiera parsing

The str_replace conversion used previously is no longer needed and
breaks the hieradata value.

Closes-Bug: 1675426

Change-Id: I7a052d1757efe36daf6ed47e55598ca3c2ee9055
Signed-off-by: Tim Rozet <trozet@redhat.com>

[N->O] is creating 2 default cell_v2 cells

A side-effect of running map_cell_and_hosts is that a default cell is created
(unless host mappings already exists).
As we are explicitly creating the default cell we need to run discover_hosts
to create the host mappings.

Change-Id: I1a28e9b85a7c43561700faf692248c5fc06b8ad8
Closes-Bug: #1675418

Merge "Keep existing data for containerized Libvirt"

Add missing metadata_settings from neutron-api profile

This is needed for the TLS everywhere work. This will break on
TLS-everywhere setups where neutron would be deployed in its own role.
So we need to add the metadata_settings.

bp tls-via-certmonger

Change-Id: I7934a258e032d8eaa6f07c0e48b3fbdb1f8c6a06

Fix usage of CinderNfsServers

This feature stopped working somewhere along the lines. In the past it
was working with parameter_defaults like this:

 CinderNfsServers: '10.0.0.254:/srv/nfs/cinder'

or

 CinderNfsServers: "[fd00:fd00:fd00:3000::1]:/srv/nfs/cinder"

The problem was that the templating escaped these strings, and
puppet-tripleo didn't receive a proper array, but a string.

This patch fixes this. It accepts strings as above as well as
comma-delimited lists of Nfs Servers.

Closes-Bug: 1671153
Change-Id: I89439c1d969e92cb8e0503de561e22409deafdfc

Install openstack-selinux for deployed-server

No other packages actually require openstack-selinux, so it must be
explicity installed.

Change-Id: Ic7b39ddfc4cfb28b8a08e9b02043211e4ca4a39a
Closes-Bug: #1675170

Nic config mappings for deployed-server

Adds default nic config mappings when using the deployed-server custom
roles data at deployed-server/deployed-server-roles-data.yaml.
Previously there were no default mappings as the hardcoded mapping for
the Controller role from overcloud-resource-registry-puppet.j2.yaml
would not be used since there is no Controller role when using
deployed-server.

The default mapping is net-config-static.yaml instead of
net-config-noop.yaml, since there is no requirement of a L2 domain for
dhcp between undercloud and overcloud nodes when using deployed-server.

The convenience mapping of ControllerDeployedServer to
net-config-static-bridge.yaml is also added so that out of the box the
roles with controller services will get the right bridge created.

The mappings can always be overridden in later environment files if
needed.

Change-Id: I581fec99b459a12512686e47b10b962756652eb3
Closes-Bug: #1670493
Depends-On: Ib681729cc2728ca4b0486c14166b6b702edfcaab

Fixes missing firewall rules for neutron_ovs_dpdk_agent service

Firewall config was being inherited by the dpdk service, however
since the firewall service name was the parent (neutron_ovs_agent)
and technically that service was not enabled - the rules were never
applied.  This modifies the service name as it is inherited using
map_replace.

Closes-Bug: 1674689

Change-Id: I6676205b8fc1fd578cb2435ad97fe577a9e81d95
Signed-off-by: Tim Rozet <trozet@redhat.com>

Run nova-api hosts discovery after nova-compute start

The previous code had a race condition where nova-api host discovery
and nova-compute where run at the same step. This commit ensures host
discovery happens after nova-compute has started.

Change-Id: Id2fc795a64783d958d98d4ac523a19079e8a4fab
Closes-Bug: #1675011

Remove unused KeystoneRegion parameter from gnocchi-base

This is used in gnocchi-api.yaml and is not needed on the base template.

Change-Id: I5ebd27dff3dca7053647a57eb4cdef56d38526c6

Only set EnableConfigPurge on major upgrades

Bug #1611800 fixed an upgrade issue by enabling purging configs for
some services, but this causes issues such as longer updates and
restarting services in the minor update case, so only do this for
major upgrades, and default to false.

Related-Bug: #1611800
Closes-Bug: #1674858
Change-Id: Iff7d715f6730c5633f1146008504b4309ef3133d

docker/keystone: Actually set fernet as the default token provider

A previous commit [1] added support for fernet in the keystone docker
service; however, this was not set as the default token provider. This
patch makes it the default.

[1] Id92039b3bad9ecda169323e01de7bebae70f2ba0

Change-Id: Ib44ab61eba0be8ba54bc7d0bdb22437d769cb960

docker-puppet: skip empty volume entries

This allows to optionally add volumes, where we could use a heat
conditional to either put the volume path we want or put an empty string
which should be safely skipped.

Change-Id: I68f91ffdd8ceb14735adad1322fcf124c47b160c

Merge "Enables OpenDaylight clustering in HA deployments"

Merge "Change kolla_config from required to optional in pep8."

Restrict Access to Kernel Message Buffer

Unprivileged access to the kernel syslog can expose sensitive
kernel address information.

Change-Id: If40f1b883dfde6c7870bf9c463753d037867c9e2
Signed-off-by: zshi <zshi@redhat.com>

Merge "Keep existing data for containerized ironic-conductor"

Merge "Cleanup docker services templates"

Change kolla_config from required to optional in pep8.

We've decided to use volumes for configuration wherever possible.
This means moving away from kolla_config blocks in the templates.
Update pep8 to reflect this.

Change-Id: If1ec40d0e5a515eed35e0cd04711079294f358c3

Merge "Containerize panko api service"

Merge "Don't try to run os-net-config from yum_update.sh"

Merge "Bind redis-sentinel to its network"

Setting keystone region for congress

Change-Id: I4958b886cbd6c2b34da0c265e8774105474ace13

Enables OpenDaylight clustering in HA deployments

Port 2550 is required for inter-ODL communication when clustering.
odl-jolokia feature is required to expose REST APIs from ODL for
monitoring the cluster.

Implements: blueprint opendaylight-ha

Depends-On: Ic9a955a1c2afc040b2f9c6fb86573c04a60f9f31

Change-Id: Ie108ab75cce0cb7d89e72637c600e30fc241d186
Signed-off-by: Tim Rozet <trozet@redhat.com>

Merge "Fixes multiple issues with retry function in rhel-registration."

Keep existing data for containerized ironic-conductor

Use mounts instead of docker volumes, and preserve existing data when
moving from baremetal to containerized ironic-conductor.

We cannot keep the data in the same directory to avoid hard-linking
errors in ironic, because of this issue:

https://github.com/docker/docker/issues/7457

This means we need to copy the data over to a new location before we
start the containers.

Change-Id: If98460120212f887b06adf117c5d88b97682638e

Merge "Make sure PrePuppet runs before any Deployment_Step"

Merge "Add certmonger-user profile"

Re-Add bigswitch agent support

The agent configuration was lost in newton during the puppet-tripleo and
THT role conversion. This change adds support for including the bigswitch
agent service for composable roles.

Change-Id: I46896389e48cdbe2864bf5b609a786f1c84ef908
Closes-Bug: #1673126

Merge "docker/keystone: add metadata_settings to output"

Merge "Keep existing data for containerized Swift"

Merge "Keep existing data for containerized RabbitMQ"

Make sure PrePuppet runs before any Deployment_Step

We used to have this in mitaka:
https://github.com/openstack/tripleo-heat-templates/blob/stable/mitaka/puppet/controller-post.yaml#L45

but we lost it along the way. The problem without this change is that we
are open to the following race:
1) ControllerDeployment_Step1 is started and manages to do a successful
   "systemctl start pacemaker"
2) PrePuppet gets called and in the HA deployment calls
   pacemaker_maintenance_mode.sh
3) pacemaker_maintenance_mode.sh will set the maintenance-mode=true
   property because the pacemaker service is already up:
   https://github.com/openstack/tripleo-heat-templates/blob/master/extraconfig/tasks/pacemaker_maintenance_mode.sh#L8-L9
4) If the maintenance property is set to true at this stage, the
   creation of any resource will take place but they won't really
   start.

Change-Id: Icb7495edd00385b2975dd42f63085d20292ef9a9
Closes-Bug: #1673795
Co-Authored-By: Jiri Stransky <jstransk@redhat.com>

Containerize panko api service

Co-Authored-By: Pradeep Kilambi <pkilambi@redhat.com>
Closes-bug: #1668918

Change-Id: Ie1ebd25965bd2dbad2a22161da0022bad0b9e554

Merge "docker: Add metadata_settings to optional parameters for yaml validate"

Merge "Keep existing data for containerized MongoDB"

Merge "Explicitly configure credentials used by ironic to access other services"

Bind redis-sentinel to its network

We currently do not bind redis-sentinel to any IP:
redis      21144  0.0  0.0 142908  5908 ?        Ssl  07:43   0:11 /usr/bin/redis-sentinel *:26379 [sentinel]

Let's bind it to the same network as redis.

Change-Id: I8a782ae1db84eb614aa3995a1638a2f370e70d06
Partial-Bug: #1673715

Add NodeCreateBatchSize parameter

This uses the heat resource group batched create feature to ensure
we don't create more than 30 nodes at a time, which has been reported
as the maximum supported by the default ironic ipxe/TFTP configuration.

Change-Id: If3651e4c465d8d7bd4c8f2b48d45b1272ff2d272

Pick dynamically the first node for stack validation

When replacing the controller node with resource id 0,
AllNodesValidation will fail because there is an hardcoded reference
to resource.0. With this commit the id for validation is extracted
dynamically with yaql query, picking the first available.
Thanks to Steven Hardy for pointing to the right direction.

Change-Id: I8f2bfacbc005d948bd31ebd51c3d3df3182d5a3c
Closes-Bug: #1673439