Merge "Fix network-isolation.j2.yaml to ignore VIPs for disabled networks"

Merge "Remove empty metadata_settings from iscsid and multipathd templates"

Merge "Adds stop and disable for libvirtd on upgrade to containers"

Merge "Generate MySQL client config if service requires database"

Merge "Add missing metadata_settings from docker services"

Adds stop and disable for libvirtd on upgrade to containers

Adds this into the tripleo_upgrade_node.sh executed by the
operator for the major upgrade see the bug for more info

Change-Id: Ic54b48b149594e8ea08e95152111bcdaf7b252b7
Closes-Bug: 1707926

Remove empty metadata_settings from iscsid and multipathd templates

metadata_settings is meant to have a specific format or be completely
absent. Unfortunately the hook [1] doesn't an empty value for this. So
we remove it as an easy fix before figuring out how to add such a
functionality to the hook.

[1] https://github.com/openstack/tripleo-heat-templates/blob/master/extraconfig/nova_metadata/krb-service-principals.yaml

Co-Authored-By: Thomas Herve <therve@redhat.com>
Change-Id: Ieac62a8076e421b5c4843a3cbe1c8fa9e3825b38

Merge "Enable Dpdk after rebooting with Hugepages for OvS2.7"

Merge "Fix creation of iptables rules for non-HA containerized HAproxy"

Add missing metadata_settings from docker services

These are needed for the TLS everywhere bits.

Change-Id: I81fcf453fc1aaa2545e0ed24013f0f13b240a102

Merge "Add 'ovn-controller' service"

Enable Dpdk after rebooting with Hugepages for OvS2.7

With OvS2.7, DPDK is initialized immediately after setting
dpdk-init flag. DPDK requires hugepages configuration to be
available on kernel args with a reboot. This patch reboots
the node after applying the kernel args. And once the node
is rebooted, DPDK will be enabled and then the deployment
continues.

Change-Id: Ide442e09c2bea56a38399247de588e63b4272326

Merge "add lbaasv2 to NeutronServicePlugins in octavia containers"

Merge "Also log docker-puppet.py puppet output to console"

Merge "Enable Zaqar API SSL"

Also log docker-puppet.py puppet output to console

Running puppet apply with --logdest syslog results in all the output
being redirected to syslog. You get no error messages. In the case where this fails, the subsequent debug task shows nothing useful
as there was no stdout/stderr.

Also pass --logdest console to docker-puppet's puppet apply so that
we get the output for the debug task.

Related-Bug: #1707030

Change-Id: I67df5eee9916237420ca646a16e188f26c828c0e
Signed-off-by: Bogdan Dobrelya <bdobreli@redhat.com>

Merge "Consistent hostname format env for split-stack"

Add 'ovn-controller' service

Presently the ovn-controller service (puppet/services/neutron-compute-plugin-ovn.yaml)
is started only on compute nodes. But for the cases where the controller nodes
provide the north/south traffic, we need ovn-controller service runninng in controller
nodes as well.

This patch
 - Renames the neutron-compute-plugin-ovn.yaml to ovn-controller.yaml which makes more
   sense and sets the service name as 'ovn-controller'.
 - Adds the service 'ovn-controller' to Controller and Compute roles.
 - Adds the missing 'upgrade_tasks' section in ovn-dbs.yaml and ovn-controller.yaml

Depends-On: Ie3f09dc70a582f3d14de093043e232820f837bc3
Depends-On: Ide11569d81f5f28bafccc168b624be505174fc53
Change-Id: Ib7747406213d18fd65b86820c1f86ee7c39f7cf5

Also log puppet output to console

Running puppet apply with --logdest syslog results in all the output
being redirected to syslog. You get no error messages. In the case where
this ansible task fails, the subsequent debug task shows nothing useful
as there was no stdout/stderr.

Also pass --logdest console to puppet apply so that we get the output
for the debug task. My local testing showed that when specifying logdest
twice, both values were honored, and the output went to syslog and the
console.

Change-Id: Id5212b3ed27b6299e33e81ecf71ead554f9bdd29
Closes-Bug: #1707030

Generate MySQL client config if service requires database

Services that access database have to read an extra MySQL configuration file
/etc/my.cnf.d/tripleo.cnf which holds client-only settings, like client bind
address and SSL configuration. The configuration file is thus used by
containerized services, but also by non-containerized services that still
run on the host.

In order to generate that client configuration file appropriately both on the
host and for containers, 1) the MySQLClient service must be included by the
role; 2) every containerized service which uses the database must include the
mysql::client profile in the docker-puppet config generation step.

By including the mysql::client profile in each containerized service, we ensure
that any change in configuration file will be reflected in the service's
/var/lib/config-data/{service}, and that paunch will restart the service's
container automatically.

We now only rely on MySQLClient from puppet/services, to make it possible to
generate /etc/my.cnf.d/tripleo.cnf on the host, and to set the hiera keys that
drive the generation of that config file in containers via docker-puppet.

We include a new YAML validation step to ensure that any service which depends
on MySQL will initialize the mysql::client profile during the docker-puppet
step.

Change-Id: I0dab1dc9caef1e749f1c42cfefeba179caebc8d7

Merge "Add PCI to nova compute container for passthrough support"

Merge "Enable libvirtd_config puppet tag in nova-libvirtd docker service"

Enable Zaqar API SSL

This sets the SSL flag in the docker service and expose the parameter in
the docker service.

Depends-On: I4c68a662c2433398249f770ac50ba0791449fe71
Change-Id: Ic3df2b9ab7432ffbed5434943e04085a781774a0

Merge "Deploy Ceph in containers using ceph-ansible via external workflow"

Merge "Make collectd run as root inside the container"

Merge "Adding Tuned Service"

Merge "aodh: add gnocchi_external_project_owner config"

Merge "Fix enable-ceph sample environment"

Deploy Ceph in containers using ceph-ansible via external workflow

Add docker profiles to deploy Ceph in containers via ceph-ansible. This is
implemented by triggering a Mistral workflow during one of the overcloud
deployment steps, as provided by [1].

Some new service-specific parameters are available to determine the workflow to
execute and the ansible playbook to use. A new `CephAnsibleExtraConfig`
parameter can be used to provide arbitrary config variables consumed by `ceph-ansible`.

The pre-existing template params consumed up until the Pike release to
drive `puppet-ceph` continue to work and are translated, when possible, into
the equivalent `ceph-ansible` variable.

A new environment file is added to enable use of ceph-ansible;
the pre-existing puppet-ceph implementation remains unchanged and usable
for non-containerized deployments.

1. https://review.openstack.org/#/c/463324/

Change-Id: I81d44a1e198c83a4ef8b109b4eb6c611555dcdc5

Merge "Provides Ceph config into OpenStack clients"

Merge "Stop Heat WSGI services on docker upgrade"

Merge "Ps Cinder: Added support for password less login"

Fix enable-ceph sample environment

The necessary resource registry entries were missing from this env
and the old environment was not deprecated.

Change-Id: I6a9b148514fc5da1f96b9fd7fe09f564c2f82419

Merge "Replace outdated instruction with link to upstream doc"

Merge "Add parameters for Veritas HyperScale distributed setup."

Merge "Open up firewall for the control-ports in the bundles"

Merge "Add NodeTLSData to generic role.role.j2.yaml"

Merge "Make various password descriptions consistent"

Merge "Stop also openstack-swift-object-expirer when upgrading swift services"

Merge "Contrail network realignement + DPDK enablement"

Merge "Add keystone cron container to run token_flush"

Merge "nova_api_cron docker fix: add /var/spool/cron/nova"

Merge "Add containerized manila-share to CI"

Fix creation of iptables rules for non-HA containerized HAproxy

The introduction of I90253412a5e2cd8e56e74cce3548064c06d022b1 broke the HAproxy
service due to some HAproxy-specific iptables rules being executed during the
puppet config step.

Ensure that no iptables call is performed during the generation of configuration
files. Move those calls to step 1, as implemented in the pacemaker-based
HAproxy service (Ib5a083ba3299a82645f1a0f9da0d482c6b89ee23).

Depends-On: I2d6274d061039a9793ad162ed8e750bd87bf71e9
Closes-Bug: #1697921

Change-Id: Ica3a432ff4a9e7a46df22cddba9ad96e1390b665

Add NodeTLSData to generic role.role.j2.yaml

This is currently included in the controller-role template, so we need
to add it to the generic role.role.j2.yaml in order to convert the
controller-role template to be rendered via j2

Change-Id: I01bf01c8a31e4cc26f202dd1774845ec33f50bcd
Partially-Implements: blueprint composable-networks

Merge "Add cinder cron container to run db purge"

Provides Ceph config into OpenStack clients

Given ceph-ansible or puppet-ceph will have created the Ceph
config files and keyrings in /etc/ceph on baremetal, this change
copies into the OpenStack containers the necessary files for the
services to be able to connect to the Ceph cluster.

Change-Id: Ibc9964902637429209d4e1c1563b462c60090365

Enable libvirtd_config puppet tag in nova-libvirtd docker service

Required now that https://review.openstack.org/480289 has merged

Change-Id: I17f6c9b5a6e2120a53bae296042ece492210597a
Related-Bug: #1696504

Merge "Add heat api container to run cron purge_deleted"

Adding Tuned Service

Allow the user to set a specific Tuned profile on a given host.

Defaults to throughput-performance

Change-Id: I0c66193d2733b7a82ad44b1cd0d2187dd732065a

Contrail network realignement + DPDK enablement

This patch moves Contrail roles communication from public/external
to internal_api network for OpenStack API.
It also adds the option to enable dpdk.
Monolithic firstboot script is broken down into small pre-network
and per-node extraconfig scripts

Change-Id: I296a3bf60cef6fa950fd71d6e68effe367d1e66b
Closes-Bug: 1698422

Merge "Fall back to non-containerized cinder-backup and cinder-volume for HA"

add lbaasv2 to NeutronServicePlugins in octavia containers

without lbaasv2 neutron will not be able to load the plugin
and communicate with octavia.

Change-Id: If44b93703d3c408ae075d73ed695c3edc58fba18

Merge "Modifying Cisco templates to support composable roles"

Merge "Increase default RabbitMQ/Erlang TCP timeout from 5 to 15 seconds"

Merge "Mount /var/lib/neutron in neutron agents for metadata proxy"

Merge "Add metadata_settings in Heat APIs"

Merge "CI/scenarios : Add scenario007 for OVN services"

Modifying Cisco templates to support composable roles

Change-Id: I21fee832aeeb9780f818ae869ea8714f28bbe4a0
Closes-bug:  #1704853

Merge "Revert "Disable systemd-networkd & systemd-resolved""

Consistent hostname format env for split-stack

Adds a new environment split-stack-consistent-hostname-format.j2.yaml
for use with split-stack that will set the {{role.name}}HostnameFormat
parameters based on the actual roles in use.

It's possible to generate these parameters and values as long as the
roles files is the same between the 2 stacks, which will be documented
in I9997bd685f8f79537dfc377f9f1eb0c7446c3289.

Removes the hardcoded paramters from the other 2 split-stack
environments.

Change-Id: I93bc7c1a24a9cb2f9930372970c67c0eadb14add

Merge "Set name property on missing deployments"

Merge "Use static environment for deployed-server neutron mappings"

Merge "Move docker_puppet_tasks calculation into services.yaml"

Merge "Move services.yaml output calculation into Value resources"

Merge "Release 7.0.0.0b3"

Merge "Cleans up exec workaround for ODL container clustering"

Add parameters for Veritas HyperScale distributed setup.

Add more parameters to Veritas Hyperscale's composable service, which
will be relevant in distributed setup.

Change-Id: Ib1b90edbf17ea7f14bdbed4857241fca86b87a18
Signed-off-by: abhishek.kane <abhishek.kane@veritas.com>

Merge "Add support for nova live/cold-migration with containers"

Release 7.0.0.0b3

Change-Id: Ibb75bfd01712257a20d72554308a0c099dd52b18

Merge "Remove non-containerized pacemaker resources on upgrade"

Add metadata_settings in Heat APIs

We don't expose metadata_settings in Heat services, so SSL shouldn't
work.

Change-Id: I411085d9b249e54a2462de5efe4abf8f0865c0c2

Move docker_puppet_tasks calculation into services.yaml

This makes the RolesData output more accurate, and we can rework
things so docker-puppet only gets run when there is a non-empty
file calculated (e.g there are tasks to run).

Change-Id: I8cdab3c857977c80fe2e359ab9e05740a838d66b

Move services.yaml output calculation into Value resources

This stores the result of the yaql queries etc for easier debugging, and
also so there's no risk we constantly re-evaluate the expensive query
which can happen with some heat versions and configurations.

This also gives a nicer error when things go wrong as when a query fails
you know which resource had an error, and also the validation on resources
is currently stricter due to bug #1599114.  We also get some additional
type validation from each OS::Heat::Value resource, e.g it checks if the
calculated value is a valid map or list.

The final advantage (and the original motivation for doing this) is that
we can easily filter null values for any outputs where this isn't already
done, which makes the config data written via openstack overcloud config
download cleaner.

Change-Id: Ia6697cf2e47f3f7b727d620536e0873a985c98c4

Merge "Refactor iscsi initiator-name reset into separate service"

Merge "Drop MongoDB from the undercloud"

Merge "Support configurable Zaqar backends"

Drop MongoDB from the undercloud

This patch drops MongoDB from the undercloud and swaps
in a 'swift' and 'sqlalchemy' versions for the Zaqar
backends.

Change-Id: Ic6600f284dfbf4360b42598d3651b4c0f8046d1c

Support configurable Zaqar backends

This patch adds parameters to configure alternative version
of the Zaqar messaging and management backends.

The intent is to make use of these settings in the
containers undercloud to use swift/mysql backends as a default
thus avoiding the dependency on MongoDB.

Change-Id: Ifd6a561737184c9322192ffc9a412c77d6eac3e9
Depends-On: Ie6a56b9163950cee2c0341afa0c0ddce665f3704
Depends-On: I3598e39c0a3cdf80b96e728d9aa8a7e6505e0690

CI/scenarios : Add scenario007 for OVN services

Depends-On: Ide11569d81f5f28bafccc168b624be505174fc53
Change-Id: Ie3f09dc70a582f3d14de093043e232820f837bc3

Add support for nova live/cold-migration with containers

Updates hieradata for changes in https://review.openstack.org/471950.
Creates a new service - NovaMigrationTarget. On baremetal this just configures
live/cold-migration. On docker is includes a container running a second sshd
services on an alternative port.
Configures /var/lib/nova/.ssh/config and mounts in nova-compute and libvirtd
containers.

Change-Id: Ic4b810ff71085b73ccd08c66a3739f94e6c0c427
Implements: blueprint tripleo-cold-migration
Depends-On: I6c04cebd1cf066c79c5b4335011733d32ac208dc
Depends-On: I063a84a8e6da64ae3b09125cfa42e48df69adc12

Merge "Add composable services for the Veritas HyperScale."

Merge "Revert "Use optimal (instead of default) tunables for Ceph on upgrade""

Merge "Disable env evaluation in workflow executions"

Merge "Make Deploy/UpdateIdentifier definition semi-consistent"

Merge "Make EnablePackageInstall and Debug descriptions consistent"

Merge "Add all existing parameter mismatches to exclusion list"

Merge "Fix description of NeutronNetworkVLANRanges"

Merge "Move step_config/docker_config calculation into services.yaml"

Merge "Add a new role for ComputeOvsDpdk and clean-up parameters"

Mount /var/lib/neutron in neutron agents for metadata proxy

The metadata agent creates domain socket /var/lib/neutron/metadata_proxy
that is used for communication with haproxy in the L3 and DHCP agents.
This patch adds creation of /var/lib/neutron if it doesn't exist and
mounts it into the L3, DHCP and metadata agent containers.

Change-Id: Id8b8487b5a6a288e5ef1ca1c7d5b47a59cc8dea2
Closes-Bug: #1705289

Make various password descriptions consistent

Since these are obviously global parameters they shouldn't specify
what will be using them because they are used in multiple places.

Change-Id: I5054c2d67dffe802e37f8391dd7bad4721e29831
Partial-Bug: 1700664

Make Deploy/UpdateIdentifier definition semi-consistent

It seems UpdateIdentifier is an overloaded parameter - it is used
both to trigger package updates in the minor update case as well as
to trigger the upgrade steps during a major upgrade.  I'm not sure
it's appropriate to change either of the descriptions as a result,
so for the moment that is added to the exclusion list.

Change-Id: Ied36cf259f6a6e5c8cfa7a01722fb7fda6900976
Partial-Bug: 1700664

Make EnablePackageInstall and Debug descriptions consistent

Change-Id: I3ea7c0c7ea049043668e68c6e637fd2aaf992622
Partial-Bug: 1700664

Revert "Disable systemd-networkd & systemd-resolved"

https://github.com/camptocamp/puppet-systemd/pull/32 is disabling by default the services so we don't have to control them via TripleO.

This reverts commit d24874c7b2625e25630534a86864a93050f661d3.

Change-Id: I4044f0b28b636c7a022912f6f24707bce22c8b98
Related-Bug: #1704160

Cleans up exec workaround for ODL container clustering

Now that ODL clustering is fixed to not use an exec by:
https://git.opendaylight.org/gerrit/#/c/60491
We no longer need to use the workaround puppet-tripleo
tag to configure clustering.

Change-Id: I21c1eb2eff6d4cb855eff4a1122f55ad625d84cc
Signed-off-by: Tim Rozet <trozet@redhat.com>

Merge "Remove DockerNamespace references"

Add all existing parameter mismatches to exclusion list

This way we have one list of problems that need to be fixed and can
enable this check to avoid adding any new ones.  As parameters are
fixed they can be removed from the exclusion list.

Change-Id: Icb5fc36e2da3a3bfb7eaa8a66464c685220e527f

Fall back to non-containerized cinder-backup and cinder-volume for HA

The non-HA version of those two A/P Cinder services currently runs
non-containerized, as explained in I9ac74d6717533f59945694b4a43fe56d7ca768c6
and Ib10e4f18d967d356a15b97f58c488f8402a73356.

Disable their HA counterpart until the non-HA version is re-enabled.

Change-Id: I2aa49330fa361e330448dc9aa88e3812d9a7d464

Open up firewall for the control-ports in the bundles

This is required when the bundles run on pacemaker remote nodes
otherwise the cluster won't be able to connect to the control-ports
of each bundle. The only services that need this are rabbit, redis and
galera because those run pacemaker_remote inside the container
(A/P resources and haproxy do not)

Change-Id: I6a56d79319ef3d14973a0586dcda4d523adda7aa
Co-Authored-By: Damien Ciabrini <dciabrin@redhat.com>