Enable Dpdk after rebooting with Hugepages for OvS2.7

With OvS2.7, DPDK is initialized immediately after setting
dpdk-init flag. DPDK requires hugepages configuration to be
available on kernel args with a reboot. This patch reboots
the node after applying the kernel args. And once the node
is rebooted, DPDK will be enabled and then the deployment
continues.

Change-Id: Ide442e09c2bea56a38399247de588e63b4272326

Merge "add lbaasv2 to NeutronServicePlugins in octavia containers"

Merge "Also log docker-puppet.py puppet output to console"

Merge "Enable Zaqar API SSL"

Also log docker-puppet.py puppet output to console

Running puppet apply with --logdest syslog results in all the output
being redirected to syslog. You get no error messages. In the case where this fails, the subsequent debug task shows nothing useful
as there was no stdout/stderr.

Also pass --logdest console to docker-puppet's puppet apply so that
we get the output for the debug task.

Related-Bug: #1707030

Change-Id: I67df5eee9916237420ca646a16e188f26c828c0e
Signed-off-by: Bogdan Dobrelya <bdobreli@redhat.com>

Merge "Consistent hostname format env for split-stack"

Also log puppet output to console

Running puppet apply with --logdest syslog results in all the output
being redirected to syslog. You get no error messages. In the case where
this ansible task fails, the subsequent debug task shows nothing useful
as there was no stdout/stderr.

Also pass --logdest console to puppet apply so that we get the output
for the debug task. My local testing showed that when specifying logdest
twice, both values were honored, and the output went to syslog and the
console.

Change-Id: Id5212b3ed27b6299e33e81ecf71ead554f9bdd29
Closes-Bug: #1707030

Merge "Add PCI to nova compute container for passthrough support"

Merge "Enable libvirtd_config puppet tag in nova-libvirtd docker service"

Enable Zaqar API SSL

This sets the SSL flag in the docker service and expose the parameter in
the docker service.

Depends-On: I4c68a662c2433398249f770ac50ba0791449fe71
Change-Id: Ic3df2b9ab7432ffbed5434943e04085a781774a0

Merge "Deploy Ceph in containers using ceph-ansible via external workflow"

Merge "Make collectd run as root inside the container"

Merge "Adding Tuned Service"

Merge "aodh: add gnocchi_external_project_owner config"

Merge "Fix enable-ceph sample environment"

Deploy Ceph in containers using ceph-ansible via external workflow

Add docker profiles to deploy Ceph in containers via ceph-ansible. This is
implemented by triggering a Mistral workflow during one of the overcloud
deployment steps, as provided by [1].

Some new service-specific parameters are available to determine the workflow to
execute and the ansible playbook to use. A new `CephAnsibleExtraConfig`
parameter can be used to provide arbitrary config variables consumed by `ceph-ansible`.

The pre-existing template params consumed up until the Pike release to
drive `puppet-ceph` continue to work and are translated, when possible, into
the equivalent `ceph-ansible` variable.

A new environment file is added to enable use of ceph-ansible;
the pre-existing puppet-ceph implementation remains unchanged and usable
for non-containerized deployments.

1. https://review.openstack.org/#/c/463324/

Change-Id: I81d44a1e198c83a4ef8b109b4eb6c611555dcdc5

Merge "Provides Ceph config into OpenStack clients"

Merge "Stop Heat WSGI services on docker upgrade"

Merge "Ps Cinder: Added support for password less login"

Fix enable-ceph sample environment

The necessary resource registry entries were missing from this env
and the old environment was not deprecated.

Change-Id: I6a9b148514fc5da1f96b9fd7fe09f564c2f82419

Merge "Replace outdated instruction with link to upstream doc"

Merge "Add parameters for Veritas HyperScale distributed setup."

Merge "Open up firewall for the control-ports in the bundles"

Merge "Add NodeTLSData to generic role.role.j2.yaml"

Merge "Make various password descriptions consistent"

Merge "Stop also openstack-swift-object-expirer when upgrading swift services"

Merge "Contrail network realignement + DPDK enablement"

Merge "Add keystone cron container to run token_flush"

Merge "nova_api_cron docker fix: add /var/spool/cron/nova"

Merge "Add containerized manila-share to CI"

Add NodeTLSData to generic role.role.j2.yaml

This is currently included in the controller-role template, so we need
to add it to the generic role.role.j2.yaml in order to convert the
controller-role template to be rendered via j2

Change-Id: I01bf01c8a31e4cc26f202dd1774845ec33f50bcd
Partially-Implements: blueprint composable-networks

Merge "Add cinder cron container to run db purge"

Provides Ceph config into OpenStack clients

Given ceph-ansible or puppet-ceph will have created the Ceph
config files and keyrings in /etc/ceph on baremetal, this change
copies into the OpenStack containers the necessary files for the
services to be able to connect to the Ceph cluster.

Change-Id: Ibc9964902637429209d4e1c1563b462c60090365

Enable libvirtd_config puppet tag in nova-libvirtd docker service

Required now that https://review.openstack.org/480289 has merged

Change-Id: I17f6c9b5a6e2120a53bae296042ece492210597a
Related-Bug: #1696504

Merge "Add heat api container to run cron purge_deleted"

Adding Tuned Service

Allow the user to set a specific Tuned profile on a given host.

Defaults to throughput-performance

Change-Id: I0c66193d2733b7a82ad44b1cd0d2187dd732065a

Contrail network realignement + DPDK enablement

This patch moves Contrail roles communication from public/external
to internal_api network for OpenStack API.
It also adds the option to enable dpdk.
Monolithic firstboot script is broken down into small pre-network
and per-node extraconfig scripts

Change-Id: I296a3bf60cef6fa950fd71d6e68effe367d1e66b
Closes-Bug: 1698422

Merge "Fall back to non-containerized cinder-backup and cinder-volume for HA"

add lbaasv2 to NeutronServicePlugins in octavia containers

without lbaasv2 neutron will not be able to load the plugin
and communicate with octavia.

Change-Id: If44b93703d3c408ae075d73ed695c3edc58fba18

Merge "Modifying Cisco templates to support composable roles"

Merge "Increase default RabbitMQ/Erlang TCP timeout from 5 to 15 seconds"

Merge "Mount /var/lib/neutron in neutron agents for metadata proxy"

Merge "Add metadata_settings in Heat APIs"

Merge "CI/scenarios : Add scenario007 for OVN services"

Modifying Cisco templates to support composable roles

Change-Id: I21fee832aeeb9780f818ae869ea8714f28bbe4a0
Closes-bug:  #1704853

Merge "Revert "Disable systemd-networkd & systemd-resolved""

Consistent hostname format env for split-stack

Adds a new environment split-stack-consistent-hostname-format.j2.yaml
for use with split-stack that will set the {{role.name}}HostnameFormat
parameters based on the actual roles in use.

It's possible to generate these parameters and values as long as the
roles files is the same between the 2 stacks, which will be documented
in I9997bd685f8f79537dfc377f9f1eb0c7446c3289.

Removes the hardcoded paramters from the other 2 split-stack
environments.

Change-Id: I93bc7c1a24a9cb2f9930372970c67c0eadb14add

Merge "Set name property on missing deployments"

Merge "Use static environment for deployed-server neutron mappings"

Merge "Move docker_puppet_tasks calculation into services.yaml"

Merge "Move services.yaml output calculation into Value resources"

Merge "Release 7.0.0.0b3"

Merge "Cleans up exec workaround for ODL container clustering"

Add parameters for Veritas HyperScale distributed setup.

Add more parameters to Veritas Hyperscale's composable service, which
will be relevant in distributed setup.

Change-Id: Ib1b90edbf17ea7f14bdbed4857241fca86b87a18
Signed-off-by: abhishek.kane <abhishek.kane@veritas.com>

Merge "Add support for nova live/cold-migration with containers"

Release 7.0.0.0b3

Change-Id: Ibb75bfd01712257a20d72554308a0c099dd52b18

Merge "Remove non-containerized pacemaker resources on upgrade"

Add metadata_settings in Heat APIs

We don't expose metadata_settings in Heat services, so SSL shouldn't
work.

Change-Id: I411085d9b249e54a2462de5efe4abf8f0865c0c2

Move docker_puppet_tasks calculation into services.yaml

This makes the RolesData output more accurate, and we can rework
things so docker-puppet only gets run when there is a non-empty
file calculated (e.g there are tasks to run).

Change-Id: I8cdab3c857977c80fe2e359ab9e05740a838d66b

Move services.yaml output calculation into Value resources

This stores the result of the yaql queries etc for easier debugging, and
also so there's no risk we constantly re-evaluate the expensive query
which can happen with some heat versions and configurations.

This also gives a nicer error when things go wrong as when a query fails
you know which resource had an error, and also the validation on resources
is currently stricter due to bug #1599114.  We also get some additional
type validation from each OS::Heat::Value resource, e.g it checks if the
calculated value is a valid map or list.

The final advantage (and the original motivation for doing this) is that
we can easily filter null values for any outputs where this isn't already
done, which makes the config data written via openstack overcloud config
download cleaner.

Change-Id: Ia6697cf2e47f3f7b727d620536e0873a985c98c4

Merge "Refactor iscsi initiator-name reset into separate service"

Merge "Drop MongoDB from the undercloud"

Merge "Support configurable Zaqar backends"

Drop MongoDB from the undercloud

This patch drops MongoDB from the undercloud and swaps
in a 'swift' and 'sqlalchemy' versions for the Zaqar
backends.

Change-Id: Ic6600f284dfbf4360b42598d3651b4c0f8046d1c

Support configurable Zaqar backends

This patch adds parameters to configure alternative version
of the Zaqar messaging and management backends.

The intent is to make use of these settings in the
containers undercloud to use swift/mysql backends as a default
thus avoiding the dependency on MongoDB.

Change-Id: Ifd6a561737184c9322192ffc9a412c77d6eac3e9
Depends-On: Ie6a56b9163950cee2c0341afa0c0ddce665f3704
Depends-On: I3598e39c0a3cdf80b96e728d9aa8a7e6505e0690

CI/scenarios : Add scenario007 for OVN services

Depends-On: Ide11569d81f5f28bafccc168b624be505174fc53
Change-Id: Ie3f09dc70a582f3d14de093043e232820f837bc3

Add support for nova live/cold-migration with containers

Updates hieradata for changes in https://review.openstack.org/471950.
Creates a new service - NovaMigrationTarget. On baremetal this just configures
live/cold-migration. On docker is includes a container running a second sshd
services on an alternative port.
Configures /var/lib/nova/.ssh/config and mounts in nova-compute and libvirtd
containers.

Change-Id: Ic4b810ff71085b73ccd08c66a3739f94e6c0c427
Implements: blueprint tripleo-cold-migration
Depends-On: I6c04cebd1cf066c79c5b4335011733d32ac208dc
Depends-On: I063a84a8e6da64ae3b09125cfa42e48df69adc12

Merge "Add composable services for the Veritas HyperScale."

Merge "Revert "Use optimal (instead of default) tunables for Ceph on upgrade""

Merge "Disable env evaluation in workflow executions"

Merge "Make Deploy/UpdateIdentifier definition semi-consistent"

Merge "Make EnablePackageInstall and Debug descriptions consistent"

Merge "Add all existing parameter mismatches to exclusion list"

Merge "Fix description of NeutronNetworkVLANRanges"

Merge "Move step_config/docker_config calculation into services.yaml"

Merge "Add a new role for ComputeOvsDpdk and clean-up parameters"

Mount /var/lib/neutron in neutron agents for metadata proxy

The metadata agent creates domain socket /var/lib/neutron/metadata_proxy
that is used for communication with haproxy in the L3 and DHCP agents.
This patch adds creation of /var/lib/neutron if it doesn't exist and
mounts it into the L3, DHCP and metadata agent containers.

Change-Id: Id8b8487b5a6a288e5ef1ca1c7d5b47a59cc8dea2
Closes-Bug: #1705289

Make various password descriptions consistent

Since these are obviously global parameters they shouldn't specify
what will be using them because they are used in multiple places.

Change-Id: I5054c2d67dffe802e37f8391dd7bad4721e29831
Partial-Bug: 1700664

Make Deploy/UpdateIdentifier definition semi-consistent

It seems UpdateIdentifier is an overloaded parameter - it is used
both to trigger package updates in the minor update case as well as
to trigger the upgrade steps during a major upgrade.  I'm not sure
it's appropriate to change either of the descriptions as a result,
so for the moment that is added to the exclusion list.

Change-Id: Ied36cf259f6a6e5c8cfa7a01722fb7fda6900976
Partial-Bug: 1700664

Make EnablePackageInstall and Debug descriptions consistent

Change-Id: I3ea7c0c7ea049043668e68c6e637fd2aaf992622
Partial-Bug: 1700664

Revert "Disable systemd-networkd & systemd-resolved"

https://github.com/camptocamp/puppet-systemd/pull/32 is disabling by default the services so we don't have to control them via TripleO.

This reverts commit d24874c7b2625e25630534a86864a93050f661d3.

Change-Id: I4044f0b28b636c7a022912f6f24707bce22c8b98
Related-Bug: #1704160

Cleans up exec workaround for ODL container clustering

Now that ODL clustering is fixed to not use an exec by:
https://git.opendaylight.org/gerrit/#/c/60491
We no longer need to use the workaround puppet-tripleo
tag to configure clustering.

Change-Id: I21c1eb2eff6d4cb855eff4a1122f55ad625d84cc
Signed-off-by: Tim Rozet <trozet@redhat.com>

Merge "Remove DockerNamespace references"

Add all existing parameter mismatches to exclusion list

This way we have one list of problems that need to be fixed and can
enable this check to avoid adding any new ones.  As parameters are
fixed they can be removed from the exclusion list.

Change-Id: Icb5fc36e2da3a3bfb7eaa8a66464c685220e527f

Fall back to non-containerized cinder-backup and cinder-volume for HA

The non-HA version of those two A/P Cinder services currently runs
non-containerized, as explained in I9ac74d6717533f59945694b4a43fe56d7ca768c6
and Ib10e4f18d967d356a15b97f58c488f8402a73356.

Disable their HA counterpart until the non-HA version is re-enabled.

Change-Id: I2aa49330fa361e330448dc9aa88e3812d9a7d464

Open up firewall for the control-ports in the bundles

This is required when the bundles run on pacemaker remote nodes
otherwise the cluster won't be able to connect to the control-ports
of each bundle. The only services that need this are rabbit, redis and
galera because those run pacemaker_remote inside the container
(A/P resources and haproxy do not)

Change-Id: I6a56d79319ef3d14973a0586dcda4d523adda7aa
Co-Authored-By: Damien Ciabrini <dciabrin@redhat.com>

Move step_config/docker_config calculation into services.yaml

Moving these means we get a more accurate output from the overcloud
RoleData output, which more closely reflects what is actually
deployed.

Change-Id: I154f36c1597cf4abe29ca0bfe15a54f507433fb1

Merge "Switch MonitoringRabbitUseSSL to boolean"

Merge "Exposing the ability to enable/disable the repository"

Merge "Add nova::compute::rbd setting into nova-libvirt profile"

Add keystone cron container to run token_flush

The token-flush cron job is created in /var/spool/cron/keystone
by puppet. This patch creates a cron container to run that
in an environment where it has access to keystone.conf
and the keystone-manage binaries.

Change-Id: Ie305ee9990657c66938250d1d6e19fef94675997
Partial-bug: 1701254

Add heat api container to run cron purge_deleted

The purge-deleted cron job is created by puppet in
/var/spool/cron/heat. This creates a cron container
to run that in an environment where it has access to the
heat.conf and heat-manage binaries.

Change-Id: Ib9fe8e4f6dbd41021df7cf152fd18569c189d2e2
Partial-bug: #1701254

Add cinder cron container to run db purge

The cinder db purge cron job is created by puppet in
/var/spool/cron/cinder. This creates a cron container to run
that in an environment where it has access to cinder.conf
and the cinder-manage binaries.

Change-Id: I02ae32a6dcd8569e2e2390063d4d935d05545a78
Partial-bug: #1701254

nova_api_cron docker fix: add /var/spool/cron/nova

This patch reworks the nova_api_cron container so that it contains
the /var/spool/cron cron for the nova user and also so that it
contains the correct nova.conf file.

This should allow kolla-start to copy the correct config files
into place and then start the cron service to run the nova
tasks periodically.

Change-Id: Ib6b2ca5af5419130fb9c83f83d6f4bf97410e870
Related-bug: #1701254

Remove DockerNamespace references

This patch removes more of the DockerNamespace references as part
of the cleanup/reorg of the container configuration patches.
This also adds a centos-rdo environment file for use with
the new interface. This file was generated with the command
"openstack overcloud container image prepare"

Depends-On: I729fa00175cb36b02b882d729aae5ff06d0e3fbc
Depends-On: I292162d66880278de09f7acbdbf02e2312c5bb2b

Co-Authored-By: Dan Prince <dprince@redhat.com>
Change-Id: Ice7b57c25248634240a6dd6e14e6d411e7806326

Merge "Add validation task in docker services"

Revert "Use optimal (instead of default) tunables for Ceph on upgrade"

This reverts commit 5e9f855f7c96950ca29a0f85086441c57ae7aed5.

The above would have fixed the issue but is only possible if the OSDs
are upgraded first. We probably need to disable flag warnings
completely instead. [1]

1. http://docs.ceph.com/docs/master/rados/operations/crush-map/#warning-when-tunables-are-non-optimal

Change-Id: I429e9f7f220a844b5ca61734287e514c96ea5e6c

Fix description of NeutronNetworkVLANRanges

This claimed that all vlans were allowed, when in fact it is only
the first 1000.

Change-Id: Id5681be51bc908274a8b9cf18d43e116ba150e7f

Switch MonitoringRabbitUseSSL to boolean

The puppet-sensu module recently added type checking so rabbitmq_ssl
needs to be a boolean and not a string.

Change-Id: I69b5a7528c8728310766abdc27ad11c93c4722d5
Closes-Bug: #1705481

Disable env evaluation in workflow executions

This is so that Mistral does not try to resolve the occurrences
of {{ or <% as jinja/jaql in the environment data.

Change-Id: Id654c336d072a6248570274401857756c6f6e706