Provides Ceph config into OpenStack clients

Given ceph-ansible or puppet-ceph will have created the Ceph
config files and keyrings in /etc/ceph on baremetal, this change
copies into the OpenStack containers the necessary files for the
services to be able to connect to the Ceph cluster.

Change-Id: Ibc9964902637429209d4e1c1563b462c60090365

Merge "Add heat api container to run cron purge_deleted"

Merge "Fall back to non-containerized cinder-backup and cinder-volume for HA"

Merge "Modifying Cisco templates to support composable roles"

Merge "Increase default RabbitMQ/Erlang TCP timeout from 5 to 15 seconds"

Merge "Mount /var/lib/neutron in neutron agents for metadata proxy"

Merge "Add metadata_settings in Heat APIs"

Merge "CI/scenarios : Add scenario007 for OVN services"

Modifying Cisco templates to support composable roles

Change-Id: I21fee832aeeb9780f818ae869ea8714f28bbe4a0
Closes-bug:  #1704853

Merge "Revert "Disable systemd-networkd & systemd-resolved""

Merge "Set name property on missing deployments"

Merge "Use static environment for deployed-server neutron mappings"

Merge "Move docker_puppet_tasks calculation into services.yaml"

Merge "Move services.yaml output calculation into Value resources"

Merge "Release 7.0.0.0b3"

Merge "Cleans up exec workaround for ODL container clustering"

Merge "Add support for nova live/cold-migration with containers"

Release 7.0.0.0b3

Change-Id: Ibb75bfd01712257a20d72554308a0c099dd52b18

Merge "Remove non-containerized pacemaker resources on upgrade"

Add metadata_settings in Heat APIs

We don't expose metadata_settings in Heat services, so SSL shouldn't
work.

Change-Id: I411085d9b249e54a2462de5efe4abf8f0865c0c2

Move docker_puppet_tasks calculation into services.yaml

This makes the RolesData output more accurate, and we can rework
things so docker-puppet only gets run when there is a non-empty
file calculated (e.g there are tasks to run).

Change-Id: I8cdab3c857977c80fe2e359ab9e05740a838d66b

Move services.yaml output calculation into Value resources

This stores the result of the yaql queries etc for easier debugging, and
also so there's no risk we constantly re-evaluate the expensive query
which can happen with some heat versions and configurations.

This also gives a nicer error when things go wrong as when a query fails
you know which resource had an error, and also the validation on resources
is currently stricter due to bug #1599114.  We also get some additional
type validation from each OS::Heat::Value resource, e.g it checks if the
calculated value is a valid map or list.

The final advantage (and the original motivation for doing this) is that
we can easily filter null values for any outputs where this isn't already
done, which makes the config data written via openstack overcloud config
download cleaner.

Change-Id: Ia6697cf2e47f3f7b727d620536e0873a985c98c4

Merge "Refactor iscsi initiator-name reset into separate service"

Merge "Drop MongoDB from the undercloud"

Merge "Support configurable Zaqar backends"

Drop MongoDB from the undercloud

This patch drops MongoDB from the undercloud and swaps
in a 'swift' and 'sqlalchemy' versions for the Zaqar
backends.

Change-Id: Ic6600f284dfbf4360b42598d3651b4c0f8046d1c

Support configurable Zaqar backends

This patch adds parameters to configure alternative version
of the Zaqar messaging and management backends.

The intent is to make use of these settings in the
containers undercloud to use swift/mysql backends as a default
thus avoiding the dependency on MongoDB.

Change-Id: Ifd6a561737184c9322192ffc9a412c77d6eac3e9
Depends-On: Ie6a56b9163950cee2c0341afa0c0ddce665f3704
Depends-On: I3598e39c0a3cdf80b96e728d9aa8a7e6505e0690

CI/scenarios : Add scenario007 for OVN services

Depends-On: Ide11569d81f5f28bafccc168b624be505174fc53
Change-Id: Ie3f09dc70a582f3d14de093043e232820f837bc3

Add support for nova live/cold-migration with containers

Updates hieradata for changes in https://review.openstack.org/471950.
Creates a new service - NovaMigrationTarget. On baremetal this just configures
live/cold-migration. On docker is includes a container running a second sshd
services on an alternative port.
Configures /var/lib/nova/.ssh/config and mounts in nova-compute and libvirtd
containers.

Change-Id: Ic4b810ff71085b73ccd08c66a3739f94e6c0c427
Implements: blueprint tripleo-cold-migration
Depends-On: I6c04cebd1cf066c79c5b4335011733d32ac208dc
Depends-On: I063a84a8e6da64ae3b09125cfa42e48df69adc12

Merge "Add composable services for the Veritas HyperScale."

Merge "Revert "Use optimal (instead of default) tunables for Ceph on upgrade""

Merge "Disable env evaluation in workflow executions"

Merge "Make Deploy/UpdateIdentifier definition semi-consistent"

Merge "Make EnablePackageInstall and Debug descriptions consistent"

Merge "Add all existing parameter mismatches to exclusion list"

Merge "Fix description of NeutronNetworkVLANRanges"

Merge "Move step_config/docker_config calculation into services.yaml"

Merge "Add a new role for ComputeOvsDpdk and clean-up parameters"

Mount /var/lib/neutron in neutron agents for metadata proxy

The metadata agent creates domain socket /var/lib/neutron/metadata_proxy
that is used for communication with haproxy in the L3 and DHCP agents.
This patch adds creation of /var/lib/neutron if it doesn't exist and
mounts it into the L3, DHCP and metadata agent containers.

Change-Id: Id8b8487b5a6a288e5ef1ca1c7d5b47a59cc8dea2
Closes-Bug: #1705289

Make Deploy/UpdateIdentifier definition semi-consistent

It seems UpdateIdentifier is an overloaded parameter - it is used
both to trigger package updates in the minor update case as well as
to trigger the upgrade steps during a major upgrade.  I'm not sure
it's appropriate to change either of the descriptions as a result,
so for the moment that is added to the exclusion list.

Change-Id: Ied36cf259f6a6e5c8cfa7a01722fb7fda6900976
Partial-Bug: 1700664

Make EnablePackageInstall and Debug descriptions consistent

Change-Id: I3ea7c0c7ea049043668e68c6e637fd2aaf992622
Partial-Bug: 1700664

Revert "Disable systemd-networkd & systemd-resolved"

https://github.com/camptocamp/puppet-systemd/pull/32 is disabling by default the services so we don't have to control them via TripleO.

This reverts commit d24874c7b2625e25630534a86864a93050f661d3.

Change-Id: I4044f0b28b636c7a022912f6f24707bce22c8b98
Related-Bug: #1704160

Cleans up exec workaround for ODL container clustering

Now that ODL clustering is fixed to not use an exec by:
https://git.opendaylight.org/gerrit/#/c/60491
We no longer need to use the workaround puppet-tripleo
tag to configure clustering.

Change-Id: I21c1eb2eff6d4cb855eff4a1122f55ad625d84cc
Signed-off-by: Tim Rozet <trozet@redhat.com>

Merge "Remove DockerNamespace references"

Add all existing parameter mismatches to exclusion list

This way we have one list of problems that need to be fixed and can
enable this check to avoid adding any new ones.  As parameters are
fixed they can be removed from the exclusion list.

Change-Id: Icb5fc36e2da3a3bfb7eaa8a66464c685220e527f

Fall back to non-containerized cinder-backup and cinder-volume for HA

The non-HA version of those two A/P Cinder services currently runs
non-containerized, as explained in I9ac74d6717533f59945694b4a43fe56d7ca768c6
and Ib10e4f18d967d356a15b97f58c488f8402a73356.

Disable their HA counterpart until the non-HA version is re-enabled.

Change-Id: I2aa49330fa361e330448dc9aa88e3812d9a7d464

Move step_config/docker_config calculation into services.yaml

Moving these means we get a more accurate output from the overcloud
RoleData output, which more closely reflects what is actually
deployed.

Change-Id: I154f36c1597cf4abe29ca0bfe15a54f507433fb1

Merge "Switch MonitoringRabbitUseSSL to boolean"

Merge "Exposing the ability to enable/disable the repository"

Merge "Add nova::compute::rbd setting into nova-libvirt profile"

Add heat api container to run cron purge_deleted

The purge-deleted cron job is created by puppet in
/var/spool/cron/heat. This creates a cron container
to run that in an environment where it has access to the
heat.conf and heat-manage binaries.

Change-Id: Ib9fe8e4f6dbd41021df7cf152fd18569c189d2e2
Partial-bug: #1701254

Remove DockerNamespace references

This patch removes more of the DockerNamespace references as part
of the cleanup/reorg of the container configuration patches.
This also adds a centos-rdo environment file for use with
the new interface. This file was generated with the command
"openstack overcloud container image prepare"

Depends-On: I729fa00175cb36b02b882d729aae5ff06d0e3fbc
Depends-On: I292162d66880278de09f7acbdbf02e2312c5bb2b

Co-Authored-By: Dan Prince <dprince@redhat.com>
Change-Id: Ice7b57c25248634240a6dd6e14e6d411e7806326

Merge "Add validation task in docker services"

Revert "Use optimal (instead of default) tunables for Ceph on upgrade"

This reverts commit 5e9f855f7c96950ca29a0f85086441c57ae7aed5.

The above would have fixed the issue but is only possible if the OSDs
are upgraded first. We probably need to disable flag warnings
completely instead. [1]

1. http://docs.ceph.com/docs/master/rados/operations/crush-map/#warning-when-tunables-are-non-optimal

Change-Id: I429e9f7f220a844b5ca61734287e514c96ea5e6c

Fix description of NeutronNetworkVLANRanges

This claimed that all vlans were allowed, when in fact it is only
the first 1000.

Change-Id: Id5681be51bc908274a8b9cf18d43e116ba150e7f

Switch MonitoringRabbitUseSSL to boolean

The puppet-sensu module recently added type checking so rabbitmq_ssl
needs to be a boolean and not a string.

Change-Id: I69b5a7528c8728310766abdc27ad11c93c4722d5
Closes-Bug: #1705481

Disable env evaluation in workflow executions

This is so that Mistral does not try to resolve the occurrences
of {{ or <% as jinja/jaql in the environment data.

Change-Id: Id654c336d072a6248570274401857756c6f6e706

Remove non-containerized pacemaker resources on upgrade

Adds upgrade_tasks to remove the pacemaker resources using the
ansible-pacemaker module.

Resources are disabled and removed in step2 (called only on
bootstrap node) and then the cluster stop is moved to step3

The existing systemd/service call is kept but only to disable
services after they are disabled/deleted from the cluster.

Related-Bug: 1701485
Co-Authored-By: Damien Ciabrini <dciabrin@redhat.com>
Change-Id: Ia597d240ea5834c50a8f6c4fac0b6ed417b8535c

Updated from global requirements

Change-Id: I097c141e4bf9d681d1f3484fea0bce1fac7646c9

Merge "Wrap ceilometer-upgrade in boostrap_host_exec"

Merge "Fixing a bug when setting a password for ODL controller"

Merge "Use optimal (instead of default) tunables for Ceph on upgrade"

Increase default RabbitMQ/Erlang TCP timeout from 5 to 15 seconds

This should be greater than the default value of
corosync_token_timeout, which is 10 seconds.  That way, if an entire
cluster node is unavailable, appropriate fencing measures can occur.

With the current settings, it is possible for brief network
interruptions, greater than 5 seconds, but less than 10 seconds, to
occur.  This can cause the RabbitMQ cluster to fail in subtle ways,
but no corrective action taken by pacemaker.

Change-Id: I735d43616c5c623c4398d924713012f595b2e5f9

Add nova::compute::rbd setting into nova-libvirt profile

Some of the tasks carried by nova::compute::rbd class apply to the
compute service, others to the libvirt service so it needs to be
included in both.

Change-Id: I28557deb13b75922932cd3e86c3467a541c988d0

Use static environment for deployed-server neutron mappings

We can't include these mappings for the deployed-server neutron ports
when using split-stack in the generated environment file because the
path to the actual templates directory is not known from with the
templates themselves.

This patch removes the mappings from the generated environment from the
stack output and adds a static environment file with relative paths that
will have to be included on the deploy command cli instead.

Change-Id: Id4b8c939fa7b26205609819b66e76bf73c9890d0
Closes-Bug: #1705144

Merge "Allow modprobing from cinder-volume container"

Merge "LVM in cinder-volume container without udev"

Merge "Ensure yum cache is ready before update"

Use optimal (instead of default) tunables for Ceph on upgrade

With the default setting, after the majority of the monitors have
been upgraded the cluster will go in WARN state because of legacy
tunables. This changes the tunables we set after each monitor is
upgraded from 'default' to 'optimal' [1].

1. http://docs.ceph.com/docs/master/rados/operations/crush-map/#warning-when-tunables-are-non-optimal

Change-Id: I0f16c29cc200d762f0c4acfd87ba7d1adb5c1eeb
Closes-Bug: #1704959

Merge "Enable Neutron LBaaS Integration"

Merge "Corrected wrong os_region_name in glance-api conf file"

Merge "Improve logs from ansible, puppet, docker-puppet.py"

Merge "Handles {controller,NovaCompute}ExtraConfig deprecation in ovecloud.j2"

Merge "Add ComputeHCI role and related validations"

Merge "CI/scenarios: set NotificationDriver to 'noop'"

Set name property on missing deployments

To be consistent with all other SoftwareDeployment's in
tripleo-heat-templates, this sets the name property on
the deployments where it was missing.

Change-Id: I8bc062d2af93acead240bd5e473ea385b2bf6cf2

Refactor iscsi initiator-name reset into separate service

This currently assumes nova-compute and iscsid run in the same context which
isn't true for a containerized deployment

Change-Id: I11232fc412adcc18087928c281ba82546388376e
Depends-On: I91f1ce7625c351745dbadd84b565d55598ea5b59
Depends-On: I0cbb1081ad00b2202c9d913e0e1759c2b95612a5

Handles {controller,NovaCompute}ExtraConfig deprecation in ovecloud.j2

We missed to parse and merge {controller,NovaCompute}ExtraConfig data
in change [1].

Also fixes whitespaces handling in docker-steps.j2 and
puppet-steps.j2 previously updated by [2].

1. Id37de5864138edd5476c097a8a1f0763faeaf768
2. I36a642fbc2076ad9e4a10ffc56d6d16f3ed6f27a

Change-Id: Ia9983bc991eb79e479855993c1c8819ddfb52e38

Merge "Add role_merged_configs into workflow executions environmentxi"

Add composable services for the Veritas HyperScale.

Add a composable service for each of:
  - the Veritas HyperScale's Cinder backend.
  - installing the Veritas HyperScale controller packages.

Change-Id: I99ee827825ec2a6a3c695de1ca1c1015859fe398
Depends-On: I316b22f4f7f9f68fe5c46075dc348a70e437fb1d
Depends-On: I9168bffa5c73a205d1bb84b831b06081c40af549
Signed-off-by: abhishek.kane <abhishek.kane@veritas.com>

Merge "Workflow input parameter update in plan-environment"

Merge "Use a single configuration file for specifying docker containers."

Merge "Adds network/cidr mapping into a new service property"

Use a single configuration file for specifying docker containers.

This removes the default container names from all the templates
and uses a single environment file to specify the full container
name and registry from which to pull.  Also does away with most
of DockerNamespace.

Change-Id: Ieaedac33f0a25a352ab432cdb00b5c888be4ba27
Depends-On: Ibc108871ebc2beb1baae437105b2da1d0123ba60
Co-Authored-By: Dan Prince <dprince@redhat.com>
Co-Authored-By: Steve Baker <sbaker@redhat.com>

CI/scenarios: set NotificationDriver to 'noop'

So we don't waste RabbitMQ resources since nothing will actually consume
the messages sent on the queue.

Note: we don't change scenario001, since it's a Telemetry scenario and
the services require notifications enabled.

Change-Id: I7d1d80da4eda7c0385461fe62b1d3038022973c6

Merge "Support deprecated controllerExtraConfig naming in role template"

Add role_merged_configs into workflow executions environmentxi

Merges per-role config settings into merged_config_settings which
is wired into the workflow executions environment.

Useful to consume role config settings from within a workflow.

Change-Id: Id37de5864138edd5476c097a8a1f0763faeaf768

Enable Neutron LBaaS Integration

Allows the configuration of the Neutron LBaaS agent.

Change-Id: I4c29ece765ec9147cef9b4d74d30e3c4483c48ab
Implements: blueprint lbaasv2-service-integration

Merge "Disable systemd-networkd & systemd-resolved"

Add validation task in docker services

Docker services are missing the pre-upgrade validation task
in the upgrade_tasks section which verifies if the service
is running before stopping it.

Change-Id: Ia8c25827d0d6f34e0345c3946dfd6839a7116e04
Partial-Bug: #1704389

Adds network/cidr mapping into a new service property

Makes it possible to resolve network subnets within a service
template; the data is transported into a new property ServiceData
wired into every service which hopefully is generic enough to
be extended in the future and transport more data.

Data can be consumed in service templates to set config values
which need to know what is the subnet where a deamon operates (for
example the Ceph Public vs Cluster network).

Change-Id: I28e21c46f1ef609517175f7e7ee19e28d1c0cba2

Merge "Move services.yaml to common directory"

Merge "Remove special-case of memcache node ips for ipv6"

Improve logs from ansible, puppet, docker-puppet.py

* Debug ansible 'puppet apply' stderr joined stdout, split
  by lines.
* Do 'puppet apply' w/o colors, logdest syslog, and given a wanted
  modulepath instead of the module puppet, that can't support those
  options.
* Bind-mount syslog socket for docker-puppet.py to pass puppet logs
  to host OS syslog.
* Fix logging handlers for multiprocess workers in docker-puppet.py.

Related-bug: #1698172
Closes-bug: #1700086

Change-Id: I84112a836e968aa5c3596a6544e0392980529963
Signed-off-by: Bogdan Dobrelya <bdobreli@redhat.com>

Add a new role for ComputeOvsDpdk and clean-up parameters

A new role ComputeOvsDpdk has been added to avoid manual
roles_data creation. And cleaned-up the DPDK parameters
inline with the refactored code.

Change-Id: I16dac69609c98194c2504ff067258fa14363d4f1

Disable systemd-networkd & systemd-resolved

Latest commits in puppet-systemd enabled by default systemd-networkd and
systemd-resolved but we don't want to manage them for now in TripleO.
MySQL and MongoDB services were managing some systemd resources so now
we ensure that these 2 systemd services are disabled. In the future, we
might want and activate these services and revert that patch but for now
we want to disable them.

Change-Id: I42c6c9b643a71a0fbb1768bbae91e8bfa916ea00
Closes-Bug: #1704145

Merge "Adds check for existing yum process during the legacy minor update"

Support deprecated controllerExtraConfig naming in role template

To enable backwards compatibility with rendering the controler-role
template add this deprecated parameter for all roles - we should
remove this in a future release after the tripleoclient warnings re
deprecated parameters are available.

Change-Id: Icce93a4109191609848ca216c946a32663753b93

Remove special-case of memcache node ips for ipv6

This should be handled in puppet-tripleo, as is done for some other
services e.g ceph.  This has also been identified as a possible
performance problem due to the nested get_attr calls.

Change-Id: I7e14f0219c28c023c4e8e1d4693f0bfa9674d801
Related-Bug: #1684272
Depends-On: Iccb9089db4b382db3adb9340f18f6d2364ca7f58

Merge "Remove hardcoded enable_load_balancer from Controller role"