Render VIPs dynamically based on network_data.yaml

This change modifies the templates to dynamically define the VIPs
based on network_data.yaml. If a network is defined and marked
with "vip: true" in network_data.yaml, it will be included in the
overcloud.yaml which defines the deployment-level resources.

This should make it possible to create custom networks and
use them for services which use high-availability through VIPs.

Also, extraconfig/nova_metadata/krb-service-pricipals.yaml
was modified to dynamically produce the FQDN map for VIPs on
isolated networks, to match overcloud.j2.yaml.

Depends-On: If074f87494a46305c990a0ea332c7b576d3c6ed8
Depends-On: Iab8aca2f1fcaba0c8f109717a4b3068f629c9aab
Partially-implements: blueprint composable-networks
Closes-bug: 1667104
Change-Id: I71339a6ac41133e95dbc3f93abb7a9fdeb0f2da0

Merge "Copy scheduler configuration from service/ironic to services-docker/ironic"

Merge "Fix up multipath docker indentation"

Merge "Adds environment file for ODL + SRIOV"

Merge "Changing the default port-binding configuration"

Update EventPipelinePublisher param description to include zaqar

Since we now support zaqar:// publisher, Enhance the description to indicate
how to set the zaqar publisher.

Change-Id: Ib7eba98d199fade2346620672e33b74686d4685b

Merge "Make UpgradeLevelNovaCompute parameters consistent"

Merge "Add environment for setting a custom domain name"

Merge "Update capabilities map to match latest environments"

Merge "Make many networking parameters consistent"

Merge "Fix CA file bind mounting in containers"

Merge "Render isolated network templates using jinja2"

Merge "Make RoleParameters and key_name descriptions consistent"

Merge "Set redis password hiera value in compute agent"

Merge "Cinder volume/backup containers shouldn't mount two paths at same point"

Merge "Update TLS-everywhere docker environment"

Merge "Fix keystone, cinder, heat-api cron containers"

Make UpgradeLevelNovaCompute parameters consistent

There is logic in nova-base.yaml that depends on the default for
this parameter being '', and the nova-compute service only needs it
set to auto during upgrade.  That will be done by [1] anyway, so it
doesn't matter what the default is.  It's also not clear to me that
the nova-compute task is even needed now that we're post-Ocata, but
that's not a change I feel comfortable making.

1: https://github.com/openstack/tripleo-heat-templates/blob/master/environments/major-upgrade-composable-steps.yaml

Change-Id: Iccfcb5b68e406db1b942375803cfedbb929b4307
Partial-Bug: 1700664

Make many networking parameters consistent

These are mostly the low hanging fruit that only required a few
minor changes to fix.  There are more that require a lot of changes
or might be more controversial that will be done later.

Change-Id: I55cebc92ef37a3bb167f5fae0debe77339395e62
Partial-Bug: 1700664

Make RoleParameters and key_name descriptions consistent

The key_name default is ignored because the parameter is used in
some mutually exclusive environments where the default doesn't
need to be the same.

Change-Id: I77c1a1159fae38d03b0e59b80ae6bee491d734d7
Partial-Bug: 1700664

Merge "Fix ceilometer agent compute service name"

Update capabilities map to match latest environments

This change updates capabilities-map.yaml to properly map existing
environments

Closes-Bug: 1708159
Change-Id: I4104b6b59b3e9b19a06cdc233dae4f68fe033580

Fix up multipath docker indentation

Deploying a multipathd container gives the following error:
failed: [localhost] (item={'key': u'config_files', 'value': [{u'dest': u'/', u'merge': True, u'source':
u'/var/lib/kolla/config_files/src-iscsid/*', u'preserve_properties': True}]}) =>
{\"checksum\": \"72ad81489381571c5043b7613f6828b06ae364bd\", \"failed\": true, \"item\":
{\"key\": \"config_files\", \"value\": [{\"dest\": \"/\", \"merge\": true, \"preserve_properties\": true,
\"source\": \"/var/lib/kolla/config_files/src-iscsid/*\"}]}, \"msg\": \"Destination directory does not exist\"}

The reason is the wrong indentation of the config_files key in the
multipath docker service.

Change-Id: I0e1fbb9eb188a903994b9e5da90ab4a6fb81f00a
Closes-Bug: #1708129

Merge "Fix iscsid role data's section"

Cinder volume/backup containers shouldn't mount two paths at same point

Docker refuses to start the container because config_files/src-ceph:ro
is mounted at both /etc/ceph and config-data/puppet-generated/ceph.
The mount to /var/lib/config-data/puppet-generated/ceph should have
been removed in commit ed0b77ff93a1a1e071d32f6a758e04c6d0b041ef.

Change-Id: I411b4764a54fc21e97e4c41a5fef00c7e6e2b64d
Closes-Bug: #1707956

Merge "Fix network-isolation.j2.yaml to ignore VIPs for disabled networks"

Merge "Remove empty metadata_settings from iscsid and multipathd templates"

Merge "Adds stop and disable for libvirtd on upgrade to containers"

Set redis password hiera value in compute agent

Without this config defaults to undef in containers

Change-Id: Id47f365364e7b0d399de92995871b136550cd625

Fix ceilometer agent compute service name

Make sure this matches whats in roles_data.yaml

Change-Id: Id41c457914f557af7c9ec195c4c6f98669523ac1

Merge "Generate MySQL client config if service requires database"

Merge "Add missing metadata_settings from docker services"

Adds stop and disable for libvirtd on upgrade to containers

Adds this into the tripleo_upgrade_node.sh executed by the
operator for the major upgrade see the bug for more info

Change-Id: Ic54b48b149594e8ea08e95152111bcdaf7b252b7
Closes-Bug: 1707926

Fix keystone, cinder, heat-api cron containers

The cron containers need to run as root in order to create PID files
correctly.

Additionally, the keystone_cron container was misconfigured to
use /usr/bin/cron instead of the correct /usr/bin/crond.

Additionally we have an issue where the Kolla keystone container has
hard coded ARGS for the docker container which causes -DFOREGROUND
(an Apache specific argument) to get appended onto the kolla_start
command thus causing crond to fail to startup correctly. This
works around the issue by overriding the command and calling
kolla_set_configs manually. Once we fix this in Kolla we can
revisit this.

Change-Id: Ib8fb2bef9a3bb89131265051e9ea304525b58374
Related-bug: 1707785

Fix CA file bind mounting in containers

The syntax was wrong and wasn't actually bind mounting the CA file.
This fixes it.

Change-Id: Icfa2118ccd2a32fdc3d1af27e3e3ee02bdfbb13b

Update TLS-everywhere docker environment

Some resources have changed. So the environment needed syncing

Change-Id: I9aa310ae80edfccd3ed28e67a431aad6e1ed8a7f

Remove empty metadata_settings from iscsid and multipathd templates

metadata_settings is meant to have a specific format or be completely
absent. Unfortunately the hook [1] doesn't an empty value for this. So
we remove it as an easy fix before figuring out how to add such a
functionality to the hook.

[1] https://github.com/openstack/tripleo-heat-templates/blob/master/extraconfig/nova_metadata/krb-service-principals.yaml

Co-Authored-By: Thomas Herve <therve@redhat.com>
Change-Id: Ieac62a8076e421b5c4843a3cbe1c8fa9e3825b38

Merge "Enable Dpdk after rebooting with Hugepages for OvS2.7"

Merge "Fix creation of iptables rules for non-HA containerized HAproxy"

Add missing metadata_settings from docker services

These are needed for the TLS everywhere bits.

Change-Id: I81fcf453fc1aaa2545e0ed24013f0f13b240a102

Merge "Add 'ovn-controller' service"

Copy scheduler configuration from service/ironic to services-docker/ironic

That was missed back then. Without it bug 1697724 is not fixed for containers.

Change-Id: Ie859f10129cbdeebd9ea4522510768cec99a1df3
Related-Bug: #1697724

Enable Dpdk after rebooting with Hugepages for OvS2.7

With OvS2.7, DPDK is initialized immediately after setting
dpdk-init flag. DPDK requires hugepages configuration to be
available on kernel args with a reboot. This patch reboots
the node after applying the kernel args. And once the node
is rebooted, DPDK will be enabled and then the deployment
continues.

Change-Id: Ide442e09c2bea56a38399247de588e63b4272326

Merge "add lbaasv2 to NeutronServicePlugins in octavia containers"

Merge "Also log docker-puppet.py puppet output to console"

Merge "Enable Zaqar API SSL"

Also log docker-puppet.py puppet output to console

Running puppet apply with --logdest syslog results in all the output
being redirected to syslog. You get no error messages. In the case where this fails, the subsequent debug task shows nothing useful
as there was no stdout/stderr.

Also pass --logdest console to docker-puppet's puppet apply so that
we get the output for the debug task.

Related-Bug: #1707030

Change-Id: I67df5eee9916237420ca646a16e188f26c828c0e
Signed-off-by: Bogdan Dobrelya <bdobreli@redhat.com>

Merge "Consistent hostname format env for split-stack"

Changing the default port-binding configuration

networking-odl no longer supports the network-topology port
binding controller and instead now relies on a pseudo-agent binding
controller.  This means that each OVS node must be configured with
host configuration in OVSDB about which VIF types, network types,
functions, etc that this OVS node supports.  The end result is this
affects where nova and neutron will schedule instances.

Changes Include:
 - Modifying default port binding controller to use pseudo agent
 - Adds necessary per role parameters to be able to configure host
   config on a per role basis to allow for heterogenous compute node
   configurations.

Change-Id: I50458abf6a8a6bf724ad97accb6444d9c497d287
Closes-Bug: 1674995
Signed-off-by: Tim Rozet <trozet@redhat.com>

Add 'ovn-controller' service

Presently the ovn-controller service (puppet/services/neutron-compute-plugin-ovn.yaml)
is started only on compute nodes. But for the cases where the controller nodes
provide the north/south traffic, we need ovn-controller service runninng in controller
nodes as well.

This patch
 - Renames the neutron-compute-plugin-ovn.yaml to ovn-controller.yaml which makes more
   sense and sets the service name as 'ovn-controller'.
 - Adds the service 'ovn-controller' to Controller and Compute roles.
 - Adds the missing 'upgrade_tasks' section in ovn-dbs.yaml and ovn-controller.yaml

Depends-On: Ie3f09dc70a582f3d14de093043e232820f837bc3
Depends-On: Ide11569d81f5f28bafccc168b624be505174fc53
Change-Id: Ib7747406213d18fd65b86820c1f86ee7c39f7cf5

Also log puppet output to console

Running puppet apply with --logdest syslog results in all the output
being redirected to syslog. You get no error messages. In the case where
this ansible task fails, the subsequent debug task shows nothing useful
as there was no stdout/stderr.

Also pass --logdest console to puppet apply so that we get the output
for the debug task. My local testing showed that when specifying logdest
twice, both values were honored, and the output went to syslog and the
console.

Change-Id: Id5212b3ed27b6299e33e81ecf71ead554f9bdd29
Closes-Bug: #1707030

Generate MySQL client config if service requires database

Services that access database have to read an extra MySQL configuration file
/etc/my.cnf.d/tripleo.cnf which holds client-only settings, like client bind
address and SSL configuration. The configuration file is thus used by
containerized services, but also by non-containerized services that still
run on the host.

In order to generate that client configuration file appropriately both on the
host and for containers, 1) the MySQLClient service must be included by the
role; 2) every containerized service which uses the database must include the
mysql::client profile in the docker-puppet config generation step.

By including the mysql::client profile in each containerized service, we ensure
that any change in configuration file will be reflected in the service's
/var/lib/config-data/{service}, and that paunch will restart the service's
container automatically.

We now only rely on MySQLClient from puppet/services, to make it possible to
generate /etc/my.cnf.d/tripleo.cnf on the host, and to set the hiera keys that
drive the generation of that config file in containers via docker-puppet.

We include a new YAML validation step to ensure that any service which depends
on MySQL will initialize the mysql::client profile during the docker-puppet
step.

Change-Id: I0dab1dc9caef1e749f1c42cfefeba179caebc8d7

Fix iscsid role data's section

The iscsid service definition has a typo, config_setting should
read config_settings

Change-Id: I12605dba61fd5f6ce80c3ab78e883ed5ebf3ca62

Add environment for setting a custom domain name

Just setting CloudDomain won't make the domains used consistent.
There are a number of CloudName parameters that must be set as well.
This change adds a sample environment that includes all of those
parameters so it is easy to set everything consistently.

Also fixes the description of CloudNameCtlplane to reflect the
actual use for that parameter.

Change-Id: I56d1c1c5619f83c16c4e8350aa84fccc3d748425

Merge "Add PCI to nova compute container for passthrough support"

Merge "Enable libvirtd_config puppet tag in nova-libvirtd docker service"

Enable Zaqar API SSL

This sets the SSL flag in the docker service and expose the parameter in
the docker service.

Depends-On: I4c68a662c2433398249f770ac50ba0791449fe71
Change-Id: Ic3df2b9ab7432ffbed5434943e04085a781774a0

Merge "Deploy Ceph in containers using ceph-ansible via external workflow"

Merge "Make collectd run as root inside the container"

Merge "Adding Tuned Service"

Merge "aodh: add gnocchi_external_project_owner config"

Merge "Fix enable-ceph sample environment"

Deploy Ceph in containers using ceph-ansible via external workflow

Add docker profiles to deploy Ceph in containers via ceph-ansible. This is
implemented by triggering a Mistral workflow during one of the overcloud
deployment steps, as provided by [1].

Some new service-specific parameters are available to determine the workflow to
execute and the ansible playbook to use. A new `CephAnsibleExtraConfig`
parameter can be used to provide arbitrary config variables consumed by `ceph-ansible`.

The pre-existing template params consumed up until the Pike release to
drive `puppet-ceph` continue to work and are translated, when possible, into
the equivalent `ceph-ansible` variable.

A new environment file is added to enable use of ceph-ansible;
the pre-existing puppet-ceph implementation remains unchanged and usable
for non-containerized deployments.

1. https://review.openstack.org/#/c/463324/

Change-Id: I81d44a1e198c83a4ef8b109b4eb6c611555dcdc5

Merge "Provides Ceph config into OpenStack clients"

Adds environment file for ODL + SRIOV

Using the separate neutron-opendaylight and SRIOV env files do not work
because sriov includes using OVS agent (which ODL does not want or need)
and the default ODL env file has no Compute ML2 because it is not
needed.  Thus a new environment file is needed for deploying these 2
features in combination.

Closes-Bug: 1696667

Change-Id: I6f7a9368aa521de928c269619278c30acda03799
Signed-off-by: Tim Rozet <trozet@redhat.com>

Render isolated network templates using jinja2

This change adds templates that are used to create network and
port definition templates for each network that is defined in
network_data.yaml. In order to render the templates, additional
fields have been added to the network_data.yaml file. If this
optional data is present, it will be used to populate the default
parameter values in the network template.

The only required parameters in the network_data.yaml file is
the network name. If the network will have IPv6 addresses, then
ipv6: true must be set on the network.

The existing networks have been modeled in the network_data.yaml,
but until these templates are removed from the j2_excludes.yaml
file they will not be generated on the fly. Any additional
networks will have templates generated.

This change also removes an unnecessary conditional from the
networks.j2.yaml file, since InternalApiNetwork doesn't need
to be reformatted as InternalNetwork (it's only used in this
one file).

A follow-up patch will remove the existing network definitions
so all networks are created dynamically.

Change-Id: If074f87494a46305c990a0ea332c7b576d3c6ed8
Depends-On: Iab8aca2f1fcaba0c8f109717a4b3068f629c9aab
Partially-Implements: blueprint composable-networks

Merge "Stop Heat WSGI services on docker upgrade"

Merge "Ps Cinder: Added support for password less login"

Fix enable-ceph sample environment

The necessary resource registry entries were missing from this env
and the old environment was not deprecated.

Change-Id: I6a9b148514fc5da1f96b9fd7fe09f564c2f82419

Merge "Replace outdated instruction with link to upstream doc"

Merge "Add parameters for Veritas HyperScale distributed setup."

Merge "Open up firewall for the control-ports in the bundles"

Merge "Add NodeTLSData to generic role.role.j2.yaml"

Merge "Make various password descriptions consistent"

Merge "Stop also openstack-swift-object-expirer when upgrading swift services"

Merge "Contrail network realignement + DPDK enablement"

Merge "Add keystone cron container to run token_flush"

Merge "nova_api_cron docker fix: add /var/spool/cron/nova"

Merge "Add containerized manila-share to CI"

Fix creation of iptables rules for non-HA containerized HAproxy

The introduction of I90253412a5e2cd8e56e74cce3548064c06d022b1 broke the HAproxy
service due to some HAproxy-specific iptables rules being executed during the
puppet config step.

Ensure that no iptables call is performed during the generation of configuration
files. Move those calls to step 1, as implemented in the pacemaker-based
HAproxy service (Ib5a083ba3299a82645f1a0f9da0d482c6b89ee23).

Depends-On: I2d6274d061039a9793ad162ed8e750bd87bf71e9
Closes-Bug: #1697921

Change-Id: Ica3a432ff4a9e7a46df22cddba9ad96e1390b665

Add NodeTLSData to generic role.role.j2.yaml

This is currently included in the controller-role template, so we need
to add it to the generic role.role.j2.yaml in order to convert the
controller-role template to be rendered via j2

Change-Id: I01bf01c8a31e4cc26f202dd1774845ec33f50bcd
Partially-Implements: blueprint composable-networks

Merge "Add cinder cron container to run db purge"

Provides Ceph config into OpenStack clients

Given ceph-ansible or puppet-ceph will have created the Ceph
config files and keyrings in /etc/ceph on baremetal, this change
copies into the OpenStack containers the necessary files for the
services to be able to connect to the Ceph cluster.

Change-Id: Ibc9964902637429209d4e1c1563b462c60090365

Enable libvirtd_config puppet tag in nova-libvirtd docker service

Required now that https://review.openstack.org/480289 has merged

Change-Id: I17f6c9b5a6e2120a53bae296042ece492210597a
Related-Bug: #1696504

Merge "Add heat api container to run cron purge_deleted"

Adding Tuned Service

Allow the user to set a specific Tuned profile on a given host.

Defaults to throughput-performance

Change-Id: I0c66193d2733b7a82ad44b1cd0d2187dd732065a

Contrail network realignement + DPDK enablement

This patch moves Contrail roles communication from public/external
to internal_api network for OpenStack API.
It also adds the option to enable dpdk.
Monolithic firstboot script is broken down into small pre-network
and per-node extraconfig scripts

Change-Id: I296a3bf60cef6fa950fd71d6e68effe367d1e66b
Closes-Bug: 1698422

Merge "Fall back to non-containerized cinder-backup and cinder-volume for HA"

add lbaasv2 to NeutronServicePlugins in octavia containers

without lbaasv2 neutron will not be able to load the plugin
and communicate with octavia.

Change-Id: If44b93703d3c408ae075d73ed695c3edc58fba18

Merge "Modifying Cisco templates to support composable roles"

Merge "Increase default RabbitMQ/Erlang TCP timeout from 5 to 15 seconds"

Merge "Mount /var/lib/neutron in neutron agents for metadata proxy"

Merge "Add metadata_settings in Heat APIs"

Merge "CI/scenarios : Add scenario007 for OVN services"

Modifying Cisco templates to support composable roles

Change-Id: I21fee832aeeb9780f818ae869ea8714f28bbe4a0
Closes-bug:  #1704853

Merge "Revert "Disable systemd-networkd & systemd-resolved""

Consistent hostname format env for split-stack

Adds a new environment split-stack-consistent-hostname-format.j2.yaml
for use with split-stack that will set the {{role.name}}HostnameFormat
parameters based on the actual roles in use.

It's possible to generate these parameters and values as long as the
roles files is the same between the 2 stacks, which will be documented
in I9997bd685f8f79537dfc377f9f1eb0c7446c3289.

Removes the hardcoded paramters from the other 2 split-stack
environments.

Change-Id: I93bc7c1a24a9cb2f9930372970c67c0eadb14add

Merge "Set name property on missing deployments"

Merge "Use static environment for deployed-server neutron mappings"

Merge "Move docker_puppet_tasks calculation into services.yaml"