Merge "README: Add mistral"

Merge "Setting networking-odl v2 as a mechanism driver"

Merge "Make update-from-keystone-admin-internal-api.yaml work on newton+"

Merge "Configure Kernel Args and Tuned and then reboot for Compute"

README: Add mistral

Mistral is tested by scenario003. Let's document it.

Change-Id: If715a2071b7e421b63033fd00f49d3a3f1948af1

Merge "Add FreeIPA server installation script"

Merge "Template and role support for the undercloud"

Merge "scenario001: add Panko testing"

Setting networking-odl v2 as a mechanism driver

The current environment files for OpenDaylight use
the opendaylight mechanism driver - changing it to
opendaylight_v2.
Also using the l3_odl_v2 as a service plugin

Depends-On: I2a1c5097614e47cc09e43bbc77305a0548d54baa
Change-Id: Iba6f52663ce4a5e4c070f58f079465fdd24ecc7c

Merge "Add missing VIP definitions into -no-tunneling env file"

Make update-from-keystone-admin-internal-api.yaml work on newton+

There are change of ServiceNetMapDefaults in service_net_map.j2.yaml but
were not reproduce in update-from-keystone-admin-internal-api.yaml
environment. Tested in newton.

Closes-Bug: #1646862

Change-Id: I307dcaabbc6d583896090bf3f046b442007fbc42
Signed-off-by: Cyril Lopez <cylopez@redhat.com>
Co-Authored-By: Gregory Charot <gcharot@redhat.com>

Template and role support for the undercloud

Add a new roles data YAML file and environment to help
create the undercloud via t-h-t.

Partially-implements: blueprint heat-undercloud

Change-Id: I36df7fa86c2ff40026d59f02248af529a4a81861

Heat engine settings required for Undercloud

This patch adds several new heat engine setting that are required
in order to configure a fully working Heat engine in the undercloud.

New parameters have been added for the max resources and convergence
settings. I've hard coded the max stack depth at 6 which matches our
undercloud and should be fine as a default setting I think (would
rarely need overridden).

Change-Id: I335476f46b4bea4b9f3ac70a6312a7e906f43ba6

Merge "Set rabbitmq package_provider to yum"

Merge "Add custom roles data for deployed-server"

scenario001: add Panko testing

Panko has been introduced in TripleO but is not tested yet.
Adding it on scenario001 with other telemetry services.

Depends-On: If2f6559a7d76b26fa9b0a3ecfa2e2101aae93e3c

Change-Id: Ic76f1cb36ee05e22cfda1fff8ad3f0ec18acf617

README: updates for CI matrix

Update the CI matrix to fit with what is actually tested.

Change-Id: Ib9c96fe7a3ff25043395cb5a89657b3b6d22f12a

Configure Kernel Args and Tuned and then reboot for Compute

* On top of the https://review.openstack.org/#/c/411204
* Added Kernel args and Tune-d configuration
* Added provision to provide different kernel args per role (applicable
  for different types of compute roles only)

Implements: blueprint tuned-nfv-dpdk

Change-Id: I5c538428c376c9d2ebd1c364f0ee8503fd7d620e

Merge "Merge mysql service_config_settings for nova"

Merge mysql service_config_settings for nova

The hieradata from the nova-base.yaml service template needs to be available to
the role running mysql, which isn't necessarily the same role as nova.

nova-base.yaml isn't an actual service template though that is included in any
ServiceChain resources, it's outputs need to be merged with an actual nova
service template, such as nova-api.yaml.

As nova-api.yaml already provides some hieradata for the mysql service in
service_config_settings, this patch uses map_merge to combine the 2 values.

Change-Id: I4dc684b3611b13f177f9499e69468d3f6ef6fa76
Closes-Bug: #1654058

Merge "nova-api: legacy cleanup with old wsgi params"

Merge "nova-api: also include hiera for new apache_api class"

Merge "Configure Heat engine metadata URL's"

puppet/role.role.j2.yaml has invalid get_resource reference

Found this today when rebasing the undercloud installer.
The puppet/role.role.j2.yaml Yaml has an invalid get_resource reference
that causes a cryptic heat stack failures.

Change-Id: Icfb7d73a1c4d02213b23a427605f2b0d5eaa984f

nova-api: legacy cleanup with old wsgi params

Cleanup old legacy params for wsgi config.

Change-Id: Ic775de171c95d43d9273e1a29db2ab685fdf7706
Depends-On: I59b3b36be33268fa6e261a7db3c4aa8e8e712ffb

nova-api: also include hiera for new apache_api class

puppet-nova renamed nova::wsgi::apache to nova::wsgi::apache_api to
welcome nova::wsgi::apache_placement (for nova placement API).

This patch adds the required parameters before we make the switch in
puppet-tripleo.

Legacy parameters will be removed when the switch will be done in
puppet-tripleo.

Change-Id: I5fc99062d349597393e2248c66f2d863029c7730

Merge "Add pre-network hook and example showing config-then-reboot"

Set rabbitmq package_provider to yum

When deploying with EnablePackageInstall:True, the rabbitmq puppet
module defaults to the rpm package provider, which then tries to "rpm -i
undef" since we are setting rabbitmq::package_source to undef. Instead
of using the rpm provider at all, we should just use the yum provider to
install whatever rabbitmq rpm's are found in enabled repos.

Change-Id: I29365e675bfde676fde7a54dfc6c660c3970f50a
Partially-implements: blueprint split-stack-software-configuration

Add custom roles data for deployed-server

Adds a custom roles data file for use when using the deployed-server
templates.  The file takes care of setting disable_constraints: True, so
that deployers don't have to do things like create fake images in
glance.

Also adds a comment to roles_data.yaml documenting disable_constraints.

Partially-implements: blueprint split-stack-software-configuration
Change-Id: I7c26c0c2851e0d6bcea42d7af7f4295a1944ec9f

Merge "Adds missing firewall rules for OpenDaylight API service"

Merge "DB connection: prevent src address from binding to a VIP"

Merge "Specify cell0 db creation"

Configure Heat engine metadata URL's

Tried to use the heat-engine composable service in the Undercloud and I
discovered that my software deployments (when spinning up an overcloud)
weren't getting signals from my t-h-t configured undercloud heat.
This patch resolves the issues by configuring the metadata URLs
for Heat.

Change-Id: I57c9e7010bfe4afc6e62fb4c3406716d11cdfa28
Closes-bug: #1653985

Add missing VIP definitions into -no-tunneling env file

Also removes from network-isolation env file the old RedisVioPort resource.

Change-Id: I09ea1fe441a9dbe71a0af36cb123a117f2f0055f

Expose enabled_perf_events libvirt options

For cache monitoring technology feature to work, nova config
libvirt settings should have the perf events enabled for
nova to emit these so telemetry can capture them.

Depends-On:  Ia27e6831f3f6e9cdeaacb650039be5c81b90cb40

Change-Id: I92c318008b965a6527acbce85b41a545eda7ee18

Specify cell0 db creation

This change pulls the hard coded value out of puppet-tripleo to later
allow people to skip the cell0 creation if they want a more complex cell
v2 setup for nova.

Change-Id: I08119d781ef60750cc19753bc03190e413159925
Related-Bug: #1649341

Merge "Increase libvirt/qemu.conf max_files and max_processes"

Merge "Set gnocchi wsgi display name"

Merge "Bump template version for all templates to "ocata""

Merge "Set aodh wsgi display name"

DB connection: prevent src address from binding to a VIP

When a service connects to the database VIP from the node hosting this
VIP, the resulting TCP socket has a src address which is by default
bound to the VIP as well. If the VIP is failed over to another node
while the socket's Send-Q is not empty, TCP keepalive won't engage and
the service will become unavailable for a very long time (by default
more than 10m).

To prevent failover issues, DB connections should have the src address
of their TCP socket bound to the IP of the network interface used for
MySQL traffic. This is achieved by passing a new option to the
database connection URIs. This option is available starting from
PyMySQL 0.7.9-2.

We use a new intermediate variable in hiera to hold the IP to be used
as a source address for all DB connections. All services adapt their
database URI accordingly.

Moreover, a new YAML validation check is added to guarantee that new
services will construct their database URI appropriately.

Change-Id: Ic69de63acbfb992314ea30a3a9b17c0b5341c035
Closes-Bug: #1643487

Merge "Use overcloud-full instead of atomic-image"

Merge "Pass nova rabbit information to mysql"

Merge "Split OVN northd and ml2 plugin"

Bump template version for all templates to "ocata"

Heat now supports release name aliases, so we can replace
the inconsistent mix of date related versions with one consistent
version that aligns with the supported version of heat for this
t-h-t branch.

This should also help new users who sometimes copy/paste old templates
and discover intrinsic functions in the t-h-t docs don't work because
their template version is too old.

Change-Id: Ib415e7290fea27447460baa280291492df197e54

Merge "Manage disallow_iframe_embed"

Merge "Add network_config_hook interface to run-os-net-config.sh"

Merge "Modify external loadbalancer environments to use new FixedIPs"

Merge "Add CI matrix to THT"

Merge "Introduce role-specific NodeUserData, use for docker"

Merge "FreeIPA: Make OTP and FreeIPA server parameters optional"

Merge "Use ws instead of http for Zaqar websocket endpoints"

Merge "Add bind mounts for agent state"

Merge "Adds missing OpenDaylight username/password from ODL OVS service"

Pass nova rabbit information to mysql

The cell v2 setup requires the transport url for nova. We need to
provide mysql with the rabbit connection information so that it can it
when setting up the cell information.

Change-Id: I43ba77cd4c8da7c6dc117ab0bd53e5cd330dc3de
Related-Bug: #1649341

Merge "Decouple swift-proxy from ceilometer"

Add network_config_hook interface to run-os-net-config.sh

run-os-net-config.sh only allows for limited customization of the
network configuration in config.json. Namely, it only customizes the
bridge_name and interface_name.

This will likely not be sufficient for all use cases. This patch adds a
generic network_config_hook bash function that will be called if it is
defined. The function is an entry point for deployers to write custom
code to further influence run-os-net-config.sh.

A possible alternative approach would be to pass the server resource
into the NetworkConfig template. That would allow running arbitrary
SoftwareDeployments on the server before NetworkDeployment is executed.
However, the interface of NetworkDeployment is likely still not as
flexible as this approach as the inputs are hardcoded in the role
template files (role.role.j2.yaml), which are not meant to be modified
by deployers.

The immediate use case for this work is using os-net-config in our
multinode CI jobs where we need to create vxlan tunnels between the
nodes and we need to know the local private IP of each node for the
tunnel endpoint. As the IP is different for each node, it's not a
parameter we could specify in the templates.

Change-Id: I26d0ebdaba6fcd3fe885e41ed234eb79a2405228
Implements: blueprint multinode-ci-os-net-config

Merge "Add hook to generate metadata from service profiles"

Merge "Add a per service bootstrap node variable"

Add CI matrix to THT

Currently the description of CI matrix is defined
in tripleo-ci, but the services for each scenario
lives now in THT. This submission moves this table
to the repo in which the configuration is defined.

Change-Id: I9ef1acefc6e1f347528a48edcb4d997a9628fcf6

Add hook to generate metadata from service profiles

This enables the deployer to dynamically add nova metadata to the
servers based on the output of service profiles that implement the
metadata_settings key in the role_data output for the profiles.

One can set an implementation via the OS::TripleO::ServerMetadataHook
resource, which currently is set as OS::Heat::None. So, because of
the default implementation, if left untouched it actually does
nothing.

Currently, besides the list, which is metadata_settings, this hook also
takes the name of the node that it's setting the metadata for.

This is useful for nova vendordata plugins that can parse said metadata.

Change-Id: I8a937f711f0b90156fbb6c4632760435ef846474

Merge "Use df instead of findmnt in cephstorage upgrade scripts"

Merge "Add "deployed server" fake neutron ports"

Merge "Synchronize NetworkDeployment inputs for generic roles"

Add FreeIPA server installation script

This script is meant for CI and it deploys an instance of FreeIPA.
This instance is needed for deploying TLS everywhere and will serve as
the CA. The parameters relevant to this instance will then be passed to
the overcloud deploy command.

Change-Id: I38b880250c3b30d7fa1c9e56e82a1be8b59b7e30

Add a per service bootstrap node variable

In order to call commands that need to be run on a single node, we
create a new per-service variable that will contain the first node of
each role containing the service.

Change-Id: I03e8685f939e8ae1fcd8b16883b559615042505d
Partial-Bug: #1615983

Merge "Make the openvswitch 2.4->2.5 upgrade more robust"

Merge "net-conf: make bridge and interface name optional"

Adds missing firewall rules for OpenDaylight API service

Custom role deployments were not working when ODL API was on a different
node due to firewall rules blocking traffic.  This patch adds the
missing rules for the REST communication to ODL (8081 by default), OVSDB
connection (6640), and OpenFlow protocol (6653).

Closes-Bug: 1651476
Depends-On: I1f2af2793d040fda17bf73252afe59434d99f31f

Change-Id: Ic0119c783d01e864c49fa06a66fdd68c059a726b
Signed-off-by: Tim Rozet <trozet@redhat.com>

Merge "Set the default event pipeline publisher"

Merge "Use OS::Heat::DeployedServer"

Adds missing OpenDaylight username/password from ODL OVS service

ODL username and password are already present in the OpenDaylightApi
service.  However, when moving the OpenDaylightApi service to its own
custom role, the Controller/Compute nodes no longer have access to these
hiera values.  This patch adds them also to the OpenDaylightOvs service.

Closes-Bug: 1651499
Depends-On: I418643810ee6b8a2c17a4754c83453140ebe39c7

Change-Id: I169fdad4c94bd6dfc1fe7cde3d6b19b36d916af7
Signed-off-by: Tim Rozet <trozet@redhat.com>

Set gnocchi wsgi display name

Depends-On: Ice921f0fdd4bec6de50e62c39c447ee40dc0e8f5

Change-Id: I4109ac83c32ee2365695611009579a8b117134ff

Set aodh wsgi display name

Depends-On: I53b156505e08625d56ed6a302cf5b5c30e8e288c

Change-Id: Id9791d8a19a74c1f0855e794170f66542f88a548

Set the default event pipeline publisher

Since we have aodh enabled for alarms, we should set the
notifier to the default queue alarm.all.

Closes-bug: #1590473

Change-Id: Ibcb5076424ac2ddcd18ff717d82da1aec4c035cb

Use ws instead of http for Zaqar websocket endpoints

This patch updates the endpoint map for Zaqar websockets
so that we use ws (or wss for SSL) instead of the http varients.
This should help resolve protocol issues when trying to make
connections to the websocket API.

Change-Id: Iea88d1e30299cb621424740a39d498defa371ca4

Merge "Expose param to enable legacy ceilometer api"

Merge "Move UpgradeInitCommand to role templates"

Merge "Run upgrade steps before post-deploy config"

FreeIPA: Make OTP and FreeIPA server parameters optional

In the freeipa-enroll.yaml, it can be the case that the node has been
enrolled (via a cloud-init script); in this case, the OTP and the
FreeIPA server are optional. However, we still need to get a kerberos
ticket, which is the last step of this script, since this ticket is what
certmonger will use to request the certificates in subsequent steps.

Change-Id: I7e9d6a747cdcbe81c9a74a17db5e91aa9d459f65

Merge "Remove unused attr from templates"

Merge "Revert "Switch mistral to use authtoken configuration""

Revert "Switch mistral to use authtoken configuration"

It turns out the puppet-mistral change this depends on broke
introspection, so we need to back it out for now.

This reverts commit ed029e5bf279945e82bff8766af4093856a7ac6a.

Change-Id: I828478267935cdc68aa24de8c9dc2d12fcadb631

Merge "Switch mistral to use authtoken configuration"

Use overcloud-full instead of atomic-image

This switches to using overcloud-full as the OS image for
containerized compute. It includes the following changes:
- install docker, until this change lands
  I1eab2a6de721c8f3c21c7df0019f2d4d1cc3775f
- agent image pull has been removed. This avoids a race between docker
  starting and the current call to pull. This relies on "docker run"
  to do the initial pull and leaves open the option of some other
  prefetch mechanism to do the initial pull
- rely on unit Conflicts= to ensure heat-docker-agents and
  os-collect-config do not run at the same time
- tweaks to host bind mounts
- removal of commands which only apply to atomic

Co-Authored-By: Martin André <m.andre@redhat.com>
Change-Id: I2e82634785834a877a4dbdbdcd788a9ac1c14a9d

Introduce role-specific NodeUserData, use for docker

Currently when the docker environments are invoked, every node has the
boot script run which replaces os-collect-config with the heat-agents
container. This should only be happening on Compute nodes currently,
and each role will be converted to heat-agents one at a time.

This change implements a role-specific NodeUserData resource and uses
that mechanism to run docker/firstboot/install_docker_agents.yaml only
on Compute nodes.

Change-Id: Id81811dbcaf0e661c3980aa25f3ca80db5ef0954

Add bind mounts for agent state

These ensure that software configuration tasks are not re-run when the
heat-agents container is restarted.

Change-Id: Ieb84fe1f6dd849737ff22f51daa12ddc467dcdde

Merge "Add a type for the ControlVirtualIP resource"

Merge "Correction to SRIOV THT Examples"

Move UpgradeInitCommand to role templates

We can't run this during the upgrade steps, because there are things
which need to happen before any role configuration happens, e.g
installing the new hiera heat-config hook, which must be done before
e.g "ControllerDeployment" runs or the stack update hangs.

Partially-Implements: blueprint overcloud-upgrades-per-service
Change-Id: I365b57513590662c3f78a33dc625747f457c48c5

Run upgrade steps before post-deploy config

For some upgrade scenarios, e.g all-in-one deployments, it may
be possible to run the upgrade steps, then apply puppet in one
stack update, so reverse the order here.  For normal deployments
the upgrade steps are mapped to OS::Heat::None so this will have
no effect.

Partially-Implements: blueprint overcloud-upgrades-per-service
Change-Id: I3c78751349a6ac2bc5dff82f67bffe13750ac21c

Merge "Set rabbitmq's port and IP via the config file and not the env file"

Merge "Introduce role-specific nova-server-metadata"

Merge "Enable SECURE_PROXY_SSL_HEADER option for horizon"

Split OVN northd and ml2 plugin

This allows us to take advantage of the composable roles hiera
settings to connect the plugin to the northd/ovndb API without
needing to hard-code the IP of the node running the service.

Change-Id: I2508d48f81c1819ae3521fff271c0bdc50724604
Depends-On: I9af7bd837c340c3df016fc7ad4238b2941ba7a95
Closes-Bug: #1634171

Merge "Use hostname -s instead of hostnamectl --transient"

Add "deployed server" fake neutron ports

This patch swaps out the noop ctlplane port for a more
proper fake neutron port stack. This stack is a swap
in for the OS::Neutron::Port heat resource and can be
controlled via the DeployedServerPortMap parameter.

By relying on <hostname>-<network> naming conventions in the
map we can map IPs to specific servers without using the
Neutron API. This will allow us to inject IP information
into the Heat stack within the new t-h-t undercloud installer
which currently does not run a Neutron service.

Change-Id: I29fbc720c3d582cbb94385e65e4b64b101f7eac9

net-conf: make bridge and interface name optional

Update the run-os-net-config.sh so that we make the
bridge_name and interface_name parameters (supplied by
the SoftwareConfig) optional. This allows operators to
create custom network templates to be used on roles other than
compute and controller which appear to be the only two roles which
set bridge_name and interface_name parameters.

Change-Id: I8997cf8177c1bf0e1f19de5f93dc4e81da1a951f

Increase libvirt/qemu.conf max_files and max_processes

When Nova and/or Cinder are using Ceph as backend, qemu will need
to open a connection and two threads for each and every Ceph OSD.

This change raises the max_files (set to 1024 by default) to 32768
and the max_processes (set to 4096 by default) to 131072. The max
number of FDs is per-process, while the max number of processes is
per-user. The values can be overridden via ExtraConfig, no params
are added to the templates.

A more detailed description of the values were chosen can be
found at: https://access.redhat.com/solutions/1602683

Change-Id: I1e79675f6aac1b0fe6cc7269550fa6bc8586e1fb
Depends-On: I258afd3ee6633e4b2ebc45aa8611be652476be0c

Introduce role-specific nova-server-metadata

We could already pass metadata to the nova server instances (on
creation) via the ServerMetadata parameter, however, there was no
way of doing this per-role. This introduces that by adding a
{{role}}ServerMetadata parameter for each role. This parameter gets
merged with the ServerMetadata parameter and allows this
functionality.

Note that both default to {}, and so does the result of merging those
parameters with their default values. So nothing changes for the
default settings.

Change-Id: I334edcc51ce7ee82fc13b6cf4c0d74ccb7db099c