Move rabbit's clustering port away from the ephemeral port range

Currently RabbitMQ cluster uses a predefined port 35672 for clustering.
This port belongs to so-called ephemeral ports range.

Ephemeral ports are the ports kernel assings to application if it
doesn't specify which port to open. So there is a small chance that this
application being started before RabbitMQ itself could grab this port.
While rather unlikely we did see this happen.

Selinux change should already be in place. On my Centos 7 we have:
rabbitmq_port_t                tcp      25672
corenet_tcp_bind_rabbitmq_port(rabbitmq_t)
corenet_tcp_connect_rabbitmq_port(rabbitmq_t)

First noted via:
https://bugzilla.redhat.com/show_bug.cgi?id=1357522

Closes-Bug: #1623818

Depends-On: I0bcd0d063a7a766483426fdd5ea81cbe1dfaa348
Change-Id: I995bd96c2a17614e954ea5bbae4d58998ef420dc

Merge "Convert allNodesConfig properties to composable jinja2"

Merge "Add support for deploying Ceph RGW role"

Convert allNodesConfig properties to composable jinja2

To support custom roles we need to generate these lists of role
specific data.

Change-Id: Ide97cd57d1c07f7f7ff260ff7a6bbe2b71753bd0
Partially-Implements: blueprint custom-roles

Move role ResourceGroups inside the jinja2 loop

This moves the now nearly identical group resources inside the loop
there's a FIXME related to some deprecated compute parameters we'll
need to work around.

Change-Id: Iddd63c42754867125e65e7721ab9d9f46f4d6afb
Partially-Implements: blueprint custom-roles

Merge "Enable proxy header parsing for Manila"

Merge "De-bracket vncproxy_host in compute profile"

Merge "Configure Keystone credentials"

Merge "Add trunking plugin to list of default ML2 service plugins"

De-bracket vncproxy_host in compute profile

This is done in the vncproxy profile, but for some reason is not in
the compute one.  It causes hiera to explode when the brackets are
left, so we need to do the bracket stripping here too.

Also switches both places to just use the host_nobrackets version
of the endpoint instead of stripping them with str_replace.

Change-Id: I7ccd84b575fd652f6412fdb1869c31c79a7bf53b
Closes-Bug: 1618623

Configure Keystone credentials

Configure Keystone credentials by installing 2 keys with dynamic content
generated by python-tripleoclient.

Note: this is a first iteration of managing Keystone credentials. It has
a few limitations:
- keys are not exported to external storage.
- keys are not rotated automatically.

Change-Id: I45cf8821eadf528dfcdc8d74e6e0484597b0d2c0

Add explicit entry for ctlplane IP in /etc/hosts

There was currently no way of getting it and we can't asure that the
primary IP will use it. So it's explicitly needed there.

Change-Id: Idb3ca22ac136691b0bff6f94524d133a4fa10617

Merge "Fix service config files having wrong map_merge format"

Merge "Make Nova VNC Proxy service name match service net map"

Merge "Add Heat's Cfn and Cloudwatch networks to ServiceNetMap"

Enable proxy header parsing for Manila

This is necessary for when HAProxy is terminating TLS for manila,
else we will have keystone discovery errors. This is the same we do
for several other services, as manila uses the same middleware.

Change-Id: Ice78b0abceb6a956bb8c1dc6212ee1b56b62b43f

Move per-role NetIpListMap's into jinja template loop

Change-Id: I8fc855833e8c602e94d0e8b330a713de1c98f901

Merge "Adjust MTU to compensate for VLAN tag issue"

Add support for deploying Ceph RGW role

This patch add support for deploying Ceph RGW.

Co-Authored-By: Giulio Fidente <gfidente@redhat.com>
Change-Id: I88c8659a36c2435834e8646c75880b0adc52e964

Add Heat's Cfn and Cloudwatch networks to ServiceNetMap

these are needed if we want to be able to generate which nodes the
service and which VIP are they binding to.

Change-Id: I9d40459406f15db3ad9229c75392c4d959d44b3b
Closes-Bug: #1621371

Make Nova VNC Proxy service name match service net map

If these names don't match then we cannot set the service's nodes,
VIP and network.

Change-Id: I8f1c0eaf62eee2704a5f2556a553032106db606b
Closes-Bug: #1621368

Merge "Move AllNodesValidationDeployments into jinja template loop"

Merge "Move AllNodesDeployments into jinja template loop"

Merge "Convert overcloud.yaml to support jinja2 templating"

Merge "Add support for configuring the OVS firewall driver"

Merge "add composable services for Contrail"

Adjust MTU to compensate for VLAN tag issue

Some network configurations uncovered what appears to be an issue where
a spurious 802.1q header is injected into tunnelled traffic. Adjusting
the default value to accomodate the extra overhead should avoid this
problem.

Partial-Bug: #1621533
Change-Id: I9ebad2d6ad34d90fcb998497873059995cdef276

Move AllNodesValidationDeployments into jinja template loop

These are identical for all roles, so move them into the per-role
loop

Partially-Implements: blueprint custom-roles
Change-Id: Id85b830a0e225912a3ea8c8b17a11fc424f68bb0

Move AllNodesDeployments into jinja template loop

These are identical for all roles, so move them into the per-role
loop

Partially-Implements: blueprint custom-roles
Change-Id: I0a9918d5a2e9a73fe3ac68a96bdee02e95799bc1

Convert overcloud.yaml to support jinja2 templating

The first step of generating the Service chain resources via j2,
we'll then incrementally convert other resources to be created
in a similar way.

Partially-Implements: blueprint custom-roles
Depends-On: I81239991f36ed5f6453184bf9cffe930832cb68b
Change-Id: Iafa9b2afddf18a5a9833ec472a552fb256338b38

Merge "Generate VIP info for ctlplane VIP, not management"

Merge "Remove *ExtraConfig parameters from overcloud.yaml"

Merge "Move role deployment steps into puppet/post.yaml"

Merge "Add keystone networks for the different endpoints"

Remove *ExtraConfig parameters from overcloud.yaml

These per-role parameters are already handled inside the role templates

Change-Id: Ie71c8670ea427ea9c7d94680cff143ad9d524b7a
Partially-Implements: blueprint custom-roles

Move role deployment steps into puppet/post.yaml

To enable steps to be aligned between roles, we need to define
dependencies between the steps, which is only possible if we
move the steps out of distinct nested stacks so we can use
depends_on to serialized the steps for all roles.

Note that we may be able to further refactor later to remove the
per-role -config.yaml nested stacks as well.

Change-Id: Ia2ea559e8eeb64763908f75705e3728ee90b5744
Partially-Implements: blueprint custom-roles

Merge "Add global_config_settings to services' output"

Merge "Add service networks to hieradata"

Merge "Add Ceph cluster health validation on upgrade"

Generate VIP info for ctlplane VIP, not management

The management network does not have a VIP, so it's been wrong to
generate a cloud name and hieradata for this. Instead, the network
that actually needs a name and a hosts entry is the ctlplane network,
which actually has a VIP and there are services that use it.

bp tls-via-certmonger

Closes-Bug: #1621742
Change-Id: I163b2c7b5684da6dc290636f54eefe3f2b0c3e3f

Convert SwiftDevicesAndProxyConfig to composable format

Make use of the new composable per-service node_ips lists by
adding a ServiceNetMap entry for SwiftStorage, then
pass the data to construct the raw device list into puppet-tripleo
instead of mangling it in t-h-t inside the role templates.

This will allow running swift storage services on nodes other than
the Controller and ObjectStorage roles, and is required to enable
custom roles.

Depends-On: I11deed1df712ecccf85d36a75b3bd2e9d226af36
Change-Id: I1bf5f8a9d34b1a5d64ab8656b386226b54ec1a27
Partially-Implements: blueprint custom-roles

Merge "Add base neutron service configuration"

Add support for configuring the OVS firewall driver

This patch introduces a parameter to allow customizing the Neutron
OpenvSwitch agent's firewall driver configuration.

Closes-Bug: 1618507
Change-Id: I595c392f7a1afe2164bf562224d9eda9b3dfa982

Merge "Create entries for overcloud VIPs in /etc/hosts"

Add keystone networks for the different endpoints

Keystone doesn't provide different flags to indicate that both of its
endpoints are enabled. So currently we have to manually add its
network to all-nodes-config.

bp tls-via-certmogner

Change-Id: Ibecd78706e84853107f698ba411a0c05e6f5be52

Merge "OVN heat templates"

Fix service config files having wrong map_merge format

map_merge in heat templates should start with hypen for
each map group, few templates are missing the hypen for the
second map group, which is added in this patch

Closes-Bug: #1621008
Change-Id: I307fdd7afc374cce46d6e378594f1b688b9fd4f6

Add base neutron service configuration

Include the neutron-base service definition to align pull in common
configurations. This might not be *absolutely* necessary as any required
common configuration would likely already be added by and OVS agent
service, etc. but it's better to be safe than sorry and it does keep
things consistent across the Neutron services.

Implements: blueprint tripleo-sriov
Change-Id: I10a9d9b29760475e6cd75e4057051c75a52ffbb7

Create entries for overcloud VIPs in /etc/hosts

This will aid us in using FQDNs instead of IPs if DNS is not set. If
the deployer already has DNS set up, they can easily disable this
profile by adding the use-dns-for-vips.yaml environment file.

bp tls-via-certmonger
Change-Id: I8c1b3f253d0149d575171c208f9a1342a7b26450
Depends-On: I1bdb2701dfb3e7ef072e674c9882d3be5af7296c

Add VIP names to allNodesConfig

The nodes need to be aware of the fqdn's for the specific endpoints
in the cloud. This could be either to set the entries in /etc/hosts
or to select an appropriate hostname for a certificate to be
generated.

bp tls-via-certmonger

Change-Id: I9b4645b937a344f46ec18a9a68c5afa2bc5206d0

Add bootstrap_node and vip_data to hierarchy for all roles

We recently made changes that add data to allNodesConfig, but
we didn't wire the files into the hierarchy on all roles.

Change-Id: I8e838b02bd982e600af54b14350106322244890a
Closes-Bug: #1620485

Merge "Fix aodh auth url to remove suffix"

Merge "Use Redis VIP when deploying with keepalived"

Merge "Set Redis VIP on all nodes"

Merge "Change NeutronWorkers default to result in previous behavior"

Merge "Update OpenContrail loadbalancer plugin value"

Merge "Add constraint to prohibit balance-tcp from BondInterfaceOvsOptions"

Merge "Add missing reference to ExternalPort for DVR"

Update OpenContrail loadbalancer plugin value

Update OpenContrail loadbalancer plugin value to match with Newton
changes.

Closes-Bug: #1620657
Change-Id: I48f1884b95e590c0588c52419ec152bd08bc3992

Merge "Cleanup haproxy service from explicit services enablement"

Fix aodh auth url to remove suffix

puppet aodh auth type defaults to password type and v2
auth_url doesnt work with domain. This fixes the url to
not include suffix.

Change-Id: I46d53e748d8932ed1183bedbdeb5eefcde679f9e

Use Redis VIP when deploying with keepalived

Previously we weren't creating Redis VIP in keepalived, causing Redis to
be unusable in non-HA deployments. This is now fixed.

Depends-On: I0bb37f6fb3eed022288b2dcfc7a88e8ff88a7ace
Change-Id: I0ecfda1e6ad5567f6f58d60bf418bc91761833ab
Closes-Bug: #1618510

Set Redis VIP on all nodes

Move Redis VIP from controller-only to all nodes so that we don't assume
where Redis is deployed.

Change-Id: I55f8d48e3e077951fbcc88158dd6f21a2fe5f457
Related-Bug: #1618510
Partially-Implements: blueprint custom-roles

Merge "Added environment file for SR-IOV deployment"

Add service networks to hieradata

This adds a mapping of which service is on which network. This
information can be used to fetch a certificate depending on the
network (since they use different hostnames).

Change-Id: I176245da591bea28aeabf3d2b552f24456c98c43

Merge "Move VIP-related data to AllNodesConfig"

add composable services for Contrail

- Config
- Control
- Analytics
- Database
- Webui

For puppet modules see https://review.openstack.org/#/c/348905

Implements: blueprint contrail-services

Depends-On: I8de63b6e21f8fdf3c2fd13bf5475cce4a85311d6

Change-Id: I7325b4268c4bec5eb7b777ea2a0639d7a8553e93

Merge "Ironic: update default enabled drivers"

Merge "Ironic: configure disk erasing during cleaning"

Merge "Ironic: enable iPXE by default and make it configurable"

Merge "Add default for DeployIdentifier in nested templates"

Move VIP-related data to AllNodesConfig

This makes it easier to access the VIP data for other node types and
de-ties this from the controller role.

Change-Id: I71125576ec93889fed134b92fb59f7e7dc9920c4

Ironic: update default enabled drivers

The goal is to have only production drivers available out of box.

Remove agent_ipmitool as it required additional configuration of
swift temporary URLs. Add pxe_ilo and pxe_drac as they work out of box.

This brings the default enabled drivers list closer to one of undercloud.
Note that pxe_ssh is not enabled as it's not a production driver.

Change-Id: Ic7d2190e2d39a795b024c2999e22ee47b3045cf1
Partially-Implements: blueprint ironic-integration

Remove mangling swift memcached list (now in puppet-tripleo)

Moved this list manipulation to puppet-tripleo where it can easily
reference the memcached_node_ips array instead of hard-coded output
from the Controller.

Depends-On: Ic8872e5e51732874ca5b93bff5efd3e7ed75bc31
Change-Id: I523a802c8d22be7602728ebe8966d9e2ee109cde
Partially-Implements: blueprint custom-roles

Composable per-service VIP hieradata

Change-Id: Iaf78a5eac223aeb50133fcc6fab043ee746d73fd
Partially-Implements: blueprint custom-roles

Create NetIpListMap for all roles

This allows us to create $service_node_ips and $service_node_names
hiera entries for services not deployed on the Controller role.

Co-Authored-By: Thomas Herve <therve@redhat.com>
Change-Id: I688618dda05ff908293c32b9d8518697d57e9eb0
Partially-Implements: blueprint custom-roles

Remove hard-coded per-service rabbitmq hieradata

To avoid the hard-coded references which won't work with
composable roles, we instead default to the rabbitmq_node_ips
list in the per-service puppet-tripleo profiles.

Change-Id: I76b7e06781fdd5d969503b6d73423bb3f5f7a41f
Depends-On: Ie53c93456529420588eb1927703ea91b54095d87
Partially-Implements: blueprint custom-roles

Merge "Generate composable service node_names lists"

Merge "Set NeutronL3HA to false when deploying DVR"

Merge "Mv pacemaker and firewall out of controller"

Merge "Change CloudName default value to include domain"

Merge "Drop overcloud-without-mergepy.yaml (again!)"

Mv pacemaker and firewall out of controller

This patch moves settings for pacemaker and the tripleo firewall
out of controller.yaml.

Related bug: #1604414

Change-Id: I0164717bfd79cdea3de8eb7a64771028bea201ac

Drop overcloud-without-mergepy.yaml (again!)

This file was mistakenly re-added in
25ad7b8e1eeeb0e1f5f83b9f7560502717b44536.

It is breaking subsequent refactoring and preventing us
from landing the last few composable services patches.

Change-Id: I41b951d769f4545ee8e30afdf40fe8c7638b4b12
Closes-bug: #1619786

Merge "Ironic: enabled_services moved from ironic to ironic::conductor manifest"

Merge "Move snmp settings into composable services"

Generate composable service node_names lists

Some puppet interfaces require a comma separated list of hostnames
where a service is running, so generate it in a similar way to th
service ips.

Change-Id: Icdf5d993d089dc94035194bdbd52299fcbc793be
Partially-Implements: blueprint custom-roles

Merge "Remove repeated apache-related hieradata"

Merge "Upgrade ceph-osd"

Move snmp settings into composable services

Provides snmp_readonly_user_* parameters to the base::snmp class
and removes them from the role templates.

Related-bug: #1604414

Co-Authored-By: Giulio Fidente <gfidente@redhat.com>
Change-Id: I35b1ff23baff0c25e742562e1103a3882f7bf767

Ironic: configure disk erasing during cleaning

Cleaning is run before the first and between every deployments to ensure
that the node is in a clean state (hence its name). The most important
part of it is wiping the hard drive.

This change allows tuning this action. A new option IronicCleaningDiskErase
accepts the following options:
* full - for full cleaning with removing the data via ATA secure erase or shred
* metadata - for cleaning only partitioning table.
The third option "none" is suppored by Puppet but is not advertised here as
disabling disk wiping completely is known to cause bugs.

Note that the upstream Ironic default is a bit unfortunate: it enabled both
processes. We set the default to "full" which has the same effect, but is faster.

Change-Id: I46632f71f7ab63daac243acefa5166c58ca05da0
Partially-Implements: blueprint ironic-integration

Ironic: enable iPXE by default and make it configurable

Introduce two new options: IronicIPXEEnabled (true by default) and
IronicIPXEPort (8088 by default).

Also copy UEFI configuration from instack-undercloud.

Change-Id: I4e037c1ea9c8663efb4d472469d0d2640e265710
Depends-On: Icb9633134114041bbd497e7652482dd5d34c9327
Partially-Implements: blueprint ironic-integration

Ironic: enabled_services moved from ironic to ironic::conductor manifest

Change-Id: I30003e4500ccf681121bca7f0a8ffddb05f61660
Partially-Implements: blueprint ironic-integration

Merge "Availability monitoring agents support"

OVN heat templates

Installs and configures OVN databases and process and also configures
the neutron plugin for OVN.

Implements: blueprint tripleo-ovn
Change-Id: Ic3e415bb0587dd85b71f6c14a96f6b2c86a7b30f

Change NeutronWorkers default to result in previous behavior

Neutron's behavior changed in Newton with respect to the default value
of 0 for NeutronWorkers. Instead of effectively treating it as
"processorcount", it now assumes we mean what we say and doesn't spawn
any workers, resulting in only a single process for handling API
requests. This change alters the default value to regain the previous
behavior.

This change also extends the worker count to the RPC worker setting -
which was possibly an oversight in previous releases. The default
behavior will have no result for most systems.

Closes-Bug: 1619383

Change-Id: Id6e3ee544160372c806905e77348150a1a1eec1b

Merge "Restart only services that need it"

Merge "Ironic: service catalog entries should not have a suffix"

Merge "Pass cinder_iscsi_address without brackets"

Add default for DeployIdentifier in nested templates

Until we fix the bug where at validation time heat doesn't know
if a parent passes a value into the nested template, this may
be a workaround for validation failing where no default is found.

Change-Id: I02b0764ac29700cd29584e356ac0cfebcda09a36
Closes-Bug: #1619352