Generate VIP info for ctlplane VIP, not management

The management network does not have a VIP, so it's been wrong to
generate a cloud name and hieradata for this. Instead, the network
that actually needs a name and a hosts entry is the ctlplane network,
which actually has a VIP and there are services that use it.

bp tls-via-certmonger

Closes-Bug: #1621742
Change-Id: I163b2c7b5684da6dc290636f54eefe3f2b0c3e3f

Convert SwiftDevicesAndProxyConfig to composable format

Make use of the new composable per-service node_ips lists by
adding a ServiceNetMap entry for SwiftStorage, then
pass the data to construct the raw device list into puppet-tripleo
instead of mangling it in t-h-t inside the role templates.

This will allow running swift storage services on nodes other than
the Controller and ObjectStorage roles, and is required to enable
custom roles.

Depends-On: I11deed1df712ecccf85d36a75b3bd2e9d226af36
Change-Id: I1bf5f8a9d34b1a5d64ab8656b386226b54ec1a27
Partially-Implements: blueprint custom-roles

Merge "Add base neutron service configuration"

Merge "Create entries for overcloud VIPs in /etc/hosts"

Merge "OVN heat templates"

Add base neutron service configuration

Include the neutron-base service definition to align pull in common
configurations. This might not be *absolutely* necessary as any required
common configuration would likely already be added by and OVS agent
service, etc. but it's better to be safe than sorry and it does keep
things consistent across the Neutron services.

Implements: blueprint tripleo-sriov
Change-Id: I10a9d9b29760475e6cd75e4057051c75a52ffbb7

Create entries for overcloud VIPs in /etc/hosts

This will aid us in using FQDNs instead of IPs if DNS is not set. If
the deployer already has DNS set up, they can easily disable this
profile by adding the use-dns-for-vips.yaml environment file.

bp tls-via-certmonger
Change-Id: I8c1b3f253d0149d575171c208f9a1342a7b26450
Depends-On: I1bdb2701dfb3e7ef072e674c9882d3be5af7296c

Add VIP names to allNodesConfig

The nodes need to be aware of the fqdn's for the specific endpoints
in the cloud. This could be either to set the entries in /etc/hosts
or to select an appropriate hostname for a certificate to be
generated.

bp tls-via-certmonger

Change-Id: I9b4645b937a344f46ec18a9a68c5afa2bc5206d0

Add bootstrap_node and vip_data to hierarchy for all roles

We recently made changes that add data to allNodesConfig, but
we didn't wire the files into the hierarchy on all roles.

Change-Id: I8e838b02bd982e600af54b14350106322244890a
Closes-Bug: #1620485

Merge "Fix aodh auth url to remove suffix"

Merge "Use Redis VIP when deploying with keepalived"

Merge "Set Redis VIP on all nodes"

Merge "Change NeutronWorkers default to result in previous behavior"

Merge "Update OpenContrail loadbalancer plugin value"

Merge "Add constraint to prohibit balance-tcp from BondInterfaceOvsOptions"

Merge "Add missing reference to ExternalPort for DVR"

Update OpenContrail loadbalancer plugin value

Update OpenContrail loadbalancer plugin value to match with Newton
changes.

Closes-Bug: #1620657
Change-Id: I48f1884b95e590c0588c52419ec152bd08bc3992

Merge "Cleanup haproxy service from explicit services enablement"

Fix aodh auth url to remove suffix

puppet aodh auth type defaults to password type and v2
auth_url doesnt work with domain. This fixes the url to
not include suffix.

Change-Id: I46d53e748d8932ed1183bedbdeb5eefcde679f9e

Use Redis VIP when deploying with keepalived

Previously we weren't creating Redis VIP in keepalived, causing Redis to
be unusable in non-HA deployments. This is now fixed.

Depends-On: I0bb37f6fb3eed022288b2dcfc7a88e8ff88a7ace
Change-Id: I0ecfda1e6ad5567f6f58d60bf418bc91761833ab
Closes-Bug: #1618510

Set Redis VIP on all nodes

Move Redis VIP from controller-only to all nodes so that we don't assume
where Redis is deployed.

Change-Id: I55f8d48e3e077951fbcc88158dd6f21a2fe5f457
Related-Bug: #1618510
Partially-Implements: blueprint custom-roles

Merge "Added environment file for SR-IOV deployment"

Merge "Move VIP-related data to AllNodesConfig"

Merge "Ironic: update default enabled drivers"

Merge "Ironic: configure disk erasing during cleaning"

Merge "Ironic: enable iPXE by default and make it configurable"

Merge "Add default for DeployIdentifier in nested templates"

Move VIP-related data to AllNodesConfig

This makes it easier to access the VIP data for other node types and
de-ties this from the controller role.

Change-Id: I71125576ec93889fed134b92fb59f7e7dc9920c4

Ironic: update default enabled drivers

The goal is to have only production drivers available out of box.

Remove agent_ipmitool as it required additional configuration of
swift temporary URLs. Add pxe_ilo and pxe_drac as they work out of box.

This brings the default enabled drivers list closer to one of undercloud.
Note that pxe_ssh is not enabled as it's not a production driver.

Change-Id: Ic7d2190e2d39a795b024c2999e22ee47b3045cf1
Partially-Implements: blueprint ironic-integration

Remove mangling swift memcached list (now in puppet-tripleo)

Moved this list manipulation to puppet-tripleo where it can easily
reference the memcached_node_ips array instead of hard-coded output
from the Controller.

Depends-On: Ic8872e5e51732874ca5b93bff5efd3e7ed75bc31
Change-Id: I523a802c8d22be7602728ebe8966d9e2ee109cde
Partially-Implements: blueprint custom-roles

Composable per-service VIP hieradata

Change-Id: Iaf78a5eac223aeb50133fcc6fab043ee746d73fd
Partially-Implements: blueprint custom-roles

Create NetIpListMap for all roles

This allows us to create $service_node_ips and $service_node_names
hiera entries for services not deployed on the Controller role.

Co-Authored-By: Thomas Herve <therve@redhat.com>
Change-Id: I688618dda05ff908293c32b9d8518697d57e9eb0
Partially-Implements: blueprint custom-roles

Remove hard-coded per-service rabbitmq hieradata

To avoid the hard-coded references which won't work with
composable roles, we instead default to the rabbitmq_node_ips
list in the per-service puppet-tripleo profiles.

Change-Id: I76b7e06781fdd5d969503b6d73423bb3f5f7a41f
Depends-On: Ie53c93456529420588eb1927703ea91b54095d87
Partially-Implements: blueprint custom-roles

Merge "Generate composable service node_names lists"

Merge "Set NeutronL3HA to false when deploying DVR"

Merge "Mv pacemaker and firewall out of controller"

Merge "Change CloudName default value to include domain"

Merge "Drop overcloud-without-mergepy.yaml (again!)"

Mv pacemaker and firewall out of controller

This patch moves settings for pacemaker and the tripleo firewall
out of controller.yaml.

Related bug: #1604414

Change-Id: I0164717bfd79cdea3de8eb7a64771028bea201ac

Drop overcloud-without-mergepy.yaml (again!)

This file was mistakenly re-added in
25ad7b8e1eeeb0e1f5f83b9f7560502717b44536.

It is breaking subsequent refactoring and preventing us
from landing the last few composable services patches.

Change-Id: I41b951d769f4545ee8e30afdf40fe8c7638b4b12
Closes-bug: #1619786

Merge "Ironic: enabled_services moved from ironic to ironic::conductor manifest"

Merge "Move snmp settings into composable services"

Generate composable service node_names lists

Some puppet interfaces require a comma separated list of hostnames
where a service is running, so generate it in a similar way to th
service ips.

Change-Id: Icdf5d993d089dc94035194bdbd52299fcbc793be
Partially-Implements: blueprint custom-roles

Merge "Remove repeated apache-related hieradata"

Merge "Upgrade ceph-osd"

Move snmp settings into composable services

Provides snmp_readonly_user_* parameters to the base::snmp class
and removes them from the role templates.

Related-bug: #1604414

Co-Authored-By: Giulio Fidente <gfidente@redhat.com>
Change-Id: I35b1ff23baff0c25e742562e1103a3882f7bf767

Ironic: configure disk erasing during cleaning

Cleaning is run before the first and between every deployments to ensure
that the node is in a clean state (hence its name). The most important
part of it is wiping the hard drive.

This change allows tuning this action. A new option IronicCleaningDiskErase
accepts the following options:
* full - for full cleaning with removing the data via ATA secure erase or shred
* metadata - for cleaning only partitioning table.
The third option "none" is suppored by Puppet but is not advertised here as
disabling disk wiping completely is known to cause bugs.

Note that the upstream Ironic default is a bit unfortunate: it enabled both
processes. We set the default to "full" which has the same effect, but is faster.

Change-Id: I46632f71f7ab63daac243acefa5166c58ca05da0
Partially-Implements: blueprint ironic-integration

Ironic: enable iPXE by default and make it configurable

Introduce two new options: IronicIPXEEnabled (true by default) and
IronicIPXEPort (8088 by default).

Also copy UEFI configuration from instack-undercloud.

Change-Id: I4e037c1ea9c8663efb4d472469d0d2640e265710
Depends-On: Icb9633134114041bbd497e7652482dd5d34c9327
Partially-Implements: blueprint ironic-integration

Ironic: enabled_services moved from ironic to ironic::conductor manifest

Change-Id: I30003e4500ccf681121bca7f0a8ffddb05f61660
Partially-Implements: blueprint ironic-integration

Merge "Availability monitoring agents support"

OVN heat templates

Installs and configures OVN databases and process and also configures
the neutron plugin for OVN.

Implements: blueprint tripleo-ovn
Change-Id: Ic3e415bb0587dd85b71f6c14a96f6b2c86a7b30f

Change NeutronWorkers default to result in previous behavior

Neutron's behavior changed in Newton with respect to the default value
of 0 for NeutronWorkers. Instead of effectively treating it as
"processorcount", it now assumes we mean what we say and doesn't spawn
any workers, resulting in only a single process for handling API
requests. This change alters the default value to regain the previous
behavior.

This change also extends the worker count to the RPC worker setting -
which was possibly an oversight in previous releases. The default
behavior will have no result for most systems.

Closes-Bug: 1619383

Change-Id: Id6e3ee544160372c806905e77348150a1a1eec1b

Merge "Restart only services that need it"

Merge "Ironic: service catalog entries should not have a suffix"

Merge "Pass cinder_iscsi_address without brackets"

Add default for DeployIdentifier in nested templates

Until we fix the bug where at validation time heat doesn't know
if a parent passes a value into the nested template, this may
be a workaround for validation failing where no default is found.

Change-Id: I02b0764ac29700cd29584e356ac0cfebcda09a36
Closes-Bug: #1619352

Ironic: service catalog entries should not have a suffix

Our OSC plugin does not play well with it - see bug 1619229.
This also matches undercloud configuration.

Change-Id: I5db441d321e7628a1f3f9a5bbd75a872d0719e26
Partially-Implements: blueprint ironic-integration

Merge "Modify sriov_numvfs config from puppet-neutron to tripleo"

Added environment file for SR-IOV deployment

Change-Id: I9afb1d57d08504346f669239ab3d9cce100c7655
Implements: blueprint tripleo-sriov
Signed-off-by: karthik s <ksundara@redhat.com>

Merge "Last round of modern authtoken update"

Pass cinder_iscsi_address without brackets

We shoult never emit in hieradata:

  key: [ipv6]

as it will cause hiera parsing errors. This can only be addressed
in the puppet module.

Change-Id: I0b13b6691647769e41d9af8be4112e6341827e6c
Depends-On: I787becce343b38e6c27c9a1b937b47c0aefb034d
Closes-Bug: 1618930

Add missing reference to ExternalPort for DVR

Neutron DVR requires the OS::TripleO::Compute::Ports::ExternalPort to be
set to a valid port on the external network.

Change-Id: I46b96dba3e264e0e79f7f0cea83b0f66775d6d2a
Closes-Bug: 1618611

Merge "apache: Remove product informations"

Last round of modern authtoken update

It updates Glance, Neutron and Swift to deploy authtoken with modern
pattern.

Change-Id: Icfaf011ea4a23bc47d2fb45e8768f8238532dab3

Merge "Skip warning for required parameters"

Remove repeated apache-related hieradata

This is already set in the apache profile, so we shouldn't be setting
it in horizon.

Change-Id: I21bd2c6770f871b2940c03d4a2b1cff7d4616346

Restart only services that need it

With new pacemaker architecture, Puppet handles restarts of most of the
services. There are several still managed by pacemaker which need
special restart handling utilizing pacemaker and its resource
agents.

The counterpart in puppet-tripleo requests restarts for individual
pacemaker-managed services by writing out "restart flag" files, and the
pacemaker_resource_restart.sh script then performs the restarts.

Change-Id: Ia4e6a9f88181f1981993f046cf415dbbcdc9570e
Closes-Bug: #1614967
Closes-Bug: #1587015
Depends-On: I6369ab0c82dbf3c8f21043f8aa9ab810744ddc12

Availability monitoring agents support

- adds possibility to install sensu-client on all nodes
- each composable service has it's own subscription

Co-Authored-By: Emilien Macchi <emilien@redhat.com>
Co-Authored-By: Michele Baldessari <michele@redhat.com>
Implements: blueprint tripleo-opstools-availability-monitoring
Change-Id: I6a215763fd0f0015285b3573305d18d0f56c7770

Merge "Fix Ironic service bind IPs"

Merge "configure Heat with new authtoken parameters"

Merge "Move ceph cluster config out of allNodesConfig"

Merge "Added DPDK environment file and nic configs samples"

apache: Remove product informations

By default, the httpd version and the OS type is described in the
HTTP header 'Server'.

Server: Apache/2.4.6 (Red Hat Enterprise Linux)

This patch allows to remove the specific informations related to the
httpd server and the OS.

Change-Id: Ib608919102bc6b2c7619a522ae1262729dc7a91e

Merge "Add NeutronGlobalPhysnetMtu to neutron-base.yaml"

Merge "Mv Nova, Neutron, Horizon out of controller.yaml"

Merge "M/N upgrade fix galera restart."

Merge "Customize the reservation of memory for host processes"

Upgrade ceph-osd

Upgrades the ceph-osd daemon from Hammer to Jewel

Change-Id: Idfa90fdc0052c53f448401c85c5d13a2ba68acd1

Add NeutronGlobalPhysnetMtu to neutron-base.yaml

This adds an option to configure the global_physnet_mtu in
neutron.conf. This controls the base MTU for the physical network
which is used as a basis for the new auto calculated overlay network
MTU's.

For flat and VLAN tenant networks there has been a subtle breakage
in TripleO in that users of those network types may now need to
manually set NeutronGlobalPhysnetMtu to something less than the
physical network to imitate the previous behavior of the
now removed NeutronTenantMtu setting (removed in git
2a64b67cef74fff86ce6b56b15431b859515844d). Previously users of
say a vlan tenant network in TripleO would automatically get
the tenant network set to 1400.

Change-Id: I25c2435feb373e11e4fc3a2821db0c96211468e0

configure Heat with new authtoken parameters

Configure Heat with new authtoken parameters provided by puppet-heat
module.
Also move the authtoken parameters in heat-base, required by both
heat-engine and heat-api.

Depends-On: I7a9d10b0a8092b3d0c70708b57637098cfe2b56d
Change-Id: Id5cd3e830f64263c8d39c7d2973c99d0380e772c

Mv Nova, Neutron, Horizon out of controller.yaml

This patch moves the settings for Nova, Neutron, and Horizon
out of controller.yaml.

Also fixes the NovaPassword settings in nova-base.yaml
so they don't use get_input.

Also, creates a new apache.yaml base service to contain shared
apache settings for several services which use Apache for WSGI.

Co-Authored-By: Giulio Fidente <gfidente@redhat.com>
Change-Id: I35d909bd5abc23976b5732a2b9af31cf1448838e
Related-bug: #1604414

Merge "Upgrade ceph-mon"

Change CloudName default value to include domain

The CloudName's default value only included the shortname which is
not a very good practice. This now sets localdomain as the default
domain there.

Change-Id: Ic46b34d94a602aa948b873062015286cf49f7c3c

Cleanup haproxy service from explicit services enablement

Change-Id: Ibc86d4dd0aa576345e3f174ea1adca3e6248e81e
Depends-On: I5c620ba717f782b39c599aff24b4ac56fb695a04

Move ceph cluster config out of allNodesConfig

Pass the list of ceph nodes to the ceph_mon profile via
the service template - this requires some fixup to the
profile to handle the ipv6 case.

Note this also aligns the ServiceNetMap keys so that the
composable node_ips logic will generate the lists when
the ceph_mon service is enabled.

Change-Id: If8a5c65f17e677fe62243b3aa746fd642f72d2b0
Depends-On: I481dd2cd2cde7f1491080e6d9c7dcb7047c22de1
Partially-Implements: blueprint custom-roles

Merge "Conditionally expose haproxy endpoints"

Merge "Fix check of rpm-python."

Added DPDK environment file and nic configs samples

Added an environment file to configure DPDK with OVS
by overriding ComputeNeutronOvsAgent. Also added nic
configs for configuring DPDK bridge and bond with
numbered nic format.

Implements: blueprint tripleo-ovs-dpdk
Co-Authored-By: Vijay Chundury <vchundur@redhat.com>
Change-Id: I82b6f66394a8928f8524706c939508edd08afa9b

Customize the reservation of memory for host processes

Allows the operator to alter the memory reservation for host processes

Implements: blueprint tripleo-ovs-dpdk

Change-Id: If7a099cde2e8854a14a75c1304620cc444eefcf2
Signed-off-by: karthik s <ksundara@redhat.com>

Fix Ironic service bind IPs

This patch removes the get_input's in the service templates
and instead uses our new bind IP string replacement mechanism
to correctly set the local bind IPs for the Ironic API.

It also avoids using MysqlNetwork to set Ironic my_ip.

This patch adds a new IronicNetwork setting which is used
to control which network Ironic will use for its PXE network
traffic.

Change-Id: Ic848ec77b0106279c5d963504798c05110aa1440

Merge "Add flag to assert that puppet manages the keystone endpoints"

Upgrade ceph-mon

Adds a pre-requisite software deployment to the pacemaker scenario
upgrade which, before the openstack services are upgraded,
upgrades the ceph-mon daemon from Hammer to Jewel.

Change-Id: I9855d80a6ae156b4a9e0409c3c927068b9db95a0

Merge "Configure the pci_passthrough_whitelist via THT"

Merge "Set the default gnocchi driver to swift"

Merge "Create composable mapping between enabled services and role ips"

Conditionally expose haproxy endpoints

With the introduction of the global config, HAProxy can know which
endpoints to expose. It will get those via hieradata.

Change-Id: I0f5ce8c7394625e8dce691ae1996457a9ea99a99

Merge "M/N upgrade set scheduler_host_manager right."

Merge "Rename opendaylight service to opendaylight_api"

Add flag to assert that puppet manages the keystone endpoints

This will be read by the client and it will furtherly skip the post-config.

Depends-On: I36e1c478e7c92be61da6a0d710e9025d4d354072
Depends-On: Ibbbe1e016e7e47ea5577de33c5a11d4088811616
Change-Id: Icfb650a1dff704cdcce7349dfb612298d38f2706

Merge "Create hiera service_enabled keys for enabled services"