Merge "Add default for DeployIdentifier in nested templates"

Remove mangling swift memcached list (now in puppet-tripleo)

Moved this list manipulation to puppet-tripleo where it can easily
reference the memcached_node_ips array instead of hard-coded output
from the Controller.

Depends-On: Ic8872e5e51732874ca5b93bff5efd3e7ed75bc31
Change-Id: I523a802c8d22be7602728ebe8966d9e2ee109cde
Partially-Implements: blueprint custom-roles

Composable per-service VIP hieradata

Change-Id: Iaf78a5eac223aeb50133fcc6fab043ee746d73fd
Partially-Implements: blueprint custom-roles

Create NetIpListMap for all roles

This allows us to create $service_node_ips and $service_node_names
hiera entries for services not deployed on the Controller role.

Co-Authored-By: Thomas Herve <therve@redhat.com>
Change-Id: I688618dda05ff908293c32b9d8518697d57e9eb0
Partially-Implements: blueprint custom-roles

Remove hard-coded per-service rabbitmq hieradata

To avoid the hard-coded references which won't work with
composable roles, we instead default to the rabbitmq_node_ips
list in the per-service puppet-tripleo profiles.

Change-Id: I76b7e06781fdd5d969503b6d73423bb3f5f7a41f
Depends-On: Ie53c93456529420588eb1927703ea91b54095d87
Partially-Implements: blueprint custom-roles

Merge "Generate composable service node_names lists"

Merge "Set NeutronL3HA to false when deploying DVR"

Merge "Mv pacemaker and firewall out of controller"

Merge "Change CloudName default value to include domain"

Merge "Drop overcloud-without-mergepy.yaml (again!)"

Mv pacemaker and firewall out of controller

This patch moves settings for pacemaker and the tripleo firewall
out of controller.yaml.

Related bug: #1604414

Change-Id: I0164717bfd79cdea3de8eb7a64771028bea201ac

Drop overcloud-without-mergepy.yaml (again!)

This file was mistakenly re-added in
25ad7b8e1eeeb0e1f5f83b9f7560502717b44536.

It is breaking subsequent refactoring and preventing us
from landing the last few composable services patches.

Change-Id: I41b951d769f4545ee8e30afdf40fe8c7638b4b12
Closes-bug: #1619786

Merge "Ironic: enabled_services moved from ironic to ironic::conductor manifest"

Merge "Move snmp settings into composable services"

Generate composable service node_names lists

Some puppet interfaces require a comma separated list of hostnames
where a service is running, so generate it in a similar way to th
service ips.

Change-Id: Icdf5d993d089dc94035194bdbd52299fcbc793be
Partially-Implements: blueprint custom-roles

Merge "Remove repeated apache-related hieradata"

Merge "Upgrade ceph-osd"

Move snmp settings into composable services

Provides snmp_readonly_user_* parameters to the base::snmp class
and removes them from the role templates.

Related-bug: #1604414

Co-Authored-By: Giulio Fidente <gfidente@redhat.com>
Change-Id: I35b1ff23baff0c25e742562e1103a3882f7bf767

Ironic: enabled_services moved from ironic to ironic::conductor manifest

Change-Id: I30003e4500ccf681121bca7f0a8ffddb05f61660
Partially-Implements: blueprint ironic-integration

Merge "Availability monitoring agents support"

Merge "Restart only services that need it"

Merge "Ironic: service catalog entries should not have a suffix"

Merge "Pass cinder_iscsi_address without brackets"

Add default for DeployIdentifier in nested templates

Until we fix the bug where at validation time heat doesn't know
if a parent passes a value into the nested template, this may
be a workaround for validation failing where no default is found.

Change-Id: I02b0764ac29700cd29584e356ac0cfebcda09a36
Closes-Bug: #1619352

Ironic: service catalog entries should not have a suffix

Our OSC plugin does not play well with it - see bug 1619229.
This also matches undercloud configuration.

Change-Id: I5db441d321e7628a1f3f9a5bbd75a872d0719e26
Partially-Implements: blueprint ironic-integration

Merge "Modify sriov_numvfs config from puppet-neutron to tripleo"

Merge "Last round of modern authtoken update"

Pass cinder_iscsi_address without brackets

We shoult never emit in hieradata:

  key: [ipv6]

as it will cause hiera parsing errors. This can only be addressed
in the puppet module.

Change-Id: I0b13b6691647769e41d9af8be4112e6341827e6c
Depends-On: I787becce343b38e6c27c9a1b937b47c0aefb034d
Closes-Bug: 1618930

Merge "apache: Remove product informations"

Last round of modern authtoken update

It updates Glance, Neutron and Swift to deploy authtoken with modern
pattern.

Change-Id: Icfaf011ea4a23bc47d2fb45e8768f8238532dab3

Merge "Skip warning for required parameters"

Remove repeated apache-related hieradata

This is already set in the apache profile, so we shouldn't be setting
it in horizon.

Change-Id: I21bd2c6770f871b2940c03d4a2b1cff7d4616346

Restart only services that need it

With new pacemaker architecture, Puppet handles restarts of most of the
services. There are several still managed by pacemaker which need
special restart handling utilizing pacemaker and its resource
agents.

The counterpart in puppet-tripleo requests restarts for individual
pacemaker-managed services by writing out "restart flag" files, and the
pacemaker_resource_restart.sh script then performs the restarts.

Change-Id: Ia4e6a9f88181f1981993f046cf415dbbcdc9570e
Closes-Bug: #1614967
Closes-Bug: #1587015
Depends-On: I6369ab0c82dbf3c8f21043f8aa9ab810744ddc12

Availability monitoring agents support

- adds possibility to install sensu-client on all nodes
- each composable service has it's own subscription

Co-Authored-By: Emilien Macchi <emilien@redhat.com>
Co-Authored-By: Michele Baldessari <michele@redhat.com>
Implements: blueprint tripleo-opstools-availability-monitoring
Change-Id: I6a215763fd0f0015285b3573305d18d0f56c7770

Merge "Fix Ironic service bind IPs"

Merge "configure Heat with new authtoken parameters"

Merge "Move ceph cluster config out of allNodesConfig"

Merge "Added DPDK environment file and nic configs samples"

apache: Remove product informations

By default, the httpd version and the OS type is described in the
HTTP header 'Server'.

Server: Apache/2.4.6 (Red Hat Enterprise Linux)

This patch allows to remove the specific informations related to the
httpd server and the OS.

Change-Id: Ib608919102bc6b2c7619a522ae1262729dc7a91e

Merge "Add NeutronGlobalPhysnetMtu to neutron-base.yaml"

Merge "Mv Nova, Neutron, Horizon out of controller.yaml"

Merge "M/N upgrade fix galera restart."

Merge "Customize the reservation of memory for host processes"

Upgrade ceph-osd

Upgrades the ceph-osd daemon from Hammer to Jewel

Change-Id: Idfa90fdc0052c53f448401c85c5d13a2ba68acd1

Add NeutronGlobalPhysnetMtu to neutron-base.yaml

This adds an option to configure the global_physnet_mtu in
neutron.conf. This controls the base MTU for the physical network
which is used as a basis for the new auto calculated overlay network
MTU's.

For flat and VLAN tenant networks there has been a subtle breakage
in TripleO in that users of those network types may now need to
manually set NeutronGlobalPhysnetMtu to something less than the
physical network to imitate the previous behavior of the
now removed NeutronTenantMtu setting (removed in git
2a64b67cef74fff86ce6b56b15431b859515844d). Previously users of
say a vlan tenant network in TripleO would automatically get
the tenant network set to 1400.

Change-Id: I25c2435feb373e11e4fc3a2821db0c96211468e0

configure Heat with new authtoken parameters

Configure Heat with new authtoken parameters provided by puppet-heat
module.
Also move the authtoken parameters in heat-base, required by both
heat-engine and heat-api.

Depends-On: I7a9d10b0a8092b3d0c70708b57637098cfe2b56d
Change-Id: Id5cd3e830f64263c8d39c7d2973c99d0380e772c

Mv Nova, Neutron, Horizon out of controller.yaml

This patch moves the settings for Nova, Neutron, and Horizon
out of controller.yaml.

Also fixes the NovaPassword settings in nova-base.yaml
so they don't use get_input.

Also, creates a new apache.yaml base service to contain shared
apache settings for several services which use Apache for WSGI.

Co-Authored-By: Giulio Fidente <gfidente@redhat.com>
Change-Id: I35d909bd5abc23976b5732a2b9af31cf1448838e
Related-bug: #1604414

Merge "Upgrade ceph-mon"

Change CloudName default value to include domain

The CloudName's default value only included the shortname which is
not a very good practice. This now sets localdomain as the default
domain there.

Change-Id: Ic46b34d94a602aa948b873062015286cf49f7c3c

Move ceph cluster config out of allNodesConfig

Pass the list of ceph nodes to the ceph_mon profile via
the service template - this requires some fixup to the
profile to handle the ipv6 case.

Note this also aligns the ServiceNetMap keys so that the
composable node_ips logic will generate the lists when
the ceph_mon service is enabled.

Change-Id: If8a5c65f17e677fe62243b3aa746fd642f72d2b0
Depends-On: I481dd2cd2cde7f1491080e6d9c7dcb7047c22de1
Partially-Implements: blueprint custom-roles

Merge "Conditionally expose haproxy endpoints"

Merge "Fix check of rpm-python."

Added DPDK environment file and nic configs samples

Added an environment file to configure DPDK with OVS
by overriding ComputeNeutronOvsAgent. Also added nic
configs for configuring DPDK bridge and bond with
numbered nic format.

Implements: blueprint tripleo-ovs-dpdk
Co-Authored-By: Vijay Chundury <vchundur@redhat.com>
Change-Id: I82b6f66394a8928f8524706c939508edd08afa9b

Customize the reservation of memory for host processes

Allows the operator to alter the memory reservation for host processes

Implements: blueprint tripleo-ovs-dpdk

Change-Id: If7a099cde2e8854a14a75c1304620cc444eefcf2
Signed-off-by: karthik s <ksundara@redhat.com>

Fix Ironic service bind IPs

This patch removes the get_input's in the service templates
and instead uses our new bind IP string replacement mechanism
to correctly set the local bind IPs for the Ironic API.

It also avoids using MysqlNetwork to set Ironic my_ip.

This patch adds a new IronicNetwork setting which is used
to control which network Ironic will use for its PXE network
traffic.

Change-Id: Ic848ec77b0106279c5d963504798c05110aa1440

Merge "Add flag to assert that puppet manages the keystone endpoints"

Upgrade ceph-mon

Adds a pre-requisite software deployment to the pacemaker scenario
upgrade which, before the openstack services are upgraded,
upgrades the ceph-mon daemon from Hammer to Jewel.

Change-Id: I9855d80a6ae156b4a9e0409c3c927068b9db95a0

Merge "Configure the pci_passthrough_whitelist via THT"

Merge "Set the default gnocchi driver to swift"

Merge "Create composable mapping between enabled services and role ips"

Conditionally expose haproxy endpoints

With the introduction of the global config, HAProxy can know which
endpoints to expose. It will get those via hieradata.

Change-Id: I0f5ce8c7394625e8dce691ae1996457a9ea99a99

Merge "M/N upgrade set scheduler_host_manager right."

Merge "Rename opendaylight service to opendaylight_api"

Add flag to assert that puppet manages the keystone endpoints

This will be read by the client and it will furtherly skip the post-config.

Depends-On: I36e1c478e7c92be61da6a0d710e9025d4d354072
Depends-On: Ibbbe1e016e7e47ea5577de33c5a11d4088811616
Change-Id: Icfb650a1dff704cdcce7349dfb612298d38f2706

Merge "Create hiera service_enabled keys for enabled services"

Merge "Fix debug parameter in gnocchi-base.yaml"

Create composable mapping between enabled services and role ips

Currently we have a hard-coded list of ips for various services that
run on the controller, instead we can dynamically generate that list
of per-service ips, initially only for the controller but this approach
can be extended so it works for any role.

Change-Id: I3c8a946e439539d239ad7281a1395414df0893eb
Partially-Implements: blueprint custom-roles

Rename opendaylight service to opendaylight_api

For compatibility with the custom-roles patches which convert
hard-coded hiera mappings (such as opendaylight_api_node_ips) to
data generated based on the service_name, we need to either change
this name to match the hiera (node_ips and vip) keys, or change the
hiera keys to match the service.  I took the former approach because
it involves less juggling patch dependencies between t-h-t and p-t.

Change-Id: Ic179550027f37946097afe0e5b9f504ea19fa7bc
Partially-Implements: blueprint custom-roles

Create hiera service_enabled keys for enabled services

This adds a list of all enabled service_names in the
enabled_services key, and also generates some boolean
values e.g service_name_enabled, which is more convenient
for some usage (such as haproxy where we need an easy way to
set a flag saying if a given service is enabled)

Partially-Implements: blueprint custom-roles
Change-Id: I62273f403838893602816204d9bc50d516c0057f

Configure the pci_passthrough_whitelist via THT

It allows the operator to configure pci_passthrough_whitelist
in nova.conf for each of the compute nodes.

implements: blueprint tripleo-sriov

Depends-On: I5ed53cfffe80dbbbb9dcee7c2ea6037afbed2382
Change-Id: Ic5e099fe788046363536f913272b2814abe165fa
Signed-off-by: karthik s <ksundara@redhat.com>

Merge "M/N upgrade fail to restart nova-scheduler."

Merge "Adds OpenDaylight composable service"

Merge "Customize vcpu_pin_set in nova.conf"

Merge "Move ceilometer api to run under apache wsgi"

Fix debug parameter in gnocchi-base.yaml

This gnocchi-base service was using get_input to obtain
the debug setting which won't work here. This patch adds in
the standard Debug heat parameter to the service and sets
it via get_param.

Change-Id: Idfb772567d5711083b82ae8cb4bce2c4498b4d64

Modify sriov_numvfs config from puppet-neutron to tripleo

Allow the operator to configure sriov_numvfs for each of the
required SR-IOV interfaces

Co-Authored-By: Vijay Chundury <vchundur@redhat.com>
Implements: blueprint tripleo-sriov
Depends-On:I7450b904475bdf46498d9af633416b3eba12f761
Change-Id: I07fd9fbb1268f3a189fcadee9f30f96ba476e533
Signed-off-by: karthik s <ksundara@redhat.com>

Merge "Fix base service type inheriting gnocchi service templates"

Merge "Fix base service type inheriting ceilometer service pcmk templates"

M/N upgrade fix galera restart.

We have to recreate the /var/lib/mysql directory on all controller node,
not just the boostrap node for the cluster to be able to restart.

Adding a warning on the fact that those script are local and know
nothing about the good upgrade state of the other nodes.

Closes-Bug: 1612642
Change-Id: I48e2812d7df80bbf2db53a8b71dc434d4209a160

Fix check of rpm-python.

There is a typo in the code, making this test always successful.

Closes-Bug: 1614437
Change-Id: Ia6b0b156294de9fcb8f66fc46aa8801555775a56

M/N upgrade set scheduler_host_manager right.

scheduler_host_manager doesn't take
nova.scheduler.host_manager.HostManager as a value anymore.  This fix it
before restarting the service.

Change-Id: Ia9adcfd5a898f0c712b4a37ae33db88a44630f0d
Closes-Bug: 1615035

Skip warning for required parameters

Skips the unused parameter warning for required parameters.

Change-Id: I71ad4ab9f6e6c63e3f01b8cc9c72262f1958331e

Merge "Add deployment of CAs via hieradata"

Merge "Enable usage of FQDNs for the endpoints"

Merge "Move Redis, Memcached, Sahara, OVS agent out of role templates"

Merge "Customize scheduler_default_filters (nova.conf)"

Adds OpenDaylight composable service

Introduces environment files for deploying OpenDaylight in two ways:
 - ODL only managing L2 as an ML2 plugin
 - ODL managing L2 and L3 DVR, by replacing NeutronL3Agent

Two services are added.  One to install ODL and configure OVS on the
Controllers, and another service to only configure OVS on compute nodes.

Paritally-Implements: blueprint opendaylight-integration

Depends-On: I666dc0874f1d11a72a62d796f4f6d41f7aa87a3f

Change-Id: Ide69e20cbf2ec6151953cb23e51478b770aca17f
Signed-off-by: Tim Rozet <trozet@redhat.com>

Merge "Update pacemaker_resource_restart.sh for new HA arch"

Move ceilometer api to run under apache wsgi

Depends-On: If3feb859b527d08e10c124b5ad2f7f4b1f19156a

Change-Id: I728d0980f7742aa390f11a0f0b8598d1299e2886

Customize vcpu_pin_set in nova.conf

Allow the operator to customize the vcpu_pin_set configuration
in nova.conf

Implements: blueprint tripleo-ovs-dpdk

Change-Id: I7c76a303f4736a4439fa15c5641e576140f1c7b6
Signed-off-by: karthik s <ksundara@redhat.com>

Merge "Ironic: add missing haproxy and firewall configuration"

Merge "Customize "supported_pci_vendor_devs" for SR-IOV"

Merge "Add sriov_numvfs in THT"

Merge "SR-IOV nic agent changes in line with composable roles."

Merge "Added a new composable service for enabling DPDK on compute nodes."

Customize scheduler_default_filters (nova.conf)

Allow the operator to customize the default scheduler filters
via THT, which shall be required for NFV features like DPDK,
SRIOV.

Implements: blueprint tripleo-ovs-dpdk

Change-Id: I0f1f3330e7aefcf5289c2ea0651e7e6ed302bf5e
Signed-off-by: karthik s <ksundara@redhat.com>

Move Redis, Memcached, Sahara, OVS agent out of role templates

Change-Id: I99784b5cfbb741bfc6d1ce9b77e8acf6cf00e073
Related-Bug: 1604414

Mv ceilo, aodh, and gnocchi out of controller.yaml

This patch moves the remaining hiera settings for
Ceilometer, Aodh, and Gnocchi out of controller.yaml
and into the respective composable services.

Change-Id: I01377aa5c121ecbb4a96b4f0525924c7bbf12198
Related-bug: #1604414

Mv keystone, mongo, manila out of controller.yaml

This patch moves keystone, mongodb, and manila
bind host settings out of controller.yaml and into
composable services.

Change-Id: I1874dc47fffa30606107999da702442badde35c9

Move Swift hiera settings into composable services

This moves the swift local bind and hash prefix settings
into the relevant swift-* composable services.

Change-Id: I807ff14c4cc9afa39efee13849e0f8c22718f1c0