Fix Ironic service bind IPs

This patch removes the get_input's in the service templates
and instead uses our new bind IP string replacement mechanism
to correctly set the local bind IPs for the Ironic API.

It also avoids using MysqlNetwork to set Ironic my_ip.

This patch adds a new IronicNetwork setting which is used
to control which network Ironic will use for its PXE network
traffic.

Change-Id: Ic848ec77b0106279c5d963504798c05110aa1440

Merge "Set the default gnocchi driver to swift"

Merge "Create composable mapping between enabled services and role ips"

Merge "M/N upgrade set scheduler_host_manager right."

Merge "Rename opendaylight service to opendaylight_api"

Merge "Create hiera service_enabled keys for enabled services"

Merge "Fix debug parameter in gnocchi-base.yaml"

Create composable mapping between enabled services and role ips

Currently we have a hard-coded list of ips for various services that
run on the controller, instead we can dynamically generate that list
of per-service ips, initially only for the controller but this approach
can be extended so it works for any role.

Change-Id: I3c8a946e439539d239ad7281a1395414df0893eb
Partially-Implements: blueprint custom-roles

Rename opendaylight service to opendaylight_api

For compatibility with the custom-roles patches which convert
hard-coded hiera mappings (such as opendaylight_api_node_ips) to
data generated based on the service_name, we need to either change
this name to match the hiera (node_ips and vip) keys, or change the
hiera keys to match the service.  I took the former approach because
it involves less juggling patch dependencies between t-h-t and p-t.

Change-Id: Ic179550027f37946097afe0e5b9f504ea19fa7bc
Partially-Implements: blueprint custom-roles

Create hiera service_enabled keys for enabled services

This adds a list of all enabled service_names in the
enabled_services key, and also generates some boolean
values e.g service_name_enabled, which is more convenient
for some usage (such as haproxy where we need an easy way to
set a flag saying if a given service is enabled)

Partially-Implements: blueprint custom-roles
Change-Id: I62273f403838893602816204d9bc50d516c0057f

Merge "M/N upgrade fail to restart nova-scheduler."

Merge "Adds OpenDaylight composable service"

Merge "Customize vcpu_pin_set in nova.conf"

Merge "Move ceilometer api to run under apache wsgi"

Fix debug parameter in gnocchi-base.yaml

This gnocchi-base service was using get_input to obtain
the debug setting which won't work here. This patch adds in
the standard Debug heat parameter to the service and sets
it via get_param.

Change-Id: Idfb772567d5711083b82ae8cb4bce2c4498b4d64

Merge "Fix base service type inheriting gnocchi service templates"

Merge "Fix base service type inheriting ceilometer service pcmk templates"

M/N upgrade set scheduler_host_manager right.

scheduler_host_manager doesn't take
nova.scheduler.host_manager.HostManager as a value anymore.  This fix it
before restarting the service.

Change-Id: Ia9adcfd5a898f0c712b4a37ae33db88a44630f0d
Closes-Bug: 1615035

Merge "Add deployment of CAs via hieradata"

Merge "Enable usage of FQDNs for the endpoints"

Merge "Move Redis, Memcached, Sahara, OVS agent out of role templates"

Merge "Customize scheduler_default_filters (nova.conf)"

Adds OpenDaylight composable service

Introduces environment files for deploying OpenDaylight in two ways:
 - ODL only managing L2 as an ML2 plugin
 - ODL managing L2 and L3 DVR, by replacing NeutronL3Agent

Two services are added.  One to install ODL and configure OVS on the
Controllers, and another service to only configure OVS on compute nodes.

Paritally-Implements: blueprint opendaylight-integration

Depends-On: I666dc0874f1d11a72a62d796f4f6d41f7aa87a3f

Change-Id: Ide69e20cbf2ec6151953cb23e51478b770aca17f
Signed-off-by: Tim Rozet <trozet@redhat.com>

Merge "Update pacemaker_resource_restart.sh for new HA arch"

Move ceilometer api to run under apache wsgi

Depends-On: If3feb859b527d08e10c124b5ad2f7f4b1f19156a

Change-Id: I728d0980f7742aa390f11a0f0b8598d1299e2886

Customize vcpu_pin_set in nova.conf

Allow the operator to customize the vcpu_pin_set configuration
in nova.conf

Implements: blueprint tripleo-ovs-dpdk

Change-Id: I7c76a303f4736a4439fa15c5641e576140f1c7b6
Signed-off-by: karthik s <ksundara@redhat.com>

Merge "Ironic: add missing haproxy and firewall configuration"

Merge "Customize "supported_pci_vendor_devs" for SR-IOV"

Merge "Add sriov_numvfs in THT"

Merge "SR-IOV nic agent changes in line with composable roles."

Merge "Added a new composable service for enabling DPDK on compute nodes."

Customize scheduler_default_filters (nova.conf)

Allow the operator to customize the default scheduler filters
via THT, which shall be required for NFV features like DPDK,
SRIOV.

Implements: blueprint tripleo-ovs-dpdk

Change-Id: I0f1f3330e7aefcf5289c2ea0651e7e6ed302bf5e
Signed-off-by: karthik s <ksundara@redhat.com>

Move Redis, Memcached, Sahara, OVS agent out of role templates

Change-Id: I99784b5cfbb741bfc6d1ce9b77e8acf6cf00e073
Related-Bug: 1604414

Mv ceilo, aodh, and gnocchi out of controller.yaml

This patch moves the remaining hiera settings for
Ceilometer, Aodh, and Gnocchi out of controller.yaml
and into the respective composable services.

Change-Id: I01377aa5c121ecbb4a96b4f0525924c7bbf12198
Related-bug: #1604414

Mv keystone, mongo, manila out of controller.yaml

This patch moves keystone, mongodb, and manila
bind host settings out of controller.yaml and into
composable services.

Change-Id: I1874dc47fffa30606107999da702442badde35c9

Move Swift hiera settings into composable services

This moves the swift local bind and hash prefix settings
into the relevant swift-* composable services.

Change-Id: I807ff14c4cc9afa39efee13849e0f8c22718f1c0

Merge "Allow scheduler_available_filter to be customizable"

Merge "Move glance/heat hiera settings to services"

Merge "Move network bind IPs out of compute.yaml"

Merge "Adding optional aci-opflex hiera data"

Merge "Move out of roles any Ceph setting"

Merge "Disable the Mon/OSD/Client resources in puppet-ceph-external"

Merge "Use modulepath for Puppet"

Fix base service type inheriting gnocchi service templates

Change-Id: I5018e4cdb1e5df7c2d67a8c1248d7453941b725f

Fix base service type inheriting ceilometer service pcmk templates

Change-Id: Id2227bedee098e0f18704a3dc82fb0be311ff4d2

Merge "Enable gnocchi systemd services"

Move glance/heat hiera settings to services

This patch removes the remaining bind IP, and password
settings for Heat and Glance into the composable services.

Change-Id: I17abcb2a08a1972cbcf8163f6608ac22ddfc15f7
Related-bug: #1604414

Ironic: add missing haproxy and firewall configuration

Make sure Ironic API listens on a different IP than HAProxy.

Also open firewall ports for Ironic API and TFTP.

Change-Id: I9d843e76adcdb1085fd1e9fb7408a2387909382b

Merge "Clean up old functions"

Merge "Make OVS ARP responder feature configurable"

Merge "Update authtoken parameters to match recent changes"

Added a new composable service for enabling DPDK on compute nodes.

ComputeNeutronOvsAgent should be overriden to neutron-ovs-dpdk-agent
service instead of neutron-ovs-agent (default) in order to enable
DPDK in OVS. This new service provides all the required parameters
for enabling DPDK with OVS (vswitch::dpdk).

Implements: blueprint tripleo-ovs-dpdk
Depends-On: I6cfd13d4979731696b09da52b2618fa33042403d

Change-Id: I538043b780a55006c54160cc7b33ddf52684ebf4

Merge "Move resource registry override to enable-tls.yaml"

Merge "Allow a fixed IP to be allocated to RedisVirtualIP"

Merge "Fix path to sahara templates"

Update authtoken parameters to match recent changes

Update authtoken parameters for:
- Aodh
- Ironic
- Manila
- Nova
- Ceilometer

Change-Id: Ie123b8da1a7af2e406aadca4775de9e8c4e6e1f5

Merge "Updates and fixes to NIC config template routes"

Merge "Fixes Neutron metadata parameters in THT"

Merge "Fix check for MariaDB upgrade manual switch off"

Merge "Permit usage of raw disks as backends for Swift storage"

Fixes Neutron metadata parameters in THT

Changes include:
 - Adds missing parameter to enable DHCP Metadata networks, which is
   required to enable isolated or forced metadata via DHCP agent
 - Fixes isolated metadata parameter to use a boolean
 - Fixes regression where force metadata parameter was accidentally
   removed

Closes-Bug: 1613743

Change-Id: I08f907fe8a8e89e108351b84db33c4d9c004b957
Signed-off-by: Tim Rozet <trozet@redhat.com>

Make OVS ARP responder feature configurable

Adds NeutronEnableARPResponder parameter to allow enabling the ARP
responder feature in the OVS agent.

Change-Id: Ide82d890ddbd842383255f5c06c186054ec8f97d

Merge "Move Keepalived/HAproxy settings out of controller"

Set the default gnocchi driver to swift

Until mitaka we have been using file driver. Swift is much more
scalable so lets use that instead as the default.

Change-Id: Idb0d55f99dbdd9d89881ce981d489756eb508fc0

Move network bind IPs out of compute.yaml

This patch moves the local bind host hiera data out
of compute.yaml and into composable services.

Change-Id: Iae4ca707c429cc8f5ec4d1d514ae7da0bf557dfd

Clean up old functions

These are not needed any more as they were specific to
mitaka upgrades.

Change-Id: I0d421b942e620403f88374e1c82105747d8d84c9

M/N upgrade fail to restart nova-scheduler.

The nova api db need to be synchronized as well.

Change-Id: I2628b24ff1153c84cbf388455666ae42570cb10f
Closes-Bug: 1615042

Fix Flavor get_param for Block Storage.

The get_param of the flavor was not pointing to the right parameter,
leading to an empty flavor for the block storage and a failure during
validation.

Change-Id: Id9a3d5756be956cedf060443533b84fcc66e721c
Closes-Bug: 1616453

Enable usage of FQDNs for the endpoints

The endpoint map has the capability of using the cloud's name for the
endpoint. This is broken, however, since this has the problem that we
only take into account the overcloud's external endpoint name, which
we then cannot use if we have network-isolation enabled, which is
the most common use-case for real deployments.

So this change proposes the following:
* The external endpoint is still CloudName.
* We can now set different (or the same if we want) names for the
  different VIPs of the network.
* Using CLOUDNAME for the endpoint map will get a name for the
  appropriate network.

bp tls-via-certmonger

Change-Id: I3e7144653f0a1d783d87e6f638304b297f718929

Move Keepalived/HAproxy settings out of controller

This moves the config settings out of controller.yaml for Keepalived
and HAproxy.

NOTE: the tripleo::haproxy::redis_password wasn't getting set
correctly before this patch. Looks like a breakages that
occurred when puppet-tripleo dropped the loadbalancer class.

Related-Bug: #1604414

Change-Id: Id24b02ac73f4ae33b20194da8a5f99f17403ece9

Fix check for MariaDB upgrade manual switch off

The MySqlMajorUpgrade parameter has validation on it allowing only
values yes/no/auto, however in the script we checked for '0' instead of
'no', which means the only effective values were yes/auto. This is now
fixed to allow switching the migration off.

Change-Id: I5d64734894c6bfd9003ad643f3747e34e62465cc
Closes-Bug: #1616429

Move out of roles any Ceph setting

Change-Id: I6ff0f977a1fb2fd55b29becd296ab01c65b50228

Merge "Move RabbitMQ settings out of controller.yaml"

Merge "Move MySQL settings out of puppet/controller.yaml"

Merge "Revert "Pin puppetlabs_spec_helper to 1.1.1""

Move RabbitMQ settings out of controller.yaml

This moves the config settings out of controller.yaml for RabbitMQ
and into puppet/services/rabbitmq.yaml.

Related-Bug: #1604414

Change-Id: I6b3d71653fb91b89b85dae7df4088afff22b71ac

Move MySQL settings out of puppet/controller.yaml

This moves the config settings out of controller.yaml for MySQL
and into puppet/services/database/mysql.yaml.

The top leve MysqlRootPassword is still maintained by default
in overcloud.yaml so that users who upgrade won't get
broken. New users may optionally specify the MysqlRootPassword
as a parameter instead which will take priority over the top
level generated parameter.

We drop the top level MysqlClusterUniquePart because it is no
longer used (I think it was a remnant from t-i-e).

Related-Bug: #1604414

Change-Id: I06ebac0f4c87dabfccefb2e550a64650868c5b26

Revert "Pin puppetlabs_spec_helper to 1.1.1"

This reverts commit 59e3f2c696d05e83cf48aa359901cedac592d596.

Change-Id: I93c900177f0929604b6522b3b9aa40ff56dc8083

Merge "Set cinder::api::bind_host within service template"

Pin puppetlabs_spec_helper to 1.1.1

Version 1.2.0 of puppetlabs_spec_helper pulled in a version gem with
ruby 2.2 requirements.
TripleO CI has ruby 2.0 so we need to pin the gem.

Change-Id: I614ce29e83265ee48bb5f35fdd4a956346b0c69d

Permit usage of raw disks as backends for Swift storage

Adds a SwiftRawDisks parameter which can be used to provide a map
disk-keyed with properties for each additional disk to be used
as backend for Swift storage.

Change-Id: I65ff488c8eb62c03fc45f04e70e18a5f4022d6b6
Depends-On: Id450e777930bb0b749c0ecfab0679a52a84fd7fe
Depends-On: Iac75cf2244339fae444be5859b7583e80bafc4e2

Move resource registry override to enable-tls.yaml

It makes more sense for the enable-tls.yaml file to contain the
resource registry override, since it contains parameters that are
actually used there. Also, this allows us to reuse the
tls-endpoints-public-* files for other methods of enabling TLS (such
as with certmonger).

Change-Id: I98c63d0007e61968c0490a474eddb42548891fa6

Don't trigger mariadb upgrade dump/restore when not needed

When upgrading from mariadb X.Y.Z to mariadb X.Y.Ž (X.Y part stays the
same), the dump/restore of mariadb shouldn't be necessary. Therefore we
now only check for up to the first 2 fields of the version string when
determining if we should trigger the dump/restore operation.

Closes-Bug: #1615721
Change-Id: Ib7af8bfb121f5c83184d51b3c6dc657108c25973

Set cinder::api::bind_host within service template

The map_replace at [1] will replace the network name
with the local node IP address on the given network.

1. I7850d4dc8bf4db5f7ac6a6b53c1d900b561b4580

Change-Id: Ica064b5ffac61cebe2aae06d4f1d1d9e84258c10

Add deployment of CAs via hieradata

This enables us to pass a map of CAs to deploy the CA certificates
using puppet and hiera instead of the bash script we were using. It
also gives us the feature that we will be able to deploy several CA
certificates on the nodes instead of just one as was the case before.

Change-Id: I9559487874b80aeb093cc2fa2cfa7c0479d5a8b2
Depends-On: I84273b4cd6576a63fa78dc93ad6b077dd2a780c7

Fix path to sahara templates

Fix path to sahara templates

Change-Id: I7e60ed1800923057efe24badf03d76761da3f498

Add sriov_numvfs in THT

Allow the operator to configure sriov_numvfs for each of the
required SR-IOV interfaces.

Depends-On: I2c1fce461d4602cd9f7de44b34e94920d1a581a6
Change-Id: I56b7ae268535a8e423e65e8f1b99763c44d99eca
implements: blueprint tripleo-sriov
Signed-off-by: karthik s <ksundara@redhat.com>

SR-IOV nic agent changes in line with composable roles.

This add sriov nic agent as composable service.

Implements: blueprint tripleo-sriov
Depends-On: I3385d831a339deec7d1315f74b501e76109db811

Co-Authored-By: Saravanan KR <skramaja@redhat.com>
Change-Id: I8d920f50da9e4261a9fdf702f7760efaa04a5278

Merge "Add DefaultPasswords to composable services"

Merge "Pass ServiceNetMap to services"

Merge "Disable Sahara by default"

Merge "Remove OS::Tripleo::Services::ManilaShare: from puppet-pacemaker.yaml"

Disable Sahara by default

Users who want Sahara enable now can simply include the
environments/services/sahara.yaml Heat environment.

Change-Id: I3df96b6e78ba3eddb62e79d854862a7e2d614c51

Disable cinder-backup by default

The cinder-backup service was not configured in mitaka, so
having it disabled by default does not change the existing
behavior.

Also adds an environment file to enable it in the pacemaker
scenario.

Change-Id: I9a238e0d4601c9f59aff94fdac837c7d0e90afa0

Enable gnocchi systemd services

Marian Krcmari noticed that on a freshly deployed HA Newton system
gnocchi-metricd and gnocchi-statsd are down. This likely came about when
gnocchi moved to composable roles
(I40a3815923099d00a0f3fc1d88a942784e7c6fb9) and those settings made
sense when it was managed by pacemaker.

Also make sure that all services are disabled when managed via
pacemaker and add manage_service: false for gnocchi-api for pacemaker
which was missing.

Change-Id: If7d681e0fa3e84379ac83c8a55b481369fe2849e

Add DefaultPasswords to composable services

This patch adds a new DefaultPasswords parameter to
composable services. This is needed to help provide
access to top level password resources that overcloud.yaml
currently manages (passwords for Rabbit, Mysql, etc.).

Moving the RandomString resources into composable services
would cause them to regenerate within the stack. With this
approach we can leave them where they are while we deprecate
the top level mechanism and move the code that uses the
passwords into the composable services.

Change-Id: I4f21603c58a169a093962594e860933306879e3f

Pass ServiceNetMap to services

This will be needed to pick the network where the service has
to bind to from within the service template.

Change-Id: I52652e1ad8c7b360efd2c7af199e35932aaaea8c

Allow scheduler_available_filter to be customizable

This patch allows the operator to override the default values of
scheduler_available_filters, which is required for automating
the deployments using SR-IOV feature.

Change-Id: Ib68943c4c6926694b7d99e8f9d6135641048e04a
Implements: blueprint tripleo-sriov
Signed-off-by: karthik s <ksundara@redhat.com>

Merge "Add management network to list of networks to ping"

Merge "Upgrade scripts to migrate aodh alarm data"