telemetry: normalize coordination_url

Normalize coordination_url for Telemetry services, so we can deploy them
with IPv6.

Change-Id: Ic6de09acf0d36ca90cc2041c0add1bc2b4a369a5
Partial-Bug: #1629279
Depends-On: I038e2bac22e3bfa5047d2e76e23cff664546464d

metadata.json: prepare RC2 release

Bump to 5.2.0 which is RC2 release.

Change-Id: If5e650c52fa3d7701d3079712a9cc8db3a431e36

Merge "Move db syncs into mysql base role"

Move db syncs into mysql base role

This patch moves the various DB syncs into the MySQL role.

Database creation needs to occur on the MySQL server to
avoid permission issues.

This patch also moves database creation to step 2 so we can
guarantee that all per-service databases exist at this time.
This avoids complex ordering needed during step 3 where
services, on different hosts, can run their own db sync's
in a distributed fashion.

Change-Id: I05cc0afa9373429a3197c194c3e8f784ae96de5f
Partial-bug: #1620595

Merge "Add pameter for gmcast.listen_addr configuration"

Merge "Make mysql bind-address configurable"

Merge "Move inclusion of ::manila::db::mysql in manila/api profile"

Add pameter for gmcast.listen_addr configuration

having an actual name for that configuration will allow us to pass a
more proper name via t-h-t.

Change-Id: Iea4bd67074824e5dc6732fd7e408743e693d80b3

Merge "Fix Swift manifest for Puppet4 deployment"

Make mysql bind-address configurable

It used to be hardcoded that the bind-address was always coming from
the $::hostname fact. This is wrong, as it disregards where we have
configured the mysql address. This commit actually makes it
configurable, so we'll be able to set it via hieradata.

On the other hand, we use the hiera key that we already set
'mysql_bind_host' as a default; if, for some reason, that's
unavailable then we fall back to $::hostname.

Related-Bug: #1627060
Change-Id: I316acfd514aac63b84890e20283c4ca611ccde8b

Merge "Switch puppet-tripleo to use puppet-openstack_spec_helper"

Merge "Add in rspec-puppet-facts support"

Merge "Add FQDN testcase in swift proxy profile rspec tests"

Merge "Add support for rabbit hosts to mistral"

Merge "certmonger: improve orchestration for puppet4"

Move inclusion of ::manila::db::mysql in manila/api profile

In puppet-manila it is the api service performing db sync, not
scheduler. This change moves ::manila::db::mysql (which creates
the empty database and users) in the tripleo manila/api profile.

Also moves rabbit config into a general manila base profile as
that would be needed by the scheduler service as well.

Change-Id: I2b537f735b8d1be8f39e8c274be3872b193c1014

Add support for rabbit hosts to mistral

The mistral puppet did not have support for configuring the rabbit hosts.
This change adds that support.

Change-Id: I6cb2cbf4a2abf494668d24b8c36b0d525643f0af

Switch puppet-tripleo to use puppet-openstack_spec_helper

Align puppet-tripleo with other Puppet OpenStack modules to use
puppet-openstack_spec_helper.

Here are the benefits:

- Allow to use Depends-On between Puppet OpenStack modules and
  puppet-tripleo, and unit tests will work correctly with dependencies.
- Use the Puppet OpenStack gemspec file that handle gems dependencies to
  test the module.
- Allow to re-use ruby helper that Puppet OpenStack modules have in unit
  tests, to avoid duplicated code.
- Don't manage .fixtures.yml file, it will be generated by Puppet
  OpenStack tooling. TripleO dependencies will live in Puppetfile_extras.

Change-Id: Ic66e9f872c57545327a9fb4b8ae86fbf0abbd8be

Add in rspec-puppet-facts support

This change pulls in rspec-puppet-facts to provide the basic default
facts for puppet-tripleo rspec tests. rspec-puppet-facts provides an
easy to use interface to allow for the same set of tests to be executed
with multiple sets of operating system facts. In most cases this
includes defaults for Debian/RedHat based systems. In puppet-tripleo's
case this is just RHEL/CentOS. We are removing the Fedora listing from
the metadata.json as we only support RHEL and CentOS for tripleo.
This change also updates the existing rspec tests to leverage
rspec-puppet-facts to be more consistent with how facts are defined.

Change-Id: I0ddc71799d74ee95b9828aea6a8dcb4abb4e4e62

Merge "Manage tripleo-ui configuration files with puppet"

Fix Swift manifest for Puppet4 deployment

1) swift/ringbuilder: seed must be a String
Because we use validate_re in puppet-swift and puppet4 requires the
regex to be a string, not an integer.

2) Fix Swift package name
In puppet4, we need the resource title, not the resource name.

Change-Id: I50cea96d45e0eb46c19040d9a7105ab72c2dbef7

Merge "swift: normalize memcache servers IP addresses"

Add FQDN testcase in swift proxy profile rspec tests

Add more coverage in our unit testing for FQDNs.

Change-Id: I74859cdecc0d81138b2fe986883c4f7c49b8cab3

Merge "Fix puppet-lint in composable contrail"

Merge "Fixup manila-cephfs native backend defaults"

certmonger: improve orchestration for puppet4

The extract-and-trust-ca actually needs /var/lib/certmonger/local/creds
file to be created, which is created when certmonger is started, not
when package is installed.
This patch change the exec dependency to run it only when service is
started.
Also, since the service create the file, let's relax the Exec a little
bit by allowing to retry 5 times after 1s break in case the Exec fails,
for example if service takes more than 5 seconds to create this file.
It will avoid us some race condition in the deployment.

Change-Id: I4cf4a04bddb8f042e8e8f7e1d1b69f846c533e3b

swift: normalize memcache servers IP addresses

In the case of memcache servers are IPv6, make sure brackets set in the
way we construct the list of memcache server + memcache port parameter.

Also add unit-tests to test that the output is what we want in the
configuration.

Depends-On: I8d361ce9cfcfe6a3f8592b2b7991971a3c748c75
Closes-Bug: 1625335
Change-Id: I9fb8168d8fb56c9d8465d58a45fd8c6edfee6fdd

Fixup manila-cephfs native backend defaults

The puppet-tripleo side for manila-cephfs landed without specifying
defaults for all class params [1] so when cephfs isn't enabled
e.g. only generic, then you will get errors for those params. See
review comments at [2] for reports of this.

This will fixup the manila-cephfs puppet-tripleo side to be more
in line with the tidy up adding netapp at [3]. The config is all
moved tripleo-heat-templates side. The tht review for this
is at https://review.openstack.org/#/c/358525/ and that will now
depend on this review.

[1] https://review.openstack.org/#/c/354047/
[2] https://review.openstack.org/#/c/354019/
[3] https://review.openstack.org/#/c/354014/
Change-Id: I918f6f23ae0bd3542bcfe1bf0c797d4e6aa8f4d9

Merge "Terminate Zaqar websocket endpoint in HAProxy"

Terminate Zaqar websocket endpoint in HAProxy

Note that there was a need to modify different timeouts due
to the nature of how websockets work. The source where the
reasoning and value came from is listed as a comment in the
code.

Related-Bug: #1625448
Co-Authored-By: Brad P. Crochet <brad@redhat.com>
Change-Id: I9de77d5f692c1c9d04e3c59c5de5312e63f81aed

Merge "Swift add_devices.pp IPv6 handling"

Merge "Fix dependencies for HAProxy when certmonger is used"

release 5.1.0

Change-Id: I89fcd94460c995a18fd35800b5736d70687c4f42

Merge "mysql: never add brackets to mysql_bind_host"

Merge "Wait for MongoDB connections before creating replset"

Wait for MongoDB connections before creating replset

Sometimes the mongodb_replset resource fails with:

Could not evaluate: Can't find master host for replicaset tripleo.

This issue is intermittent so the fix cannot be perfectly verified, but
the assumption is that if we wait for MongoDB to be reachable on all
nodes, it will assure that the members will appear to the puppet module
as alive when creating or verifying the replset. If the validation
fails, it should help us uncover which of the members was causing
trouble.

Change-Id: I0bcd0d063a7a766483426fdd5ea81cbe1dfaa348
Closes-Bug: #1624420

Swift add_devices.pp IPv6 handling

Add brackets to IPv6 addresses before forming $object from $base

Change-Id: I4568d538561a0102b69f331a122d4989333a3bfa
Closes-Bug: #1623096

Merge "Add manila-netapp backend to manila class and tidy up generic"

Add manila-netapp backend to manila class and tidy up generic

This adds support for the manila-netapp backend. The backend
specific config is set tht side. So this change also
tidies up the manila generic config, which is unnecessarily
being duplicated here
( see https://review.openstack.org/#/c/354019/ )

Change-Id: Ic6f8e8d27ca20b9badddea5d16550aa18bff8418

Manage tripleo-ui configuration files with puppet

This commit ensures the tripleo-ui configuration files are present and
are matching the environment.

Change-Id: I0deeffa9026b1f5cd36a9810aaee7832e31c3c93

mysql: never add brackets to mysql_bind_host

Don't add brackets on mysql_bind_host parameter in Galera config.
Having brackets from this parameter works with old version of
Galera but not newest one.
So let's remove them at all, so we can safely upgrade Galera in RDO.

Change-Id: Ic904d4efda162f18ec8dffb91c2f383f54361f41
Closes-Bug: #1622755

Fix dependencies for HAProxy when certmonger is used

Installing the undercloud with generate_service_certificate=True
fails if HAProxy is not pre-installed. This is due to missing
dependency setting on our puppet manifests. We need to specify that
the PEM file needs to be written only if the haproxy user and group
exist (which comes from the package) and that the haproxy frontend
configuration needs to be notified if there are changes in the
certificates.

Change-Id: Iba3030e4489eb31f9c07ab49913687d8b595a91b
Closes-Bug: #1623805

Fix wrong flag name for VNC Proxy in HAProxy

The name was wrong, and so fixing it will actually enable VNC Proxy
when the service is enabled.

Change-Id: I65e90479fd33844b4dcd70c19cec3cd838aeff69
Closes-Bug: #1623796

Merge "Add validations profile for tripleo"

Merge "Enable X-Forwarded-Proto for manila"

Merge "Fill DNS name for haproxy certificates"

Merge "Fix value of ctlplane fqdn fact"

Add validations profile for tripleo

This adds the tripleo::profile::base::validations profile which sets up
the `validations` user and installs the openstack-tripleo-validations
package.

Change-Id: Ib2b1ddcda3a41cb7263171d3024f05ba8bfd2f28

Fix puppet-lint in composable contrail

After landing this new service, there ase some puppet
styles misalignments.

These changes are in favor of start using puppet-lint 2.0.0

2016-09-12 08:55:07.952492 | manifests/network/contrail/analytics.pp:130:WARNING: optional parameter listed before required parameter
2016-09-12 08:55:07.952573 | manifests/network/contrail/config.pp:117:WARNING: optional parameter listed before required parameter
2016-09-12 08:55:07.952604 | manifests/network/contrail/config.pp:118:WARNING: optional parameter listed before required parameter
2016-09-12 08:55:07.952632 | manifests/network/contrail/config.pp:119:WARNING: optional parameter listed before required parameter
2016-09-12 08:55:07.952660 | manifests/network/contrail/config.pp:120:WARNING: optional parameter listed before required parameter
2016-09-12 08:55:07.952688 | manifests/network/contrail/control.pp:95:WARNING: optional parameter listed before required parameter
2016-09-12 08:55:07.952717 | manifests/network/contrail/control.pp:96:WARNING: optional parameter listed before required parameter
2016-09-12 08:55:07.952745 | manifests/network/contrail/control.pp:97:WARNING: optional parameter listed before required parameter
2016-09-12 08:55:07.952773 | manifests/network/contrail/database.pp:37:WARNING: optional parameter listed before required parameter
2016-09-12 08:55:07.952800 | manifests/network/contrail/webui.pp:80:WARNING: optional parameter listed before required parameter
2016-09-12 08:55:07.952828 | manifests/network/contrail/webui.pp:81:WARNING: optional parameter listed before required parameter
2016-09-12 08:55:07.952856 | manifests/network/contrail/webui.pp:82:WARNING: optional parameter listed before required parameter

Change-Id: Id45d2daf49bfd081ceb074a2687306a7ac977da8

Fix value of ctlplane fqdn fact

This fact was being retrieving the value of the hostname for the management
network. We should instead be using a value set explicitly in t-h-t.

Depends-On: Idb3ca22ac136691b0bff6f94524d133a4fa10617
Change-Id: I6fcf7c7853071a9f3377aec475308bc8d10d5b33
Related-Bug: #1621742

Enable X-Forwarded-Proto for manila

This is necessary so the middleware in manila can set the protocol
correctly in case we're terminating SSL in HAProxy.

Depends-On: Ice78b0abceb6a956bb8c1dc6212ee1b56b62b43f
Change-Id: Iedaabaf1379466c22e3b9bb2307e940459d26de7

Fill DNS name for haproxy certificates

This sets the subject alt name field for the certificates we
auto-generate, which will remove the security warnings we constantly
see in the undercloud. This is the proper way to set certificates,
since the usage of the CN as a replacement for the subjectAltName is
being deprecated (very slowly).

Change-Id: I475cbffd47425e850902838eec06bf461df2acd0
Closes-Bug: #1622446

Merge "Added Contrail Composable Services"

Merge "Add Ceph RGW profile"

Merge "Add class to write overcloud VIPs into /etc/hosts"

gnocchi: move statsd and metricd at step5

Gnocchi statsd and metricd require Keystone resources to be in place
when using Swift backend, because those services will try to access to
Swift containers.

To do so, we want to move the service start at step 5 instead of 4 and
also require Keystone resource to be managed before starting the
services.

Change-Id: Ie5bc1481a8700c7cd080a76d0978146a84825767
Closes-Bug: #1621164

Merge "Manage Redis VIP when deploying with keepalived"

Merge "Include heat base profile outside of step"

Merge "Add Ceph RGW listener to HAProxy"

Merge "Convert ringbuilder to build devices array"

Add class to write overcloud VIPs into /etc/hosts

This will be useful to start using FQDNs instead of IPs if we don't
have a DNS set-up. This will effectively grab a map of hosts to add
and create them with puppet's host resource.

Change-Id: I1bdb2701dfb3e7ef072e674c9882d3be5af7296c

Merge "Map ctlplane network to management fqdn"

Merge "Make fqdn fact names match service net map"

Merge "Ironic: update included drivers"

Merge "Ironic: manage PXE environment for conductors"

Map ctlplane network to management fqdn

We don't really expose a management network, but a ctlplane one. So
when someone requests the ctlplane fqdn, we'll give the management
one. Since that's what we actually fill in the hosts.

Change-Id: Iede5a06d73206f98f283729f1879484f09d4012a

Make fqdn fact names match service net map

This will make it easier to use and consume from t-h-t, making their
use more dynamic. This is still safe to do, since these are not used
by anything yet.

Change-Id: I4d603938c568320d4ae1cc7a396070ad4ac62132

Merge "updates to fluentd support"

Ironic: update included drivers

Configure drac, ilo and ssh drivers out of box.
Remove deprecated ironic::drivers::deploy.

This change brings the default driver list closer to one of undercloud.

Change-Id: I8b9a136a0ff22916d7c468bbb0df7248bc35a5c2
Partially-Implements: blueprint ironic-integration

Merge "Make service profiles default to rabbitmq_node_ips"

Merge "Plumgrid helper"

Merge "Opencontrail vrouter profile"

Plumgrid helper

Extra settings that need to be applied for plumgrid where compute
nodes are running.

Change-Id: Ided5483f0f36f0efd5a09112832d07f028a2a7f9

Manage Redis VIP when deploying with keepalived

Previously we weren't creating Redis VIP in keepalived, causing Redis to
be unusable in non-HA deployments.

Change-Id: I0bb37f6fb3eed022288b2dcfc7a88e8ff88a7ace
Related-Bug: #1618510

Convert ringbuilder to build devices array

Currently we have some hard-coded mangling in t-h-t but we
instead need to build the array based on the nodes running swift
storage, combined with the SwiftRawDisks parameter.

This will enable running SwiftStorage on nodes other than Controller
and SwiftStorage roles, and is required for custom-roles due to
the hard-coded stuff in the role templates and overcloud.yaml

Change-Id: I11deed1df712ecccf85d36a75b3bd2e9d226af36
Partially-Implements: blueprint custom-roles

Merge "Create memcache_servers list in swift proxy profile"

Make service profiles default to rabbitmq_node_ips

Instead of hard-coded yaml aliases in t-h-t, make each service
profile that requires rabbit default to the list of rabbit ips.

Note this could still be extended in future to e.g enable per
service rabbit clusters, but the default is to lookup the
hiera which should be logically equivalent to current t-h-t.

Change-Id: Ie53c93456529420588eb1927703ea91b54095d87
Partially-Implements: blueprint custom-roles

Release puppet-tripleo 5.0.0

This is the first tag for newton and OpenStack Infra will create a
tarball from it.

Change-Id: I7a98743bbbd1879426790a9821cadfa7ecbd5d22

Merge "midonet: update neutron parameter"

Merge "Write restart flags to restart services only when necessary"

Create memcache_servers list in swift proxy profile

Instead of mangling this list in t-h-t, generate the list derived
from memcached_node_ips, which is now always set when memcached
is deployed, regardless of the role.

Note the port default is hard-coded as this is already hard-coded
(in two places) in t-h-t, but we can override it if this changes
in future.

We need this to remove the swift specific stuff out of overcloud.yaml
to enable custom-roles.

Change-Id: Ic8872e5e51732874ca5b93bff5efd3e7ed75bc31
Partially-Implements: blueprint custom-roles

Merge "Default haproxy listeners activation on hiera service _enabled"

Add Ceph RGW profile

This patch adds tripleo::profile::base::ceph::rgw

Co-Authored-By: Giulio Fidente <gfidente@redhat.com>
Change-Id: Ib69b8171321284bb64e348d45b7eea2f00f8d506

Ensure iscsi_ip_address is in brackets if IPv6

Change-Id: I787becce343b38e6c27c9a1b937b47c0aefb034d
Related-Bug: 1618930

midonet: update neutron parameter

Update neutron parameter to lookup the right variable in Hiera.

Change-Id: I7b93e8d308f2ff2fb3a2083af75140dfa62b3ad8

Merge "Reload HAProxy on refresh"

Add Ceph RGW listener to HAProxy

Shares the same (ssl)port with Swift Proxy

Change-Id: I2e1de1a3fa6ad62895a1e972e43858f23c08bbea

Default haproxy listeners activation on hiera service _enabled

Change-Id: I5c620ba717f782b39c599aff24b4ac56fb695a04

Added Contrail Composable Services

changed parameter order

for tripleo heat templates see https://review.openstack.org/#/c/346799/

Implements: blueprint contrail-services

Change-Id: I8de63b6e21f8fdf3c2fd13bf5475cce4a85311d6

Ironic: manage PXE environment for conductors

Change-Id: Icb9633134114041bbd497e7652482dd5d34c9327
Depends-On: I8b83eff694316755e4dd2dbcde7b569472893bc5
Partially-Implements: blueprint ironic-integration

Merge "Defaults to ceph_mon_node_ips and ceph_mon_node_names"

Merge "Handle galera_node_names being an array"

Write restart flags to restart services only when necessary

Write restart flag file for services managed by Pacemaker into
/var/lib/tripleo/pacemaker-restarts directory. The name of the file must
match the name of the clone resource defined in pacemaker. The
post-puppet restart script will restart each service having a restart
flag file and remove those files.

This approach focuses on $pacemaker_master only (we don't want to
restart the pacemaker services 3 times when we have 3 controllers), so
it relies on the assumption that we're making the matching config
changes across the pacemaker nodes.

Change-Id: I6369ab0c82dbf3c8f21043f8aa9ab810744ddc12

Defaults to ceph_mon_node_ips and ceph_mon_node_names

Uses the ceph_mon_node_ips and _names from all_nodes.yaml which
are formatted as arrays.

Also deprecates ceph_ipv6 parameter as will determine if ipv6
using is_ipv6_address.

Change-Id: I481dd2cd2cde7f1491080e6d9c7dcb7047c22de1

Merge "Add ML2/OVN support for neutron profile"

Merge "Configure the numvfs for SRIOV interfaces"

Merge "Removing WARNING: line has more than 140 characters in puppet-tripleo profiles"

Merge "Configure keystone endpoints in service profile"

Configure the numvfs for SRIOV interfaces

This patch shall create VFs via the PCI SYS interface.
Default value : $::os_service_default
Sample Format : ['eth0:4','eth2:128']
For values as in sample format, the sriov_numvfs config files
for eth0 and eth2 will have the values 4 and 128 respectively
The SR-IOV numvfs configuration shall be persisted in /sbin/ifup-local
so that, during the bootup of the compute nodes, the numvfs
configuration will be restored.

Change-Id: I7450b904475bdf46498d9af633416b3eba12f761
Implements: blueprint tripleo-sriov
Signed-off-by: karthik s <ksundara@redhat.com>

Reload HAProxy on refresh

If the configuration for the HAProxy class or any of the frontend
endpoints has changed, we explicitly execute a reload on HA setups.
This is useful since on updates of HA setups we set pacemaker on
maintenance mode, and thus we are unable to refresh HAProxy's
configuration; The aforementioned detail is problematic, since some
puppet configurations rely on HAProxy taking into account the
configuration.  An example of this is changing a port in the endpoint
map or enabling SSL.

Change-Id: I7f26257fb43146afebca928f5498ee2174178063