Ensure basic Ceph configuration is performed by RBD mirror

Previously we missed to perform the basic Ceph client configuration
on a node where only the RBD mirror service was deployed.

Change-Id: Ie6a4284a88714bcee964a38636e12aa88bb95c9d
Co-Authored-By: Michele Baldessari <michele@acksyn.org>
Related-Bug: #1652177

Merge "Clean TLS proxy-related setup for glance api profile"

Merge "Make sure we bind the rabbit inter-cluster to a specific interface"

Merge "pacemaker remote profile support"

Clean TLS proxy-related setup for glance api profile

Since the commit this depends on sets it up via hieradata, the
conditions here are no longer needed.

bp tls-via-certmonger
Change-Id: I66956f0b85e8e3bf1ab9562221d51d51c230b88e
Depends-On: I693213a1f35021b540202240e512d121cc1cd0eb

Merge "Use TLS proxy for Glance API's internal TLS"

Merge "updates to collectd support"

pacemaker remote profile support

This support enables a base profile called pacemaker_remote which will
allow the operator to automatically configure the pacemaker_remote
service on such nodes. This manifest also automatically adds any
pacemaker_remote nodes to the pacemaker cluster.

Depends-On: I0c01ecb7df1a0f9856fdc866b9d06acf0283fa4f
Depends-On: Ic0488f4fc63e35b9aede60fae1e2cab34b1fbdd5
Change-Id: I92953afcc7d536d387381f08164cae8b52f41605

Merge "Add retries to the ::pacemaker::stonith property"

Merge "Implement Nova ec2api profile"

Merge "Remove last bits of Glance Registry"

Merge "Add Ceph RBD mirror Pacemaker profile"

Use TLS proxy for Glance API's internal TLS

This uses the tls_proxy resource added in the previous commit [1] in
front of the Glance API server when internal TLS is enabled. Right
now values are passed quite manually, but a subsequent commit will use
t-h-t to pass the appropriate hieradata, and then we'll be able to clean
it up from here.

Note that the proxy is only deployed when internal TLS is enabled.

[1] I82243fd3acfe4f23aab373116b78e1daf9d08467

bp tls-via-certmonger
Depends-On: Id5dfb38852cf2420f4195a3c1cb98d5c47bbd45e

Change-Id: Id35a846d43ecae8903a0d58306d9803d5ea00bee

Remove last bits of Glance Registry

Glance Registry has been removed in TripleO. So we can clean
puppet-tripleo and remove last bits that used to deploy this service.

Change-Id: Iea8f6340349ab366606205305a3ec9a6e4f11ba6

Merge "Add haproxy firewall rules for galera and redis"

Merge "Add a noop_resource function"

Add a noop_resource function

A function to create noop providers (set as the default) for the named
resource. This works alongside of 'puppet apply --tags' to disable
some custom resource types that still attempt to run commands during
prefetch, etc.

Change-Id: Icabdb30369c8ca15e77d169dc441bee8cfd3631f

Merge "Add support for fence_ironic fencing agent."

Merge "cinder: move glance params into common"

Merge "Fix typo in endpoint.pp"

Merge "Move nova::placement to common nova manifest"

Implement Nova ec2api profile

Change-Id: If4b091e1ca02f43aa9c65392baf8ceea007b7cfb

Merge "Add base profile for Octavia services"

Merge "Remove unused variable in certmonger/mysql manifest"

Make sure we bind the rabbit inter-cluster to a specific interface

Currently the inter-cluster communication port listens to all ip
addresses:
tcp 0 0 0.0.0.0:25672 0.0.0.0:* LISTEN 25631/beam.smp

In order to limit it to listen only to the network assigned to rabbitmq
we need to add the following:
{kernel, [
    ...
    {inet_dist_use_interface, {172,17,0,16}},
    ...
  ]}

In order to do the conversion from an ip address to the Erlang
representation we add a function that takes a string and returns a
converted output. The (~400 randomly generated) IPv6/4 addresses at [1]
have been parsed both via erl's built-in inet:parse_address() function
and our ruby implementation. All converted ip addresses resulted in the
same output [2], [3]. The only difference is that Erlang's parse_address()
considers network ip addresses (e.g. 10.0.0.0) invalid whereas the ruby
function does not. This should not be a problem as the use case here is
to bind a service to a specific ip address on an interface and if
anything we likely prefer the less strict behaviour, given that at least
in theory it is perfectly valid for an interface to have a network
address assigned to it.

[1] http://acksyn.org/files/tripleo/ip-addresses.txt
[2] http://acksyn.org/files/tripleo/ip-addresses-ruby.txt
[3] http://acksyn.org/files/tripleo/ip-addresses-erl.txt
Change-Id: I211c75b9bab25c545bcc7f90f34edebc92bba788
Partial-Bug: #1645898

Fix typo in endpoint.pp

TrivialFix

Change-Id: I8ea2f108d6f98167217b31284c84dbdf23f55f36

cinder: move glance params into common

glance params are also used by cinder-volume. This patch aims to use
cinder::glance in common roles for cinder, so we can split cinder api
and cinder volume.

Depends-On: Id81c029318016068481dd614ed62cc4bfaf0f3e8
Change-Id: I9703efb38c2a3166c7f21c5c1b942f33abb9e76c

Move nova::placement to common nova manifest

nova::placement needs to be declared on more than placement api node,
because credentials are used by different services (at least
nova-compute now).
This patch moves the class to base/nova.pp, at the same step.
So compute nodes will have the credentials and will be able to use
Placement API on multinode environments.

Change-Id: Iada8e9fcccec7dbfe7ac0ec0f9ec6eac1581290e

Merge "Adds etcd"

Merge "Implement NTP profile"

Add base profile for Octavia services

Adds initial base profile and profile for API service.

Partially-implements: blueprint octavia-service-integration
Change-Id: I77783029797be4fb488c6e743c51d228eba9c474

Implement NTP profile

This puppet manifest will install and configure by default
the NTP service. It will also make sure chrony is purged, because it's
present on the EL7 images.

Change-Id: If3cf7d9690001b051465ea25cf8a8c3bc6f7c33a

Add retries to the ::pacemaker::stonith property

Let's set a default number of retries also for the stonith
property creation. Just like we do for most of the composable
HA resource creation.

Change-Id: Ie6e19cc838a3f45100f6c98a350bdf6a37d40590
Depends-On: I20098c5d69cde356fe79f6d8dbdc03ae42ecb3ef

Adds etcd

etcd is used by networking-vpp ML2 driver as the messaging mechanism. This
patch adds etcd service which can be used by other services.

Implements: blueprint fdio-integration-tripleo

Change-Id: Idaa3e3deddf9be3d278e90b569466c2717e2d517
Signed-off-by: Feng Pan <fpan@redhat.com>

Use network entries for nova placement

Having these available from t-h-t, we should be able to use these now.

Change-Id: I7272df25c4fdba152fe15d40444311bc35ace4d9
Depends-On: Id0d34c7c3939ee81126ffd26d0658c0a87805a44

Merge "Remove legacy flag and use composable interface"

Add Ceph RBD mirror Pacemaker profile

This change adds a profile for the Ceph RBD mirror service, which
should be managed by Pacemaker to make sure there is always a single
instance running.

Change-Id: Ic63dc5cffece38942d305f538f71dd58a5d50789
Partial-Bug: #1652177

Remove legacy flag and use composable interface

We dont need this flag anymore as we will disable api
using composable interface instead.

See I67900f7e6816212831aea8ed18f323652857fbd3

Closes-bug: #1656364

Change-Id: Ib6aea02bde6ad7e5223336579f0a99d6cd3ee98f

updates to collectd support

Based on Steve Hardy's comments in
https://review.openstack.org/#/c/413748/, we need to move handling of
the list of plugins out of the heat templates and into puppet.  This
module now uses the service_names variable to look up information on
per-service collectd plugins.

Change-Id: Ie5fba01e1f91ffdc39eb0eb1be9b1464c797b04f

Do not depend on bootstrap_nodeid for any pacemaker profile

When we create a pacemaker resource it must happen from a single node.
If it happens from multiple nodes an immediate error will be returned by
pcs.

For the pacemaker roles we enforce this by leveraging the recently
introduced <SERVICE_NAME_bootstrap_short_node_name> which gives us
the first hostname per-service, regardless of the role.
(introduced via I03e8685f939e8ae1fcd8b16883b559615042505d)

With this approach if a pacemaker service belongs to two different
roles (say role Controller on node A and role galera on node B), it
will only create the resource from one of the two and not both (which
would return an error).

Only setting Partial-Bug for this one, because it addresses the issue
from the pacemaker resource creation POV (which is always affected). But
the issue itself is a race that we're theoretically affected by since
the composable roles work landed. While I have tried to fix the more
general case in previous attempts, I think it is best if we start a
discussion on how to fix it, because each approach has a bunch of
potential drawbacks and is quite invasive on how we do things. A
discussion slot for this has been proposed for the Atlanta PTG.

Change-Id: I662398cab60d523d204b57a5674ca8f5c0f2e68a
Partial-Bug: #1615983

Merge "Set ceph key when using manila ceph backend"

Merge "Call VF configuration from udev rules"

Merge "Add missing Swift base class"

Merge "Include swift::storage::loopbacks class"

Merge "Set memcache_servers in /etc/swift/object-expirer.conf"

Merge "Enable object-expirer on Swift proxy profile"

Merge "Implement Nova Placement API profile"

Merge "Include ::heat at step 3"

nova: disable ::nova::db::sync_cell_v2

This feature is broken for us now and there is work in progress in Nova
to improve nova cell deployment.
Until it's fixed upstream, we need to disable cells deployment for now,
so we can promote our CI.

Change-Id: I379ba9e94a92ed225a03a67fc975b542447a9c8b
Related-Bug: #1649341

Include ::heat at step 3

Since we include ::heat::keystone::domain at step 3, and that class
requires heat.conf since it uses the heat_config resource, we need to
also include ::heat at step 3. The ::heat class will take care of
installing openstack-heat-common that provides heat.conf.

Closes-Bug: #165389
Partially-implements: blueprint split-stack-software-configuration
Change-Id: I5ba34ca96ca84d3f1cf3785ed8bbef6720f7bd42

Set ceph key when using manila ceph backend

Manila ceph driver reads ceph's client configuration
(keyring is the most important) from ceph.conf file
(or any other file set by cephfs_conf_path). ceph.conf
should be updated with keyring location.

If ceph is deployed by tripleo then also manila ceph key
is added into ceph and ceph filesystem is created.

Depends-On: I18436a64fc991b9e697a1d79e369ac110cf8fe20
Change-Id: Iac4a260af6738ed6afd4bcb107221a736d07c1b5
Partial-Bug: #1644784
Closes-Bug: #1646147

Add support for fence_ironic fencing agent.

We now support creating Pacemaker stonith fencing using the fence_ironic
fencing agent.

Partial-Bug: #1649695

Depends-On: I315f9bb78a1296f691dadaeb39fb0a48df1d5f06
Change-Id: I596eef68820f16516feeda147d3689f0da85d7ac

Implement Nova Placement API profile

Allow TripleO to deploy Nova Placement API with a new profile.

Change-Id: I5e25a50f3d7a9b39f4146a61cb528963ee09e90c

Merge "Rspec tests for nova profiles"

Merge "Add Docker Registry profile"

Merge "Move nova cells db sync into nova-api profile"

Merge "Add support for not using admin_token in Ceph/RGW"

Rspec tests for nova profiles

This change fixes the hiera calls in the base nova profile to use the
parameter rather than continue to call hiera. Additionally this change
includes basic test coverage for the various nova profiles.

Change-Id: If393606eeb3c39ed3a2655bd89c5c276a9cf106e

Move nova cells db sync into nova-api profile

Having the db_sync code live in the mysql profile causes
coupling that doesn't work unless your MySQL server has the
latest Nova packages installed. This may not work for some
baremetal setups (where an isolated database exists) or
with containers where the MySQL container definately doesn't
have nova packages installed.

Moving this code into the nova-api role also matches where we
were already db syncing the normal API database so it should be
fine and safe.

Change-Id: Ib625e2ac9c8d6bd1d335c58e291facc4ea5839ae
Co-Authored-By: Alex Schultz <aschultz@redhat.com>

Add support for not using admin_token in Ceph/RGW

This patch add the option for using Keyston V3 authention with
the Ceph/RGW service instead of using the admin_token

Change-Id: I42861afcac221478dcb68be13b6dbc2533a7f158

Use THT to define cell0 creation

As part of the initial implementation, we hard coded the cell0 setup in
puppet. This change switches it to leverage the defined value in the
tripleo-heat-templates

Change-Id: I896a124d91d06ca85b77c9fbe24fd252815a2d28
Depends-On: I08119d781ef60750cc19753bc03190e413159925
Related-Bug: #1649341

Add Docker Registry profile

The profile was moved out of instack-undercloud puppet manifest and
changed to install a v2 Docker registry rather than the old, deprecated
v1 registry.

Change-Id: Iecf7a4c7e86349e6ecaa0a8ee6d37223e3af7862

Add haproxy firewall rules for galera and redis

This change adds haproxy rules for galera and redis.  They are not there
because these haproxy entries do not use the ::tripleo::haproxy::endpoint
function which does this automatically.

Rabbit does not need them because it does not go through haproxy.

Closes-Bug: #1654280
Change-Id: If995d5c36341f3c089cbda9a0827ea28c19c796b

Merge "Ensure panko::db class is initialized"

Merge "Fix puppet warning for empty value"

Ensure panko::db class is initialized

Change-Id: If2f6559a7d76b26fa9b0a3ecfa2e2101aae93e3c

Merge "glance/api: cleanup on dbsync"

Fix puppet warning for empty value

Unknown variable: 'haproxy_ssl_firewall_rules' when public_ssl_port is
empty.
Fixing it by setting an empty hash in this case.

Change-Id: If864732262852ef79ebb91ee77902c86b847072a

firewall: add IPv6 support

This patch adds support for ip6tables rules in TripleO, in a intuitive
and flexible fashion.

1) Default firewal rules 'source' parameter to undef.
   It was 0.0.0.0/0 before but now undef, so we don't need complex logic to
   support ipv6 rules. undef will create empty source, which is the same as
   0.0.0.0/0 or ::/0.

2) Automatically convert icmp rules to ipv6-icmp for ipv6 rules.

3) Automatically create IPv6 rules like it's for IPv4.

4) Only create rules that can be created, depending on
   source/destination ip version.

This patch should be backward compatible and adds a layer of security
for IPv6 deployments. If previous deployments were manually creating
Ipv6 rules, it's possible that this patch will override them. Our
framework is able to configure any rule, so it shouldn't be a problem
for upgrades.

Co-Authored-By: Ben Nemec <bnemec@redhat.com>
Closes-Bug: #1654050
Change-Id: I98a00a9ae265d3e5854632e749cc8c3a1647298c

glance/api: cleanup on dbsync

Cleanup some code that were useful in the effort of removing Glance
Registry service from TripleO.

Change-Id: I2a4bdc413e953b8b713d9a12bba74ca18487fe0d

Merge "Adds a profile for the Ceph MDS service"

nova-api: switch to new wsgi class

nova::wsgi::apache was deprecated in ocata in favor of
nova::wsgi::apache_api.
Let's switch to it.

Change-Id: I59b3b36be33268fa6e261a7db3c4aa8e8e712ffb
Depends-On: I5fc99062d349597393e2248c66f2d863029c7730

Merge "Fixes missing haproxy firewall rules for OpenDaylight"

Adds a profile for the Ceph MDS service

This change adds a profile to deploy the Ceph MDS service and some
basic unit tests for it.

Depends-On: I558b43deaa9b243c54f3d7ae945f11dd4925eb5d
Change-Id: Iaecc3ff7acb851776c5057c42a5a513a70425d2c
Partial-Bug: #1644784

Fixes missing haproxy firewall rules for OpenDaylight

This migrates the haproxy config for ODL to use the
tripleo::haproxy::endpoint class.  This class automatically configures
firewall rules for each haproxy endpoint.  Also removes listening on
public network for IP and adds listening on ctlplane network for admin
access.

Partial-Bug: 1651476

Change-Id: I1f2af2793d040fda17bf73252afe59434d99f31f
Signed-off-by: Tim Rozet <trozet@redhat.com>

Sync the db as part of the glance-api install

The glance database should be created as part of the glance-api service
installation and not the registry. Move the db_sync param to the
glance-api class call.

Change-Id: Ib9f511219e8cb9a7322745b6bd7c4f9c9cc0c198

Merge "Adds ability to populate SSH Banner text"

Merge "Add the ml2_odl section when using opendalight_v2"

Merge "Don't include api/scheduler manifests on manila share service set up"

Merge "Add fossw of networking-fujitsu support to puppet-tripleo"

Merge "Add cell_v2 setup for nova"

Merge "Avoid Yum/RPM prefetch in norpm provider"

Merge "Include nova::compute::libvirt::qemu from the libvirt profile"

Avoid Yum/RPM prefetch in norpm provider

When package installation is disabled we still prefetch packages.
This disables the package prefetch by returning an empty array
which should be fine in the normal case and fixes issues when
running puppet in some docker containers.

Change-Id: Ia483c5f8500b804ba37a80e9ca1ec9c038f0a867

Don't include api/scheduler manifests on manila share service set up

Manila pacemaker manifest (which sets manila share service only)
includes also manila api and scheduler manifests. There is no
reason for this. Also it causes that on whichever node manila share
service runs also manila api and scheduler services are started.

Change-Id: Ia1b39ef36c5bc34813cd6430b69ad9b698acc3cf
Closes-Bug: #1653500

Add the ml2_odl section when using opendalight_v2

Add the option to add the section of ml2_odl
to ml2_conf.ini when opendaylight_v2 mechanism driver is used

Change-Id: I2a1c5097614e47cc09e43bbc77305a0548d54baa

Merge "Fix puppet version for requirements in metadata"

nova: use transport_url for rabbitmq

Configure Nova with new Oslo Messaging parameters for RabbitMQ.

Note: parameters are renamed to be standard, so it will help a future
transition to another backend in TripleO.

Change-Id: Ia67a4dbe5b2bd12c45308a5581f96d0457b8e018

Merge "Add basic structure for ReNo"

Add cell_v2 setup for nova

We need to run the basic cell v2 setup for nova as it is required for
Ocata.

Change-Id: I693239ff5026f58a65eb6278b1a8fcb97af4f561
Depends-On: I43ba77cd4c8da7c6dc117ab0bd53e5cd330dc3de
Depends-On: I9462ef16fd64a577c3f950bd121f0bd28670fabc
Closes-Bug: #1649341

Merge "add support for collectd"

Merge "[CVE-2016-9599] Enforce Firewall TCP / UDP rules management"

Merge "Ensure package updates don't happen unexpectedly"

Merge "HPELeftHandISCSIDriver support for cinder"

Merge "Add TLS proxy resource"

Merge "Split ovn plugin and northd configuration"

[CVE-2016-9599] Enforce Firewall TCP / UDP rules management

This closes CVE-2016-9599.

1) Sanitize dynamic HAproxy endpoints firewall rules

Build the hash of firewall rules only when a port is specified. The
HAproxy endpoints are using TCP protocol, which means we have to specify
a port to the IPtables rules.
Some services don't have public network exposure (e.g. Glance Registry),
which means they don't need haproxy_ssl rule.
The code prepare the hash depending on the service_port and
public_ssl_port parameters and create the actual firewall rules only if
one of those or both parameters are specified.
It will prevent new services without public exposure to open all traffic
because no port is specified.

2) Secure Firewall rules creations

The code won't allow to create TCP / UDP IPtables rules in INPUT
or OUTPUT chains without port or sport or dport, because doing it would
allow an IPtables rule opening all traffic for TCP or UDP.
If we try to do that, Puppet catalog will fail with an error explaining
why.
Example of use-cases:
- creating VRRP rules wouldn't require port parameters.
- creating TCP or UDP rules would require port parameters.

3) Allow to open all traffic for TCO / UDP (when desired)

Some use-cases require to open all traffic for all ports on TCP / UDP.
It will be possible if the user gives port = 'all' when creating the
firewall rule.

Backward compatibility:
- if our users created custom TCP / UDP firewall rules without port
  parameters, it won't work anymore, for security purpose.
- if you users want to open TCP / UDP for all ports, they need to pass
  port = 'all' and the rule will be created, though a warning will be
  displayed because this is insecure.
- if our users created custom VRRP rules without port parameters, it
  will still work correctly and rules will be created.
- TCP / UDP rules in FORWARD chain without port are still accepted.

Change-Id: I19396c8ab06b91fee3253cdfcb834482f4040a59
Closes-Bug: #1651831

Ensure package updates don't happen unexpectedly

I'm seeing this run yum update on deploy, even though hiera
tripleo::packages::enable_upgrade says false.

I assume these are needed because we're getting "false", but I'm
unclear if this is a recently introduced problem (I only noticed it
today as my image has outdated centos packages and it thus hung on
step2 of the deploy.

Change-Id: If09cdde9883f2674dbbc40944be5fe4445caa08e
Closes-Bug: #1652107

Add fossw of networking-fujitsu support to puppet-tripleo

Enable ml2.pp to call networking-fujitsu manifest in puppet-neutron
for fossw ML2 plugin setting.

Change-Id: I044c5812bbc5cd3de4bc33556cffbe5bad8e64cf
Implements: blueprint integration-fossw-networking-fujitsu
Depends-On: I79df6b6a27d95f0c0e2c87207ab80235a4efccfc

Merge "Decouple swift-proxy from ceilometer packages"