Rspec tests for nova profiles

This change fixes the hiera calls in the base nova profile to use the
parameter rather than continue to call hiera. Additionally this change
includes basic test coverage for the various nova profiles.

Change-Id: If393606eeb3c39ed3a2655bd89c5c276a9cf106e

Move nova cells db sync into nova-api profile

Having the db_sync code live in the mysql profile causes
coupling that doesn't work unless your MySQL server has the
latest Nova packages installed. This may not work for some
baremetal setups (where an isolated database exists) or
with containers where the MySQL container definately doesn't
have nova packages installed.

Moving this code into the nova-api role also matches where we
were already db syncing the normal API database so it should be
fine and safe.

Change-Id: Ib625e2ac9c8d6bd1d335c58e291facc4ea5839ae
Co-Authored-By: Alex Schultz <aschultz@redhat.com>

Use THT to define cell0 creation

As part of the initial implementation, we hard coded the cell0 setup in
puppet. This change switches it to leverage the defined value in the
tripleo-heat-templates

Change-Id: I896a124d91d06ca85b77c9fbe24fd252815a2d28
Depends-On: I08119d781ef60750cc19753bc03190e413159925
Related-Bug: #1649341

Merge "Ensure panko::db class is initialized"

Merge "Fix puppet warning for empty value"

Ensure panko::db class is initialized

Change-Id: If2f6559a7d76b26fa9b0a3ecfa2e2101aae93e3c

Merge "glance/api: cleanup on dbsync"

Fix puppet warning for empty value

Unknown variable: 'haproxy_ssl_firewall_rules' when public_ssl_port is
empty.
Fixing it by setting an empty hash in this case.

Change-Id: If864732262852ef79ebb91ee77902c86b847072a

firewall: add IPv6 support

This patch adds support for ip6tables rules in TripleO, in a intuitive
and flexible fashion.

1) Default firewal rules 'source' parameter to undef.
   It was 0.0.0.0/0 before but now undef, so we don't need complex logic to
   support ipv6 rules. undef will create empty source, which is the same as
   0.0.0.0/0 or ::/0.

2) Automatically convert icmp rules to ipv6-icmp for ipv6 rules.

3) Automatically create IPv6 rules like it's for IPv4.

4) Only create rules that can be created, depending on
   source/destination ip version.

This patch should be backward compatible and adds a layer of security
for IPv6 deployments. If previous deployments were manually creating
Ipv6 rules, it's possible that this patch will override them. Our
framework is able to configure any rule, so it shouldn't be a problem
for upgrades.

Co-Authored-By: Ben Nemec <bnemec@redhat.com>
Closes-Bug: #1654050
Change-Id: I98a00a9ae265d3e5854632e749cc8c3a1647298c

glance/api: cleanup on dbsync

Cleanup some code that were useful in the effort of removing Glance
Registry service from TripleO.

Change-Id: I2a4bdc413e953b8b713d9a12bba74ca18487fe0d

Merge "Adds a profile for the Ceph MDS service"

nova-api: switch to new wsgi class

nova::wsgi::apache was deprecated in ocata in favor of
nova::wsgi::apache_api.
Let's switch to it.

Change-Id: I59b3b36be33268fa6e261a7db3c4aa8e8e712ffb
Depends-On: I5fc99062d349597393e2248c66f2d863029c7730

Merge "Fixes missing haproxy firewall rules for OpenDaylight"

Adds a profile for the Ceph MDS service

This change adds a profile to deploy the Ceph MDS service and some
basic unit tests for it.

Depends-On: I558b43deaa9b243c54f3d7ae945f11dd4925eb5d
Change-Id: Iaecc3ff7acb851776c5057c42a5a513a70425d2c
Partial-Bug: #1644784

Fixes missing haproxy firewall rules for OpenDaylight

This migrates the haproxy config for ODL to use the
tripleo::haproxy::endpoint class.  This class automatically configures
firewall rules for each haproxy endpoint.  Also removes listening on
public network for IP and adds listening on ctlplane network for admin
access.

Partial-Bug: 1651476

Change-Id: I1f2af2793d040fda17bf73252afe59434d99f31f
Signed-off-by: Tim Rozet <trozet@redhat.com>

Sync the db as part of the glance-api install

The glance database should be created as part of the glance-api service
installation and not the registry. Move the db_sync param to the
glance-api class call.

Change-Id: Ib9f511219e8cb9a7322745b6bd7c4f9c9cc0c198

Merge "Adds ability to populate SSH Banner text"

Merge "Add the ml2_odl section when using opendalight_v2"

Merge "Don't include api/scheduler manifests on manila share service set up"

Merge "Add fossw of networking-fujitsu support to puppet-tripleo"

Merge "Add cell_v2 setup for nova"

Merge "Avoid Yum/RPM prefetch in norpm provider"

Merge "Include nova::compute::libvirt::qemu from the libvirt profile"

Avoid Yum/RPM prefetch in norpm provider

When package installation is disabled we still prefetch packages.
This disables the package prefetch by returning an empty array
which should be fine in the normal case and fixes issues when
running puppet in some docker containers.

Change-Id: Ia483c5f8500b804ba37a80e9ca1ec9c038f0a867

Don't include api/scheduler manifests on manila share service set up

Manila pacemaker manifest (which sets manila share service only)
includes also manila api and scheduler manifests. There is no
reason for this. Also it causes that on whichever node manila share
service runs also manila api and scheduler services are started.

Change-Id: Ia1b39ef36c5bc34813cd6430b69ad9b698acc3cf
Closes-Bug: #1653500

Add the ml2_odl section when using opendalight_v2

Add the option to add the section of ml2_odl
to ml2_conf.ini when opendaylight_v2 mechanism driver is used

Change-Id: I2a1c5097614e47cc09e43bbc77305a0548d54baa

Merge "Fix puppet version for requirements in metadata"

nova: use transport_url for rabbitmq

Configure Nova with new Oslo Messaging parameters for RabbitMQ.

Note: parameters are renamed to be standard, so it will help a future
transition to another backend in TripleO.

Change-Id: Ia67a4dbe5b2bd12c45308a5581f96d0457b8e018

Merge "Add basic structure for ReNo"

Add cell_v2 setup for nova

We need to run the basic cell v2 setup for nova as it is required for
Ocata.

Change-Id: I693239ff5026f58a65eb6278b1a8fcb97af4f561
Depends-On: I43ba77cd4c8da7c6dc117ab0bd53e5cd330dc3de
Depends-On: I9462ef16fd64a577c3f950bd121f0bd28670fabc
Closes-Bug: #1649341

Merge "add support for collectd"

Merge "[CVE-2016-9599] Enforce Firewall TCP / UDP rules management"

Merge "Ensure package updates don't happen unexpectedly"

Merge "HPELeftHandISCSIDriver support for cinder"

Merge "Add TLS proxy resource"

Merge "Split ovn plugin and northd configuration"

[CVE-2016-9599] Enforce Firewall TCP / UDP rules management

This closes CVE-2016-9599.

1) Sanitize dynamic HAproxy endpoints firewall rules

Build the hash of firewall rules only when a port is specified. The
HAproxy endpoints are using TCP protocol, which means we have to specify
a port to the IPtables rules.
Some services don't have public network exposure (e.g. Glance Registry),
which means they don't need haproxy_ssl rule.
The code prepare the hash depending on the service_port and
public_ssl_port parameters and create the actual firewall rules only if
one of those or both parameters are specified.
It will prevent new services without public exposure to open all traffic
because no port is specified.

2) Secure Firewall rules creations

The code won't allow to create TCP / UDP IPtables rules in INPUT
or OUTPUT chains without port or sport or dport, because doing it would
allow an IPtables rule opening all traffic for TCP or UDP.
If we try to do that, Puppet catalog will fail with an error explaining
why.
Example of use-cases:
- creating VRRP rules wouldn't require port parameters.
- creating TCP or UDP rules would require port parameters.

3) Allow to open all traffic for TCO / UDP (when desired)

Some use-cases require to open all traffic for all ports on TCP / UDP.
It will be possible if the user gives port = 'all' when creating the
firewall rule.

Backward compatibility:
- if our users created custom TCP / UDP firewall rules without port
  parameters, it won't work anymore, for security purpose.
- if you users want to open TCP / UDP for all ports, they need to pass
  port = 'all' and the rule will be created, though a warning will be
  displayed because this is insecure.
- if our users created custom VRRP rules without port parameters, it
  will still work correctly and rules will be created.
- TCP / UDP rules in FORWARD chain without port are still accepted.

Change-Id: I19396c8ab06b91fee3253cdfcb834482f4040a59
Closes-Bug: #1651831

Ensure package updates don't happen unexpectedly

I'm seeing this run yum update on deploy, even though hiera
tripleo::packages::enable_upgrade says false.

I assume these are needed because we're getting "false", but I'm
unclear if this is a recently introduced problem (I only noticed it
today as my image has outdated centos packages and it thus hung on
step2 of the deploy.

Change-Id: If09cdde9883f2674dbbc40944be5fe4445caa08e
Closes-Bug: #1652107

Add fossw of networking-fujitsu support to puppet-tripleo

Enable ml2.pp to call networking-fujitsu manifest in puppet-neutron
for fossw ML2 plugin setting.

Change-Id: I044c5812bbc5cd3de4bc33556cffbe5bad8e64cf
Implements: blueprint integration-fossw-networking-fujitsu
Depends-On: I79df6b6a27d95f0c0e2c87207ab80235a4efccfc

Merge "Decouple swift-proxy from ceilometer packages"

Merge "Add networking-fujitsu support to puppet-tripleo"

Merge "Do not use hardcoded controller_node_names when setting up the cluster"

Adds ability to populate SSH Banner text

A puppet manifest to allow the toggle of 'Banner' in sshd_config
and enable population of an SSH login banner needed for security
compliance such as DISA STIG

If `Bannertext` is set as a parameter, the `Banner` key within
sshd_config is toggled to `/etc/issue` and the content is copied
into the `/etc/issue` file

Change-Id: Ie9f8afdfa9930428f06c9669fedb460dc1064d5e
Closes-Bug: #1640306

Decouples neutron services from OpenDaylight API service

Removes including Neutron services in the OpenDaylight API service.
This was breaking custom roles when splitting up OpenDaylight and Neutron
into different roles.  Also, references to "controller" are removed
because with custom roles OpenDaylight could be isolated to any role
type.  The 'bootstrap_nodeid' still works with any role, and only
resolves to the first node in the series of nodes for that role type.

Partial-Bug: 1651499

Change-Id: I418643810ee6b8a2c17a4754c83453140ebe39c7
Signed-off-by: Tim Rozet <trozet@redhat.com>

Add TLS proxy resource

some services need a terminating proxy to do TLS on their main
interfaces, to address this, we use httpd's mod_proxy and make it listen
in front of these services with an appropriate certificate.

bp tls-via-certmonger

Change-Id: I82243fd3acfe4f23aab373116b78e1daf9d08467

Merge "Disable legacy ceilometer api by default"

Merge "Drop vip_hosts"

Merge "Fix a typo in haproxy.pp"

Merge "Add tripleo::ui rspec tests"

Include nova::compute::libvirt::qemu from the libvirt profile

This is useful to customize the libvirt/qemu.conf limits when deploying
a large overcloud or one with many Ceph OSDs.

Change-Id: I258afd3ee6633e4b2ebc45aa8611be652476be0c
Depends-On: I5fa423a4b212d14f6e9ff6a270931b569558b54e

add support for collectd

This is the glue between the collectd composable service in
tripleo-heat-templates and the puppet-collectd module.

Change-Id: I7e899e3af870b04dcd45503bd322278997fa53d0

Add networking-fujitsu support to puppet-tripleo

Enable ml2.pp to call networking-fujitsu manifest in puppet-neutron.
The implementation in puppet-neutron is in progress separately.

Change-Id: I5eb2c2a9c50b5991d62f4b6d74b83351c86b02de
Implements: blueprint integration-networking-fujitsu
Depends-On: I37a502b43eb7d91bfe20625248ed117eae3ca535

Decouple swift-proxy from ceilometer packages

This patch updates the swift proxy so that it only depends
on ceilometer if the ceilometer_api_enabled all-nodes-data hiera
setting has been set.

Also removes a parameter dependency where the
tripleo::profile::base::swift::proxy class was referencing
a puppet-ceilometer value from hiera (which can
also cause ceilometer dependencies).

Depends-On: Ief5399d7ea4d26e96ce54903a69d660fa4fe3ce9

Change-Id: I8d9f69f5e9160543b372bd9886800f16f625fdc6
Closes-bug: #1648736

Merge "Changes default MidoNet API port on HAProxy"

Disable legacy ceilometer api by default

Ceilometer api is deprectaed in Ocata. Lets disable by default.
This can still be enabled by setting enable_legacy_ceilometer_api
param.

Change-Id: Iffb8c2cfed53d8b29e777c35cee44921194239e9

Release ocata-2

6.1.0 will be ocata-2.

Change-Id: Ic5c4e00135a1e876e755e6ada94abb42dd29f46a

HPELeftHandISCSIDriver support for cinder

Cinder Backend configuration support for
HPELeftHandISCSIDriver for VSA storage

Change-Id: Ia7e5f3d436283f7949b0eb8f109b3dc0309af4f5

Merge "Add cinder profile spec tests"

Merge "Delete MidoNet deprecated classes and their tests"

Do not use hardcoded controller_node_names when setting up the cluster

Currently we chose the pacemaker cluster node by simply taking
hiera('controller_node_names'). We should instead use the
pacemaker_short_node_names array which is built dynamically
from all the nodes that include the pacemaker service.

Change-Id: I0a3e4acaab11e078da5eeb2ef2adde5387785927

Create Glance's database if glance-api is enabled

Instead of checking for glance_registry_enabled, we should be checking
for glance_api_enabled. The glance-api v1 depends on the registry, which
means the database will be created but glance-api v2 doesn't which means
that not deploying the registry would result in the glance database not
being created. On the other hand, glance-registry is never deployed
without glance-api

Change-Id: Ief25dafb65f7a043fbb3d16f1d7ef834c9947a93

Delete MidoNet deprecated classes and their tests

MidoNet no longer uses the API component. It has been renamed/refactored
to "cluster" as it can be seen on the docs at
https://blog.midonet.org/introducing-midonet-cluster-services/

Also there is no need to have a Cassandra and Zookeeper dedicated
classes, as we leverage this through the use of the midonet_openstack
puppet module.

Change-Id: I2f17aeeac2d1b121be0d445ff555320d5af5d270
Partial-Bug: #1647302

Add tripleo::ui rspec tests

Change-Id: I2eb5b84dbeedde58153bceb707fd15cce8f03d5e

Add cinder profile spec tests

This change adds rspec testing for the cinder profiles with in
puppet-tripleo. Additionally while testing, it was found that the
backends may incorrectly have an extra , included in the settings
for cinder volume when running puppet 3.  This change includes a fix
the cinder volume backends to make sure we are not improperly
configuring it with a trailing comma.

Change-Id: Ibdfee330413b6f9aecdf42a5508c21126fc05973

Merge "Remove unused pacemaker profiles"

Merge "Add verify required and CA bundle to haproxy"

Add basic structure for ReNo

ReNo [1] is the release management tool in OpenStack.

This patch adds the basic structure to start using it for doc
builds in puppet-tripleo.

* Update .gitignore
* Add a basic note "use-reno"
* Add releasenotes/ dir and basic files
* Add python files: setup.cfg, setup.py, test-requirements.txt and
  tox.ini.

  [1] http://docs.openstack.org/developer/reno

Change-Id: Idc9a30ab632c8e2ca794fb10431cdefd5d861d14

Fixes typo in sriov_numvfs releasenotes

Change-Id: I729702a5326d74ad35485fa7276af45e2223ec5f

Merge "Update ceilometer collector ipv6 handling"

Merge "Show team and repo badges on README"

Merge "Use FQDNs for RabbitMQ's cluster configuration"

Merge "Use FQDNs for the services' RabbitMQ configuration"

Add verify required and CA bundle to haproxy

This only takes effect is internal-tls is used, and forces haproxy to
do proper verifications of the SSL certificates provided by the
servers.

bp tls-via-certmonger
Change-Id: Ibd98ec46dd6570887db29f55fe183deb1c9dc642

pacemaker: create Mysql_user once Galera is ready (puppet4)

Puppet 4 ordering make things more strict in catalog, which is good.
Resources have to be orchestrated or Puppet will take them in the order
they are found in catalog.

This patch makes sure we create MySQL users only when Galera is actually
ready.

Closes-Bug: #1645787
Change-Id: I536a1a128c3a7eca49bcc4f34a1307bcd60b029e

Merge "Include local CA in haproxy PEM"

Merge "Enable TLS in the internal network for Panko API"

Use FQDNs for RabbitMQ's cluster configuration

This sets the cluster_nodes configuration in RabbitMQ to use FQDNs
instead of IP addresses. Note that in HA, RabbitMQ is already
configured using FQDNs.

Change-Id: I2b1cec25ff25f4afd72a28246c2cda9c58d7b61e

Use FQDNs for the services' RabbitMQ configuration

This replaces the services' IP-based RabbitMQ configuration and uses
FQDNs instead.

Change-Id: I2be81aecacf50839a029533247981f5edf59cb7f

Merge "adding new swift middleware that is typically enabled by default"

Drop vip_hosts

This should no longer be used based on problems discovered in
https://bugs.launchpad.net/tripleo/+bug/1645123

Change-Id: I53b13d514a15226dacbeda1c7b2ede09e7f8807e
Depends-On:  Ic6aaeb249a127df83894f32a704219683a6382b2

Merge "Enable internal TLS for MySQL"

Show team and repo badges on README

This patch adds the team's and repository's badges to the README file.
The motivation behind this is to communicate the project status and
features at first glance.

For more information about this effort, please read this email thread:

http://lists.openstack.org/pipermail/openstack-dev/2016-October/105562.html

To see an example of how this would look like check:

https://gist.github.com/5f53b5b51c414919aa857d0472158564

Change-Id: I89860cb042cd1c23cc5278a8f963f3d62e9492aa

Merge "Do not configure state matching when using GRE"

Enable TLS in the internal network for Panko API

This optionally enables TLS for Panko API in the internal network.
If internal TLS is enabled, each node that is serving the Panko API
service will use certmonger to request its certificate.

bp tls-via-certmonger

Change-Id: Ie9be7ce19601435b1b83b4ba58d9c7e8d53f23ba

Enable internal TLS for MySQL

this adds the necessary code in the manfiest to configure TLS
if internal TLS is enabled. this also adds the capability of
auto-generating the certificate via certmonger.

bp tls-via-certmonger

Change-Id: I7275e5afb3a6550cf2abbb9a8007dedb62ada4b4

Do not configure state matching when using GRE

The firewall rule quite reasonably sets up a default state matching rule
but this is invalid for GRE. This patch conditionally adds the state
matching if the protocol is not GRE.

Closes-Bug: #1644360
Change-Id: Ie4ca41d0f36e79ba6822c358e21b827105736dd7

Merge "Remove Combination alarms support"

Merge "Proxy manila in http mode"

Merge "Move calculation of neutron l3_ha into puppet profile"

Update ceilometer collector ipv6 handling

The normalize_ip_for_uri handles ipv6 bracketing correctly. Rather
than continue to do it manually, this change updates the ceilometer
collector profile to leverage the normalize_ip_for_uri function to
properly escape ipv6 addresses.

Change-Id: Ifaf6568785235db55f8dc593d83e534216413d31
Closes-Bug: #1629380

Split ovn plugin and northd configuration

This allows us to use the composable services interfaces to handle
providing the IP address for northd, and will be more flexible in
the event folks want to deploy northd/ovndb on a different node to
the neutron plugin.

This also adds ovn_northd to the haproxy configuration so we can access
it via the ovn_northd_vip in other service profiles.  Note we need
to ensure the haproxy config only hits the bootstrap node as northd
won't be running on the other nodes.

Change-Id: I9af7bd837c340c3df016fc7ad4238b2941ba7a95
Partial-Bug: #1634171

Merge "Use mode 'http' in haproxy for ceilometer, neutron, aodh and gnocchi"

Proxy manila in http mode

It needs it so HAProxy will be able to set the X-Forwarded-Proto header.
Related-Bug: #1640126
Change-Id: I1726fa1742bc70518338b80fc6d27567bb020e7c

Use mode 'http' in haproxy for ceilometer, neutron, aodh and gnocchi

HAProxy won't pass X-Forwarded-Proto to these services in mode tcp, so we need
to switch it to http in order for it to work and for the services to properly
set the protocol in the links they serve.

Change-Id: Ib10282159fb9269eebe81af23171ec9fb1297cd0
Closes-Bug: #1640126

Merge "firewall: stop using stdlib stages"

Merge "Adds auto-detection for VIP interfaces"

Merge "Add panko service support"

firewall: stop using stdlib stages

Using Puppet stdlib in TripleO is risky because it exposes deployments
to dependency cycles in the catalog.
We should rather use native functions to make orchestrations, like
ordering and dependencies management.

This patch:

- removes usage of stages from stdlib
- use ordering to make sure we run pre rules before post
- use ordering to make sure we start all Services in catalog before post
  rules. It ensure that we don't drop all traffic before starting the
  services, which could lead to services errors (e.g. trying to reach database
  or amqp)

Change-Id: Iec4705d6b785a40ccf6f43809b94b726ccd47fef
Closes-Bug: #1643575

Move calculation of neutron l3_ha into puppet profile

This is currently calculated in t-h-t but has a hard-coded reference
to the ControllerCount which is incompatible with custom-roles.

So instead calculate the setting based on the number of neutron API
services running (on any role, not just Controller), combined with
whether DVR is enabled (equivalent to current t-h-t logic).

To avoid breaking the NeutronL3HA parameter in t-h-t we maintain an
optional parameter to override the calculated value.

Change-Id: I01c50973eec8138ec61304f2982d5026142f267c
Partial-Bug: #1629187

Adds auto-detection for VIP interfaces

Previously the ctrl plane VIP would default to 'br-ex' which in non-vlan
deployments ends up being the wrong interface.  The public VIP interface
was also defaulted to 'br-ex' which would be incorrect for vlan based
deployments.  Since a user has already given the nic template (and in
most cases the subnet that corresponds to the nic) the installer should
be able to figure out which interface the public/control vip should be
on.

These changes enable that type of auto-detection, unless a user
explicitly overrides the heat parameters for ControlVirtualInterface and
PublicVirtualInterface.  Also removes calling keepalived from haproxy
now that the services are composed separately on the Controller role.

Partial-Bug: 1606632

Change-Id: I05105fce85be8ace986db351cdca2916f405ed04
Signed-off-by: Tim Rozet <trozet@redhat.com>