Merge "Puppet: wire in tripleo::packages"

Merge "Fix Puppet Configuring NetApp Cinder Backend"

Puppet: wire in tripleo::packages

This wires in use of a new puppet-tripleo class which
encapsulates the logic to enable/disable package
installation and upgrades.

By using the new class we can remove the global
Package provider declaration at the top of each
module.

Change-Id: I5c6e5fd8600031bd8fb6195649721607c560f9d5
Depends-on:  Ie8fbc344149bc8c9977e127de77636903607617a

Fix Puppet Configuring NetApp Cinder Backend

It was incorrectly assumed that Puppet variables assigned to a
defined class (as seen in cinder-netapp.yaml) would be applied to
any resources created with that type. This is not how Puppet works.

The full range of configuration parameters to cinder::backend::netapp
have been added back in. They are still pulling from Hiera like they
were intended before, but it needs to be a little more explicit for
Puppet to be happy.

Change-Id: I2e00eae829713b2dbb1e4a5f296b6d08d0c21100

Merge "Ensure compute nodes use internalURL as catalog_info"

Merge "Allow overlapping IPs in Neutron"

Merge "Ensure CinderStorage nodes use internalURL as catalog_info"

Merge "Use parameter_defaults in env files"

Allow overlapping IPs in Neutron

Change-Id: I7703013b62bd67869c268fb8689389ec0eeb5aad

Merge "Increase default max_connections for MySQL from 1024 to 4096"

Merge "Enable hieradata ExtraConfig overrides for Controller"

Ensure CinderStorage nodes use internalURL as catalog_info

By default Cinder will get the publicURL for Nova and Swift, which
is not reachable by the CinderStorage nodes.

Change-Id: I25b7900c9ab261e0f706257ffdf6844533b63b94

Ensure compute nodes use internalURL as catalog_info

By default Nova will get the publicURL instead, which is not
reachable by the compute nodes.

Change-Id: I57b6a7a7eddb0ffaf6d2d152d932f390c48f908e

Merge "Provide manage_service to neutron::agents::ml2::ovs"

Increase default max_connections for MySQL from 1024 to 4096

As a matter of fact it seems that the 1024 connections barrier
can easily be reached with modern hardware, see:
https://bugzilla.redhat.com/show_bug.cgi?id=1240824

Change-Id: I194a0dd725907350ca16ea3c41f3ed4f68a11bcf

Enable hieradata ExtraConfig overrides for Controller

Wires in the ControllerExtraConfig and ExtraConfig parameters so
that they may be used to specify overrides of the default hieradata.

Note if this is used to override values specified via parameters
rather than hard-coded values in puppet/hieradata caution should
be used as the overridden values will always take precendence
regardless of the parameter input, unless the parameter is provided
directly to the Deployment resource applying the manifiest (e.g
not the pattern currently employed in most of t-h-t)

Also note that ControllerExtraConfig takes precedence over the
deployment-wide ExtraConfig.

For example, here's how you would pass a value which disables the
heat-api-cfn service on all controllers. This would be put into an
environment file, then passed to the heat stack-create via an extra
-e option:

parameters:
  controllerExtraConfig:
    heat::api_cfn::enabled: false

Note the parameter capitalization is different in the top-level
overcloud-without-mergepy template for some reason.

Change-Id: I6d6e3e78460308134d95c01892bb242aba70e9ca

Merge "Adds the NeutronTunnelIdRanges and NeutronVniRanges parameters"

Merge "Configure Heat's ec2 auth uri correctly"

Merge "Allow a user to disable MongoDB journaling"

Merge "Removes the NeutronScale resource from controller pcmk manifest"

Merge "neutron-server: Remove start/sleep/stop pattern"

neutron-server: Remove start/sleep/stop pattern

Currently the bootstrap of the neutron server happens with the use of a
start/sleep/stop pattern.

Since Pacemaker doesn't mind if the service is already started let
simply start the neutron server on the $pacemaker_master node and wait
for 5 sec.

Change-Id: I894dc3305f7d6685ebcc6828e690c718a63f32bd
Closes-Bug: #1473410

Provide manage_service to neutron::agents::ml2::ovs

Change-Id: Ib945b07dd93f9bdc613f464211745094c4c72836

Merge "Output internal API VIPs"

Adds the NeutronTunnelIdRanges and NeutronVniRanges parameters

This adds the NeutronTunnelIdRanges and NeutronVniRanges parameters
which govern the GRE or VXLAN tunnel IDs (respectively) that are to
be made available for overcloud tenant networks.

These both default to "1:1000," to retain the current behaviour.
They are propagated to the hiera data for puppet deploys and there
is a separate change to support passing these into the config via
the neutron tripleo-image-element at

https://review.openstack.org/#/c/199592/

Change-Id: I967a8cae218a31e888abc438e9de5756ae627adb
Related-Bug: https://bugzilla.redhat.com/show_bug.cgi?id=1240631

Allow a user to disable MongoDB journaling

By default MongoDB enables a journaling system that prevents loss of
data in case of an unexpected shut-down. When journaling is enabled,
MongoDB will create the journal files before actually starting the
daemon[1].

The journaling feature is useful in production environment, but not
really on a CI-like system, where we only want to make sure MongoDB is
setup correctly and running, hence here we allow a user to
enable/disable MongoDB journaling.

[1] http://docs.mongodb.org/manual/core/journaling/

Change-Id: I0e4e65af9f650c10fdf5155ff709b4eb984cf4e1
Closes-bug: #1468246

Allow configuration of MySQL max_connections setting

The number of connections created to the database depends on the
number of running processes and this is a factor of both the nodes
count and the cores count. We make it configurable so it can be
increased when needed.

Change-Id: I41d511bde95d0942706bf7c28cd913498ea165fb

Merge "Add services to ServiceNetMap to select hostnames resolution network"

Use parameter_defaults in env files

Switch to using parameter_defaults in environment files instead of a
parameters section. Using a parameters section to set top level
parameters breaks Tuskar based deployments because Tuskar prefixes the
name of the top level parameters with a role name and version, thus
changing the name of the parameter. When the environment file is then
used to set a top level parameter, Heat fails with an error during
template validation:

ERROR: The Parameter (NeutronExternalNetworkBridge) was not defined in template

Change-Id: I605651a8ebdbd0b2baf7bcea198c2988efb55f31

Adds the NeutronDhcpAgentsPerNetwork parameter

Currently for both puppet and image-elements based deploys we set
the dhcp_agents_per_network in neutron.conf to 2 and there is no
control over that number (in the hieradata for the former and the
image element for the latter). This change adds the
NeutronDhcpAgentsPerNetwork parameter and also changes the default
to 3 when not explicitly set.

In the puppet case propagate this parameter in the hieradata for
the neutron class and in the non-puppet case expose a new item in
the neutron config to be consumed by the neutron image element
(that change will point here)

Change-Id: Id97c7796db7231b636f2001e28412452cf89562b

Merge "Add RemovalPolicies param for resource groups"

Merge "Add NeutronExternalNetworkBridge parameter"

Add services to ServiceNetMap to select hostnames resolution network

The *HostnameResolveNetwork services define the network against
which the hostnames in /etc/hosts should be resolved, defaults
to 'internal_api' for all except CephStorage for which it uses
'storage' as they do not have connectivity to 'internal_api'.

Closes-Bug: 1471179
Change-Id: Ia8971f8a63016966236e7975ac2d97921a314255

Add RemovalPolicies param for resource groups

This allows to specify particular nodes when scaling down
number of nodes in a resource group.

Change-Id: Idc3682ed430f351d533b990b44e8038866434e42

Merge "Wire in Controller pre-deployment extraconfig"

Output internal API VIPs

Seeding of overcloud keystone endpoints is currently done via a script
that is external to the overcloud heat stack. Previously the script
didn't have a way to figure out what are the IP addresses that it should
use for internal service endpoints. This patch adds those IP addresses
into the stack outputs so that the script can properly configure
internal endpoints.

Change-Id: I9ae4fc4413a79d6b7e2dce1571fd7083c23348ca

Don't set heat_stack_user_role to empty string

This value doesn't work, and the default of heat_stack_user is fine.

See https://github.com/openstack/puppet-heat/blob/989ffa65f4339bfd9612cff3b5ddcc4fd301f695/manifests/engine.pp#L22
Resolves: rhbz#1238844

Change-Id: I247121cb91d2b2a34f0f9f769fb411fcbfe6b571

Merge "Drop swift ceilometer middleware for pacemaker"

Merge "Allow customization of included classes via hieradata"

Merge "controller: enable HTTP Glance backend"

Add NeutronExternalNetworkBridge parameter

This patch adds a new parameter to configure the
neutron external network bridge. This setting
applies to the bridge used in the Neutron l3_agent.ini file
and can by useful if you wish to set external_network_bridge = ''
in that file.

As part of this fix we also update the environment file for
network isolation so that we automatically set the new
NeutronExternalNetworkBridge to an empty string. This fixes
an issue where overcloud floating IPs did not work correctly
when using the external network interface for floating IP
traffic.

Change-Id: I3bfcda8746780ea0851d88ed6db8557e261cef0d

Merge "Add ControlPlaneNetwork to vip.yaml"

Configure Heat's ec2 auth uri correctly

We weren't configuring the Heat ec2 auth uri, so it was using the
default pointing at localhost.  This won't work in most setups
because Keystone listens on specific addresses not including
localhost, so configure it to use the proper Keystone address.

Change-Id: I979a87c68a8f6f558ccfc04662c158c89fcf1388

Wire in Controller pre-deployment extraconfig

The recently added cinder-netapp extraconfig contains some additional
hieradata which needs to be applied during the initial pre-deployment
phase, e.g in controller-puppet.yaml (before the manifests are applied)
so wire in a new OS::TripleO::ControllerExtraConfigPre provider resource
which allows passing in a nested stack (empty by default) which contains
any required "pre deployment" extraconfig, such as applying this hieradata.

Some changes were required to the cinder-netapp extraconfig and environment
such that now the hieradata is actually applied, and the parameter_defaults
specified will be correctly mapped into the StructuredDeployment.

Change-Id: I8838a71db9447466cc84283b0b257bdb70353ffd

Merge "Map NovaEnableRbdBackend to ephemeral_storage from nova::compute::rbd"

Merge "Add IP to HAProxy kind=Optional constraint"

Merge "Remove unwanted constraints between the Redis vip and Ceilometer"

Merge "Allow to enable fencing, pass through fencing config"

Allow customization of included classes via hieradata

Allows inclusion of additional arbitrary puppet classes by the
manifests if defined in the *_classes hieradata.

Example: to specify the Nova RAM allocation ratio there is a
param in nova::scheduler::filter but we do not include it
by default; if needed one can use:

  nova::scheduler::filter::ram_allocation_ratio: 1.8
  controller_classes:
    - nova::scheduler::filter

Change-Id: I61d64d2498bed5c49376dee917d106598392db51

Add IP to HAProxy kind=Optional constraint

Without the constraint the VIP could get assigned to a node without
an active haproxy instance, which ultimately means everything stops
working.

kind=Optional allows a VIP to relocate to a healthy haproxy instance
in the event of a failure without tearing down the entire stack in the
process.

Change-Id: I44d44952fb42cf91a2a248250a4063e3034d119e

Removes the NeutronScale resource from controller pcmk manifest

As reported in https://bugzilla.redhat.com/show_bug.cgi?id=1238117
and https://bugzilla.redhat.com/show_bug.cgi?id=1236578 the
NeutronScale resource is causing problems during post deploy
configuration of the overcloud (momentary inconsistency in the
host name for the neutron agents, given what NeutronScale does,
discussion in BZ 1238117).

As discussed in the bugs, we may not need NeutronScale, since our
host names should be safe enough for scaling. This change removes
neutron scale completely and links startup of neutron-server
directly to neutron-ovs-cleanup. If we can safely remove
the NeutronScale resource then this change does that.

Change-Id: Ib43a2d60b85fd9bb48eff5919602bb74dc463905

Drop swift ceilometer middleware for pacemaker

In 88b278f510b0c9351c58dfe67513f3902d415ab6 we dropped
the swift ceilometer middleware but we forgot to do it
for the overcloud pacemaker manifest.

Change-Id: If9fcc5d029492554472edbe3be98a44942f94d20

Map NovaEnableRbdBackend to ephemeral_storage from nova::compute::rbd

This maps the template param to the actual class param which optionally
configures Ceph as a backend for the ephemeral storage or for the
persistent storage only. See I4ae0fd605c5a57aa23bea83b06530a50844d24a0

Change-Id: Ic7007da8317e98d450b1362864e65093a184cb25

Merge "Add a default route to the external isolated network"

Merge "Remove bridge from nic1 in network bond templates"

Merge "Add special handling of neutron-server service startup to fix race"

controller: enable HTTP Glance backend

While trying to download a glance image from a webserver, you need to
enable the HTTP backend store.
This patch aims to merge the configured backend and the HTTP store
backend so it will be enabled anytime.

Change-Id: Ie769831f8d491c1b7fe08b8fc7df9ebea493f9e8

Allow to enable fencing, pass through fencing config

Add two new parameters: EnableFencing and FencingConfig.

FencingConfig is a json with an expected structure documented in the
templates. It gets passed further to puppet-tripleo, which configures
the fencing devices.

Fencing is configured and enabled in the last step after all pacemaker
resources and constraints have been created, which should be a more
stable approach than the other way round.

Change-Id: Ifd432bfd2443b6d13e7efa006d4120bb0eaa2554
Depends-On: I819fc8c126ec47cd207c59b3dcf92ff699649c5a
Depends-On: I8b7adff6f05f864115071c51810b41efad887584

Remove unwanted constraints between the Redis vip and Ceilometer

We do not want to delay Redis vip start to promotion of Redis master,
HAProxy will take care of the validating the backends.

We do not need to force colocation of Redis vip with Redis master.

We do not want to restart the Ceilometer central agent when the vip
moves this can instead cause unwanted cascading restarts due to other
constraints in between services.

More details can be read on the BZ at:
https://bugzilla.redhat.com/show_bug.cgi?id=1236374

Change-Id: I594984cd23db7de57746c3e1018181d61b020f46

Merge "Include Redis VIP in example environment"

Add a default route to the external isolated network

This change adds a parameter for ExternalInterfaceDefaultRoute
and uses that parameter to set the default route on the controller
nodes. This allows Horizon and the public APIs to be reachable from
routed networks outside the overcloud.

Co-Authored-By: Dan Prince <dprince@redhat.com>
Change-Id: I67a72767342237049f53f5085a6faf891fbf0c30

Merge "Drop swift ceilometer middleware."

Remove bridge from nic1 in network bond templates

The bridge that is built on the bonds in the bond-with-vlans
example has an extraneous bridge on the storage and compute
templates, and an incorrect bridge on the controller template.
There is no reason to do anything on nic1, which is assumed to
be the provisioning interface, because it will be configured by
DHCP. Also, on the controller template we actually want br-ex
to contain the VLAN with the external network, rather than be
configured on the provisioning interface.

Change-Id: Ibe2343d5281f7b63a7b63b17d96d8442d0b96105

Add ControlPlaneNetwork to vip.yaml

There are two files in network/ports which control the VIP
behavior called ctlplane_vip.yaml and vip.yaml. One of these
files was missing ControlPlaneNetwork, since it wasn't used
inside the template. Unfortunately, tuskar chokes on this,
even though Heat can build the stack just fine. This change
makes the vip.yaml and ctlplane_vip.yaml equivalent by adding
ControlPlaneNetwork to the vip.yaml template.

Change-Id: Ic20281e58a1130afe18d5aec505a3df199841fd5

Merge "Add missing Pacemaker constraint against Keystone"

Merge "Set MariaDB package name in RedHat.yaml"

Merge "Enable mysql_clustercheck for Pacemaker scenario"

Merge "Increase mongodb_conn_validator timeout to 600"

Include Redis VIP in example environment

The network isolation code in the TripleO Heat templates has files
in the environment folder that can be included to enable network
isolation. This updates the environment file to include the VIP
for Redis.

Change-Id: Ic05720c565d9ecf76bf7485b969cb2d9ead9fd6f

Add missing Pacemaker constraint against Keystone

The Heat contraints group was missing the initial
dependency on Keystone, causing Pacemaker to Heat before or
in parallel to Keystone.

Given Systemd can define dependencies in the unit files, this was
additionally causing an unmanaged start of Keystone making
cluster initialization to fail (with Keystone start timeout blocking
all the depending resources).

Also moves Keystone -> Ceilomter constraint on top of Ceilometer
constraints group for clarity.

Logs and more infos at [1]

1. https://bugzilla.redhat.com/show_bug.cgi?id=1235703

Change-Id: I9505fd46c5bf278afc8ff919c7e768e2de194cb8

Merge "Ensure mysql/mariadb service is not enabled on boot"

Merge "Do not set explicitly galera_master to any of the nodes"

Enable mysql_clustercheck for Pacemaker scenario

Change-Id: I154c90e6d019807758332e3aefe5dde9d79db6ac
Related-Bug: 1456701
Depends-On: I7199c7e5d759a76f58c0f48b40e9d460a3163886

Ensure mysql/mariadb service is not enabled on boot

Change-Id: I42462a6de2bf70ef71899833c3f27633f0f59493
Closes-Bug: 1468549
Closes-Bug: https://bugzilla.redhat.com/show_bug.cgi?id=1235454

Set MariaDB package name in RedHat.yaml

This moves the hard coded package name for mariadb into
the RedHat specific hieradata file. This was recently added
to controller.yaml in a1b3fa3e84185b6969a8acfda475fe7fc48bd5a1.

Also, resolves an issue where RedHat.yaml wasn't actually
getting deployed. This is something that should have happened
in 5009cc64322e9fb5723799eb9fbd79076a2dc5da.

Change-Id: Iaa30be3c53a7c54d31d47b997966b0106a202ea4

Merge "Make puppet-applying *Post resources depend on hieradata"

Increase mongodb_conn_validator timeout to 600

This will increase the mongodb_conn_validator timeout from 60 secs
(the default) to 600 secs; it should take much less in normal
circumstances to start mongod but nodes might not be starting it all
at the same time so we use a larger timeframe for the availablity
checks.

Change-Id: I0ee210be94b33d1c08d67f287aa745743a6649d3

Do not set explicitly galera_master to any of the nodes

We will manage nodes membership using the clustercheck script and
marking all backends as backup, see change:
I7199c7e5d759a76f58c0f48b40e9d460a3163886

Related-Bug: 1467918
Change-Id: I56ebd2d8405ac35c707666d993b396f04aeb683e

Add special handling of neutron-server service startup to fix race

Neutron will populate the database with some data as soon as the
neutron-server service is started; we want this to happen from a
single node before normal Pacemaker initialization.

Change-Id: I422972502fbb10ddae3201464bbd6885749de31e
Closes-Bug: 1467904
Closes-Bug: https://bugzilla.redhat.com/show_bug.cgi?id=1233061

Merge "Specify mariadb package name to meet puppetlabs-mysql requirement"

Merge "Leave control of Redis balancing in static hieradata"

Merge "Add support for isolating block storage nets"

Merge "Fix MongoDB connection url configuration in Ceilometer"

Merge "Use SoftwareDeployments for consistency in extraconfig"

Fix MongoDB connection url configuration in Ceilometer

Change-Id: I8a56e7b067044bace5def63ea6170ed817f48acd
Closes-Bug: 1467437
Closes-Bug: https://bugzilla.redhat.com/show_bug.cgi?id=1233283

Merge "Enable httpd balancing for Horizon"

Add support for isolating block storage nets

This patch updates the cinder block storage role
for Puppet so that it supports network isolation.
This includes using the (optional) isolated networks
for MySQL, Glance API, and iscsi network traffic.

Change-Id: Icdfbf5fce7380e6049babca0cd50ca2e4008c1b0

Drop swift ceilometer middleware.

Per Ceilometer commit 191f7bf9ccee33d8444f7dac5c09ceccce72ca29
 (change ID: Ifd1861e3df46fad0e44ff9b5cbd58711bbc87c97) the
Swift Ceilometer middleware no longer exists so we need
to drop it in order to work with the latest upstream
package.

Change-Id: Iebaad0ba477001d663c6875b32d691bbfcda3d8d

Leave control of Redis balancing in static hieradata

Redis balancing is controlled by static hieradata [1] we don't
need to override it into manifest.

1. https://github.com/openstack/tripleo-heat-templates/blob/master/puppet/hieradata/controller.yaml#L111

Change-Id: Ie2a5a4cbee0a55f2572f182b18c036efc299dbef

Merge "Enable loadbalancing of the Redis VIP, defaults to False"

Merge "Fix grammar nits in bond-with-vlans templates"

Merge "Rename ServiceNetMap: NeutronLocalIp"

Enable httpd balancing for Horizon

We need to customize the default apache::ip param or the default
vhost configured will listen on ::80

Change-Id: I195a083f727da940841beb3a0c37dade02c6d1ca

Use SoftwareDeployments for consistency in extraconfig

Currently we've got a mix of SoftwareConfig resource with
StructuredDeployments resources - while this will work it's
inconsistent and normally using the corresponding
SoftwareDeployments resouce is encourgaged instead.

Change-Id: I308d62d4ff491c073e3e8650fd4c2c65bf96d14a

Enable loadbalancing of the Redis VIP, defaults to False

We have to set it to true as the default is false which means the
redis vip can't be reached. This was manifested as a problem with
ceilometer agent reaching the coordination url like [1].

Co-Authored-By: Giulio Fidente <gfidente@redhat.com>
[1] https://bugzilla.redhat.com/attachment.cgi?id=1040023
Closes-Bug: https://bugzilla.redhat.com/show_bug.cgi?id=1232797
Change-Id: I1cd63308d0ac1d17542e1a2a909ee1a9680ed4b3

Bind novncproxy to its own network

By default the nova vncproxy binds to 0.0.0.0, which will fail in
a loadbalanced environment.  This makes it bind to its network.

Change-Id: I08776a8f6c72b63d73433b147c130fbc9a7110b0

Merge "Remove DefaultSignalTransport from top-level template"

Merge "Remove NO_SIGNAL from ControllerClusterConfig"

Merge "Remove NO_SIGNAL from Controller|ObjectSwiftDeployment"

Merge "Remove NO_SIGNAL from ControllerBootstrapNodeDeployment"