Ensure SELinux is permissive on Ceph OSDs

Currently we build the overcloud image with selinux-permissive element
in CI. However, even in environments where selinux-permissive element is
not used, it should be ensured that SELinux is set to permissive mode on
nodes with Ceph OSD [1].

We have no nice way to manage SELinux status via Puppet at the moment,
so i'm resorting to execs, but with proper "onlyif" guards.

[1] https://bugzilla.redhat.com/show_bug.cgi?id=1241422

Change-Id: I31bd685ad4800261fd317eef759bcfd285f2ba80

Merge "Add RemovalPolicies param for resource groups"

Merge "Add NeutronExternalNetworkBridge parameter"

Add RemovalPolicies param for resource groups

This allows to specify particular nodes when scaling down
number of nodes in a resource group.

Change-Id: Idc3682ed430f351d533b990b44e8038866434e42

Merge "Wire in Controller pre-deployment extraconfig"

Don't set heat_stack_user_role to empty string

This value doesn't work, and the default of heat_stack_user is fine.

See https://github.com/openstack/puppet-heat/blob/989ffa65f4339bfd9612cff3b5ddcc4fd301f695/manifests/engine.pp#L22
Resolves: rhbz#1238844

Change-Id: I247121cb91d2b2a34f0f9f769fb411fcbfe6b571

Merge "Drop swift ceilometer middleware for pacemaker"

Merge "Allow customization of included classes via hieradata"

Merge "controller: enable HTTP Glance backend"

Add NeutronExternalNetworkBridge parameter

This patch adds a new parameter to configure the
neutron external network bridge. This setting
applies to the bridge used in the Neutron l3_agent.ini file
and can by useful if you wish to set external_network_bridge = ''
in that file.

As part of this fix we also update the environment file for
network isolation so that we automatically set the new
NeutronExternalNetworkBridge to an empty string. This fixes
an issue where overcloud floating IPs did not work correctly
when using the external network interface for floating IP
traffic.

Change-Id: I3bfcda8746780ea0851d88ed6db8557e261cef0d

Merge "Add ControlPlaneNetwork to vip.yaml"

Wire in Controller pre-deployment extraconfig

The recently added cinder-netapp extraconfig contains some additional
hieradata which needs to be applied during the initial pre-deployment
phase, e.g in controller-puppet.yaml (before the manifests are applied)
so wire in a new OS::TripleO::ControllerExtraConfigPre provider resource
which allows passing in a nested stack (empty by default) which contains
any required "pre deployment" extraconfig, such as applying this hieradata.

Some changes were required to the cinder-netapp extraconfig and environment
such that now the hieradata is actually applied, and the parameter_defaults
specified will be correctly mapped into the StructuredDeployment.

Change-Id: I8838a71db9447466cc84283b0b257bdb70353ffd

Merge "Map NovaEnableRbdBackend to ephemeral_storage from nova::compute::rbd"

Merge "Add IP to HAProxy kind=Optional constraint"

Merge "Remove unwanted constraints between the Redis vip and Ceilometer"

Merge "Allow to enable fencing, pass through fencing config"

Allow customization of included classes via hieradata

Allows inclusion of additional arbitrary puppet classes by the
manifests if defined in the *_classes hieradata.

Example: to specify the Nova RAM allocation ratio there is a
param in nova::scheduler::filter but we do not include it
by default; if needed one can use:

  nova::scheduler::filter::ram_allocation_ratio: 1.8
  controller_classes:
    - nova::scheduler::filter

Change-Id: I61d64d2498bed5c49376dee917d106598392db51

Add IP to HAProxy kind=Optional constraint

Without the constraint the VIP could get assigned to a node without
an active haproxy instance, which ultimately means everything stops
working.

kind=Optional allows a VIP to relocate to a healthy haproxy instance
in the event of a failure without tearing down the entire stack in the
process.

Change-Id: I44d44952fb42cf91a2a248250a4063e3034d119e

Drop swift ceilometer middleware for pacemaker

In 88b278f510b0c9351c58dfe67513f3902d415ab6 we dropped
the swift ceilometer middleware but we forgot to do it
for the overcloud pacemaker manifest.

Change-Id: If9fcc5d029492554472edbe3be98a44942f94d20

Map NovaEnableRbdBackend to ephemeral_storage from nova::compute::rbd

This maps the template param to the actual class param which optionally
configures Ceph as a backend for the ephemeral storage or for the
persistent storage only. See I4ae0fd605c5a57aa23bea83b06530a50844d24a0

Change-Id: Ic7007da8317e98d450b1362864e65093a184cb25

Merge "Add a default route to the external isolated network"

Merge "Remove bridge from nic1 in network bond templates"

Merge "Add special handling of neutron-server service startup to fix race"

controller: enable HTTP Glance backend

While trying to download a glance image from a webserver, you need to
enable the HTTP backend store.
This patch aims to merge the configured backend and the HTTP store
backend so it will be enabled anytime.

Change-Id: Ie769831f8d491c1b7fe08b8fc7df9ebea493f9e8

Allow to enable fencing, pass through fencing config

Add two new parameters: EnableFencing and FencingConfig.

FencingConfig is a json with an expected structure documented in the
templates. It gets passed further to puppet-tripleo, which configures
the fencing devices.

Fencing is configured and enabled in the last step after all pacemaker
resources and constraints have been created, which should be a more
stable approach than the other way round.

Change-Id: Ifd432bfd2443b6d13e7efa006d4120bb0eaa2554
Depends-On: I819fc8c126ec47cd207c59b3dcf92ff699649c5a
Depends-On: I8b7adff6f05f864115071c51810b41efad887584

Remove unwanted constraints between the Redis vip and Ceilometer

We do not want to delay Redis vip start to promotion of Redis master,
HAProxy will take care of the validating the backends.

We do not need to force colocation of Redis vip with Redis master.

We do not want to restart the Ceilometer central agent when the vip
moves this can instead cause unwanted cascading restarts due to other
constraints in between services.

More details can be read on the BZ at:
https://bugzilla.redhat.com/show_bug.cgi?id=1236374

Change-Id: I594984cd23db7de57746c3e1018181d61b020f46

Merge "Include Redis VIP in example environment"

Add a default route to the external isolated network

This change adds a parameter for ExternalInterfaceDefaultRoute
and uses that parameter to set the default route on the controller
nodes. This allows Horizon and the public APIs to be reachable from
routed networks outside the overcloud.

Co-Authored-By: Dan Prince <dprince@redhat.com>
Change-Id: I67a72767342237049f53f5085a6faf891fbf0c30

Merge "Drop swift ceilometer middleware."

Remove bridge from nic1 in network bond templates

The bridge that is built on the bonds in the bond-with-vlans
example has an extraneous bridge on the storage and compute
templates, and an incorrect bridge on the controller template.
There is no reason to do anything on nic1, which is assumed to
be the provisioning interface, because it will be configured by
DHCP. Also, on the controller template we actually want br-ex
to contain the VLAN with the external network, rather than be
configured on the provisioning interface.

Change-Id: Ibe2343d5281f7b63a7b63b17d96d8442d0b96105

Add ControlPlaneNetwork to vip.yaml

There are two files in network/ports which control the VIP
behavior called ctlplane_vip.yaml and vip.yaml. One of these
files was missing ControlPlaneNetwork, since it wasn't used
inside the template. Unfortunately, tuskar chokes on this,
even though Heat can build the stack just fine. This change
makes the vip.yaml and ctlplane_vip.yaml equivalent by adding
ControlPlaneNetwork to the vip.yaml template.

Change-Id: Ic20281e58a1130afe18d5aec505a3df199841fd5

Merge "Add missing Pacemaker constraint against Keystone"

Merge "Set MariaDB package name in RedHat.yaml"

Merge "Enable mysql_clustercheck for Pacemaker scenario"

Merge "Increase mongodb_conn_validator timeout to 600"

Include Redis VIP in example environment

The network isolation code in the TripleO Heat templates has files
in the environment folder that can be included to enable network
isolation. This updates the environment file to include the VIP
for Redis.

Change-Id: Ic05720c565d9ecf76bf7485b969cb2d9ead9fd6f

Add missing Pacemaker constraint against Keystone

The Heat contraints group was missing the initial
dependency on Keystone, causing Pacemaker to Heat before or
in parallel to Keystone.

Given Systemd can define dependencies in the unit files, this was
additionally causing an unmanaged start of Keystone making
cluster initialization to fail (with Keystone start timeout blocking
all the depending resources).

Also moves Keystone -> Ceilomter constraint on top of Ceilometer
constraints group for clarity.

Logs and more infos at [1]

1. https://bugzilla.redhat.com/show_bug.cgi?id=1235703

Change-Id: I9505fd46c5bf278afc8ff919c7e768e2de194cb8

Merge "Ensure mysql/mariadb service is not enabled on boot"

Merge "Do not set explicitly galera_master to any of the nodes"

Enable mysql_clustercheck for Pacemaker scenario

Change-Id: I154c90e6d019807758332e3aefe5dde9d79db6ac
Related-Bug: 1456701
Depends-On: I7199c7e5d759a76f58c0f48b40e9d460a3163886

Ensure mysql/mariadb service is not enabled on boot

Change-Id: I42462a6de2bf70ef71899833c3f27633f0f59493
Closes-Bug: 1468549
Closes-Bug: https://bugzilla.redhat.com/show_bug.cgi?id=1235454

Set MariaDB package name in RedHat.yaml

This moves the hard coded package name for mariadb into
the RedHat specific hieradata file. This was recently added
to controller.yaml in a1b3fa3e84185b6969a8acfda475fe7fc48bd5a1.

Also, resolves an issue where RedHat.yaml wasn't actually
getting deployed. This is something that should have happened
in 5009cc64322e9fb5723799eb9fbd79076a2dc5da.

Change-Id: Iaa30be3c53a7c54d31d47b997966b0106a202ea4

Merge "Make puppet-applying *Post resources depend on hieradata"

Increase mongodb_conn_validator timeout to 600

This will increase the mongodb_conn_validator timeout from 60 secs
(the default) to 600 secs; it should take much less in normal
circumstances to start mongod but nodes might not be starting it all
at the same time so we use a larger timeframe for the availablity
checks.

Change-Id: I0ee210be94b33d1c08d67f287aa745743a6649d3

Do not set explicitly galera_master to any of the nodes

We will manage nodes membership using the clustercheck script and
marking all backends as backup, see change:
I7199c7e5d759a76f58c0f48b40e9d460a3163886

Related-Bug: 1467918
Change-Id: I56ebd2d8405ac35c707666d993b396f04aeb683e

Add special handling of neutron-server service startup to fix race

Neutron will populate the database with some data as soon as the
neutron-server service is started; we want this to happen from a
single node before normal Pacemaker initialization.

Change-Id: I422972502fbb10ddae3201464bbd6885749de31e
Closes-Bug: 1467904
Closes-Bug: https://bugzilla.redhat.com/show_bug.cgi?id=1233061

Merge "Specify mariadb package name to meet puppetlabs-mysql requirement"

Merge "Leave control of Redis balancing in static hieradata"

Merge "Add support for isolating block storage nets"

Merge "Fix MongoDB connection url configuration in Ceilometer"

Merge "Use SoftwareDeployments for consistency in extraconfig"

Fix MongoDB connection url configuration in Ceilometer

Change-Id: I8a56e7b067044bace5def63ea6170ed817f48acd
Closes-Bug: 1467437
Closes-Bug: https://bugzilla.redhat.com/show_bug.cgi?id=1233283

Merge "Enable httpd balancing for Horizon"

Add support for isolating block storage nets

This patch updates the cinder block storage role
for Puppet so that it supports network isolation.
This includes using the (optional) isolated networks
for MySQL, Glance API, and iscsi network traffic.

Change-Id: Icdfbf5fce7380e6049babca0cd50ca2e4008c1b0

Drop swift ceilometer middleware.

Per Ceilometer commit 191f7bf9ccee33d8444f7dac5c09ceccce72ca29
 (change ID: Ifd1861e3df46fad0e44ff9b5cbd58711bbc87c97) the
Swift Ceilometer middleware no longer exists so we need
to drop it in order to work with the latest upstream
package.

Change-Id: Iebaad0ba477001d663c6875b32d691bbfcda3d8d

Leave control of Redis balancing in static hieradata

Redis balancing is controlled by static hieradata [1] we don't
need to override it into manifest.

1. https://github.com/openstack/tripleo-heat-templates/blob/master/puppet/hieradata/controller.yaml#L111

Change-Id: Ie2a5a4cbee0a55f2572f182b18c036efc299dbef

Merge "Enable loadbalancing of the Redis VIP, defaults to False"

Merge "Fix grammar nits in bond-with-vlans templates"

Merge "Rename ServiceNetMap: NeutronLocalIp"

Enable httpd balancing for Horizon

We need to customize the default apache::ip param or the default
vhost configured will listen on ::80

Change-Id: I195a083f727da940841beb3a0c37dade02c6d1ca

Use SoftwareDeployments for consistency in extraconfig

Currently we've got a mix of SoftwareConfig resource with
StructuredDeployments resources - while this will work it's
inconsistent and normally using the corresponding
SoftwareDeployments resouce is encourgaged instead.

Change-Id: I308d62d4ff491c073e3e8650fd4c2c65bf96d14a

Enable loadbalancing of the Redis VIP, defaults to False

We have to set it to true as the default is false which means the
redis vip can't be reached. This was manifested as a problem with
ceilometer agent reaching the coordination url like [1].

Co-Authored-By: Giulio Fidente <gfidente@redhat.com>
[1] https://bugzilla.redhat.com/attachment.cgi?id=1040023
Closes-Bug: https://bugzilla.redhat.com/show_bug.cgi?id=1232797
Change-Id: I1cd63308d0ac1d17542e1a2a909ee1a9680ed4b3

Bind novncproxy to its own network

By default the nova vncproxy binds to 0.0.0.0, which will fail in
a loadbalanced environment.  This makes it bind to its network.

Change-Id: I08776a8f6c72b63d73433b147c130fbc9a7110b0

Merge "Remove DefaultSignalTransport from top-level template"

Merge "Remove NO_SIGNAL from ControllerClusterConfig"

Merge "Remove NO_SIGNAL from Controller|ObjectSwiftDeployment"

Merge "Remove NO_SIGNAL from ControllerBootstrapNodeDeployment"

Merge "Remove Redis VirtualIP from params and build it from Neutron::Port"

Merge "Fix allocation pool in external.yaml"

Merge "Make CephStorageDeployment depend on NetworkDeployment"

Merge "Remove NO_SIGNAL from puppet role templates"

Merge "Adds horizon to pacemaker when puppet-pacemaker is enabled"

Merge "Fix Redis bind setting to use redis_network"

Merge "Allow control of hostname formatting"

Merge "Add $hostname.localdomain alias to /etc/hosts"

Merge "Remove unused EnablePacemaker param from templates"

Allow control of hostname formatting

Currently, we use the heat default server names, which results in some
fairly unreadable hostnames due to the level of nesting in the templates.

e.g ov-sszdbj5rdne-0-bhseh65edxv6-Controller-zoqc6tlypbdp

Instead, we allow the user to specify a format string per role, defaulted
to a string which formats the name e.g <stackname>-controller-<index>

e.g overcloud-controller-0

Optionally additional hostname components (not replaced by heat) could be
added, such that deployment time customization of hostnames via firstboot
scripts (e.g cloud-init) may be possible.

Should anyone wish to maintain the old heat-generated names, they can pass
an empty string via these parameters, which heat will treat as if no "name"
property was provided to OS::Nova::Server.

Change-Id: I1730caa0c2256f970da22ab21fa3aa1549b3f90b

Fix allocation pool in external.yaml

The file network/external.yaml has a typo in the last commit. It
should have been a get_param instead of a get_resource. This
change fixes that line in that file.

Change-Id: Ibc0db0510e9b5dae3c4669a620c642357906cbc2

Configurable vlan_id's for isolated networks

This patch adds parameters to configure the various
vlan IDs to all of the bond-with-vlans and single-nic-vlans
network config templates.

Change-Id: Ia6196735927777b73879e8086568f8a435597c6c

Make puppet-applying *Post resources depend on hieradata

When you do a stack-update which affects, e.g ControllerDeployment
such that some value in hieradata is updated (for example changing
the "Debug" parameter to True), we only write the hieradata file and
don't reapply the manifests.

So we introduce a dependency on the deploy_stdout values from all
hieradata applying configs, such that the manifests will be re-applied
on update if the data is changed.

This requires https://review.openstack.org/#/c/190282/ so that
99-refresh-completed will return the derived config ID as part of the
deploy_stdout payload.

Closes-Bug: #1463092
Change-Id: I1175248c3236d0c42e37d062afce550efce8aadc

Merge "Add BondInterfaceOvsOptions parameter"

Merge "network/config storage role fixes"

Merge "Flexible IP allocations for isolated nets"

Merge "Add support for isolating swift storage nets"

Merge "Remove external bridge from Compute nodes"

Add $hostname.localdomain alias to /etc/hosts

We want to make sure to be able to resolve the default domain
suffix (.localdomain) appended when no domain option is passed by
the dhcp server.

Change-Id: I33111e91b502f57da442e5745de2217bd6d2d882

Remove Redis VirtualIP from params and build it from Neutron::Port

The redis_vip should come from a Neutron Port as its cidr depends
on the Neutron Network configuration. This change adds 2 new files
and modifies 1 in the network/ports directory:

- noop.yaml - Passes through the ctlplane Controller IP (modified)
- ctlplane_vip.yaml - Creates a new VIP on the control plane
- vip.yaml - Creates a VIP on the named network (for isolated nets)

Also, changes to overcloud-without-mergepy.yaml create the
Redis Virtual IP. The standard resource registry was modified to
use noop.yaml for the new Redis VIP. The Puppet resource registry
was modified to use ctlplane_vip.yaml by default, but can be made
to use vip.yaml when network isolation is used by using an
environment file. vip.yaml will place the VIP according to the
ServiceNetMap, which can also be overridden.

We use this new VIP port definition to assign a VIP to Redis,
but follow-up patches will assign VIPs to the rest of the
services in a similar fashion.

Co-Authored-By: Dan Sneddon <dsneddon@redhat.com>
Change-Id: I2cb44ea7a057c4064d0e1999702623618ee3390c

Flexible IP allocations for isolated nets

This patch adds new '<net name>AllocationPool' parameters
to all of the isolated network nested stacks so that users
can easily control the allocation ranges on these networks.

Change-Id: I44b564831446c62e3489a69d992e0fb1f642b085

Fix Redis bind setting to use redis_network

The Redis bind host should be set from [1] template.

1. https://github.com/openstack/tripleo-heat-templates/blob/master/puppet/controller-puppet.yaml#L985

Change-Id: I8713db1a7ad739692817921248edcc6b0e819ade

Adds horizon to pacemaker when puppet-pacemaker is enabled

Adds the horizon (httpd) service as pacemaker resource
Also adds a default for the horizon::django_session_engine [1]
which was previously unconfigured. Also adds a server-status.conf
for httpd/pacemaker [2]

[1] https://docs.djangoproject.com/en/dev/topics/http/sessions/#using-cached-sessions
[2] https://github.com/beekhof/osp-ha-deploy/blob/master/pcmk/horizon.scenario#L72

Change-Id: I320837dfecf3241355e8a3345d0ff271592da491

Remove external bridge from Compute nodes

This change modifies overcloud-resource-registry-puppet.yaml to
use net-config-noop.yaml as the default os-net-config template
for compute nodes. The current default of net-config-bridge.yaml
will set up a br-ex on the compute nodes. Since we are not using
DVR that is not needed.

Change-Id: I4e149a4f5a6d19e94e8c0245f52677f92f22d3ec

Rename ServiceNetMap: NeutronLocalIp

This patch renames the NeutronLocalIp option to be called
NeutronTenantNetwork. This is more consistent with
all of the other ServiceNetMap settings which end in
'Network' and initial end user feedback found the
old name a bit cryptic as well.

This is the network for neutron tenant traffic so lets
just name it that.

Change-Id: Id49afe75c372887453413c092190a5775aa3e1ee

Isolate network traffic for Nova VNC proxy

This patch makes it possible to configure the isolated network
for the Nova vnc proxy client.

Change-Id: I462dfaea94e5fe9cb260ba91a42433a250f07984

Add support for isolating swift storage nets

This patch updates the Puppet Swift storage role
so that it supports network isolation. By default
all traffic still flows on the ctlplane network
but if network isolation is enabled then network
traffic will flow over the configured storage_mgmt
network interface.

This patch also fixes a few critical issues with
the swift storage role that prevented it from
working:
 - oac_data for the swift devices was overriding the
   data provided in the swift_devices_and_proxy
   hieradata file.
 - the role was missing declarations to load hieradata
   files for swift_devices_and_proxy and all_nodes
 - The required snmpd settings were not getting set
   correctly in the 'object' hiera data file.

With all of these changes the Swift storage role
works correctly with and without network isolation.

Change-Id: I541abb2604380f603bba91ad88e54783ee450a8f

Add BondInterfaceOvsOptions parameter

This patch adds a new BondInterfaceOvsOptions to the
bond-with-vlans network config templates. This can
be used to configure things like LACP or the bonding mode
via a nested stack heat parameter.

The patch also removes the hard coded ovs_options relating
to both bond-with-vlans and single-nic-with-vlans configurations
which do not actually require this setting to be hard coded
because by default OVS trunks vlan ports automatically.

Change-Id: I3effbccba8ed7ed28d6ba715e5709275d4e7f984

network/config storage role fixes

None of the storage roles have Heat parameters for the bridge
name. Instead of wiring in Heat parameters for bridge name
this patch hard codes the bridge name for the storage roles
to 'br-storage'.

This functionally fixes the network config scripts for each
of the storage roles.

For the single-nic-vlans storage roles we also remove
the 'bond1' reference which was also incorrectly specified.

Change-Id: I460d1a17e44ee49e960117ec85edd3ae25894333

Merge "Enable use of coordination_url in ceilometer"

Merge "Add Redis as a Pacemaker resource"

Merge "Enable NetApp Backends in Cinder"

Config & deployments to update overcloud packages

This change adds config and deployment resources to trigger package
updates on nodes. The deployments are triggered by doing a stack-update
and setting one of the parameters to a unique value.

The intent is that rolling update will be controlled by setting
breakpoints on all of the UpdateDeployment resources inside the
role resource groups.

Change-Id: I56bbf944ecd6cbdbf116021b8a53f9f9111c134f