Add support for isolating swift storage nets

This patch updates the Puppet Swift storage role
so that it supports network isolation. By default
all traffic still flows on the ctlplane network
but if network isolation is enabled then network
traffic will flow over the configured storage_mgmt
network interface.

This patch also fixes a few critical issues with
the swift storage role that prevented it from
working:
 - oac_data for the swift devices was overriding the
   data provided in the swift_devices_and_proxy
   hieradata file.
 - the role was missing declarations to load hieradata
   files for swift_devices_and_proxy and all_nodes
 - The required snmpd settings were not getting set
   correctly in the 'object' hiera data file.

With all of these changes the Swift storage role
works correctly with and without network isolation.

Change-Id: I541abb2604380f603bba91ad88e54783ee450a8f

Merge "Enable use of coordination_url in ceilometer"

Merge "Add Redis as a Pacemaker resource"

Merge "Enable NetApp Backends in Cinder"

Config & deployments to update overcloud packages

This change adds config and deployment resources to trigger package
updates on nodes. The deployments are triggered by doing a stack-update
and setting one of the parameters to a unique value.

The intent is that rolling update will be controlled by setting
breakpoints on all of the UpdateDeployment resources inside the
role resource groups.

Change-Id: I56bbf944ecd6cbdbf116021b8a53f9f9111c134f

Update mongodb implementation to reflect master

Two PR have been merged upstream that let use improve our current
implementation :

  * service_manage[1]
  * conn string has namevar[2]

[1] https://github.com/puppetlabs/puppetlabs-mongodb/pull/198
[2] https://github.com/puppetlabs/puppetlabs-mongodb/pull/200

Change-Id: Ia2247348a9e0292b5fcbc65ea1e41e6bc7c477fa

Enable use of coordination_url in ceilometer

Since t-h-t can now deploy a Redis cluster, we can rely on it as the
tooz backend for high availability.

Change-Id: If045a273388aa2e725b6de624e09aa9c85248cc4

Add Redis as a Pacemaker resource

Change-Id: I731b408f24da01c1bc897bfffe8fd4d5638932ed

Merge "Fix list of type_drivers for ML2 plugin"

Merge "Wire Neutron VLAN ranges param as array to puppet"

Enable NetApp Backends in Cinder

Enables support for configuring Cinder with a NetApp backend.
This change adds all relevant parameters for:
 - Clustered Data ONTAP (NFS, iSCSI, FC)
 - Data ONTAP 7-Mode (NFS, iSCSI, FC)
 - E-Series (iSCSI)

Change-Id: If6c6e511ef2d26c4794e3b37c61e5318485ff4db

Fix list of type_drivers for ML2 plugin

The list of drivers loaded by the ML2 plugin does not have to
match the list of tenant_network_types, this will make ML2 load
the flat, gre, vxlan and vlan drivers so that the provider
networks can be of flat (default) and vlan type as well.

Change-Id: I0b74f86acf5c1ff644deb46c0a1d14129c1882d4

Wire Neutron VLAN ranges param as array to puppet

Turns NeutronNetworkVLANRanges into a list and makes it consumable by
neutron::plugins::ml2::network_vlan_ranges as an array. Previously
usage of vlans was impossible due to puppet-neutron failing to
join() network_vlan_ranges.

Also fixes wiring of network_vlan_ranges on computes and adds a
sample environment file to test use of vlans for tenant networks.

Change-Id: I8725cdb9591dd8d0b7125fdacbefdc9138703266

Isolate the Ceph storage and storage_mgmt nets

This patch updates the Ceph configuration for the puppet
implementation so that it isolates the Ceph traffic
for the public and cluster interfaces. By default public traffic
runs on the "storage" network and the cluster traffic runs on the
"storage mgmt" network.

If network isolation is not enabled then the default
ctlplane address's will be used for both the public and
cluster interfaces.

Change-Id: I791244d72c8f42142d9de99e0cf0acdca19e62b0

configure pacemaker VIPs for isolated networks

This patch updates the overcloud pacemaker role manifest so
that it optionally configures VIPs on isolated networks if
they are enabled.

Change-Id: I6123ee622abe4d8d7b5f76cf9bac43acd80c1f64

Set glance_api_servers for cinder

This patch updates the hiera configuration for the Cinder API so
that we set glance_api_servers. By default Cinder constructs
a glance URL based on $my_ip (the local IP of the machine)
which may not be correct if you are running Glance on a non-default
internal network.

By setting glance_api_servers to the same thing we already
use for Nova we make Cinder contact the correct Glance URL
regardless of the network settings.

Change-Id: I1c56eb585ddfdc9989a8b55bc1bac819802f7794

puppet controller role: per service VIP settings

This patch refactors the puppet controller role so that it
makes use of per service VIP settings for each service.

Previously the VIP for the ctlplane was hard wired to
many of the controller service. With this patch we have
the ability to isolate traffic for services which
made use of the ctlplane and public VIPs for their
settings.

The implementation includes:

 * stops the use of the VirtualIP and PublicVirtualIP within the
   controller role. These parameters have now been replaced with
   per service heat parameters for the controller nested stack which
   are determined via VipMap based on per service settings in the heat
   environment.

 * All VIP configuration is now moved into puppet/vip-config.yaml.
   This made sense so we could deprecate the use of the VirtualIP
   and PublicVirtualIP settings above.

 * The puppet manifests for the controller were cleaned up for several
   to use Hiera directly instead of constructing URLs based on the
   static controller and public network VIPs. This improvement
   was something we wanted to do anyways and made the implementation
   cleaner.

Change-Id: I9b9a15be67f74bec97366408f7047acfd6ea0ec6

Merge "horizon/keystone api should use internal_api NW"

Merge "Add virtual IPs for split out networks"

Merge "Add PortName to ports stacks"

Merge "Combine Heat API networks into single net"

Merge "Make all-nodes Ip networks configurable"

Merge "Wire ServiceNetMap as a top level parameter"

Merge "Pass NeutronEnableTunnelling to controllers"

Merge "Set VXLAN tunnels range to match GRE range"

Merge "Wire Neutron allow_automatic_l3agent_failover param to module"

Pass NeutronEnableTunnelling to controllers

We forgot to pass NeutronEnableTunnelling param to controllers
(passed only to computes), making it unusable.

Change-Id: I74756732deabd1c7ba9039832ea169fd322a569f

Set VXLAN tunnels range to match GRE range

Change-Id: I16d259055fe4cd22541cd7abd7a26c71bbbaf292

Merge "os-net-config templates to configure vlans"

Merge "Reuse the undercloud service passwords as db passwords."

horizon/keystone api should use internal_api NW

As most of the OpenStack services are automatically bound
to the public virtual IP already we don't need to set
the default network for Horizon and Keystone to the 'external'
network. These should probably default to the internal_api
network like the rest of the OpenStack services...

Change-Id: I04cf64568c2fc7bb8a821b0de5ba56aa90158e2d

Add virtual IPs for split out networks

This patch adds VIPs for the internal_api, storage,
and storage management networks.

For puppet these are persisted into a local vip-config
hieradata file which is then used by puppet-tripleo's
loadbalancer module to apply per-service VIP settings.

Change-Id: I909c3bdc9d17a8e15351f4797287769e3f76c849

Add PortName to ports stacks

For VIP ports we set an explicit name on the ports. This
patch adds an optional PortName parameter to the ports
objects which can be used to specify a name.

Change-Id: Iad0f5e4cfc31a931dbb574d9e589570125e9465c

Combine Heat API networks into single net

We probably don't need to split out separate networks
for Heat CFN and Cloudwatch. Just having a single network
for Heat API in the overcloud is probably fine.

Change-Id: I917b314e01227af72129645c9b72ad8e54f07865

Make all-nodes Ip networks configurable

This patch adds a new NetIpListMap abstraction which we can use
to make the all-nodes-config IP list network assignments
configurable. Ip address lists for all overcloud services
which require IPs were added to all-nodes-config so
that puppet manifests can be directly supplied the
correct network list for each service.

Change-Id: I209f2b4f97a4bb78648c54813dad8615770bcf1a

Wire ServiceNetMap as a top level parameter

This patch makes ServiceNetMap a top level parameter.

This is helpful to tools like Tuskar which don't support Heat
environments that contain both a resource_registry and default_parameters.

ServiceNetMap will in fact be utilized at the top level in some of
the VIP related patches that follow.

Change-Id: I375063dacf5f3fc68e6df93e11c3e88f48aa3c3a

Wire Neutron allow_automatic_l3agent_failover param to module

Change-Id: Ibd1581ebb87ed02f3840000e90025a2a371019aa

os-net-config templates to configure vlans

This patch adds 5 new role templates to help configure
a vlans on top for each of the overcloud roles. This
patch adds vlans on top of a single NIC attached to
the control plane network (already used for provisioning).

The patch also includes an environment file to
enable configuration of vlans by simply sourcing this file.

Change-Id: Ibc40e452dec9b372ff10442aab2bddaf382b0a2f

Merge "post-deploy hook for rhel registration"

Merge "Neutron: Remove hiera lookup to controller_host"

Merge "Add Heat as a Pacemaker resource"

Merge "Add Ceilometer as a Pacemaker resource"

Neutron: Remove hiera lookup to controller_host

With current effort of creating isolated networks, the controller_host
hiera variable does not exist anymore. Hence we remove it else the
lookup will fail.

The hiera binding neutron::agents::ml2::ovs::local_ip has been written
in another review[1]

[1] I1dc11987b4ea3c37775b14fbdddb75588499e9bb

Change-Id: I12777c512d379210e5cddb5e683be4d79808fa2c

Merge "Map Mysql to isolated networks"

Merge "Use heat inputs for network port settings"

Add Heat as a Pacemaker resource

Change-Id: I1c8fc6beacc8352ad2aabe44ff20614ac52c1795

Add Ceilometer as a Pacemaker resource

Change-Id: I1243b68506f37d6b78807c03948874ae100fef65

Add Nova as Pacemaker resource

Constraints based on vncproxy are commented due to it not starting
with websockify < 0.6, see [1]

1. http://lists.openstack.org/pipermail/openstack-dev/2014-October/048535.html

Co-Authored-By: Jiri Stransky <jistr@redhat.com>
Change-Id: Ie51014bf563920d2e75c5e38942bc42ddc2a3939

Adds neutron-server and agents as pacemaker resources

Adds neutron-server, neutron-l3-agent, neutron-dhcp-agent,
neutron-openvswitch-agent and neutron-metadata-agent  as
pacemaker resources.

Change-Id: I4dcc6f56db4c27a2a4f627fa8303cbeb2bd563d4

Map Mysql to isolated networks

This change adds parameters to specify which networks the MySQL
service will use. If the internal_api network exists the MySQL
service will bind to the IP address on that network, otherwise
the services will default to the IP on the Undercloud 'ctlplane'
network.

This patch also drop the old 'controller_host' variable from
the puppet controller template since it is no longer in use.

Change-Id: I4fba2c957f7db47e916bc269fb4bd32ccc99bd4c

Use heat inputs for network port settings

This patch updates the controller and compute roles
so that we use get_input in the software configuration
instead of calling get_attr/get_param there.

Change-Id: I1dc11987b4ea3c37775b14fbdddb75588499e9bb

Merge "Fix colocation order to match ref-arch"

Merge "Add Memcache as a Pacemaker resource"

Merge "Add a keystone-cinder-api constraint"

Merge "Add keystone-glance-registry constraint"

Merge "Use the proper parameter to set --master"

Merge "Map Horizon, Redis, Rabbit, memcached to isolated nets"

Merge "Map Swift services to isolated networks"

Merge "Map Nova services to isolated networks"

Merge "Map Heat services to isolated networks"

Merge "Map Neutron services to isolated networks"

Merge "Map Keystone services to isolated networks"

Merge "Map Glance services to isolated networks"

Fix colocation order to match ref-arch

Fixes the colocation order between glance-api and glance-registry to
match the ref-arch[1]

[1]
https://github.com/beekhof/osp-ha-deploy/blob/master/pcmk/glance.scenario#L108

Change-Id: I40f35afedb3333d97c8b689538bb80a90a66afe8

Add keystone-glance-registry constraint

Make sure the keystone service starts before the glance-registry one.

Change-Id: Ia81df13682bf556a39cc36520def48105ee3e27d

Add a keystone-cinder-api constraint

Make sure the keystone service starts before the cinder-api one.

Change-Id: I21549c066afcf051e52fc4bba4fae2f34ad2ba4b

Use the proper parameter to set --master

The interface for pcmk_resource offers the parameter master_params to set
--master during the resource creation.

Change-Id: I6fa769f14a6248b371810af3ba6819a1f9ed9442

Add Memcache as a Pacemaker resource

Depends-On: I7b992450176595a89dba9fe2eccf619af2645d6b
Change-Id: I30cebb6d3a8670f49587bedaf51af18a87a8d24c

Merge "Reuse the various service passwords as db passwords."

Merge "Map Cinder services to isolated networks"

Map Horizon, Redis, Rabbit, memcached to isolated nets

This change adds parameters to select the networks for Horizon,
Redis, Rabbit MQ, and memcached services. Horizon is often used for
administration from outside the cloud, so if the external network
exists, Horizon will bind to that IP, otherwise it will default to
the Undercloud 'ctlplane' network. Redis, Rabbit MQ, and memcached
will bind to IPs on the internal_api network if it exists, else
they will default to the 'ctlplane' network as well. Any of these
network assignments can be overridden with an environment file.

Change-Id: Ie0aa46b4a3c00d3826866796b4ec3b14f71f987c

Merge "Map Ceilometer services to isolated networks"

Map Swift services to isolated networks

This change adds paramters to specify which networks the Swift API
services will use. If the storage network exists, it will be used
for the Swift API, otherwise the Undercloud 'ctlplane' network will
be used. If the storage_mgmt network exists, it will be used for
the back-end storage services, otherwise the 'ctlplane' will be
used by default.

Change-Id: I1d5e966a16416c52935c22efe2d4783cd2192c32

Map Nova services to isolated networks

This change adds parameters to specify which networks the Nova API and
metadata services will use. If the internal_api network exists, it will be
used for the bind IP for Nova API and metadata servers, otherwise the
Undercloud 'ctlplane' IP will be used by default.

Change-Id: Ie420274c7fba80abf9cf2b599431acc47e28fc7a

Map Heat services to isolated networks

This change adds parameters to specify which networks the Heat services
will use. If the internal_api network exists, the Heat API, Heat Cloud
Formations, and Heat Cloudwatch services will bind to the IP address on
that network, otherwise the services will default to the IP on the
Undercloud 'ctlplane' network.

Change-Id: I5febe1b9071600b43fa76c6cf415db83cad472ab

Merge "Add Keystone as Pacemaker resource"

Map Neutron services to isolated networks

This change adds parameters to specify which network the Neutron API should
use. If the internal_api network exists, Neutron will bind to the IP on that
network, otherwise the Undercloud 'ctlplane' network will be used. The
network that the Neutron API is bound to can be overridden in an environment
file.

Change-Id: I11bcebba3a22e8850095250a2ddfaf972339476b

Map Keystone services to isolated networks

This change adds parameters to specify which networks the Keystone API
services will use. If the external network exists, Keystone will bind to
the IP on that network for the public API, otherwise it will default to
the IP on the Undercloud 'ctlplane' network. If the internal_api network
exists it will be used for the Keystone Admin API, otherwise it will
default to the 'ctlplane' IP. The networks these APIs are bound to can
be overridden in an environment file.

Change-Id: I6694ef6ca3b9b7afbde5d4f9d173723b9ce71b20

Map Glance services to isolated networks

This change adds parameters to specify which networks the Glance services
will use. If the internal_api network exists, Glance Registry will bind
to the IP on that network, otherwise it will default to the Undercloud
'ctlplane' network. If the storage network exists, Glance API will bind
to the IP on that network, otherwise it will default to 'ctlplane'. The
networks that these services use can be overridden with an environment
file.

Change-Id: I6114b2d898c5a0ba4cdb26a3da2dbf669666ba99

Merge "Define Glance Pacemaker resources on $pacemaker_master node only"

Merge "os-net-config templates to configure vlans on bond"

Map Cinder services to isolated networks

This change adds parameters to specify which networks the Cinder API and
Cinder iSCSI services will listen on. If the internal_api network exists,
Cinder API will be bound to the IP on that network, otherwise it will
default to the Undercloud 'ctlplane' network. The Cinder iSCSI service will
bind to the storage network if it exists, otherwise will also default to
using the Undercloud 'ctlplane' network.

Change-Id: I98149f108baf28d46eb199b69a72d0f6914486fd

Merge "Ensures mongodb configuration only happens if mongodb is needed"

Merge "We don't need to create the clustercheck user anymore"

Merge "overcloud stepped deployment environment"

Map Ceilometer services to isolated networks

This change adds the parameters to specify which networks the Ceilometer
and MongoDB servers listen on. It is set to the internal_api network if
present, and reverts to the default Undercloud 'ctlplane' network if not.

Change-Id: Ib646e4a34496966f9b1d454f04d07bf95543517f

os-net-config templates to configure vlans on bond

This patch adds 5 new role templates to help configure
an OVS bond with vlans on top for each of the overcloud
roles.

These are meant to represent a more production network
which might use isolated nets, and should help facilitate
create a CI job which configures a bond w/ vlans on it.

The patch also includes an environment file to
enable configuration of bonded vlans by simply
sourcing this file.

Change-Id: Ibe4c9d933445014ce3bec5fb3d7e3139fc40cb32

An environment file to enable network isolation

This commit adds an environment file which adds all
the relevant resource registry entries to enable isolated
overcloud networks.

Change-Id: I8c5e0ca300b86a38925f59c9df7831d69da9f787

Switch net-config templates to use OS::stack_id

This patch removes the custom config_id outputs and replaces
it with OS::stack_id which allows us to just call get_resource
in the parent stack.

The motivation for this change is we'll be adding more os-net-config
templates and it would be nice to take advantage of this newer
template feature.

Change-Id: I6fcb26024b94420779b86766e16d8a24210c4f8e

Update neutron local_ip to use the tenant network

This patch uses the new NetIpMap and ServiceMap abstractions
to assign the Neutron tenant tunneling network addresses.
By default this is associated with the tenant network. If no
tenant network is activated this will still default to
the control plane IP address.

Change-Id: I9db7dd0c282af4e5f24947f31da2b89f231e6ae4

Add a network ports IP mapping resource

This patch adds a resource which constructs a Json output
parameter called net_ip_map which will allow us to easily
extract arbitrary IP addresses for each network using the
get_attr function in heat.

The goal is to use this data construct in each role
template to obtain the correct IP address on each
network.

Change-Id: I1a8c382651f8096f606ad38f78bbd76314fbae5f

Add isolated network ports to block storage roles

This patch updates the cinder block storage roles so that
they can optionally make use of isolated network
ports on the storage, storage management, and internal_api
networks.

 -Multiple networks are created based upon settings in the heat
  resource registry. These nets will either use the noop network (the
  control plane pass-thru default) or create a custom Neutron port on
  each of the configured networks.

 -The ipaddress/subnet of each network is passed passed into the
  NetworkConfig resource which drives os-net-config. This allows the
  deployer to define a custom network template for static IPs, etc
  on each of the networks.

 -The ipaddress is exposed as an output parameter. By exposing
  the individual addresses as outputs we allow Heat to construct
  collections of ports for various services.

Change-Id: I4e18cd4763455f815a8f8b82c93a598c99cc3842

Add isolated network ports to swift roles

This patch updates the swift roles so that
they can optionally make use of isolated network
ports on the storage, storage management, and internal API
networks.

 -Multiple networks are created based upon settings in the heat
  resource registry. These nets will either use the noop network (the
  control plane pass-thru default) or create a custom Neutron port on
  each of the configured networks.

 -The ipaddress/subnet of each network is passed passed into the
  NetworkConfig resource which drives os-net-config. This allows the
  deployer to define a custom network template for static IPs, etc
  on each of the networks.

 -The ipaddress is exposed as an output parameter. By exposing
  the individual addresses as outputs we allow Heat to construct
  collections of ports for various services.

Change-Id: I9984404331705f6ce569fb54a38b2838a8142faa

Add isolated network ports to ceph roles

This patch updates the ceph roles so that
they can optionally make use of isolated network
ports on the storage and storage management networks.

 -Multiple networks are created based upon settings in the heat
  resource registry. These nets will either use the noop network (the
  control plane pass-thru default) or create a custom Neutron port on
  each of the configured networks.

 -The ipaddress/subnet of each network is passed passed into the
  NetworkConfig resource which drives os-net-config. This allows the
  deployer to define a custom network template for static IPs, etc
  on each of the networks.

 -The ipaddress is exposed as an output parameter. By exposing
  the individual addresses as outputs we allow Heat to construct
  collections of ports for various services.

Change-Id: I35cb8e7812202f8a7bc0379067bf33d483cd2aec

Add isolated network ports to compute roles

This patch updates the compute roles so that
they can optionally make use of isolated network
ports on the tenant, storage, and internal_api networks.

 -Multiple networks are created based upon settings in the heat
  resource registry. These nets will either use the noop network (the
  control plane pass-thru default) or create a custom Neutron port on
  each of the configured networks.

 -The ipaddress/subnet of each network is passed passed into the
  NetworkConfig resource which drives os-net-config. This allows the
  deployer to define a custom network template for static IPs, etc
  on each of the networks.

 -The ipaddress is exposed as an output parameter. By exposing
  the individual addresses as outputs we allow Heat to construct
  collections of ports for various services.

Change-Id: Ib07b4b7256ede7fb47ecc4eb5abe64b9144b9aa1

Add isolated network ports to controller roles

This patch updates the controller roles so that
they can optionally make use of isolated network
ports on each of 5 available overcloud networks.

 -Multiple networks are created based upon settings in the heat
  resource registry. These nets will either use the noop network (the
  control plane pass-thru default) or create a custom Neutron port on
  each of the configured networks.

 -The ipaddress/subnet of each network is passed passed into the
  NetworkConfig resource which drives os-net-config. This allows the
  deployer to define a custom network template for static IPs, etc
  on each of the networks.

 -The ipaddress is exposed as an output parameter. By exposing
  the individual addresses as outputs we allow Heat to construct
  collections of ports for various services.

Change-Id: I9bbd6c8f5b9697ab605bcdb5f84280bed74a8d66

Add isolated net parameters to net-config stacks

This patch adds parameters so that we can pass in the
ipaddress/subnet for each of the isolated overcloud
traffic nets to os-net-config templates. This
interface change will allow deployers to plug
in a custom version of an os-net-config template
that drives isolated network configuration.

Change-Id: I35bbe9a0bd81e79f9bfd531fe89c700af8b354c4

Add a ports (ip address) abstraction layer

This patch adds a set of templates to create ports on isolated
networks via Heat. There are 5 port templates in total
which are split out according to the available overcloud
networks.

Change-Id: I5175ef48c1960ea0d13fc8518328db53921c70cd

Merge "Wire in optional network creation for overcloud"

overcloud stepped deployment environment

When combined with --with-steps added to devtest_overcloud:
https://review.openstack.org/#/c/162109/ this enables stepped
deployments using heat hooks.

This environment file will break on all *StepN resources in every
*NodesPostDeployment resource, on both create and update.

Change-Id: Ibab567f0a37b832ea2b5966288ad55b5682c31ab