Merge "Fix MongoDB connection url configuration in Ceilometer"

Merge "Use SoftwareDeployments for consistency in extraconfig"

Fix MongoDB connection url configuration in Ceilometer

Change-Id: I8a56e7b067044bace5def63ea6170ed817f48acd
Closes-Bug: 1467437
Closes-Bug: https://bugzilla.redhat.com/show_bug.cgi?id=1233283

Merge "Enable httpd balancing for Horizon"

Merge "Enable loadbalancing of the Redis VIP, defaults to False"

Merge "Fix grammar nits in bond-with-vlans templates"

Merge "Rename ServiceNetMap: NeutronLocalIp"

Enable httpd balancing for Horizon

We need to customize the default apache::ip param or the default
vhost configured will listen on ::80

Change-Id: I195a083f727da940841beb3a0c37dade02c6d1ca

Use SoftwareDeployments for consistency in extraconfig

Currently we've got a mix of SoftwareConfig resource with
StructuredDeployments resources - while this will work it's
inconsistent and normally using the corresponding
SoftwareDeployments resouce is encourgaged instead.

Change-Id: I308d62d4ff491c073e3e8650fd4c2c65bf96d14a

Enable loadbalancing of the Redis VIP, defaults to False

We have to set it to true as the default is false which means the
redis vip can't be reached. This was manifested as a problem with
ceilometer agent reaching the coordination url like [1].

Co-Authored-By: Giulio Fidente <gfidente@redhat.com>
[1] https://bugzilla.redhat.com/attachment.cgi?id=1040023
Closes-Bug: https://bugzilla.redhat.com/show_bug.cgi?id=1232797
Change-Id: I1cd63308d0ac1d17542e1a2a909ee1a9680ed4b3

Bind novncproxy to its own network

By default the nova vncproxy binds to 0.0.0.0, which will fail in
a loadbalanced environment.  This makes it bind to its network.

Change-Id: I08776a8f6c72b63d73433b147c130fbc9a7110b0

Merge "Remove DefaultSignalTransport from top-level template"

Merge "Remove NO_SIGNAL from ControllerClusterConfig"

Merge "Remove NO_SIGNAL from Controller|ObjectSwiftDeployment"

Merge "Remove NO_SIGNAL from ControllerBootstrapNodeDeployment"

Merge "Remove Redis VirtualIP from params and build it from Neutron::Port"

Merge "Fix allocation pool in external.yaml"

Merge "Make CephStorageDeployment depend on NetworkDeployment"

Merge "Remove NO_SIGNAL from puppet role templates"

Merge "Adds horizon to pacemaker when puppet-pacemaker is enabled"

Merge "Fix Redis bind setting to use redis_network"

Merge "Allow control of hostname formatting"

Merge "Add $hostname.localdomain alias to /etc/hosts"

Merge "Remove unused EnablePacemaker param from templates"

Allow control of hostname formatting

Currently, we use the heat default server names, which results in some
fairly unreadable hostnames due to the level of nesting in the templates.

e.g ov-sszdbj5rdne-0-bhseh65edxv6-Controller-zoqc6tlypbdp

Instead, we allow the user to specify a format string per role, defaulted
to a string which formats the name e.g <stackname>-controller-<index>

e.g overcloud-controller-0

Optionally additional hostname components (not replaced by heat) could be
added, such that deployment time customization of hostnames via firstboot
scripts (e.g cloud-init) may be possible.

Should anyone wish to maintain the old heat-generated names, they can pass
an empty string via these parameters, which heat will treat as if no "name"
property was provided to OS::Nova::Server.

Change-Id: I1730caa0c2256f970da22ab21fa3aa1549b3f90b

Fix allocation pool in external.yaml

The file network/external.yaml has a typo in the last commit. It
should have been a get_param instead of a get_resource. This
change fixes that line in that file.

Change-Id: Ibc0db0510e9b5dae3c4669a620c642357906cbc2

Configurable vlan_id's for isolated networks

This patch adds parameters to configure the various
vlan IDs to all of the bond-with-vlans and single-nic-vlans
network config templates.

Change-Id: Ia6196735927777b73879e8086568f8a435597c6c

Merge "Add BondInterfaceOvsOptions parameter"

Merge "network/config storage role fixes"

Merge "Flexible IP allocations for isolated nets"

Merge "Add support for isolating swift storage nets"

Merge "Remove external bridge from Compute nodes"

Add $hostname.localdomain alias to /etc/hosts

We want to make sure to be able to resolve the default domain
suffix (.localdomain) appended when no domain option is passed by
the dhcp server.

Change-Id: I33111e91b502f57da442e5745de2217bd6d2d882

Remove Redis VirtualIP from params and build it from Neutron::Port

The redis_vip should come from a Neutron Port as its cidr depends
on the Neutron Network configuration. This change adds 2 new files
and modifies 1 in the network/ports directory:

- noop.yaml - Passes through the ctlplane Controller IP (modified)
- ctlplane_vip.yaml - Creates a new VIP on the control plane
- vip.yaml - Creates a VIP on the named network (for isolated nets)

Also, changes to overcloud-without-mergepy.yaml create the
Redis Virtual IP. The standard resource registry was modified to
use noop.yaml for the new Redis VIP. The Puppet resource registry
was modified to use ctlplane_vip.yaml by default, but can be made
to use vip.yaml when network isolation is used by using an
environment file. vip.yaml will place the VIP according to the
ServiceNetMap, which can also be overridden.

We use this new VIP port definition to assign a VIP to Redis,
but follow-up patches will assign VIPs to the rest of the
services in a similar fashion.

Co-Authored-By: Dan Sneddon <dsneddon@redhat.com>
Change-Id: I2cb44ea7a057c4064d0e1999702623618ee3390c

Flexible IP allocations for isolated nets

This patch adds new '<net name>AllocationPool' parameters
to all of the isolated network nested stacks so that users
can easily control the allocation ranges on these networks.

Change-Id: I44b564831446c62e3489a69d992e0fb1f642b085

Fix Redis bind setting to use redis_network

The Redis bind host should be set from [1] template.

1. https://github.com/openstack/tripleo-heat-templates/blob/master/puppet/controller-puppet.yaml#L985

Change-Id: I8713db1a7ad739692817921248edcc6b0e819ade

Adds horizon to pacemaker when puppet-pacemaker is enabled

Adds the horizon (httpd) service as pacemaker resource
Also adds a default for the horizon::django_session_engine [1]
which was previously unconfigured. Also adds a server-status.conf
for httpd/pacemaker [2]

[1] https://docs.djangoproject.com/en/dev/topics/http/sessions/#using-cached-sessions
[2] https://github.com/beekhof/osp-ha-deploy/blob/master/pcmk/horizon.scenario#L72

Change-Id: I320837dfecf3241355e8a3345d0ff271592da491

Remove external bridge from Compute nodes

This change modifies overcloud-resource-registry-puppet.yaml to
use net-config-noop.yaml as the default os-net-config template
for compute nodes. The current default of net-config-bridge.yaml
will set up a br-ex on the compute nodes. Since we are not using
DVR that is not needed.

Change-Id: I4e149a4f5a6d19e94e8c0245f52677f92f22d3ec

Rename ServiceNetMap: NeutronLocalIp

This patch renames the NeutronLocalIp option to be called
NeutronTenantNetwork. This is more consistent with
all of the other ServiceNetMap settings which end in
'Network' and initial end user feedback found the
old name a bit cryptic as well.

This is the network for neutron tenant traffic so lets
just name it that.

Change-Id: Id49afe75c372887453413c092190a5775aa3e1ee

Isolate network traffic for Nova VNC proxy

This patch makes it possible to configure the isolated network
for the Nova vnc proxy client.

Change-Id: I462dfaea94e5fe9cb260ba91a42433a250f07984

Add support for isolating swift storage nets

This patch updates the Puppet Swift storage role
so that it supports network isolation. By default
all traffic still flows on the ctlplane network
but if network isolation is enabled then network
traffic will flow over the configured storage_mgmt
network interface.

This patch also fixes a few critical issues with
the swift storage role that prevented it from
working:
 - oac_data for the swift devices was overriding the
   data provided in the swift_devices_and_proxy
   hieradata file.
 - the role was missing declarations to load hieradata
   files for swift_devices_and_proxy and all_nodes
 - The required snmpd settings were not getting set
   correctly in the 'object' hiera data file.

With all of these changes the Swift storage role
works correctly with and without network isolation.

Change-Id: I541abb2604380f603bba91ad88e54783ee450a8f

Add BondInterfaceOvsOptions parameter

This patch adds a new BondInterfaceOvsOptions to the
bond-with-vlans network config templates. This can
be used to configure things like LACP or the bonding mode
via a nested stack heat parameter.

The patch also removes the hard coded ovs_options relating
to both bond-with-vlans and single-nic-with-vlans configurations
which do not actually require this setting to be hard coded
because by default OVS trunks vlan ports automatically.

Change-Id: I3effbccba8ed7ed28d6ba715e5709275d4e7f984

network/config storage role fixes

None of the storage roles have Heat parameters for the bridge
name. Instead of wiring in Heat parameters for bridge name
this patch hard codes the bridge name for the storage roles
to 'br-storage'.

This functionally fixes the network config scripts for each
of the storage roles.

For the single-nic-vlans storage roles we also remove
the 'bond1' reference which was also incorrectly specified.

Change-Id: I460d1a17e44ee49e960117ec85edd3ae25894333

Merge "Enable use of coordination_url in ceilometer"

Merge "Add Redis as a Pacemaker resource"

Merge "Enable NetApp Backends in Cinder"

Config & deployments to update overcloud packages

This change adds config and deployment resources to trigger package
updates on nodes. The deployments are triggered by doing a stack-update
and setting one of the parameters to a unique value.

The intent is that rolling update will be controlled by setting
breakpoints on all of the UpdateDeployment resources inside the
role resource groups.

Change-Id: I56bbf944ecd6cbdbf116021b8a53f9f9111c134f

Update mongodb implementation to reflect master

Two PR have been merged upstream that let use improve our current
implementation :

  * service_manage[1]
  * conn string has namevar[2]

[1] https://github.com/puppetlabs/puppetlabs-mongodb/pull/198
[2] https://github.com/puppetlabs/puppetlabs-mongodb/pull/200

Change-Id: Ia2247348a9e0292b5fcbc65ea1e41e6bc7c477fa

Enable use of coordination_url in ceilometer

Since t-h-t can now deploy a Redis cluster, we can rely on it as the
tooz backend for high availability.

Change-Id: If045a273388aa2e725b6de624e09aa9c85248cc4

Add Redis as a Pacemaker resource

Change-Id: I731b408f24da01c1bc897bfffe8fd4d5638932ed

Merge "Fix list of type_drivers for ML2 plugin"

Merge "Wire Neutron VLAN ranges param as array to puppet"

Enable NetApp Backends in Cinder

Enables support for configuring Cinder with a NetApp backend.
This change adds all relevant parameters for:
 - Clustered Data ONTAP (NFS, iSCSI, FC)
 - Data ONTAP 7-Mode (NFS, iSCSI, FC)
 - E-Series (iSCSI)

Change-Id: If6c6e511ef2d26c4794e3b37c61e5318485ff4db

Fix list of type_drivers for ML2 plugin

The list of drivers loaded by the ML2 plugin does not have to
match the list of tenant_network_types, this will make ML2 load
the flat, gre, vxlan and vlan drivers so that the provider
networks can be of flat (default) and vlan type as well.

Change-Id: I0b74f86acf5c1ff644deb46c0a1d14129c1882d4

Wire Neutron VLAN ranges param as array to puppet

Turns NeutronNetworkVLANRanges into a list and makes it consumable by
neutron::plugins::ml2::network_vlan_ranges as an array. Previously
usage of vlans was impossible due to puppet-neutron failing to
join() network_vlan_ranges.

Also fixes wiring of network_vlan_ranges on computes and adds a
sample environment file to test use of vlans for tenant networks.

Change-Id: I8725cdb9591dd8d0b7125fdacbefdc9138703266

Isolate the Ceph storage and storage_mgmt nets

This patch updates the Ceph configuration for the puppet
implementation so that it isolates the Ceph traffic
for the public and cluster interfaces. By default public traffic
runs on the "storage" network and the cluster traffic runs on the
"storage mgmt" network.

If network isolation is not enabled then the default
ctlplane address's will be used for both the public and
cluster interfaces.

Change-Id: I791244d72c8f42142d9de99e0cf0acdca19e62b0

configure pacemaker VIPs for isolated networks

This patch updates the overcloud pacemaker role manifest so
that it optionally configures VIPs on isolated networks if
they are enabled.

Change-Id: I6123ee622abe4d8d7b5f76cf9bac43acd80c1f64

Set glance_api_servers for cinder

This patch updates the hiera configuration for the Cinder API so
that we set glance_api_servers. By default Cinder constructs
a glance URL based on $my_ip (the local IP of the machine)
which may not be correct if you are running Glance on a non-default
internal network.

By setting glance_api_servers to the same thing we already
use for Nova we make Cinder contact the correct Glance URL
regardless of the network settings.

Change-Id: I1c56eb585ddfdc9989a8b55bc1bac819802f7794

puppet controller role: per service VIP settings

This patch refactors the puppet controller role so that it
makes use of per service VIP settings for each service.

Previously the VIP for the ctlplane was hard wired to
many of the controller service. With this patch we have
the ability to isolate traffic for services which
made use of the ctlplane and public VIPs for their
settings.

The implementation includes:

 * stops the use of the VirtualIP and PublicVirtualIP within the
   controller role. These parameters have now been replaced with
   per service heat parameters for the controller nested stack which
   are determined via VipMap based on per service settings in the heat
   environment.

 * All VIP configuration is now moved into puppet/vip-config.yaml.
   This made sense so we could deprecate the use of the VirtualIP
   and PublicVirtualIP settings above.

 * The puppet manifests for the controller were cleaned up for several
   to use Hiera directly instead of constructing URLs based on the
   static controller and public network VIPs. This improvement
   was something we wanted to do anyways and made the implementation
   cleaner.

Change-Id: I9b9a15be67f74bec97366408f7047acfd6ea0ec6

Merge "horizon/keystone api should use internal_api NW"

Merge "Add virtual IPs for split out networks"

Merge "Add PortName to ports stacks"

Merge "Combine Heat API networks into single net"

Merge "Make all-nodes Ip networks configurable"

Merge "Wire ServiceNetMap as a top level parameter"

Merge "Pass NeutronEnableTunnelling to controllers"

Merge "Set VXLAN tunnels range to match GRE range"

Merge "Wire Neutron allow_automatic_l3agent_failover param to module"

Pass NeutronEnableTunnelling to controllers

We forgot to pass NeutronEnableTunnelling param to controllers
(passed only to computes), making it unusable.

Change-Id: I74756732deabd1c7ba9039832ea169fd322a569f

Set VXLAN tunnels range to match GRE range

Change-Id: I16d259055fe4cd22541cd7abd7a26c71bbbaf292

Merge "os-net-config templates to configure vlans"

Remove DefaultSignalTransport from top-level template

This hasn't been properly wired in for a while AFAICT, so it makes
sense to remove it, and introduce a value via parameter_defaults
which enables easier global selection of a particular transport
without passing the value down through all the nested stacks.

Change-Id: Icd830aea00768e65adc1df1287440fdab98058f9

Remove NO_SIGNAL from ControllerClusterConfig

We want to ensure this actually worked, or subsequent configuration
steps may fail.

Change-Id: Ia9ae12e70dd32dd3ae6c26cbfd3e3e2dba5d272f

Remove NO_SIGNAL from Controller|ObjectSwiftDeployment

We want to know this deployment succeeded, again the
ControllerAllNodesPostDeployment depends_on this, which implies
it should actually be done before doing the PostDeployment stuff,
which is impossible to determine with NO_SIGNAL.

Change-Id: I46d23bce8762ac414e4de82cf42193694aebb763

Remove NO_SIGNAL from ControllerBootstrapNodeDeployment

We need to be sure the boostrap node data has been propagated to the
cluster before proceeding with configuration, because
ControllerNodesPostDeployment consumes the data put in place by this
and depends_on for serialization, which is essentially meaningless when
combined with NO_SIGNAL.

Change-Id: I73a1e5a2cda4c79f457bfbd9ce2836dc5c1902cc

Make CephStorageDeployment depend on NetworkDeployment

Change-Id: I5b6454d0e09eba79fc0376e963fd0e4c64105081

Remove NO_SIGNAL from puppet role templates

Currently we use NO_SIGNAL on both the NetworkConfig and subsequent config
deploying the data associated with the role.  This means there is a risk that
should the NetworkConfig do anything interruptive (os-net-config can do
interface renaming based on discovery data for example) the role configuration
config could fail, and we'd never know until some later error occurs.

Additionally, we need to be sure that the heiradata deployed by each of the role
specicific configs is actually in-place before proceeding with any of the cluster
configuration - atm this works due to the inherent delays involved deploying to
bare-metal, but there's still a theoretical race if very fast deployment backends
(I'm thinking containers, e.g lxc backend to nova or something) were used instead.

Essentially, we should never be using NO_SIGNAL unless we want to ignore failure,
which AFAICT is not the case in this instance.

Change-Id: I0dbbcc87fb8df8e6bc4775c39fa616b0d0713464

Merge "Reuse the undercloud service passwords as db passwords."

horizon/keystone api should use internal_api NW

As most of the OpenStack services are automatically bound
to the public virtual IP already we don't need to set
the default network for Horizon and Keystone to the 'external'
network. These should probably default to the internal_api
network like the rest of the OpenStack services...

Change-Id: I04cf64568c2fc7bb8a821b0de5ba56aa90158e2d

Add virtual IPs for split out networks

This patch adds VIPs for the internal_api, storage,
and storage management networks.

For puppet these are persisted into a local vip-config
hieradata file which is then used by puppet-tripleo's
loadbalancer module to apply per-service VIP settings.

Change-Id: I909c3bdc9d17a8e15351f4797287769e3f76c849

Add PortName to ports stacks

For VIP ports we set an explicit name on the ports. This
patch adds an optional PortName parameter to the ports
objects which can be used to specify a name.

Change-Id: Iad0f5e4cfc31a931dbb574d9e589570125e9465c

Combine Heat API networks into single net

We probably don't need to split out separate networks
for Heat CFN and Cloudwatch. Just having a single network
for Heat API in the overcloud is probably fine.

Change-Id: I917b314e01227af72129645c9b72ad8e54f07865

Make all-nodes Ip networks configurable

This patch adds a new NetIpListMap abstraction which we can use
to make the all-nodes-config IP list network assignments
configurable. Ip address lists for all overcloud services
which require IPs were added to all-nodes-config so
that puppet manifests can be directly supplied the
correct network list for each service.

Change-Id: I209f2b4f97a4bb78648c54813dad8615770bcf1a

Wire ServiceNetMap as a top level parameter

This patch makes ServiceNetMap a top level parameter.

This is helpful to tools like Tuskar which don't support Heat
environments that contain both a resource_registry and default_parameters.

ServiceNetMap will in fact be utilized at the top level in some of
the VIP related patches that follow.

Change-Id: I375063dacf5f3fc68e6df93e11c3e88f48aa3c3a

Wire Neutron allow_automatic_l3agent_failover param to module

Change-Id: Ibd1581ebb87ed02f3840000e90025a2a371019aa

os-net-config templates to configure vlans

This patch adds 5 new role templates to help configure
a vlans on top for each of the overcloud roles. This
patch adds vlans on top of a single NIC attached to
the control plane network (already used for provisioning).

The patch also includes an environment file to
enable configuration of vlans by simply sourcing this file.

Change-Id: Ibc40e452dec9b372ff10442aab2bddaf382b0a2f

Merge "post-deploy hook for rhel registration"

Merge "Neutron: Remove hiera lookup to controller_host"

Merge "Add Heat as a Pacemaker resource"

Merge "Add Ceilometer as a Pacemaker resource"

Neutron: Remove hiera lookup to controller_host

With current effort of creating isolated networks, the controller_host
hiera variable does not exist anymore. Hence we remove it else the
lookup will fail.

The hiera binding neutron::agents::ml2::ovs::local_ip has been written
in another review[1]

[1] I1dc11987b4ea3c37775b14fbdddb75588499e9bb

Change-Id: I12777c512d379210e5cddb5e683be4d79808fa2c

Merge "Map Mysql to isolated networks"

Merge "Use heat inputs for network port settings"

Add Heat as a Pacemaker resource

Change-Id: I1c8fc6beacc8352ad2aabe44ff20614ac52c1795

Add Ceilometer as a Pacemaker resource

Change-Id: I1243b68506f37d6b78807c03948874ae100fef65

Add Nova as Pacemaker resource

Constraints based on vncproxy are commented due to it not starting
with websockify < 0.6, see [1]

1. http://lists.openstack.org/pipermail/openstack-dev/2014-October/048535.html

Co-Authored-By: Jiri Stransky <jistr@redhat.com>
Change-Id: Ie51014bf563920d2e75c5e38942bc42ddc2a3939

Adds neutron-server and agents as pacemaker resources

Adds neutron-server, neutron-l3-agent, neutron-dhcp-agent,
neutron-openvswitch-agent and neutron-metadata-agent  as
pacemaker resources.

Change-Id: I4dcc6f56db4c27a2a4f627fa8303cbeb2bd563d4

Map Mysql to isolated networks

This change adds parameters to specify which networks the MySQL
service will use. If the internal_api network exists the MySQL
service will bind to the IP address on that network, otherwise
the services will default to the IP on the Undercloud 'ctlplane'
network.

This patch also drop the old 'controller_host' variable from
the puppet controller template since it is no longer in use.

Change-Id: I4fba2c957f7db47e916bc269fb4bd32ccc99bd4c

Use heat inputs for network port settings

This patch updates the controller and compute roles
so that we use get_input in the software configuration
instead of calling get_attr/get_param there.

Change-Id: I1dc11987b4ea3c37775b14fbdddb75588499e9bb

Merge "Fix colocation order to match ref-arch"