Big Switch Neutron ML2 plugin integration

Add support for Big Switch Neutron ML2 plugin. Makes sure that the
package is present and sets up the [restproxy] section in ml2_conf.ini.

This also adds support for setting the ovs_use_veth option in
l3_agent.ini. There is no support for this in puppet-neutron l3 class
and it probably doesn't make sense adding it there, because this setting
isn't relevant for all l3 agent drivers, it's specific to
OVSInterfaceDriver. The ovs_use_veth option is also added to
dhcp_agent.ini.

Change-Id: I99635e25b2099dacce68154fe14693d6f06ac19f

Merge "Enable Cisco Nexus and UCSM plugins"

Merge "Add 4 pacemaker constraints for keystone"

Merge "Ensure mysql root can only connect from localhost"

Enable Cisco Nexus and UCSM plugins

This enables support for the Cisco UCS Manager and Cisco
Nexus plugins

Change-Id: I1bc28a4768d5d6857a0504ca1f77dd71259570b8

Add YAML sanity check

Adds a "validate" tox env for basic sanity checking of templates.
Currently it just validates that all of the .yaml files are in fact
valid YAML.  In the future we might want to add more, but this
seemed like a reasonable start.

Change-Id: I8091bbad0003b150e23dae5de4f465053c982229

Merge "switch to vxlan by default"

Merge "Consume the NeutronMechanismDrivers from the hiera data"

Merge "Set NetValueSpecs parameter types to Json"

Merge "Set the nova scheduler ram_allocation_ration to 1.0"

Merge "Don't add 'host' parameter to cinder.conf"

Set NetValueSpecs parameter types to Json

The latest Heat API is a bit more strict in validating
the datatypes for the OS::Neutron::Net value_specs.
This patch converts the default parameter types for
these from string to json.

Change-Id: Iaad6ee6417d3ae55c52ffe2f4e6ed79124161923
Closes-bug: #1493502

Merge "Add NodeAdminUserData interface for "heat-admin" user"

Don't add 'host' parameter to cinder.conf

As of I54a75652efd5e91464b84adf84004400b343c3a5 for rdb
this is being done by the cinder puppet module.

Change-Id: I109e139fcbb859a0d9ed99054656be94975d33b5

Set default KeystoneAdminApiNetwork to ctlplane

Moves the default KeystoneAdminApiNetwork setting to the ctlplane
so that the undercloud will always have easy access to be able
to configure endpoints.

Change-Id: I1f6aba62b98820b678cce1ca16e72a0c3d045720

Keystone network isolation fixes

This patch adds explicit nested stack parameters to
help manage use of the Keystone Admin API vs. the
Keystone Public API.

We also add a new output parameter specifically for the Keystone admin
API VIP. This can be useful when configuring keystone endpoints
with network isolation.

Change-Id: I2bd3e61570151e2faeee14ee09b03ad0b3208cc1

Merge "Support for using external Ceph clusters"

Allow 'ctlplane' to be used within Net IP Maps

When using network isolation you might want to selective
move one of the services back to the default ctlplane network
by simply using the ServiceNetMap parameter. This patch
adds ctlplane to the output parameters for both
the net_ip_map and net_ip_list_map nested stacks so that
this is possible.

As part of this patch we also split out the NetIpSubnetMap
into its own unique nested stack so that the Heat input
parameters for this stack are more clearly named.

Change-Id: Iaa2dcaebeac896404e87ec0c635688b2a59a9e0f

Add NodeAdminUserData interface for "heat-admin" user

Reinstates the heat-admin user via template user-data, which
replaces the previous boothook injected user provided by the
(deprecated now removed) heat instance_user option.

This has some advantages over the heat.conf option, e.g it allows
for much easier customzation of the user configuration (additional
SSH keys, adding groups etc), and also in future if we support
deploying more than one overcloud you could specify a different
user per deployment.

Co-Authored-By: Dan Prince <dprince@redhat.com>
Change-Id: I2235b9690c01542d8a28ec1c1a4607de751aea29
Closes-Bug: #1229849

Add redis ordering with ceilometer-central

This is another missing constraint. The `require-all=false` part is good
to have, otherwise Ceilometer (and transitively Heat) would switch to
A/P mode. However, at the moment `require-all=false` isn't a recognized
parameter on Fedora, hence the logic fork based on $::operatingsystem.

Change-Id: I2657087192a05b2d8f0ab04ec60631d35331bf6c

Set pacemaker default resource-stickiness

This is required for HA to work correctly.

Change-Id: I9faa8fd7bbbac67de5c468ab6fc4edb2260dffe7
Depends-On: https://github.com/redhat-openstack/puppet-pacemaker/pull/61

Re-add constranits between nova-api and nova-novncproxy

This can probably only be merged when we move CI forward from Fedora 21
to Fedora 22.

Change-Id: I3a3db4b179cc19756f75003dacd2bb4cd957f0de

Set the nova scheduler ram_allocation_ration to 1.0

We don't have swap space enabled on overcloud-full deploys
as discussed at https://bugs.launchpad.net/tripleo/+bug/1491335

The default is 1.5 so configure Virtual ram to physical ram
allocation ratio to 1:1 so we don't allow overcommit.

Related-Bug: 1491335
Change-Id: I58cfe6dc68e8615a5519428412dec8c653bd6093

Merge "Enable Keystone notifications"

Add 4 pacemaker constraints for keystone

These were missing and are required for a correct deployment.

Change-Id: I49a61d0ab2f750f2620927a40f798d11b241b2c0

Consume the NeutronMechanismDrivers from the hiera data

This is passed from the heat templates as hiera data (defaulting
to 'openvswitch') but never effected, meaning we get the puppet
module default.

Change-Id: I3f14cdce9b9bf278aa9b107b2d313e1e82a20709
Closes-Bug: 1488176

switch to vxlan by default

VXLAN has better performance (20-25% better)
NICs with VXLAN offload are more common

Change-Id: If57c79a1309ae178b3e82d54bb101dde584c86cc
Related: rhbz#1244864

Merge "Wire in Compute pre-deployment extraconfig"

Enable Keystone notifications

This change enables Keystone notifications and adds two parameters
to control the notification driver and format.

Change-Id: I23ac3c46ee9eb49523d3b8dab027ef21fc6e42df

Remove hardcoded bridge name in bonded compute NIC config

This change removes a hardcoded value for the bond name in the NIC
config for the compute node in the bond-with-vlan NIC config
templates. When this hardcoded value of "br-bond" is used, then the
Neutron bridge mappings must be set to set to datacentre:br-bond in
order for VLAN mode networking to recognize the bridge. By using the
input value for bridge_name we will ensure that the controller and
compute nodes have the same bridge name (defaults to "br-ex"), and
that the defaults will work with VLAN mode.

Change-Id: I28654ab93e3c10a8597c8b877f3f2f6b3eca887c

Support for using external Ceph clusters

This patch adds support for using an externally managed Ceph
cluster with the TripleO Heat templates.

For an externally managed Ceph cluster we initially
only deploy the Ceph client tools, install the 'openstack' user
keyring, and generate the ceph.conf. This matches what we do
for managed Ceph installations and is a good first start.
No other Ceph related services are installed or managed.

To enable use of a Ceph external cluster simply add
the custom Heat environment file environments/puppet-ceph-external.yaml
to your heat stack create/update command and make sure to
set the required CephClientKey, CephExternalMonHost, and CephClusterFSID
variables.

Change-Id: I0a8b213ce9dfa2fc4e62ae1e7631466e5179fc2b

Merge "Drive DB initialization via Hiera"

Merge "Add a default setting for BondInterfaceOvsOptions"

Ensure mysql root can only connect from localhost

Currently mysql root user can connect in a passwordless way from :

  * localhost
  * 127.0.0.1
  * ::1
  * <HOSTNAME>

This patch ensures that the mysql root user can connect only from localhost.

Change-Id: If64fd383737c2fbeed4adbe8d98b1f92610956b2

Wire in Compute pre-deployment extraconfig

This commit provides a way to configure some additional hieradata
for compute nodes. This is similar to the earlier added infra for
supporting Controller pre-deployment extraconfig.

Change-Id: I02dda0685c7df9013693db5eeacb2f47745d05b5

Provide a sample storage environment file

Meant to help users configure their storage parameters by copying this
file out, amending it and passing it to `heat stack-create` or
`openstack overcloud deploy`.

Defaults to using Ceph as a backend for Cinder, Glance and also Nova
ephemeral storage.

Change-Id: Ia8f5ef175439394aacdea98cfd66416bcb9bfe3a

Merge "RHEL registration shouldn't use attach with activation key"

Merge "Keystone token flushing"

Merge "Set rabbitmq heatbeat timeout threshold to 60"

Add a default setting for BondInterfaceOvsOptions

This change adds a default setting for the OVS bond options to the
bond-with-vlans controller.yaml. This default will attempt to bring
up LACP bonding, but should that fail it will bring up the bond in
active/backup mode. This is a safe configuration if the switch is
not configured for bonding.

Change-Id: I91aad1e061ed1ecf26636e60da7a9a6e9cde50a5

network validation to ping test each interface

This patches wires in a new "all nodes" validation resource
that can be used to add validations that occur early on
during the deployment process. This occurs after the nodes
have been brought online and the initial networks
have been configured but before any "post" (puppet, etc.)
sort of configuration has been executed.

A initial validation script has been added to ping test network IPs
on each network. When using network isolation this will ensure
network connectivity (vlans, etc) are working on each
node and if not the heat stack will fail early, allowing
time to fix the network connections and retry the
stack creation via an update.

Change-Id: I63cf95b27e8ad2aed48718cf84df5f324780e597
Co-Authored-By: Ian Main <imain@redhat.com>
Co-Authored-By: Ryan Hallisey <rhallise@redhat.com>

Merge "Ensure SELinux is permissive on Ceph OSDs"

Merge "Set heat::instance_user to empty string"

Keystone token flushing

Set up a cron job to flush keystone tokens periodically. The job runs
once a day near midnight per puppet-keystone defaults, and we pass
maxdelay 3600 which means each controller will wait a random delay of up
to 1 hour before running the task.

Change-Id: I351f0273c61106c182aa3945b7ad1ce8f5c7d12b

Merge "NFS backend for Cinder"

Merge "Set default external port to noop for puppet"

Merge "Use 'public' instead of 'nova' as default floating pool name"

Set default external port to noop for puppet

In 9b89dd20162d962480d3cb84161ed6bfd4fa9de8 we had a regression
where the default "external" traffic port was set to a VIP
when using puppet. We should not ever specify a VIP to be used
for the actual machine IPs (VIPs are only guaranteed to
work once the load balancer is running).

Also, This doesn't match the non-puppet case.

Change-Id: Icd179a70001f2bd7a97e31c7f6445001330674cd

Merge "Wire in hieradata overrides via ExtraConfig for CephStorage"

Merge "Wire in hieradata overrides via ExtraConfig for ObjectStorage"

Merge "Convert PublicVirtualIP to new port creation method"

Use 'public' instead of 'nova' as default floating pool name

The dafault in nova.conf for default_floating_pool is set to nova
which is confusing given to make Tempest tests to pass one has to
create a public network with such a name.

Change-Id: I148222a9f276309ede062ee5292993898ff899d6

Merge "Provide list of memcached servers to Nova"

Merge "Wire in hieradata overrides via ExtraConfig for BlockStorage"

Merge "Wire in hieradata overrides via ExtraConfig for NovaCompute"

Convert PublicVirtualIP to new port creation method

This change brings PublicVirtualIP in line with the rest of the
VIPs in how it is created. This allows the network where
PublicVirtualIP is instantiated to be on cltplane when network
isolation is not used, and on the external network when network
isolation is used. This change removes the PublicVirtualNetwork
parameter, since it is no longer used. In order to continue to
support the PublicVirtualFixedIPs parameter, which is used to
provide a specific IP for the PublicVirtualIP, the FixedIP
parameter was added to cltplane_vip.yaml, vip.yaml, and
noop.yaml. The value of PublicVirtualIP is passed to FixedIP
in the VIP templates. This change also moves the default
network for keystone public api to the external net (which will
fallback to ctlplane if network isolation isn't used).

Change-Id: I3f5d35cbe55d3a148e95cf49dfbaad4874df960b

Provide list of memcached servers to Nova

Memcached is used by novnc to share the auth tokens.

Change-Id: I18415b6ae38b46e3c92e4ce84b858a014ef8398b

Drive DB initialization via Hiera

This patch moves most of the ::db::mysql parameter initialization
into a new database.yaml Hiera file. This cleans up the
controller manifests and allows us to define things in a single
location across the two implementations (HA and nonHA).

Change-Id: I895b753b329097a96a6c6f3a03a5fcebefe32dd4

Increase default start timeout for Pacemaker from 20s to 90s

On slow environments the start operation of some services can
take longer than 20s so we increase the default for start
operation to 90s, more info can be found at:
https://bugzilla.redhat.com/show_bug.cgi?id=1242052

Systemd defaults to 90s as well.

Change-Id: Ie4652bad518075be77937d47830f263034eda79c

Merge "Puppet: wire in tripleo::packages"

Merge "Fix Puppet Configuring NetApp Cinder Backend"

Puppet: wire in tripleo::packages

This wires in use of a new puppet-tripleo class which
encapsulates the logic to enable/disable package
installation and upgrades.

By using the new class we can remove the global
Package provider declaration at the top of each
module.

Change-Id: I5c6e5fd8600031bd8fb6195649721607c560f9d5
Depends-on:  Ie8fbc344149bc8c9977e127de77636903607617a

Fix Puppet Configuring NetApp Cinder Backend

It was incorrectly assumed that Puppet variables assigned to a
defined class (as seen in cinder-netapp.yaml) would be applied to
any resources created with that type. This is not how Puppet works.

The full range of configuration parameters to cinder::backend::netapp
have been added back in. They are still pulling from Hiera like they
were intended before, but it needs to be a little more explicit for
Puppet to be happy.

Change-Id: I2e00eae829713b2dbb1e4a5f296b6d08d0c21100

Merge "Ensure compute nodes use internalURL as catalog_info"

Merge "Allow overlapping IPs in Neutron"

Merge "Ensure CinderStorage nodes use internalURL as catalog_info"

Merge "Use parameter_defaults in env files"

Set rabbitmq heatbeat timeout threshold to 60

Updates the default settings for Nova, Neutron, Cinder,
Ceilometer, and Heat services so we set the default rabbitmq
threshold to 60 seconds.

Change-Id: If537ae16968eb6b264b2ab071144f1eecab18b64

Allow overlapping IPs in Neutron

Change-Id: I7703013b62bd67869c268fb8689389ec0eeb5aad

Merge "Increase default max_connections for MySQL from 1024 to 4096"

Merge "Enable hieradata ExtraConfig overrides for Controller"

Ensure CinderStorage nodes use internalURL as catalog_info

By default Cinder will get the publicURL for Nova and Swift, which
is not reachable by the CinderStorage nodes.

Change-Id: I25b7900c9ab261e0f706257ffdf6844533b63b94

Ensure compute nodes use internalURL as catalog_info

By default Nova will get the publicURL instead, which is not
reachable by the compute nodes.

Change-Id: I57b6a7a7eddb0ffaf6d2d152d932f390c48f908e

Wire in hieradata overrides via ExtraConfig for CephStorage

Adds support for global (ExtraConfig) and role-specific
(CephStorageExtraConfig) hiera overrides, similar to those added
for the Controller, NovaCompute, BlockStorage, ObjectStorage roles.

Change-Id: Idbe73b86a772491cd3c55ba69b5a95cc291d2598

Wire in hieradata overrides via ExtraConfig for ObjectStorage

Adds support for global (ExtraConfig) and role-specific
(ObjectStorageExtraConfig) hiera overrides, similar to those added
for the Controller, NovaCompute and BlockStorage roles.

Change-Id: I7dd0d8003017e2738366983cb5d8e08b3f3fa334

Wire in hieradata overrides via ExtraConfig for BlockStorage

Adds support for global (ExtraConfig) and role-specific
(BlockStorageExtraConfig) hiera overrides, similar to those added
for the Controller and NovaCompute roles.

Change-Id: Iaf9665b53407e6a657f56d6516469f2c88bafbdd

Wire in hieradata overrides via ExtraConfig for NovaCompute

Adds support for global (ExtraConfig) and role-specific
(NovaComputeExtraConfig) hiera overrides, similar to those added
for the controller.

For example, you can pass an environment file like:
parameters:
  NovaComputeExtraConfig:
    nova::scheduler::filter::ram_allocation_ratio: 1.8
    compute_classes:
    - ::nova::scheduler::filter

This passes a hiera value for ram_allocation_ratio and enables
a class via the include added in https://review.openstack.org/#/c/197908/

Note this also requires https://review.openstack.org/#/c/188772/
or 40-hiera-datafiles incorrectly quotes the list and the
compute_classes part won't work.

Change-Id: Ic33eed1b5e9c33c0d2f6075c65c8d9649b82c8b4

Merge "Provide manage_service to neutron::agents::ml2::ovs"

Increase default max_connections for MySQL from 1024 to 4096

As a matter of fact it seems that the 1024 connections barrier
can easily be reached with modern hardware, see:
https://bugzilla.redhat.com/show_bug.cgi?id=1240824

Change-Id: I194a0dd725907350ca16ea3c41f3ed4f68a11bcf

Enable hieradata ExtraConfig overrides for Controller

Wires in the ControllerExtraConfig and ExtraConfig parameters so
that they may be used to specify overrides of the default hieradata.

Note if this is used to override values specified via parameters
rather than hard-coded values in puppet/hieradata caution should
be used as the overridden values will always take precendence
regardless of the parameter input, unless the parameter is provided
directly to the Deployment resource applying the manifiest (e.g
not the pattern currently employed in most of t-h-t)

Also note that ControllerExtraConfig takes precedence over the
deployment-wide ExtraConfig.

For example, here's how you would pass a value which disables the
heat-api-cfn service on all controllers. This would be put into an
environment file, then passed to the heat stack-create via an extra
-e option:

parameters:
  controllerExtraConfig:
    heat::api_cfn::enabled: false

Note the parameter capitalization is different in the top-level
overcloud-without-mergepy template for some reason.

Change-Id: I6d6e3e78460308134d95c01892bb242aba70e9ca

Merge "Adds the NeutronTunnelIdRanges and NeutronVniRanges parameters"

Merge "Configure Heat's ec2 auth uri correctly"

Merge "Allow a user to disable MongoDB journaling"

Merge "Removes the NeutronScale resource from controller pcmk manifest"

Merge "neutron-server: Remove start/sleep/stop pattern"

Ensure SELinux is permissive on Ceph OSDs

Currently we build the overcloud image with selinux-permissive element
in CI. However, even in environments where selinux-permissive element is
not used, it should be ensured that SELinux is set to permissive mode on
nodes with Ceph OSD [1].

We have no nice way to manage SELinux status via Puppet at the moment,
so i'm resorting to execs, but with proper "onlyif" guards.

[1] https://bugzilla.redhat.com/show_bug.cgi?id=1241422

Change-Id: I31bd685ad4800261fd317eef759bcfd285f2ba80

neutron-server: Remove start/sleep/stop pattern

Currently the bootstrap of the neutron server happens with the use of a
start/sleep/stop pattern.

Since Pacemaker doesn't mind if the service is already started let
simply start the neutron server on the $pacemaker_master node and wait
for 5 sec.

Change-Id: I894dc3305f7d6685ebcc6828e690c718a63f32bd
Closes-Bug: #1473410

Provide manage_service to neutron::agents::ml2::ovs

Change-Id: Ib945b07dd93f9bdc613f464211745094c4c72836

Merge "Output internal API VIPs"

Adds the NeutronTunnelIdRanges and NeutronVniRanges parameters

This adds the NeutronTunnelIdRanges and NeutronVniRanges parameters
which govern the GRE or VXLAN tunnel IDs (respectively) that are to
be made available for overcloud tenant networks.

These both default to "1:1000," to retain the current behaviour.
They are propagated to the hiera data for puppet deploys and there
is a separate change to support passing these into the config via
the neutron tripleo-image-element at

https://review.openstack.org/#/c/199592/

Change-Id: I967a8cae218a31e888abc438e9de5756ae627adb
Related-Bug: https://bugzilla.redhat.com/show_bug.cgi?id=1240631

Allow a user to disable MongoDB journaling

By default MongoDB enables a journaling system that prevents loss of
data in case of an unexpected shut-down. When journaling is enabled,
MongoDB will create the journal files before actually starting the
daemon[1].

The journaling feature is useful in production environment, but not
really on a CI-like system, where we only want to make sure MongoDB is
setup correctly and running, hence here we allow a user to
enable/disable MongoDB journaling.

[1] http://docs.mongodb.org/manual/core/journaling/

Change-Id: I0e4e65af9f650c10fdf5155ff709b4eb984cf4e1
Closes-bug: #1468246

Allow configuration of MySQL max_connections setting

The number of connections created to the database depends on the
number of running processes and this is a factor of both the nodes
count and the cores count. We make it configurable so it can be
increased when needed.

Change-Id: I41d511bde95d0942706bf7c28cd913498ea165fb

Merge "Add services to ServiceNetMap to select hostnames resolution network"

RHEL registration shouldn't use attach with activation key

In the case of using portal registration with an
activation key, the RHEL registration script is still
executing a `subscription-manager attach` command. This
should not happen if an activation key is provided. This
is because an activation key already provides the
subscriptions to attach.

Change-Id: I2907bede28a9b7bef71cedeea69c876eb4949df0

Use parameter_defaults in env files

Switch to using parameter_defaults in environment files instead of a
parameters section. Using a parameters section to set top level
parameters breaks Tuskar based deployments because Tuskar prefixes the
name of the top level parameters with a role name and version, thus
changing the name of the parameter. When the environment file is then
used to set a top level parameter, Heat fails with an error during
template validation:

ERROR: The Parameter (NeutronExternalNetworkBridge) was not defined in template

Change-Id: I605651a8ebdbd0b2baf7bcea198c2988efb55f31

Adds the NeutronDhcpAgentsPerNetwork parameter

Currently for both puppet and image-elements based deploys we set
the dhcp_agents_per_network in neutron.conf to 2 and there is no
control over that number (in the hieradata for the former and the
image element for the latter). This change adds the
NeutronDhcpAgentsPerNetwork parameter and also changes the default
to 3 when not explicitly set.

In the puppet case propagate this parameter in the hieradata for
the neutron class and in the non-puppet case expose a new item in
the neutron config to be consumed by the neutron image element
(that change will point here)

Change-Id: Id97c7796db7231b636f2001e28412452cf89562b

Merge "Add RemovalPolicies param for resource groups"

Set heat::instance_user to empty string

In the overcloud heat, heat.conf instance_user is set to heat-admin.

The consequence of this is that SSHing into heat created guest VMs will require
the user 'heat-admin'. I predict that this will result in user confusion as to
how to SSH into their VMs since they will be attempting default usernames
(centos, cloud-user etc) or the documented heat default user (ec2-user)

This change sets it to an empty string so that default usernames are used.

This change depends on the puppet-heat fix to allow empty string instance_user:
Depends-On: I9e8be0dd50709d271fc81683770c78380724e405

Change-Id: Id14bf3a4ac1b1c95797dae16c674b32a2da230f8

Merge "Add NeutronExternalNetworkBridge parameter"

Add services to ServiceNetMap to select hostnames resolution network

The *HostnameResolveNetwork services define the network against
which the hostnames in /etc/hosts should be resolved, defaults
to 'internal_api' for all except CephStorage for which it uses
'storage' as they do not have connectivity to 'internal_api'.

Closes-Bug: 1471179
Change-Id: Ia8971f8a63016966236e7975ac2d97921a314255