Merge "Remove default_floating_pool in compute.yaml"

Put staticweb middleware after keystoneauth in proxy pipeline

The staticweb middleware needs to be put after authentication
middlewares to ensure correct functionality as documented in
http://docs.openstack.org/developer/swift/middleware.html#staticweb

Without this Swift sends a HTML response even if the request was done
using a X-Auth-Token. This might result in a faulty handling of the response on
the client side; for example, "swift stat containername" would report an empty,
private container, while the container might actually be public readable with
data stored in it.

Closes-bug: 1494896
Change-Id: Id48840e0041f8d272e08def292fbedfaf76bbfbb
Co-Authored-By: Christian Schwede <cschwede@redhat.com>

Remove default_floating_pool in compute.yaml

This is unused on compute nodes and does not need to be specified.

Further, nova::api is not even included in the compute puppet manifest,
so it had no effect anyway.

Change-Id: I7589bf544fb1ddad3cd371869756cb880c0bac37

Pass default_floating_pool into nova::api class

We were calling nova_config resource to define it
but as of Ic060fc18c8f5d7dc8fcf1d7bd921623dc505a515
its now included as part of the nova::api class.

Closes-bug: #1498237

Change-Id: I948f26304536e2d692acf38d994d29167672168b
Depends-On: I2789e782a4fd673e09c6334b6d56819c68414c80

Merge "Configure ctlplane network with a static IP"

Configure ctlplane network with a static IP

This patch updates all network configuration templates so that
we configure the ctlplane network interface with a static IP
instead of using DHCP.

The IP address used for the static IP is passed into each
nested stack network configuration template via the ControlPlaneIp
parameter.

Three new nested stack parameters called ControlPlaneSubnetCidr,
ControlPlaneDefaultRoute, and EC2MetadataIp have been added to help
configure the CIDR, default route, and EC2 metadata route on the ctlplane
statically.  These parameters can be customized via the
parameter_defaults section in the heat environment.

A single new template called net-config-static-bridge.yaml has
been added to help migrate towards using the static
configuration templates when not using network isolation.

Depends-On: I257e1cba6dee16f73f75512d1284e1e3b9d4c831

Change-Id: Ib267e6dcf2d5ff77f7a82ee20a123965c2d07565

Support new form of servers config for ML2 cisco nexus allnodes config.

The puppet-neutron changes to remove the usage of ERB templates require
changing the format of the 'servers' hash/dictionary to include a key
for use with puppet's create_resources directly from hiera data.

Depends-On: I401371c9e5176de7ce19d4d4e878e9f2e69aab80

Change-Id: I950b7fb019dd8dd072592618b968a19df5c9c884

Port Cisco Nexus/UCSM ExtraConfig to AllNodes

Switch the implemention from a pre_deploy ExtraConfig to an
AllNodesExtraConfig, so we can collect the mac->hostname mapping
for all nodes, then calculate a NexusConfig based on that and
a provided mapping of switch ports to mac address.
The same conversion is also done to the NetworkUCSMHostList:

The port mappings are provided via parameter_defaults like:

parameter_defaults:
  NetworkNexusConfig: {
    "bxb-tor-1": {
      "username": "admin",
      "ssh_port": 22,
      "password": "lab",
      "ip_address": "10.86.7.204",
      "nve_src_intf": 0,
      "physnet": "datacentre",
      "servers": {
        "fa:16:3e:fa:be:ef": "1/11",
        "fa:16:3e:fa:5e:cf": "1/23",
        "fa:16:3e:fa:12:34": "2/34"
      }
    }
  }
  NetworkUCSMHostList: 'fa:16:3e:fa:be:ef:profile1'

This results in an entry like this appended to
/etc/puppet/hieradata/neutron_cisco_data.yaml:

neutron::plugins::ml2::cisco::nexus::nexus_config:\
 {"bxb-tor-1": {"username": "admin", "nve_src_intf": 0, "ssh_port": 22,
"servers": {"overcloud-compute02": "2/34", "overcloud-compute01": "1/23",
"overcloud-control01": "1/11"}, "password": "lab", "ip_address": "10.86.7.204",
"physnet": "datacentre"}}
neutron::plugins::ml2::cisco::ucsm::ucsm_host_list: overcloud-control01:profile1

Co-Authored-By: Rob Pothier <rpothier@cisco.com>
Co-Authored-By: Tim Swanson <tiswanso@cisco.com>
Change-Id: I372c3ffb6bd85b7239fcb9f3fc4fa51cd4a39332

Add "AllNodes" ExtraConfig interface

Adds hook to enable additional "AllNodes" config to be performed prior
to applying puppet - this is useful when you need to build
configuration data which requires knowledge of all nodes in a cluster,
or of the entire deployment.

As an example, there is a sample config template which collects the
hostname and mac addresses for all nodes in the deployment then writes
the data to all Controller nodes.  Something similar to this may be
required to enable creation of the nexus_config in
https://review.openstack.org/#/c/198754/

There's also another, simpler, example which shows how you could share
the output of an OS::Heat::RandomString between nodes.

Change-Id: I8342a238f50142d8c7426f2b96f4ef1635775509

Merge "Big Switch Neutron ML2 plugin integration"

Merge "network validation to ping test each interface"

Merge "Add YAML sanity check"

Merge "Set pacemaker default resource-stickiness"

Big Switch Neutron ML2 plugin integration

Add support for Big Switch Neutron ML2 plugin. Makes sure that the
package is present and sets up the [restproxy] section in ml2_conf.ini.

This also adds support for setting the ovs_use_veth option in
l3_agent.ini. There is no support for this in puppet-neutron l3 class
and it probably doesn't make sense adding it there, because this setting
isn't relevant for all l3 agent drivers, it's specific to
OVSInterfaceDriver. The ovs_use_veth option is also added to
dhcp_agent.ini.

Change-Id: I99635e25b2099dacce68154fe14693d6f06ac19f

Merge "Enable Cisco Nexus and UCSM plugins"

Merge "Add 4 pacemaker constraints for keystone"

Merge "Ensure mysql root can only connect from localhost"

Enable Cisco Nexus and UCSM plugins

This enables support for the Cisco UCS Manager and Cisco
Nexus plugins

Change-Id: I1bc28a4768d5d6857a0504ca1f77dd71259570b8

Add YAML sanity check

Adds a "validate" tox env for basic sanity checking of templates.
Currently it just validates that all of the .yaml files are in fact
valid YAML.  In the future we might want to add more, but this
seemed like a reasonable start.

Change-Id: I8091bbad0003b150e23dae5de4f465053c982229

Merge "switch to vxlan by default"

Merge "Consume the NeutronMechanismDrivers from the hiera data"

Merge "Set NetValueSpecs parameter types to Json"

Merge "Set the nova scheduler ram_allocation_ration to 1.0"

Merge "Don't add 'host' parameter to cinder.conf"

Set NetValueSpecs parameter types to Json

The latest Heat API is a bit more strict in validating
the datatypes for the OS::Neutron::Net value_specs.
This patch converts the default parameter types for
these from string to json.

Change-Id: Iaad6ee6417d3ae55c52ffe2f4e6ed79124161923
Closes-bug: #1493502

Merge "Add NodeAdminUserData interface for "heat-admin" user"

Don't add 'host' parameter to cinder.conf

As of I54a75652efd5e91464b84adf84004400b343c3a5 for rdb
this is being done by the cinder puppet module.

Change-Id: I109e139fcbb859a0d9ed99054656be94975d33b5

Set default KeystoneAdminApiNetwork to ctlplane

Moves the default KeystoneAdminApiNetwork setting to the ctlplane
so that the undercloud will always have easy access to be able
to configure endpoints.

Change-Id: I1f6aba62b98820b678cce1ca16e72a0c3d045720

Keystone network isolation fixes

This patch adds explicit nested stack parameters to
help manage use of the Keystone Admin API vs. the
Keystone Public API.

We also add a new output parameter specifically for the Keystone admin
API VIP. This can be useful when configuring keystone endpoints
with network isolation.

Change-Id: I2bd3e61570151e2faeee14ee09b03ad0b3208cc1

Merge "Support for using external Ceph clusters"

Allow 'ctlplane' to be used within Net IP Maps

When using network isolation you might want to selective
move one of the services back to the default ctlplane network
by simply using the ServiceNetMap parameter. This patch
adds ctlplane to the output parameters for both
the net_ip_map and net_ip_list_map nested stacks so that
this is possible.

As part of this patch we also split out the NetIpSubnetMap
into its own unique nested stack so that the Heat input
parameters for this stack are more clearly named.

Change-Id: Iaa2dcaebeac896404e87ec0c635688b2a59a9e0f

Add NodeAdminUserData interface for "heat-admin" user

Reinstates the heat-admin user via template user-data, which
replaces the previous boothook injected user provided by the
(deprecated now removed) heat instance_user option.

This has some advantages over the heat.conf option, e.g it allows
for much easier customzation of the user configuration (additional
SSH keys, adding groups etc), and also in future if we support
deploying more than one overcloud you could specify a different
user per deployment.

Co-Authored-By: Dan Prince <dprince@redhat.com>
Change-Id: I2235b9690c01542d8a28ec1c1a4607de751aea29
Closes-Bug: #1229849

Set pacemaker default resource-stickiness

This is required for HA to work correctly.

Change-Id: I9faa8fd7bbbac67de5c468ab6fc4edb2260dffe7
Depends-On: https://github.com/redhat-openstack/puppet-pacemaker/pull/61

Set the nova scheduler ram_allocation_ration to 1.0

We don't have swap space enabled on overcloud-full deploys
as discussed at https://bugs.launchpad.net/tripleo/+bug/1491335

The default is 1.5 so configure Virtual ram to physical ram
allocation ratio to 1:1 so we don't allow overcommit.

Related-Bug: 1491335
Change-Id: I58cfe6dc68e8615a5519428412dec8c653bd6093

Merge "Enable Keystone notifications"

Add 4 pacemaker constraints for keystone

These were missing and are required for a correct deployment.

Change-Id: I49a61d0ab2f750f2620927a40f798d11b241b2c0

Consume the NeutronMechanismDrivers from the hiera data

This is passed from the heat templates as hiera data (defaulting
to 'openvswitch') but never effected, meaning we get the puppet
module default.

Change-Id: I3f14cdce9b9bf278aa9b107b2d313e1e82a20709
Closes-Bug: 1488176

switch to vxlan by default

VXLAN has better performance (20-25% better)
NICs with VXLAN offload are more common

Change-Id: If57c79a1309ae178b3e82d54bb101dde584c86cc
Related: rhbz#1244864

Merge "Wire in Compute pre-deployment extraconfig"

Enable Keystone notifications

This change enables Keystone notifications and adds two parameters
to control the notification driver and format.

Change-Id: I23ac3c46ee9eb49523d3b8dab027ef21fc6e42df

Remove hardcoded bridge name in bonded compute NIC config

This change removes a hardcoded value for the bond name in the NIC
config for the compute node in the bond-with-vlan NIC config
templates. When this hardcoded value of "br-bond" is used, then the
Neutron bridge mappings must be set to set to datacentre:br-bond in
order for VLAN mode networking to recognize the bridge. By using the
input value for bridge_name we will ensure that the controller and
compute nodes have the same bridge name (defaults to "br-ex"), and
that the defaults will work with VLAN mode.

Change-Id: I28654ab93e3c10a8597c8b877f3f2f6b3eca887c

Support for using external Ceph clusters

This patch adds support for using an externally managed Ceph
cluster with the TripleO Heat templates.

For an externally managed Ceph cluster we initially
only deploy the Ceph client tools, install the 'openstack' user
keyring, and generate the ceph.conf. This matches what we do
for managed Ceph installations and is a good first start.
No other Ceph related services are installed or managed.

To enable use of a Ceph external cluster simply add
the custom Heat environment file environments/puppet-ceph-external.yaml
to your heat stack create/update command and make sure to
set the required CephClientKey, CephExternalMonHost, and CephClusterFSID
variables.

Change-Id: I0a8b213ce9dfa2fc4e62ae1e7631466e5179fc2b

Merge "Drive DB initialization via Hiera"

Merge "Add a default setting for BondInterfaceOvsOptions"

Ensure mysql root can only connect from localhost

Currently mysql root user can connect in a passwordless way from :

  * localhost
  * 127.0.0.1
  * ::1
  * <HOSTNAME>

This patch ensures that the mysql root user can connect only from localhost.

Change-Id: If64fd383737c2fbeed4adbe8d98b1f92610956b2

Wire in Compute pre-deployment extraconfig

This commit provides a way to configure some additional hieradata
for compute nodes. This is similar to the earlier added infra for
supporting Controller pre-deployment extraconfig.

Change-Id: I02dda0685c7df9013693db5eeacb2f47745d05b5

Provide a sample storage environment file

Meant to help users configure their storage parameters by copying this
file out, amending it and passing it to `heat stack-create` or
`openstack overcloud deploy`.

Defaults to using Ceph as a backend for Cinder, Glance and also Nova
ephemeral storage.

Change-Id: Ia8f5ef175439394aacdea98cfd66416bcb9bfe3a

Merge "RHEL registration shouldn't use attach with activation key"

Merge "Keystone token flushing"

Merge "Set rabbitmq heatbeat timeout threshold to 60"

Add a default setting for BondInterfaceOvsOptions

This change adds a default setting for the OVS bond options to the
bond-with-vlans controller.yaml. This default will attempt to bring
up LACP bonding, but should that fail it will bring up the bond in
active/backup mode. This is a safe configuration if the switch is
not configured for bonding.

Change-Id: I91aad1e061ed1ecf26636e60da7a9a6e9cde50a5

network validation to ping test each interface

This patches wires in a new "all nodes" validation resource
that can be used to add validations that occur early on
during the deployment process. This occurs after the nodes
have been brought online and the initial networks
have been configured but before any "post" (puppet, etc.)
sort of configuration has been executed.

A initial validation script has been added to ping test network IPs
on each network. When using network isolation this will ensure
network connectivity (vlans, etc) are working on each
node and if not the heat stack will fail early, allowing
time to fix the network connections and retry the
stack creation via an update.

Change-Id: I63cf95b27e8ad2aed48718cf84df5f324780e597
Co-Authored-By: Ian Main <imain@redhat.com>
Co-Authored-By: Ryan Hallisey <rhallise@redhat.com>

Merge "Ensure SELinux is permissive on Ceph OSDs"

Merge "Set heat::instance_user to empty string"

Keystone token flushing

Set up a cron job to flush keystone tokens periodically. The job runs
once a day near midnight per puppet-keystone defaults, and we pass
maxdelay 3600 which means each controller will wait a random delay of up
to 1 hour before running the task.

Change-Id: I351f0273c61106c182aa3945b7ad1ce8f5c7d12b

Merge "NFS backend for Cinder"

Merge "Set default external port to noop for puppet"

Merge "Use 'public' instead of 'nova' as default floating pool name"

Set default external port to noop for puppet

In 9b89dd20162d962480d3cb84161ed6bfd4fa9de8 we had a regression
where the default "external" traffic port was set to a VIP
when using puppet. We should not ever specify a VIP to be used
for the actual machine IPs (VIPs are only guaranteed to
work once the load balancer is running).

Also, This doesn't match the non-puppet case.

Change-Id: Icd179a70001f2bd7a97e31c7f6445001330674cd

Merge "Wire in hieradata overrides via ExtraConfig for CephStorage"

Merge "Wire in hieradata overrides via ExtraConfig for ObjectStorage"

Merge "Convert PublicVirtualIP to new port creation method"

Use 'public' instead of 'nova' as default floating pool name

The dafault in nova.conf for default_floating_pool is set to nova
which is confusing given to make Tempest tests to pass one has to
create a public network with such a name.

Change-Id: I148222a9f276309ede062ee5292993898ff899d6

Merge "Provide list of memcached servers to Nova"

Merge "Wire in hieradata overrides via ExtraConfig for BlockStorage"

Merge "Wire in hieradata overrides via ExtraConfig for NovaCompute"

Convert PublicVirtualIP to new port creation method

This change brings PublicVirtualIP in line with the rest of the
VIPs in how it is created. This allows the network where
PublicVirtualIP is instantiated to be on cltplane when network
isolation is not used, and on the external network when network
isolation is used. This change removes the PublicVirtualNetwork
parameter, since it is no longer used. In order to continue to
support the PublicVirtualFixedIPs parameter, which is used to
provide a specific IP for the PublicVirtualIP, the FixedIP
parameter was added to cltplane_vip.yaml, vip.yaml, and
noop.yaml. The value of PublicVirtualIP is passed to FixedIP
in the VIP templates. This change also moves the default
network for keystone public api to the external net (which will
fallback to ctlplane if network isolation isn't used).

Change-Id: I3f5d35cbe55d3a148e95cf49dfbaad4874df960b

Provide list of memcached servers to Nova

Memcached is used by novnc to share the auth tokens.

Change-Id: I18415b6ae38b46e3c92e4ce84b858a014ef8398b

Drive DB initialization via Hiera

This patch moves most of the ::db::mysql parameter initialization
into a new database.yaml Hiera file. This cleans up the
controller manifests and allows us to define things in a single
location across the two implementations (HA and nonHA).

Change-Id: I895b753b329097a96a6c6f3a03a5fcebefe32dd4

Increase default start timeout for Pacemaker from 20s to 90s

On slow environments the start operation of some services can
take longer than 20s so we increase the default for start
operation to 90s, more info can be found at:
https://bugzilla.redhat.com/show_bug.cgi?id=1242052

Systemd defaults to 90s as well.

Change-Id: Ie4652bad518075be77937d47830f263034eda79c

Merge "Puppet: wire in tripleo::packages"

Merge "Fix Puppet Configuring NetApp Cinder Backend"

Puppet: wire in tripleo::packages

This wires in use of a new puppet-tripleo class which
encapsulates the logic to enable/disable package
installation and upgrades.

By using the new class we can remove the global
Package provider declaration at the top of each
module.

Change-Id: I5c6e5fd8600031bd8fb6195649721607c560f9d5
Depends-on:  Ie8fbc344149bc8c9977e127de77636903607617a

Fix Puppet Configuring NetApp Cinder Backend

It was incorrectly assumed that Puppet variables assigned to a
defined class (as seen in cinder-netapp.yaml) would be applied to
any resources created with that type. This is not how Puppet works.

The full range of configuration parameters to cinder::backend::netapp
have been added back in. They are still pulling from Hiera like they
were intended before, but it needs to be a little more explicit for
Puppet to be happy.

Change-Id: I2e00eae829713b2dbb1e4a5f296b6d08d0c21100

Merge "Ensure compute nodes use internalURL as catalog_info"

Merge "Allow overlapping IPs in Neutron"

Merge "Ensure CinderStorage nodes use internalURL as catalog_info"

Merge "Use parameter_defaults in env files"

Set rabbitmq heatbeat timeout threshold to 60

Updates the default settings for Nova, Neutron, Cinder,
Ceilometer, and Heat services so we set the default rabbitmq
threshold to 60 seconds.

Change-Id: If537ae16968eb6b264b2ab071144f1eecab18b64

Allow overlapping IPs in Neutron

Change-Id: I7703013b62bd67869c268fb8689389ec0eeb5aad

Merge "Increase default max_connections for MySQL from 1024 to 4096"

Merge "Enable hieradata ExtraConfig overrides for Controller"

Ensure CinderStorage nodes use internalURL as catalog_info

By default Cinder will get the publicURL for Nova and Swift, which
is not reachable by the CinderStorage nodes.

Change-Id: I25b7900c9ab261e0f706257ffdf6844533b63b94

Ensure compute nodes use internalURL as catalog_info

By default Nova will get the publicURL instead, which is not
reachable by the compute nodes.

Change-Id: I57b6a7a7eddb0ffaf6d2d152d932f390c48f908e

Wire in hieradata overrides via ExtraConfig for CephStorage

Adds support for global (ExtraConfig) and role-specific
(CephStorageExtraConfig) hiera overrides, similar to those added
for the Controller, NovaCompute, BlockStorage, ObjectStorage roles.

Change-Id: Idbe73b86a772491cd3c55ba69b5a95cc291d2598

Wire in hieradata overrides via ExtraConfig for ObjectStorage

Adds support for global (ExtraConfig) and role-specific
(ObjectStorageExtraConfig) hiera overrides, similar to those added
for the Controller, NovaCompute and BlockStorage roles.

Change-Id: I7dd0d8003017e2738366983cb5d8e08b3f3fa334

Wire in hieradata overrides via ExtraConfig for BlockStorage

Adds support for global (ExtraConfig) and role-specific
(BlockStorageExtraConfig) hiera overrides, similar to those added
for the Controller and NovaCompute roles.

Change-Id: Iaf9665b53407e6a657f56d6516469f2c88bafbdd

Wire in hieradata overrides via ExtraConfig for NovaCompute

Adds support for global (ExtraConfig) and role-specific
(NovaComputeExtraConfig) hiera overrides, similar to those added
for the controller.

For example, you can pass an environment file like:
parameters:
  NovaComputeExtraConfig:
    nova::scheduler::filter::ram_allocation_ratio: 1.8
    compute_classes:
    - ::nova::scheduler::filter

This passes a hiera value for ram_allocation_ratio and enables
a class via the include added in https://review.openstack.org/#/c/197908/

Note this also requires https://review.openstack.org/#/c/188772/
or 40-hiera-datafiles incorrectly quotes the list and the
compute_classes part won't work.

Change-Id: Ic33eed1b5e9c33c0d2f6075c65c8d9649b82c8b4

Merge "Provide manage_service to neutron::agents::ml2::ovs"

Increase default max_connections for MySQL from 1024 to 4096

As a matter of fact it seems that the 1024 connections barrier
can easily be reached with modern hardware, see:
https://bugzilla.redhat.com/show_bug.cgi?id=1240824

Change-Id: I194a0dd725907350ca16ea3c41f3ed4f68a11bcf

Enable hieradata ExtraConfig overrides for Controller

Wires in the ControllerExtraConfig and ExtraConfig parameters so
that they may be used to specify overrides of the default hieradata.

Note if this is used to override values specified via parameters
rather than hard-coded values in puppet/hieradata caution should
be used as the overridden values will always take precendence
regardless of the parameter input, unless the parameter is provided
directly to the Deployment resource applying the manifiest (e.g
not the pattern currently employed in most of t-h-t)

Also note that ControllerExtraConfig takes precedence over the
deployment-wide ExtraConfig.

For example, here's how you would pass a value which disables the
heat-api-cfn service on all controllers. This would be put into an
environment file, then passed to the heat stack-create via an extra
-e option:

parameters:
  controllerExtraConfig:
    heat::api_cfn::enabled: false

Note the parameter capitalization is different in the top-level
overcloud-without-mergepy template for some reason.

Change-Id: I6d6e3e78460308134d95c01892bb242aba70e9ca

Merge "Adds the NeutronTunnelIdRanges and NeutronVniRanges parameters"

Merge "Configure Heat's ec2 auth uri correctly"

Merge "Allow a user to disable MongoDB journaling"

Merge "Removes the NeutronScale resource from controller pcmk manifest"

Merge "neutron-server: Remove start/sleep/stop pattern"

Ensure SELinux is permissive on Ceph OSDs

Currently we build the overcloud image with selinux-permissive element
in CI. However, even in environments where selinux-permissive element is
not used, it should be ensured that SELinux is set to permissive mode on
nodes with Ceph OSD [1].

We have no nice way to manage SELinux status via Puppet at the moment,
so i'm resorting to execs, but with proper "onlyif" guards.

[1] https://bugzilla.redhat.com/show_bug.cgi?id=1241422

Change-Id: I31bd685ad4800261fd317eef759bcfd285f2ba80

neutron-server: Remove start/sleep/stop pattern

Currently the bootstrap of the neutron server happens with the use of a
start/sleep/stop pattern.

Since Pacemaker doesn't mind if the service is already started let
simply start the neutron server on the $pacemaker_master node and wait
for 5 sec.

Change-Id: I894dc3305f7d6685ebcc6828e690c718a63f32bd
Closes-Bug: #1473410

Provide manage_service to neutron::agents::ml2::ovs

Change-Id: Ib945b07dd93f9bdc613f464211745094c4c72836

Merge "Output internal API VIPs"