Composable Neutron Core Compute Plugin

Create a new resource registry entry for a Neutron "compute plugin".

For ML2 this may be the same os the NeutronComputePlugin but patches
for other vendors will follow that require extra bits on nodes
where VMs will be created.

This patch removes the ML2 code from the compute role and instead
uses the existing composable services.

NOTE: we are able to remove the puppet resource chain to force OVS to
get restarted due to puppet-neutron commit:
Idb1332dd498bb3065720f2ccaf68e6b0e9fa80c3 which should resolve that
issue.

Co-Authored-By: Emilien Macchi <emilien@redhat.com>
Depends-On: I95b9188607ab6c599ad4cde6faa1deb081618f3e
Change-Id: I2496372ca6e6ba9f52e9a8bb6e8dc731c125af13

Composable Horizon service - tripleo-heat-templates

Add horizon as a composable service

Depends-on: Iff6508972edfd5f330b239719bc5eb14d3f71944
Change-Id: I734c3e0784c25f30adff2e13faf1155a3e45cefd
Partially-implements: blueprint composable-services-within-roles

Merge "Combine parameter_default fields"

Merge "Re-enable Ceilometer composable roles for controller"

Merge "neutron: remove tenant MTU configuration options"

Merge "Move ironic::db data within service template"

Re-enable Ceilometer composable roles for controller

This patch brings back Ceilometer composable roles for controller,
module some adjustments to make it work.

Fixes 3 issues in Ceilometer composable services

1) This patch fixes the hiera maps in the pacemaker ceilometer*
templates. These were lists and should be a map.

2) fixes a critical issue in ceilometer-base.yaml where the
password was incorrectly coded in the YAML using get_param on
a string which wasn't actually a parameter.

3) Fixes the ceilometer_coordination_url so that it uses a YAML anchor
as was implied instead of get_param on a string which wasn't a
parameter.

4) Fixes the default database connection to use mongodb and configured
in puppet-tripleo profile appropriately.

Co-Authored-By: Dan Prince <dprince@redhat.com>
Co-Authored-By: Pradeep Kilambi <pkilambi@redhat.com>
Closes-Bug: #1601844
Change-Id: Ia0a59121b9ffd5e07647f66137ce53870bc6b5d6

Merge "Include bulk in swift proxy pipeline"

Move ironic::db data within service template

Change-Id: If0b8fbc783e694f4f744ad848103d40df985fc04

Merge "Move neutron::db data within service template"

Merge "Move sahara::db data within service template"

Merge "Move heat::db data within service template"

Merge "Move cinder::db data within service template"

Merge "Move glance::db data within service template"

Merge "Move keystone::db data within service template"

Merge "Pass MysqlVirtualIP without brackets to EndpointMap"

Merge "Set os-refresh-config timeout to 4 hours"

Merge "Template param for what command occ runs"

Move neutron::db data within service template

Change-Id: I07a81a2e1cc29df007bba11da82cf6661a55aadf

Move sahara::db data within service template

Change-Id: Ifb87f79e8cd692e6553d03df8394c74f51821e11

Move heat::db data within service template

Change-Id: I3fada6c5b0265bc6536c89da0ef4b709ead13b7d

Move cinder::db data within service template

Change-Id: I2aaf30289cc792e8860ca9c962d80baf7e804cbf

Move glance::db data within service template

Change-Id: I405bc9895160cc867f933e6b0d56546d460d2e3a

Composable Midonet for Neutron

Depends-On: I2393fc3c360f5f5786411f64dbcd06f380376093

Change-Id: I606cb1f7ef7d651b5d145bfa10ef3aa1561b1590
Partially-implements: blueprint composable-services-within-roles

Include bulk in swift proxy pipeline

With bulk delete enabled for gnocchi, this option should
be included in pipeline as well.

Change-Id: I5786c6f14e3aab9e167c22d8f72c5c1688440e95

Move keystone::db data within service template

Change-Id: I934aff4960588a3957b7a7bcc90385ae48d34d1e

Pass MysqlVirtualIP without brackets to EndpointMap

While the endpoints do need brackets around IPv6 addresses these
are not wanted by some of the puppet classes so we must pass the
non bracketed version as well.

It will allow us to remove the need for the MysqlVirtualIP param
passed to the controller role thouh when hieradata/database.yaml
is emptied.

Change-Id: If264b02a134b96368035f032e05d02e84f6499ed

Add StepConfig to docker compute-post.yaml

Change I84c97a76159704c2d6c963bc4b26e365764b1366 missed
`docker/compute-post.yaml`.

Change-Id: I680eabf2f316c7fccc9d53d75dc16139c9959c64

Merge "Parametrize and increase default of swift-proxy node_timeout"

Merge pacemaker_master/sync_db conditionals

By condensing the pacemaker_master and sync_db conditions we ensure
there won't be unrelevant (clustercheck) execs deployed on
non-bootstrap nodes.

Closes-Bug: 1598907

Change-Id: Iae6aa13682d63096265f4751b2f71019a49f6fa6

Merge "Convert AllNodesExtraConfig to OS::Heat::None"

Merge "Remove config_identifier from all_nodes extraconfig examples"

Merge "Restore the NtpServer parameter name"

Merge "Add kernel service"

Merge "Allow neutron_options customization for dashboard"

Restore the NtpServer parameter name

In 296bffde893dbbf36c62d664e24e2584b89b8070 we moved the NTP
into a composable service but changed the name of the parameter
to NtpServers. This will break upgrades for users of the previous
parameter name.

Closes-bug: #1599526

Change-Id: I896b9427416f01b603ac9cc4d8c9ebf5e019cb32

Merge "Split Heat pacemaker roles into separate services"

Merge "pacemaker: don't override Service resource for Nova & Neutron"

Convert AllNodesExtraConfig to OS::Heat::None

Instead of creating a nested stack, as it's slightly lower overhead
and will make things easier when adding custom roles (where a
hard-coded default template can't work)

Change-Id: If9f8294ba477d1c1364e19a52152905a2c02e959

Remove config_identifier from all_nodes extraconfig examples

Since https://review.openstack.org/#/c/315616 this is no longer
required.

Change-Id: I0452d1577a25d19b4351bfe7830a6c7bbe485e67

Merge "Use create-legacy-resource-types during gnocchi-upgrade"

neutron: remove tenant MTU configuration options

Since Mitaka, Neutron and Nova do the right thing for MTU, correctly
calculating and applying MTU per network, considering its network type
and underlying physical network MTU (1500 by default). Neutron now also
correctly advertise proper MTU to instances through DHCP and RA
mechanisms. With that, there is no reason to have those MTU hacks in
deployment tools. Actually, they not only do no good, but break some
setups (Jumbo frame aware infrastructure), or at least make them
non-optimal (lowering instance MTU to 1400 when it's not needed, or when
tunnel overhead does not require 100 bytes).

Note that Neutron still has a set of configuration options to allow for
custom physical network MTUs (global_physnet_mtu, path_mtu,
physical_network_mtus). Those options define underlying infrastructure
though, not tenant MTUs. To support Jumbo frames, TripleO should allow
to set those options. That said, it's not the immediate goal of the
patch, and hence such an effort would require a separate patch.

Mitaka+ documentation on MTU configuration for Neutron:
http://docs.openstack.org/mitaka/networking-guide/adv-config-mtu.html

Change-Id: I540ba5dc69d0506f71b59746efcce94c73f9317f

Merge "overcloud_volume: cleanup unused Puppet code"

Merge "volume: deploy snmp using composable role"

Add kernel service

Add a new service that will load and configure kernel modules.

Depends-On: If4f1047ff8c193a14b821d8b826f637872cf62bd
Change-Id: I8f771712595d0f4826858b855985f65d3621c3f1

Merge "Replace NodeConfigIdentifiers with DeployIdentifier"

Set os-refresh-config timeout to 4 hours

This change uses the new os-refresh-config --timeout argument to set a
kill timeout for stalled os-refresh-config runs.

4 hours is a reasonable conservative value since it matches the stack
timeout - but it can be set shorter in the future based on actual run
times.

Change-Id: I433f558515df24736263ec0d50de08ad8f78498f
Closes-Bug: #1595722
DependsOn: Ibcbb2090aed126abec8dac49efa53ecbdb2b9b2c

Template param for what command occ runs

The ConfigCommand parameter overrides the server resource metadata to
specify what command os-collect-config runs whenever any configuration
data changes.

The default is already 'os-refresh-config' so this change has no
effect but it allows a future change to specify an
os-refresh-config --timeout argument to fix bug #1595722.

Change-Id: I8dd35b6724d8c00e5495faca84ee8fee77641b82
Partial-Bug: #1595722

Remove depends_on: Networks from ControllerServiceChain

I think this depends_on is bogus - the Controller ResourceGroup does
depend on Networks, but not the ControllerServiceChain - this needs to
be consistent with the other ServiceChain definitions for the
custom-roles work.

Change-Id: I0159968719f5d21c8f216ad69af047fa141d54e9

Replace NodeConfigIdentifiers with DeployIdentifier

We added NodeConfigIdentifiers to trigger config to be re-applied on
update, but then later added DeployIdentifier which forces config to
*always* be applied on update, so we can simplify things by just
referencing the DeployIdentifier directly.

Change-Id: I79212def1936740825b714419dcb4952bc586a39

overcloud_volume: cleanup unused Puppet code

overcloud_volume contains some code that is already deployed by
OS::TripleO::Services::CinderVolume service.

Change-Id: I3446883cb89dcf179a854e2adef81b899117f66a

volume: deploy snmp using composable role

Change-Id: Ibc9abf7043c37104d03cd72d882e10cdb53fe6a2

Switch Ceph Monitor/OSD/Client/External to composable roles

Change-Id: I1921115cb6218c7554348636c404245c79937673
Depends-On: I7ac096feb9f5655003becd79d2eea355a047c90b
Depends-On: I871ef420700e6d0ee5c1e444e019d58b3a9a45a6

Merge "Add example of creating per-node os-net-config mappings"

Merge "Remove NFS bits from overcloud_compute manifest"

pacemaker: don't override Service resource for Nova & Neutron

Nova & Neutron services are already managed by puppet-tripleo in
profiles, and we already override Service resource for some services to
manage them with Pacemaker.
Dropping this code here will allow us to run TripleO in AIO setup as we
don't manage everything with Pacemaker.

Change-Id: Idcfc6ea26ca41534ce407be0eb3dafe7bcd2ef2d

Merge "Dump and restore galera db during major upgrades"

Merge "Don't set selinux in 'permissive' mode on CephStorage nodes"

Merge "Add Rabbit/epmd port to firewall"

Merge "Stop no-opping PackageUpdate on upgrade"

Remove NFS bits from overcloud_compute manifest

They moved to puppet-tripleo.

Change-Id: Idd4488fc4b1e8e8024d47f6e3d83ac4f3cecd088
Depends-On: I75d68cc766ad274b16b22f43b7d34d02ab26de13

Merge "First iteration of libvirt and nova-compute as a composable services"

Add example of creating per-node os-net-config mappings

Adds an example of proving a mapping file for all nodes, then
extracting the data for each node based on a lookup of the mac address.

Some assumptions are made (e.g the hard-coded reference to eth0), but
it should be easily modified to suit specific environments.

Usage via an enviroment file will look like:

resource_registry:
  OS::TripleO::NodeUserData: os-net-config-mappings.yaml
parameter_defaults:
  NetConfigDataLookup:
    host1:
      nic1: "00:c8:7c:e6:f0:2e"
    host2:
      nic1: "00:18:7d:99:0c:b6"

Note this version requires liberty heat in the undercloud due to the
use of a new str_replace feature to serialize the json parameter.

Change-Id: I7da9c9d8805e676a383e888a7d77f05d3432ab12

Stop no-opping PackageUpdate on upgrade

After we fixed bug #1567384 and bug #1567385, we no longer need to no-op
the PakageUpdate resource on upgrades. I removed the no-op in change
Ie14ddbff15e7ed21aaa3fcdacf36e0040f912382 from
major-upgrade-pacemaker-converge.yaml but didn't recall we had the no-op
in major-upgrade-pacemaker{,-init}.yaml too.

Change-Id: I24b913c790eae79e3b207729e0b22378075fb282

Pass RoleData into -post.yaml stacks

This patch modifies the interface for the -post stacks so
that we pass RoleData instead of just the StepConfig
into each -post.yaml template.

This will facilitate creating other types of -post.yaml scripts
that require more data that just 'step_config'. Things like
containers, etc. will require this.

Change-Id: I2527fc0098192f092f5e9046033a04bc71be2cae

Output generic role_data in services.yaml

This patch updates puppet/services/services.yaml (currently the only
interface for 'services' in t-h-t) so that we return a more generic
'role_data' Heat output.

This is a move towards making the services themselves a bit more generic
so we can accommodate other deployment types (containers, etc.)

Change-Id: I8bc32c59a48e6d5f0caa2f26fab394d5d992a4a5

Add Rabbit/epmd port to firewall

This commit adds the epmd port 4369 to the firewall configuration for
the service rabbit. This is necessary for having HA setups working,
since without this port the rabbitmq cloned resource starts only on one
node and the others are not able to complete the rabbit cluster
creation.

Change-Id: Iae042dd60a578e158b75539dc3998fc40185b343

Use create-legacy-resource-types during gnocchi-upgrade

Gnocchi 2.1 introduces a change where legacy resource types
needed by ceilometer are not created by default. Instead a
new flag is exposed to create these. We should use this by
default. Note that this is an optional flag and is only
needed if you want to create legacy resource types.

Change-Id: I95ccccb40ce4a8319d0776c4d62c2890cf1fd970
Closes-bug: #1592449

First iteration of libvirt and nova-compute as a composable services

This is a first iteration of implementing libvirt and nova compute as
composable services.

Note: some parameters are still in puppet/compute.yaml -- we'll move
them later in a next iteration.

Implements: blueprint composable-services-within-roles

Depends-On: I0b765f8cb08633005c1fc5a5a2a8e5658ff44302
Change-Id: I752198cdf231ef13062ba96c3877e5defd618c3a

Wire NTP and Timezone services into BlockStorage nodes

Change-Id: Ia70688cfc333dc6536b5372cdb2eedb987ab61f8

Composable Timezone service - ObjectStorage

Add timezone as a composable service

Change-Id: I5bed49e1f8b803fb6d9d0b06165a38f61b132431
Partially-implements: blueprint composable-services-within-roles

Composable Timezone service - CephStorage

Add timezone as a composable service

Change-Id: I1569b2ebdca8e67c0e92a5c0e3fadd12006cc02a
Partially-implements: blueprint composable-services-within-roles

Composable Timezone service - Compute

Add timezone as a composable service

Change-Id: I6e0e9cef3703cd186eab15d76e611d00c1da4a4e
Partially-implements: blueprint composable-services-within-roles

Composable Timezone service - Controller

Add timezone as a composable service

Change-Id: I99f0b0727a10ee74ea1de0499c8bc3ba37ab3345
Partially-implements: blueprint composable-services-within-roles

Merge "Basic support for deploying Ironic in overcloud"

Merge "Convert SNMP configuration to composable services format"

Merge "Add Management net to ips-from-pool-all example"

Merge "Convert noop NetworkExtraConfig to OS::Heat::None"

Merge "Increase RabbitMQ maximum file descriptors."

Merge "Drop unused VIP params to controller.yaml"

Merge "Increase cluster sync timeout for M->N major upgrades"

Configure BlockStorage services via resource chains

Wires the steps into the BlockStorage role and ensures
the installed-packages list is written on a per-step basis on
all roles, as it happens on the controllers already.

Change-Id: Iaec8ad3b2afbef6d586b7b46abaa1434cdb62f41

Dump and restore galera db during major upgrades

When the overcloud is upgraded we do a yum update of the packages.
This step might introduce a newer galera version. In such a situation
we need to dump the db and restore it. The high-level workflow should
be the following:
1) During the main upgrade step, before shutting down the cluster
   we need to dump the db
2) We upgrade the packages
3) We briefly start mysql on a single node while making sure that
   /root/.my.cnf is briefly moved out of the way (because it contains
   a password) and import the data. After the import we shutdown this
   mysql instance
4) We let the cluster start up normally

The above steps will take place in the following scenarios.
Given a locally installed mariadb version X.Y.Z and release R,
we will dump and restore the DB under the following conditions:
A) MySqlMajorUpgrade template parameter is set to 'auto' and
   the upgraded package differs in X, Y *or* Z. We basically don't
   dump automatically if the release field changes.

B) MySqlMajorUpgrade template parameter is set to 'yes'

When MySqlMajorUpgrade is set to 'no', no dumping will be performed.
Note that this will give a non functional upgrade if a major mariadb
upgrade is taking place.

Partial-Bug: #1587449

Co-Author: Damien Ciabrin <dciabrin@redhat.com>
Co-Author: Mike Bayer <mbayer@redhat.com>

Depends-On: I8cb4cb3193e6b823aad48ad7dbbbb227364d2a58
Depends-On: I38dcacfabc44539aab1f7da85168fe44a1b43a51

Change-Id: I374628547aed091129d0deaa29764bfc998d76ea

Increase cluster sync timeout for M->N major upgrades

Since the Liberty release, the number of services managed by pacemaker
on HA Overcloud has increased. This has an impact on
major_upgrade_controller_pacemaker_1.sh, where cluster sync timeout
value tuned for older releases is now becoming too low.

Raise the cluster sync timeout value to a sensible limit to
give pacemaker enough time to stop the cluster during major upgrade.

Change-Id: I821d354ba30ce39134982ba12a82c429faa3ce62
Closes-Bug: #1597506

Drop unused VIP params to controller.yaml

This patch drops a bunch of unused VIP parameters
from controller.yaml

Depends-On: I5e2feff7e5dc900849c9535f2b7ac05d3c8f93e1
Change-Id: I5c94f55ac4f2ec1103d5916942fb14e8b5595d01

Convert SNMP configuration to composable services format

Change-Id: I7265b0781acefd4a0de687b0465144e57bcc079f
Partially-Implements: blueprint composable-services-within-roles

Merge "Fix ceilometer auth url"

Merge "Convert swift storage to composable services"

Basic support for deploying Ironic in overcloud

Note that this change is not enough yet to deploy bare metal instances,
it only deploys Ironic services themselves and makes sure they work.

Also it does not support HA for now.

Co-Authored-By: Dmitry Tantsur <dtansur@redhat.com>
Partially-implements: blueprint ironic-integration
Change-Id: I541be905022264e2d4828e7c46338f2e300df540

Merge "Disable stonith temporarily during upgrades"

Don't set selinux in 'permissive' mode on CephStorage nodes

Change-Id: I469f2bd429eba23b2010b7380e794c67b18e7a47
Depends-On: I1aa46086f69e7c3efd2782da62fd18ade8343fde
Partial-Bug: 1595518

Add Management net to ips-from-pool-all example

The recently added Management network is missing from this example

Change-Id: Id2010e92b8c27188ed153243d0e54ec50bfdcffb

Convert swift storage to composable services

Depends-On: Ie68d7eccf4938bdbdea93327af0638b3fd002b3e

Change-Id: I1eb68d0cd5f8bf4bf954dd9f12941bc493345708
Partially-Implements: blueprint composable-services-within-roles

Convert noop NetworkExtraConfig to OS::Heat::None

This avoids creating an empty nested stack.

Change-Id: Icce0bfab005a69fce42f58956dcc81acea805e74

Merge "Add network ExtraConfig hook"

Disable stonith temporarily during upgrades

It is best if we disable stonith if a cluster has it configured and on,
before we call "pcs cluster stop --all", because should a service fail
to stop for whatever reason, pacemaker will fence the node where it
happened. This is something that we unlikely want during an upgrade as
it will make things worse.

Once the cluster is stopped we can reenable stonith (if it was enabled
to start with) in the CIB while the cluster is shut down.

Closes-Bug: #1596065

Change-Id: I38dcacfabc44539aab1f7da85168fe44a1b43a51

Fix ceilometer auth url

Due to a recent change introduced in puppet ceilometer[1]
ceilometer auth type defaults to password type and v2
auth_url doesnt work with domain. This fixes the url to
not include suffix.

[1] https://review.openstack.org/#/c/320454/

Change-Id: Ibce716825c95e36a942203be2c67ea0da79503f2

Increase RabbitMQ maximum file descriptors.

We now allow 65536 open file descriptors to better reflect the
real-world settings of downstream consumers of TripleO.

Change-Id: Ib04ea6afb2da1a9101839d9d70bc8891d69700ec

Revert "Ceilometer composable roles for controller"

This reverts commit c48410a05ec0ffd11c717bcf350badc9e5f0e910.

We've discovered this patch never had passing CI due to a DLRN
build failure.

Change-Id: I546cb3e340d20701662affda7e28b586c58ba6de

Allow neutron_options customization for dashboard

By default only profile_support can be configured depending of the neutron
mechanism driver used (cisco_n1kv).
This patch allows to add more neutron options to enable lbaas, vpnaas, etc...

Change-Id: I3b3019890a146dd641d6efeb880c5de125d8d132