puppet/manifests/overcloud_controller_pacemaker.pp

   1 # Copyright 2015 Red Hat, Inc.
   2 # All Rights Reserved.
   3 #
   4 # Licensed under the Apache License, Version 2.0 (the "License"); you may
   5 # not use this file except in compliance with the License. You may obtain
   6 # a copy of the License at
   7 #
   8 #     http://www.apache.org/licenses/LICENSE-2.0
   9 #
  10 # Unless required by applicable law or agreed to in writing, software
  11 # distributed under the License is distributed on an "AS IS" BASIS, WITHOUT
  12 # WARRANTIES OR CONDITIONS OF ANY KIND, either express or implied. See the
  13 # License for the specific language governing permissions and limitations
  14 # under the License.
  15
  16 Pcmk_resource <| |> {
  17   tries     => 10,
  18   try_sleep => 3,
  19 }
  20
  21 # TODO(jistr): use pcs resource provider instead of just no-ops
  22 Service <|
  23   tag == 'aodh-service' or
  24   tag == 'cinder-service' or
  25   tag == 'ceilometer-service' or
  26   tag == 'gnocchi-service' or
  27   tag == 'neutron-service' or
  28   tag == 'nova-service'
  29 |> {
  30   hasrestart => true,
  31   restart    => '/bin/true',
  32   start      => '/bin/true',
  33   stop       => '/bin/true',
  34 }
  35
  36 include ::tripleo::packages
  37 include ::tripleo::firewall
  38
  39 if $::hostname == downcase(hiera('bootstrap_nodeid')) {
  40   $pacemaker_master = true
  41   $sync_db = true
  42 } else {
  43   $pacemaker_master = false
  44   $sync_db = false
  45 }
  46
  47 $enable_fencing = str2bool(hiera('enable_fencing', false)) and hiera('step') >= 5
  48 $enable_load_balancer = hiera('enable_load_balancer', true)
  49
  50 # When to start and enable services which haven't been Pacemakerized
  51 # FIXME: remove when we start all OpenStack services using Pacemaker
  52 # (occurrences of this variable will be gradually replaced with false)
  53 $non_pcmk_start = hiera('step') >= 5
  54
  55 if hiera('step') >= 1 {
  56
  57   create_resources(kmod::load, hiera('kernel_modules'), {})
  58   create_resources(sysctl::value, hiera('sysctl_settings'), {})
  59   Exec <| tag == 'kmod::load' |>  -> Sysctl <| |>
  60
  61   include ::timezone
  62
  63   if count(hiera('ntp::servers')) > 0 {
  64     include ::ntp
  65   }
  66
  67   $pacemaker_cluster_members = downcase(regsubst(hiera('controller_node_names'), ',', ' ', 'G'))
  68   $corosync_ipv6 = str2bool(hiera('corosync_ipv6', false))
  69   if $corosync_ipv6 {
  70     $cluster_setup_extras = { '--token' => hiera('corosync_token_timeout', 1000), '--ipv6' => '' }
  71   } else {
  72     $cluster_setup_extras = { '--token' => hiera('corosync_token_timeout', 1000) }
  73   }
  74   class { '::pacemaker':
  75     hacluster_pwd => hiera('hacluster_pwd'),
  76   } ->
  77   class { '::pacemaker::corosync':
  78     cluster_members      => $pacemaker_cluster_members,
  79     setup_cluster        => $pacemaker_master,
  80     cluster_setup_extras => $cluster_setup_extras,
  81   }
  82   class { '::pacemaker::stonith':
  83     disable => !$enable_fencing,
  84   }
  85   if $enable_fencing {
  86     include ::tripleo::fencing
  87
  88     # enable stonith after all Pacemaker resources have been created
  89     Pcmk_resource<||> -> Class['tripleo::fencing']
  90     Pcmk_constraint<||> -> Class['tripleo::fencing']
  91     Exec <| tag == 'pacemaker_constraint' |> -> Class['tripleo::fencing']
  92     # enable stonith after all fencing devices have been created
  93     Class['tripleo::fencing'] -> Class['pacemaker::stonith']
  94   }
  95
  96   # FIXME(gfidente): sets 200secs as default start timeout op
  97   # param; until we can use pcmk global defaults we'll still
  98   # need to add it to every resource which redefines op params
  99   Pacemaker::Resource::Service {
 100     op_params => 'start timeout=200s stop timeout=200s',
 101   }
 102
 103   if downcase(hiera('ceilometer_backend')) == 'mongodb' {
 104     include ::mongodb::globals
 105     include ::mongodb::client
 106     class { '::mongodb::server' :
 107       service_manage => false,
 108     }
 109   }
 110
 111   # Redis
 112   class { '::redis' :
 113     service_manage => false,
 114     notify_service => false,
 115   }
 116
 117   # Galera
 118   if str2bool(hiera('enable_galera', true)) {
 119     $mysql_config_file = '/etc/my.cnf.d/galera.cnf'
 120   } else {
 121     $mysql_config_file = '/etc/my.cnf.d/server.cnf'
 122   }
 123   $galera_nodes = downcase(hiera('galera_node_names', $::hostname))
 124   $galera_nodes_count = count(split($galera_nodes, ','))
 125
 126   # FIXME: due to https://bugzilla.redhat.com/show_bug.cgi?id=1298671 we
 127   # set bind-address to a hostname instead of an ip address; to move Mysql
 128   # from internal_api on another network we'll have to customize both
 129   # MysqlNetwork and ControllerHostnameResolveNetwork in ServiceNetMap
 130   $mysql_bind_host = hiera('mysql_bind_host')
 131   $mysqld_options = {
 132     'mysqld' => {
 133       'skip-name-resolve'             => '1',
 134       'binlog_format'                 => 'ROW',
 135       'default-storage-engine'        => 'innodb',
 136       'innodb_autoinc_lock_mode'      => '2',
 137       'innodb_locks_unsafe_for_binlog'=> '1',
 138       'query_cache_size'              => '0',
 139       'query_cache_type'              => '0',
 140       'bind-address'                  => $::hostname,
 141       'max_connections'               => hiera('mysql_max_connections'),
 142       'open_files_limit'              => '-1',
 143       'wsrep_on'                      => 'ON',
 144       'wsrep_provider'                => '/usr/lib64/galera/libgalera_smm.so',
 145       'wsrep_cluster_name'            => 'galera_cluster',
 146       'wsrep_cluster_address'         => "gcomm://${galera_nodes}",
 147       'wsrep_slave_threads'           => '1',
 148       'wsrep_certify_nonPK'           => '1',
 149       'wsrep_max_ws_rows'             => '131072',
 150       'wsrep_max_ws_size'             => '1073741824',
 151       'wsrep_debug'                   => '0',
 152       'wsrep_convert_LOCK_to_trx'     => '0',
 153       'wsrep_retry_autocommit'        => '1',
 154       'wsrep_auto_increment_control'  => '1',
 155       'wsrep_drupal_282555_workaround'=> '0',
 156       'wsrep_causal_reads'            => '0',
 157       'wsrep_sst_method'              => 'rsync',
 158       'wsrep_provider_options'        => "gmcast.listen_addr=tcp://[${mysql_bind_host}]:4567;",
 159     },
 160   }
 161
 162   class { '::mysql::server':
 163     create_root_user        => false,
 164     create_root_my_cnf      => false,
 165     config_file             => $mysql_config_file,
 166     override_options        => $mysqld_options,
 167     remove_default_accounts => $pacemaker_master,
 168     service_manage          => false,
 169     service_enabled         => false,
 170   }
 171
 172 }
 173
 174 if hiera('step') >= 2 {
 175
 176   # NOTE(gfidente): the following vars are needed on all nodes so they
 177   # need to stay out of pacemaker_master conditional.
 178   # The addresses mangling will hopefully go away when we'll be able to
 179   # configure the connection string via hostnames, until then, we need to pass
 180   # the list of IPv6 addresses *with* port and without the brackets as 'members'
 181   # argument for the 'mongodb_replset' resource.
 182   if str2bool(hiera('mongodb::server::ipv6', false)) {
 183     $mongo_node_ips_with_port_prefixed = prefix(hiera('mongo_node_ips'), '[')
 184     $mongo_node_ips_with_port = suffix($mongo_node_ips_with_port_prefixed, ']:27017')
 185     $mongo_node_ips_with_port_nobr = suffix(hiera('mongo_node_ips'), ':27017')
 186   } else {
 187     $mongo_node_ips_with_port = suffix(hiera('mongo_node_ips'), ':27017')
 188     $mongo_node_ips_with_port_nobr = suffix(hiera('mongo_node_ips'), ':27017')
 189   }
 190   $mongodb_replset = hiera('mongodb::server::replset')
 191
 192   if $pacemaker_master {
 193
 194     include ::pacemaker::resource_defaults
 195
 196     # Create an openstack-core dummy resource. See RHBZ 1290121
 197     pacemaker::resource::ocf { 'openstack-core':
 198       ocf_agent_name => 'heartbeat:Dummy',
 199       clone_params   => true,
 200     }
 201
 202     if downcase(hiera('ceilometer_backend')) == 'mongodb' {
 203       pacemaker::resource::service { $::mongodb::params::service_name :
 204         op_params    => 'start timeout=370s stop timeout=200s',
 205         clone_params => true,
 206         require      => Class['::mongodb::server'],
 207       }
 208       # NOTE (spredzy) : The replset can only be run
 209       # once all the nodes have joined the cluster.
 210       mongodb_conn_validator { $mongo_node_ips_with_port :
 211         timeout => '600',
 212         require => Pacemaker::Resource::Service[$::mongodb::params::service_name],
 213         before  => Mongodb_replset[$mongodb_replset],
 214       }
 215       mongodb_replset { $mongodb_replset :
 216         members => $mongo_node_ips_with_port_nobr,
 217       }
 218     }
 219
 220     pacemaker::resource::ocf { 'galera' :
 221       ocf_agent_name  => 'heartbeat:galera',
 222       op_params       => 'promote timeout=300s on-fail=block',
 223       master_params   => '',
 224       meta_params     => "master-max=${galera_nodes_count} ordered=true",
 225       resource_params => "additional_parameters='--open-files-limit=16384' enable_creation=true wsrep_cluster_address='gcomm://${galera_nodes}'",
 226       require         => Class['::mysql::server'],
 227       before          => Exec['galera-ready'],
 228     }
 229
 230     pacemaker::resource::ocf { 'redis':
 231       ocf_agent_name  => 'heartbeat:redis',
 232       master_params   => '',
 233       meta_params     => 'notify=true ordered=true interleave=true',
 234       resource_params => 'wait_last_known_master=true',
 235       require         => Class['::redis'],
 236     }
 237
 238   }
 239   $mysql_root_password = hiera('mysql::server::root_password')
 240   $mysql_clustercheck_password = hiera('mysql_clustercheck_password')
 241   # This step is to create a sysconfig clustercheck file with the root user and empty password
 242   # on the first install only (because later on the clustercheck db user will be used)
 243   # We are using exec and not file in order to not have duplicate definition errors in puppet
 244   # when we later set the the file to contain the clustercheck data
 245   exec { 'create-root-sysconfig-clustercheck':
 246     command => "/bin/echo 'MYSQL_USERNAME=root\nMYSQL_PASSWORD=\'\'\nMYSQL_HOST=localhost\n' > /etc/sysconfig/clustercheck",
 247     unless  => '/bin/test -e /etc/sysconfig/clustercheck && grep -q clustercheck /etc/sysconfig/clustercheck',
 248   }
 249
 250   exec { 'galera-ready' :
 251     command     => '/usr/bin/clustercheck >/dev/null',
 252     timeout     => 30,
 253     tries       => 180,
 254     try_sleep   => 10,
 255     environment => ['AVAILABLE_WHEN_READONLY=0'],
 256     require     => Exec['create-root-sysconfig-clustercheck'],
 257   }
 258
 259   xinetd::service { 'galera-monitor' :
 260     port           => '9200',
 261     server         => '/usr/bin/clustercheck',
 262     per_source     => 'UNLIMITED',
 263     log_on_success => '',
 264     log_on_failure => 'HOST',
 265     flags          => 'REUSE',
 266     service_type   => 'UNLISTED',
 267     user           => 'root',
 268     group          => 'root',
 269     require        => Exec['create-root-sysconfig-clustercheck'],
 270   }
 271   # We add a clustercheck db user and we will switch /etc/sysconfig/clustercheck
 272   # to it in a later step. We do this only on one node as it will replicate on
 273   # the other members. We also make sure that the permissions are the minimum necessary
 274   if $pacemaker_master {
 275     mysql_user { 'clustercheck@localhost':
 276       ensure        => 'present',
 277       password_hash => mysql_password($mysql_clustercheck_password),
 278       require       => Exec['galera-ready'],
 279     }
 280     mysql_grant { 'clustercheck@localhost/*.*':
 281       ensure     => 'present',
 282       options    => ['GRANT'],
 283       privileges => ['PROCESS'],
 284       table      => '*.*',
 285       user       => 'clustercheck@localhost',
 286     }
 287   }
 288
 289   # Create all the database schemas
 290   if $sync_db {
 291     class { '::nova::db::mysql':
 292       require => Exec['galera-ready'],
 293     }
 294     class { '::nova::db::mysql_api':
 295       require => Exec['galera-ready'],
 296     }
 297     class { '::neutron::db::mysql':
 298       require => Exec['galera-ready'],
 299     }
 300     class { '::cinder::db::mysql':
 301       require => Exec['galera-ready'],
 302     }
 303
 304     if downcase(hiera('ceilometer_backend')) == 'mysql' {
 305       class { '::ceilometer::db::mysql':
 306         require => Exec['galera-ready'],
 307       }
 308     }
 309
 310     if downcase(hiera('gnocchi_indexer_backend')) == 'mysql' {
 311       class { '::gnocchi::db::mysql':
 312         require => Exec['galera-ready'],
 313       }
 314     }
 315   }
 316
 317   # Ceph
 318   $enable_ceph = hiera('ceph_storage_count', 0) > 0 or hiera('enable_ceph_storage', false)
 319
 320   if $enable_ceph {
 321     $mon_initial_members = downcase(hiera('ceph_mon_initial_members'))
 322     if str2bool(hiera('ceph_ipv6', false)) {
 323       $mon_host = hiera('ceph_mon_host_v6')
 324     } else {
 325       $mon_host = hiera('ceph_mon_host')
 326     }
 327     class { '::ceph::profile::params':
 328       mon_initial_members => $mon_initial_members,
 329       mon_host            => $mon_host,
 330     }
 331     include ::ceph::conf
 332     include ::ceph::profile::mon
 333   }
 334
 335   if str2bool(hiera('enable_ceph_storage', false)) {
 336     if str2bool(hiera('ceph_osd_selinux_permissive', true)) {
 337       exec { 'set selinux to permissive on boot':
 338         command => "sed -ie 's/^SELINUX=.*/SELINUX=permissive/' /etc/selinux/config",
 339         onlyif  => "test -f /etc/selinux/config && ! grep '^SELINUX=permissive' /etc/selinux/config",
 340         path    => ['/usr/bin', '/usr/sbin'],
 341       }
 342
 343       exec { 'set selinux to permissive':
 344         command => 'setenforce 0',
 345         onlyif  => "which setenforce && getenforce | grep -i 'enforcing'",
 346         path    => ['/usr/bin', '/usr/sbin'],
 347       } -> Class['ceph::profile::osd']
 348     }
 349
 350     include ::ceph::conf
 351     include ::ceph::profile::osd
 352   }
 353
 354   if str2bool(hiera('enable_external_ceph', false)) {
 355     if str2bool(hiera('ceph_ipv6', false)) {
 356       $mon_host = hiera('ceph_mon_host_v6')
 357     } else {
 358       $mon_host = hiera('ceph_mon_host')
 359     }
 360     class { '::ceph::profile::params':
 361       mon_host            => $mon_host,
 362     }
 363     include ::ceph::conf
 364     include ::ceph::profile::client
 365   }
 366
 367
 368 } #END STEP 2
 369
 370 if hiera('step') >= 4 or ( hiera('step') >= 3 and $sync_db ) {
 371   # At this stage we are guaranteed that the clustercheck db user exists
 372   # so we switch the resource agent to use it.
 373   file { '/etc/sysconfig/clustercheck' :
 374     ensure  => file,
 375     mode    => '0600',
 376     owner   => 'root',
 377     group   => 'root',
 378     content => "MYSQL_USERNAME=clustercheck\n
 379 MYSQL_PASSWORD='${mysql_clustercheck_password}'\n
 380 MYSQL_HOST=localhost\n",
 381   }
 382
 383   $nova_ipv6 = hiera('nova::use_ipv6', false)
 384   if $nova_ipv6 {
 385     $memcached_servers = suffix(hiera('memcache_node_ips_v6'), ':11211')
 386   } else {
 387     $memcached_servers = suffix(hiera('memcache_node_ips'), ':11211')
 388   }
 389
 390   class { '::nova' :
 391     memcached_servers => $memcached_servers
 392   }
 393
 394   include ::nova::config
 395
 396   class { '::nova::api' :
 397     sync_db        => $sync_db,
 398     sync_db_api    => $sync_db,
 399     manage_service => false,
 400     enabled        => false,
 401   }
 402   class { '::nova::cert' :
 403     manage_service => false,
 404     enabled        => false,
 405   }
 406   class { '::nova::conductor' :
 407     manage_service => false,
 408     enabled        => false,
 409   }
 410   class { '::nova::consoleauth' :
 411     manage_service => false,
 412     enabled        => false,
 413   }
 414   class { '::nova::vncproxy' :
 415     manage_service => false,
 416     enabled        => false,
 417   }
 418   include ::nova::scheduler::filter
 419   class { '::nova::scheduler' :
 420     manage_service => false,
 421     enabled        => false,
 422   }
 423   include ::nova::network::neutron
 424
 425   if hiera('neutron::core_plugin') == 'midonet.neutron.plugin_v1.MidonetPluginV2' {
 426
 427     # TODO(devvesa) provide non-controller ips for these services
 428     $zookeeper_node_ips = hiera('neutron_api_node_ips')
 429     $cassandra_node_ips = hiera('neutron_api_node_ips')
 430
 431     # Run zookeeper in the controller if configured
 432     if hiera('enable_zookeeper_on_controller') {
 433       class {'::tripleo::cluster::zookeeper':
 434         zookeeper_server_ips => $zookeeper_node_ips,
 435         # TODO: create a 'bind' hiera key for zookeeper
 436         zookeeper_client_ip  => hiera('neutron::bind_host'),
 437         zookeeper_hostnames  => split(hiera('controller_node_names'), ',')
 438       }
 439     }
 440
 441     # Run cassandra in the controller if configured
 442     if hiera('enable_cassandra_on_controller') {
 443       class {'::tripleo::cluster::cassandra':
 444         cassandra_servers => $cassandra_node_ips,
 445         # TODO: create a 'bind' hiera key for cassandra
 446         cassandra_ip      => hiera('neutron::bind_host'),
 447       }
 448     }
 449
 450     class {'::tripleo::network::midonet::agent':
 451       zookeeper_servers => $zookeeper_node_ips,
 452       cassandra_seeds   => $cassandra_node_ips
 453     }
 454
 455     class {'::tripleo::network::midonet::api':
 456       zookeeper_servers    => $zookeeper_node_ips,
 457       vip                  => hiera('public_virtual_ip'),
 458       keystone_ip          => hiera('public_virtual_ip'),
 459       keystone_admin_token => hiera('keystone::admin_token'),
 460       # TODO: create a 'bind' hiera key for api
 461       bind_address         => hiera('neutron::bind_host'),
 462       admin_password       => hiera('admin_password')
 463     }
 464
 465     # Configure Neutron
 466     class {'::neutron':
 467       service_plugins => []
 468     }
 469
 470   }
 471   else {
 472     # Neutron class definitions
 473     include ::neutron
 474   }
 475
 476   include ::neutron::config
 477   class { '::neutron::server' :
 478     sync_db        => $sync_db,
 479     manage_service => false,
 480     enabled        => false,
 481   }
 482   include ::neutron::server::notifications
 483   if  hiera('neutron::core_plugin') == 'neutron.plugins.nuage.plugin.NuagePlugin' {
 484     include ::neutron::plugins::nuage
 485   }
 486   if  hiera('neutron::core_plugin') == 'neutron_plugin_contrail.plugins.opencontrail.contrail_plugin.NeutronPluginContrailCoreV2' {
 487     include ::neutron::plugins::opencontrail
 488   }
 489   if hiera('neutron::core_plugin') == 'midonet.neutron.plugin_v1.MidonetPluginV2' {
 490     class {'::neutron::plugins::midonet':
 491       midonet_api_ip    => hiera('public_virtual_ip'),
 492       keystone_tenant   => hiera('neutron::server::auth_tenant'),
 493       keystone_password => hiera('neutron::server::password')
 494     }
 495   }
 496   if hiera('neutron::core_plugin') == 'networking_plumgrid.neutron.plugins.plugin.NeutronPluginPLUMgridV2' {
 497     class { '::neutron::plugins::plumgrid' :
 498       connection                   => hiera('neutron::server::database_connection'),
 499       controller_priv_host         => hiera('keystone_admin_api_vip'),
 500       admin_password               => hiera('admin_password'),
 501       metadata_proxy_shared_secret => hiera('nova::api::neutron_metadata_proxy_shared_secret'),
 502     }
 503   }
 504   include ::neutron::plugins::ml2
 505   class { '::neutron::agents::ml2::ovs':
 506     manage_service => false,
 507     enabled        => false,
 508   }
 509
 510   if 'cisco_ucsm' in hiera('neutron::plugins::ml2::mechanism_drivers') {
 511     include ::neutron::plugins::ml2::cisco::ucsm
 512   }
 513   if 'cisco_nexus' in hiera('neutron::plugins::ml2::mechanism_drivers') {
 514     include ::neutron::plugins::ml2::cisco::nexus
 515     include ::neutron::plugins::ml2::cisco::type_nexus_vxlan
 516   }
 517   if 'cisco_n1kv' in hiera('neutron::plugins::ml2::mechanism_drivers') {
 518     include ::neutron::plugins::ml2::cisco::nexus1000v
 519
 520     class { '::neutron::agents::n1kv_vem':
 521       n1kv_source  => hiera('n1kv_vem_source', undef),
 522       n1kv_version => hiera('n1kv_vem_version', undef),
 523     }
 524
 525     class { '::n1k_vsm':
 526       n1kv_source  => hiera('n1kv_vsm_source', undef),
 527       n1kv_version => hiera('n1kv_vsm_version', undef),
 528     }
 529   }
 530
 531   if 'bsn_ml2' in hiera('neutron::plugins::ml2::mechanism_drivers') {
 532     include ::neutron::plugins::ml2::bigswitch::restproxy
 533     include ::neutron::agents::bigswitch
 534   }
 535
 536   include ::cinder
 537   include ::cinder::config
 538   class { '::cinder::api':
 539     sync_db        => $sync_db,
 540     manage_service => false,
 541     enabled        => false,
 542   }
 543   class { '::cinder::scheduler' :
 544     manage_service => false,
 545     enabled        => false,
 546   }
 547   class { '::cinder::volume' :
 548     manage_service => false,
 549     enabled        => false,
 550   }
 551   include ::cinder::glance
 552   include ::cinder::ceilometer
 553   class { '::cinder::setup_test_volume':
 554     size => join([hiera('cinder_lvm_loop_device_size'), 'M']),
 555   }
 556
 557   $cinder_enable_iscsi = hiera('cinder_enable_iscsi_backend', true)
 558   if $cinder_enable_iscsi {
 559     $cinder_iscsi_backend = 'tripleo_iscsi'
 560
 561     cinder::backend::iscsi { $cinder_iscsi_backend :
 562       iscsi_ip_address => hiera('cinder_iscsi_ip_address'),
 563       iscsi_helper     => hiera('cinder_iscsi_helper'),
 564     }
 565   }
 566
 567   if $enable_ceph {
 568
 569     $ceph_pools = hiera('ceph_pools')
 570     ceph::pool { $ceph_pools :
 571       pg_num  => hiera('ceph::profile::params::osd_pool_default_pg_num'),
 572       pgp_num => hiera('ceph::profile::params::osd_pool_default_pgp_num'),
 573       size    => hiera('ceph::profile::params::osd_pool_default_size'),
 574     }
 575
 576     $cinder_pool_requires = [Ceph::Pool[hiera('cinder_rbd_pool_name')]]
 577
 578   } else {
 579     $cinder_pool_requires = []
 580   }
 581
 582   if hiera('cinder_enable_rbd_backend', false) {
 583     $cinder_rbd_backend = 'tripleo_ceph'
 584
 585     cinder::backend::rbd { $cinder_rbd_backend :
 586       backend_host    => hiera('cinder::host'),
 587       rbd_pool        => hiera('cinder_rbd_pool_name'),
 588       rbd_user        => hiera('ceph_client_user_name'),
 589       rbd_secret_uuid => hiera('ceph::profile::params::fsid'),
 590       require         => $cinder_pool_requires,
 591     }
 592   }
 593
 594   if hiera('cinder_enable_eqlx_backend', false) {
 595     $cinder_eqlx_backend = hiera('cinder::backend::eqlx::volume_backend_name')
 596
 597     cinder::backend::eqlx { $cinder_eqlx_backend :
 598       volume_backend_name => hiera('cinder::backend::eqlx::volume_backend_name', undef),
 599       san_ip              => hiera('cinder::backend::eqlx::san_ip', undef),
 600       san_login           => hiera('cinder::backend::eqlx::san_login', undef),
 601       san_password        => hiera('cinder::backend::eqlx::san_password', undef),
 602       san_thin_provision  => hiera('cinder::backend::eqlx::san_thin_provision', undef),
 603       eqlx_group_name     => hiera('cinder::backend::eqlx::eqlx_group_name', undef),
 604       eqlx_pool           => hiera('cinder::backend::eqlx::eqlx_pool', undef),
 605       eqlx_use_chap       => hiera('cinder::backend::eqlx::eqlx_use_chap', undef),
 606       eqlx_chap_login     => hiera('cinder::backend::eqlx::eqlx_chap_login', undef),
 607       eqlx_chap_password  => hiera('cinder::backend::eqlx::eqlx_san_password', undef),
 608     }
 609   }
 610
 611   if hiera('cinder_enable_dellsc_backend', false) {
 612     $cinder_dellsc_backend = hiera('cinder::backend::dellsc_iscsi::volume_backend_name')
 613
 614     cinder::backend::dellsc_iscsi{ $cinder_dellsc_backend :
 615       volume_backend_name   => hiera('cinder::backend::dellsc_iscsi::volume_backend_name', undef),
 616       san_ip                => hiera('cinder::backend::dellsc_iscsi::san_ip', undef),
 617       san_login             => hiera('cinder::backend::dellsc_iscsi::san_login', undef),
 618       san_password          => hiera('cinder::backend::dellsc_iscsi::san_password', undef),
 619       dell_sc_ssn           => hiera('cinder::backend::dellsc_iscsi::dell_sc_ssn', undef),
 620       iscsi_ip_address      => hiera('cinder::backend::dellsc_iscsi::iscsi_ip_address', undef),
 621       iscsi_port            => hiera('cinder::backend::dellsc_iscsi::iscsi_port', undef),
 622       dell_sc_api_port      => hiera('cinder::backend::dellsc_iscsi::dell_sc_api_port', undef),
 623       dell_sc_server_folder => hiera('cinder::backend::dellsc_iscsi::dell_sc_server_folder', undef),
 624       dell_sc_volume_folder => hiera('cinder::backend::dellsc_iscsi::dell_sc_volume_folder', undef),
 625     }
 626   }
 627
 628   if hiera('cinder_enable_netapp_backend', false) {
 629     $cinder_netapp_backend = hiera('cinder::backend::netapp::title')
 630
 631     if hiera('cinder::backend::netapp::nfs_shares', undef) {
 632       $cinder_netapp_nfs_shares = split(hiera('cinder::backend::netapp::nfs_shares', undef), ',')
 633     }
 634
 635     cinder::backend::netapp { $cinder_netapp_backend :
 636       netapp_login                 => hiera('cinder::backend::netapp::netapp_login', undef),
 637       netapp_password              => hiera('cinder::backend::netapp::netapp_password', undef),
 638       netapp_server_hostname       => hiera('cinder::backend::netapp::netapp_server_hostname', undef),
 639       netapp_server_port           => hiera('cinder::backend::netapp::netapp_server_port', undef),
 640       netapp_size_multiplier       => hiera('cinder::backend::netapp::netapp_size_multiplier', undef),
 641       netapp_storage_family        => hiera('cinder::backend::netapp::netapp_storage_family', undef),
 642       netapp_storage_protocol      => hiera('cinder::backend::netapp::netapp_storage_protocol', undef),
 643       netapp_transport_type        => hiera('cinder::backend::netapp::netapp_transport_type', undef),
 644       netapp_vfiler                => hiera('cinder::backend::netapp::netapp_vfiler', undef),
 645       netapp_volume_list           => hiera('cinder::backend::netapp::netapp_volume_list', undef),
 646       netapp_vserver               => hiera('cinder::backend::netapp::netapp_vserver', undef),
 647       netapp_partner_backend_name  => hiera('cinder::backend::netapp::netapp_partner_backend_name', undef),
 648       nfs_shares                   => $cinder_netapp_nfs_shares,
 649       nfs_shares_config            => hiera('cinder::backend::netapp::nfs_shares_config', undef),
 650       netapp_copyoffload_tool_path => hiera('cinder::backend::netapp::netapp_copyoffload_tool_path', undef),
 651       netapp_controller_ips        => hiera('cinder::backend::netapp::netapp_controller_ips', undef),
 652       netapp_sa_password           => hiera('cinder::backend::netapp::netapp_sa_password', undef),
 653       netapp_storage_pools         => hiera('cinder::backend::netapp::netapp_storage_pools', undef),
 654       netapp_eseries_host_type     => hiera('cinder::backend::netapp::netapp_eseries_host_type', undef),
 655       netapp_webservice_path       => hiera('cinder::backend::netapp::netapp_webservice_path', undef),
 656     }
 657   }
 658
 659   if hiera('cinder_enable_nfs_backend', false) {
 660     $cinder_nfs_backend = 'tripleo_nfs'
 661
 662     if str2bool($::selinux) {
 663       selboolean { 'virt_use_nfs':
 664         value      => on,
 665         persistent => true,
 666       } -> Package['nfs-utils']
 667     }
 668
 669     package { 'nfs-utils': } ->
 670     cinder::backend::nfs { $cinder_nfs_backend:
 671       nfs_servers       => hiera('cinder_nfs_servers'),
 672       nfs_mount_options => hiera('cinder_nfs_mount_options',''),
 673       nfs_shares_config => '/etc/cinder/shares-nfs.conf',
 674     }
 675   }
 676
 677   $cinder_enabled_backends = delete_undef_values([$cinder_iscsi_backend, $cinder_rbd_backend, $cinder_eqlx_backend, $cinder_dellsc_backend, $cinder_netapp_backend, $cinder_nfs_backend])
 678   class { '::cinder::backends' :
 679     enabled_backends => union($cinder_enabled_backends, hiera('cinder_user_enabled_backends')),
 680   }
 681
 682   # swift storage
 683   if str2bool(hiera('enable_swift_storage', true)) {
 684     class {'::swift::storage::all':
 685       mount_check => str2bool(hiera('swift_mount_check')),
 686     }
 687     class {'::swift::storage::account':
 688       manage_service => $non_pcmk_start,
 689       enabled        => $non_pcmk_start,
 690     }
 691     class {'::swift::storage::container':
 692       manage_service => $non_pcmk_start,
 693       enabled        => $non_pcmk_start,
 694     }
 695     class {'::swift::storage::object':
 696       manage_service => $non_pcmk_start,
 697       enabled        => $non_pcmk_start,
 698     }
 699     if(!defined(File['/srv/node'])) {
 700       file { '/srv/node':
 701         ensure  => directory,
 702         owner   => 'swift',
 703         group   => 'swift',
 704         require => Package['openstack-swift'],
 705       }
 706     }
 707     $swift_components = ['account', 'container', 'object']
 708     swift::storage::filter::recon { $swift_components : }
 709     swift::storage::filter::healthcheck { $swift_components : }
 710   }
 711
 712   # Ceilometer
 713   case downcase(hiera('ceilometer_backend')) {
 714     /mysql/: {
 715       $ceilometer_database_connection = hiera('ceilometer_mysql_conn_string')
 716     }
 717     default: {
 718       $mongo_node_string = join($mongo_node_ips_with_port, ',')
 719       $ceilometer_database_connection = "mongodb://${mongo_node_string}/ceilometer?replicaSet=${mongodb_replset}"
 720     }
 721   }
 722   include ::ceilometer
 723   include ::ceilometer::config
 724   class { '::ceilometer::api' :
 725     manage_service => false,
 726     enabled        => false,
 727   }
 728   class { '::ceilometer::agent::notification' :
 729     manage_service => false,
 730     enabled        => false,
 731   }
 732   class { '::ceilometer::agent::central' :
 733     manage_service => false,
 734     enabled        => false,
 735   }
 736   class { '::ceilometer::collector' :
 737     manage_service => false,
 738     enabled        => false,
 739   }
 740   include ::ceilometer::expirer
 741   class { '::ceilometer::db' :
 742     database_connection => $ceilometer_database_connection,
 743     sync_db             => $sync_db,
 744   }
 745   include ::ceilometer::agent::auth
 746   include ::ceilometer::dispatcher::gnocchi
 747
 748   Cron <| title == 'ceilometer-expirer' |> { command => "sleep $((\$(od -A n -t d -N 3 /dev/urandom) % 86400)) && ${::ceilometer::params::expirer_command}" }
 749
 750   # httpd/apache and horizon
 751   # NOTE(gfidente): server-status can be consumed by the pacemaker resource agent
 752   class { '::apache' :
 753     service_enable => false,
 754     # service_manage => false, # <-- not supported with horizon&apache mod_wsgi?
 755   }
 756   include ::apache::mod::remoteip
 757   include ::apache::mod::status
 758   if 'cisco_n1kv' in hiera('neutron::plugins::ml2::mechanism_drivers') {
 759     $_profile_support = 'cisco'
 760   } else {
 761     $_profile_support = 'None'
 762   }
 763   $neutron_options   = {'profile_support' => $_profile_support }
 764
 765   $memcached_ipv6 = hiera('memcached_ipv6', false)
 766   if $memcached_ipv6 {
 767     $horizon_memcached_servers = hiera('memcache_node_ips_v6', '[::1]')
 768   } else {
 769     $horizon_memcached_servers = hiera('memcache_node_ips', '127.0.0.1')
 770   }
 771
 772   class { '::horizon':
 773     cache_server_ip => $horizon_memcached_servers,
 774     neutron_options => $neutron_options,
 775   }
 776
 777   # Aodh
 778   class { '::aodh' :
 779     database_connection => $ceilometer_database_connection,
 780   }
 781   include ::aodh::config
 782   include ::aodh::auth
 783   include ::aodh::client
 784   include ::aodh::wsgi::apache
 785   class { '::aodh::api':
 786     manage_service => false,
 787     enabled        => false,
 788     service_name   => 'httpd',
 789   }
 790   class { '::aodh::evaluator':
 791     manage_service => false,
 792     enabled        => false,
 793   }
 794   class { '::aodh::notifier':
 795     manage_service => false,
 796     enabled        => false,
 797   }
 798   class { '::aodh::listener':
 799     manage_service => false,
 800     enabled        => false,
 801   }
 802
 803   # Gnocchi
 804   $gnocchi_database_connection = hiera('gnocchi_mysql_conn_string')
 805   include ::gnocchi::client
 806   if $sync_db {
 807     include ::gnocchi::db::sync
 808   }
 809   include ::gnocchi::storage
 810   $gnocchi_backend = downcase(hiera('gnocchi_backend', 'swift'))
 811   case $gnocchi_backend {
 812       'swift': { include ::gnocchi::storage::swift }
 813       'file': { include ::gnocchi::storage::file }
 814       'rbd': { include ::gnocchi::storage::ceph }
 815       default: { fail('Unrecognized gnocchi_backend parameter.') }
 816   }
 817   class { '::gnocchi':
 818     database_connection => $gnocchi_database_connection,
 819   }
 820   class { '::gnocchi::api' :
 821     manage_service => false,
 822     enabled        => false,
 823     service_name   => 'httpd',
 824   }
 825   class { '::gnocchi::wsgi::apache' :
 826     ssl => false,
 827   }
 828   class { '::gnocchi::metricd' :
 829     manage_service => false,
 830     enabled        => false,
 831   }
 832   class { '::gnocchi::statsd' :
 833     manage_service => false,
 834     enabled        => false,
 835   }
 836
 837   $snmpd_user = hiera('snmpd_readonly_user_name')
 838   snmp::snmpv3_user { $snmpd_user:
 839     authtype => 'MD5',
 840     authpass => hiera('snmpd_readonly_user_password'),
 841   }
 842   class { '::snmp':
 843     agentaddress => ['udp:161','udp6:[::1]:161'],
 844     snmpd_config => [ join(['createUser ', hiera('snmpd_readonly_user_name'), ' MD5 "', hiera('snmpd_readonly_user_password'), '"']), join(['rouser ', hiera('snmpd_readonly_user_name')]), 'proc  cron', 'includeAllDisks  10%', 'master agentx', 'trapsink localhost public', 'iquerySecName internalUser', 'rouser internalUser', 'defaultMonitors yes', 'linkUpDownNotifications yes' ],
 845   }
 846
 847   hiera_include('controller_classes')
 848
 849 } #END STEP 4
 850
 851 if hiera('step') >= 5 {
 852   # We now make sure that the root db password is set to a random one
 853   # At first installation /root/.my.cnf will be empty and we connect without a root
 854   # password. On second runs or updates /root/.my.cnf will already be populated
 855   # with proper credentials. This step happens on every node because this sql
 856   # statement does not automatically replicate across nodes.
 857   exec { 'galera-set-root-password':
 858     command => "/bin/touch /root/.my.cnf && /bin/echo \"UPDATE mysql.user SET Password = PASSWORD('${mysql_root_password}') WHERE user = 'root'; flush privileges;\" | /bin/mysql --defaults-extra-file=/root/.my.cnf -u root",
 859   }
 860   file { '/root/.my.cnf' :
 861     ensure  => file,
 862     mode    => '0600',
 863     owner   => 'root',
 864     group   => 'root',
 865     content => "[client]
 866 user=root
 867 password=\"${mysql_root_password}\"
 868
 869 [mysql]
 870 user=root
 871 password=\"${mysql_root_password}\"",
 872     require => Exec['galera-set-root-password'],
 873   }
 874
 875   $nova_enable_db_purge = hiera('nova_enable_db_purge', true)
 876   $cinder_enable_db_purge = hiera('cinder_enable_db_purge', true)
 877
 878   if $nova_enable_db_purge {
 879     include ::nova::cron::archive_deleted_rows
 880   }
 881   if $cinder_enable_db_purge {
 882     include ::cinder::cron::db_purge
 883   }
 884
 885   if $pacemaker_master {
 886
 887     pacemaker::constraint::base { 'openstack-core-then-httpd-constraint':
 888       constraint_type => 'order',
 889       first_resource  => 'openstack-core-clone',
 890       second_resource => "${::apache::params::service_name}-clone",
 891       first_action    => 'start',
 892       second_action   => 'start',
 893       require         => [Pacemaker::Resource::Service[$::apache::params::service_name],
 894                           Pacemaker::Resource::Ocf['openstack-core']],
 895     }
 896     pacemaker::constraint::base { 'galera-then-openstack-core-constraint':
 897       constraint_type => 'order',
 898       first_resource  => 'galera-master',
 899       second_resource => 'openstack-core-clone',
 900       first_action    => 'promote',
 901       second_action   => 'start',
 902       require         => [Pacemaker::Resource::Ocf['galera'],
 903                           Pacemaker::Resource::Ocf['openstack-core']],
 904     }
 905
 906     # Cinder
 907     pacemaker::resource::service { $::cinder::params::api_service :
 908       clone_params => 'interleave=true',
 909       require      => Pacemaker::Resource::Ocf['openstack-core'],
 910     }
 911     pacemaker::resource::service { $::cinder::params::scheduler_service :
 912       clone_params => 'interleave=true',
 913     }
 914     pacemaker::resource::service { $::cinder::params::volume_service : }
 915
 916     pacemaker::constraint::base { 'keystone-then-cinder-api-constraint':
 917       constraint_type => 'order',
 918       first_resource  => 'openstack-core-clone',
 919       second_resource => "${::cinder::params::api_service}-clone",
 920       first_action    => 'start',
 921       second_action   => 'start',
 922       require         => [Pacemaker::Resource::Ocf['openstack-core'],
 923                           Pacemaker::Resource::Service[$::cinder::params::api_service]],
 924     }
 925     pacemaker::constraint::base { 'cinder-api-then-cinder-scheduler-constraint':
 926       constraint_type => 'order',
 927       first_resource  => "${::cinder::params::api_service}-clone",
 928       second_resource => "${::cinder::params::scheduler_service}-clone",
 929       first_action    => 'start',
 930       second_action   => 'start',
 931       require         => [Pacemaker::Resource::Service[$::cinder::params::api_service],
 932                           Pacemaker::Resource::Service[$::cinder::params::scheduler_service]],
 933     }
 934     pacemaker::constraint::colocation { 'cinder-scheduler-with-cinder-api-colocation':
 935       source  => "${::cinder::params::scheduler_service}-clone",
 936       target  => "${::cinder::params::api_service}-clone",
 937       score   => 'INFINITY',
 938       require => [Pacemaker::Resource::Service[$::cinder::params::api_service],
 939                   Pacemaker::Resource::Service[$::cinder::params::scheduler_service]],
 940     }
 941     pacemaker::constraint::base { 'cinder-scheduler-then-cinder-volume-constraint':
 942       constraint_type => 'order',
 943       first_resource  => "${::cinder::params::scheduler_service}-clone",
 944       second_resource => $::cinder::params::volume_service,
 945       first_action    => 'start',
 946       second_action   => 'start',
 947       require         => [Pacemaker::Resource::Service[$::cinder::params::scheduler_service],
 948                           Pacemaker::Resource::Service[$::cinder::params::volume_service]],
 949     }
 950     pacemaker::constraint::colocation { 'cinder-volume-with-cinder-scheduler-colocation':
 951       source  => $::cinder::params::volume_service,
 952       target  => "${::cinder::params::scheduler_service}-clone",
 953       score   => 'INFINITY',
 954       require => [Pacemaker::Resource::Service[$::cinder::params::scheduler_service],
 955                   Pacemaker::Resource::Service[$::cinder::params::volume_service]],
 956     }
 957
 958     if hiera('neutron::enable_ovs_agent', true) {
 959       pacemaker::resource::service { $::neutron::params::ovs_agent_service:
 960         clone_params => 'interleave=true',
 961       }
 962     }
 963     if hiera('neutron::core_plugin') == 'midonet.neutron.plugin_v1.MidonetPluginV2' {
 964       pacemaker::resource::service {'tomcat':
 965         clone_params => 'interleave=true',
 966       }
 967     }
 968     if hiera('neutron::enable_ovs_agent', true) {
 969       pacemaker::resource::ocf { $::neutron::params::ovs_cleanup_service:
 970         ocf_agent_name => 'neutron:OVSCleanup',
 971         clone_params   => 'interleave=true',
 972       }
 973       pacemaker::resource::ocf { 'neutron-netns-cleanup':
 974         ocf_agent_name => 'neutron:NetnsCleanup',
 975         clone_params   => 'interleave=true',
 976       }
 977
 978       # neutron - one chain ovs-cleanup-->netns-cleanup-->ovs-agent
 979       pacemaker::constraint::base { 'neutron-ovs-cleanup-to-netns-cleanup-constraint':
 980         constraint_type => 'order',
 981         first_resource  => "${::neutron::params::ovs_cleanup_service}-clone",
 982         second_resource => 'neutron-netns-cleanup-clone',
 983         first_action    => 'start',
 984         second_action   => 'start',
 985         require         => [Pacemaker::Resource::Ocf[$::neutron::params::ovs_cleanup_service],
 986                             Pacemaker::Resource::Ocf['neutron-netns-cleanup']],
 987       }
 988       pacemaker::constraint::colocation { 'neutron-ovs-cleanup-to-netns-cleanup-colocation':
 989         source  => 'neutron-netns-cleanup-clone',
 990         target  => "${::neutron::params::ovs_cleanup_service}-clone",
 991         score   => 'INFINITY',
 992         require => [Pacemaker::Resource::Ocf[$::neutron::params::ovs_cleanup_service],
 993                     Pacemaker::Resource::Ocf['neutron-netns-cleanup']],
 994       }
 995       pacemaker::constraint::base { 'neutron-netns-cleanup-to-openvswitch-agent-constraint':
 996         constraint_type => 'order',
 997         first_resource  => 'neutron-netns-cleanup-clone',
 998         second_resource => "${::neutron::params::ovs_agent_service}-clone",
 999         first_action    => 'start',
1000         second_action   => 'start',
1001         require         => [Pacemaker::Resource::Ocf['neutron-netns-cleanup'],
1002                             Pacemaker::Resource::Service[$::neutron::params::ovs_agent_service]],
1003       }
1004       pacemaker::constraint::colocation { 'neutron-netns-cleanup-to-openvswitch-agent-colocation':
1005         source  => "${::neutron::params::ovs_agent_service}-clone",
1006         target  => 'neutron-netns-cleanup-clone',
1007         score   => 'INFINITY',
1008         require => [Pacemaker::Resource::Ocf['neutron-netns-cleanup'],
1009                     Pacemaker::Resource::Service[$::neutron::params::ovs_agent_service]],
1010       }
1011     }
1012     if hiera('neutron::core_plugin') == 'midonet.neutron.plugin_v1.MidonetPluginV2' {
1013       #midonet-chain chain keystone-->neutron-server-->dhcp-->metadata->tomcat
1014       pacemaker::constraint::base { 'neutron-server-to-dhcp-agent-constraint':
1015         constraint_type => 'order',
1016         first_resource  => "${::neutron::params::server_service}-clone",
1017         second_resource => "${::neutron::params::dhcp_agent_service}-clone",
1018         first_action    => 'start',
1019         second_action   => 'start',
1020         require         => [Pacemaker::Resource::Service[$::neutron::params::server_service],
1021                             Pacemaker::Resource::Service[$::neutron::params::dhcp_agent_service]],
1022       }
1023       pacemaker::constraint::base { 'neutron-dhcp-agent-to-metadata-agent-constraint':
1024         constraint_type => 'order',
1025         first_resource  => "${::neutron::params::dhcp_agent_service}-clone",
1026         second_resource => "${::neutron::params::metadata_agent_service}-clone",
1027         first_action    => 'start',
1028         second_action   => 'start',
1029         require         => [Pacemaker::Resource::Service[$::neutron::params::dhcp_agent_service],
1030                             Pacemaker::Resource::Service[$::neutron::params::metadata_agent_service]],
1031       }
1032       pacemaker::constraint::base { 'neutron-metadata-agent-to-tomcat-constraint':
1033         constraint_type => 'order',
1034         first_resource  => "${::neutron::params::metadata_agent_service}-clone",
1035         second_resource => 'tomcat-clone',
1036         first_action    => 'start',
1037         second_action   => 'start',
1038         require         => [Pacemaker::Resource::Service[$::neutron::params::metadata_agent_service],
1039                             Pacemaker::Resource::Service['tomcat']],
1040       }
1041       pacemaker::constraint::colocation { 'neutron-dhcp-agent-to-metadata-agent-colocation':
1042         source  => "${::neutron::params::metadata_agent_service}-clone",
1043         target  => "${::neutron::params::dhcp_agent_service}-clone",
1044         score   => 'INFINITY',
1045         require => [Pacemaker::Resource::Service[$::neutron::params::dhcp_agent_service],
1046                     Pacemaker::Resource::Service[$::neutron::params::metadata_agent_service]],
1047       }
1048     }
1049
1050     # Nova
1051     pacemaker::resource::service { $::nova::params::api_service_name :
1052       clone_params => 'interleave=true',
1053     }
1054     pacemaker::resource::service { $::nova::params::conductor_service_name :
1055       clone_params => 'interleave=true',
1056     }
1057     pacemaker::resource::service { $::nova::params::consoleauth_service_name :
1058       clone_params => 'interleave=true',
1059       require      => Pacemaker::Resource::Ocf['openstack-core'],
1060     }
1061     pacemaker::resource::service { $::nova::params::vncproxy_service_name :
1062       clone_params => 'interleave=true',
1063     }
1064     pacemaker::resource::service { $::nova::params::scheduler_service_name :
1065       clone_params => 'interleave=true',
1066     }
1067
1068     pacemaker::constraint::base { 'keystone-then-nova-consoleauth-constraint':
1069       constraint_type => 'order',
1070       first_resource  => 'openstack-core-clone',
1071       second_resource => "${::nova::params::consoleauth_service_name}-clone",
1072       first_action    => 'start',
1073       second_action   => 'start',
1074       require         => [Pacemaker::Resource::Service[$::nova::params::consoleauth_service_name],
1075                           Pacemaker::Resource::Ocf['openstack-core']],
1076     }
1077     pacemaker::constraint::base { 'nova-consoleauth-then-nova-vncproxy-constraint':
1078       constraint_type => 'order',
1079       first_resource  => "${::nova::params::consoleauth_service_name}-clone",
1080       second_resource => "${::nova::params::vncproxy_service_name}-clone",
1081       first_action    => 'start',
1082       second_action   => 'start',
1083       require         => [Pacemaker::Resource::Service[$::nova::params::consoleauth_service_name],
1084                           Pacemaker::Resource::Service[$::nova::params::vncproxy_service_name]],
1085     }
1086     pacemaker::constraint::colocation { 'nova-vncproxy-with-nova-consoleauth-colocation':
1087       source  => "${::nova::params::vncproxy_service_name}-clone",
1088       target  => "${::nova::params::consoleauth_service_name}-clone",
1089       score   => 'INFINITY',
1090       require => [Pacemaker::Resource::Service[$::nova::params::consoleauth_service_name],
1091                   Pacemaker::Resource::Service[$::nova::params::vncproxy_service_name]],
1092     }
1093     pacemaker::constraint::base { 'nova-vncproxy-then-nova-api-constraint':
1094       constraint_type => 'order',
1095       first_resource  => "${::nova::params::vncproxy_service_name}-clone",
1096       second_resource => "${::nova::params::api_service_name}-clone",
1097       first_action    => 'start',
1098       second_action   => 'start',
1099       require         => [Pacemaker::Resource::Service[$::nova::params::vncproxy_service_name],
1100                           Pacemaker::Resource::Service[$::nova::params::api_service_name]],
1101     }
1102     pacemaker::constraint::colocation { 'nova-api-with-nova-vncproxy-colocation':
1103       source  => "${::nova::params::api_service_name}-clone",
1104       target  => "${::nova::params::vncproxy_service_name}-clone",
1105       score   => 'INFINITY',
1106       require => [Pacemaker::Resource::Service[$::nova::params::vncproxy_service_name],
1107                   Pacemaker::Resource::Service[$::nova::params::api_service_name]],
1108     }
1109     pacemaker::constraint::base { 'nova-api-then-nova-scheduler-constraint':
1110       constraint_type => 'order',
1111       first_resource  => "${::nova::params::api_service_name}-clone",
1112       second_resource => "${::nova::params::scheduler_service_name}-clone",
1113       first_action    => 'start',
1114       second_action   => 'start',
1115       require         => [Pacemaker::Resource::Service[$::nova::params::api_service_name],
1116                           Pacemaker::Resource::Service[$::nova::params::scheduler_service_name]],
1117     }
1118     pacemaker::constraint::colocation { 'nova-scheduler-with-nova-api-colocation':
1119       source  => "${::nova::params::scheduler_service_name}-clone",
1120       target  => "${::nova::params::api_service_name}-clone",
1121       score   => 'INFINITY',
1122       require => [Pacemaker::Resource::Service[$::nova::params::api_service_name],
1123                   Pacemaker::Resource::Service[$::nova::params::scheduler_service_name]],
1124     }
1125     pacemaker::constraint::base { 'nova-scheduler-then-nova-conductor-constraint':
1126       constraint_type => 'order',
1127       first_resource  => "${::nova::params::scheduler_service_name}-clone",
1128       second_resource => "${::nova::params::conductor_service_name}-clone",
1129       first_action    => 'start',
1130       second_action   => 'start',
1131       require         => [Pacemaker::Resource::Service[$::nova::params::scheduler_service_name],
1132                           Pacemaker::Resource::Service[$::nova::params::conductor_service_name]],
1133     }
1134     pacemaker::constraint::colocation { 'nova-conductor-with-nova-scheduler-colocation':
1135       source  => "${::nova::params::conductor_service_name}-clone",
1136       target  => "${::nova::params::scheduler_service_name}-clone",
1137       score   => 'INFINITY',
1138       require => [Pacemaker::Resource::Service[$::nova::params::scheduler_service_name],
1139                   Pacemaker::Resource::Service[$::nova::params::conductor_service_name]],
1140     }
1141
1142     # Ceilometer and Aodh
1143     case downcase(hiera('ceilometer_backend')) {
1144       /mysql/: {
1145         pacemaker::resource::service { $::ceilometer::params::agent_central_service_name:
1146           clone_params => 'interleave=true',
1147           require      => Pacemaker::Resource::Ocf['openstack-core'],
1148         }
1149       }
1150       default: {
1151         pacemaker::resource::service { $::ceilometer::params::agent_central_service_name:
1152           clone_params => 'interleave=true',
1153           require      => [Pacemaker::Resource::Ocf['openstack-core'],
1154                           Pacemaker::Resource::Service[$::mongodb::params::service_name]],
1155         }
1156       }
1157     }
1158     pacemaker::resource::service { $::ceilometer::params::collector_service_name :
1159       clone_params => 'interleave=true',
1160     }
1161     pacemaker::resource::service { $::ceilometer::params::api_service_name :
1162       clone_params => 'interleave=true',
1163     }
1164     pacemaker::resource::service { $::ceilometer::params::agent_notification_service_name :
1165       clone_params => 'interleave=true',
1166     }
1167     # Fedora doesn't know `require-all` parameter for constraints yet
1168     if $::operatingsystem == 'Fedora' {
1169       $redis_ceilometer_constraint_params = undef
1170       $redis_aodh_constraint_params = undef
1171     } else {
1172       $redis_ceilometer_constraint_params = 'require-all=false'
1173       $redis_aodh_constraint_params = 'require-all=false'
1174     }
1175     pacemaker::constraint::base { 'redis-then-ceilometer-central-constraint':
1176       constraint_type   => 'order',
1177       first_resource    => 'redis-master',
1178       second_resource   => "${::ceilometer::params::agent_central_service_name}-clone",
1179       first_action      => 'promote',
1180       second_action     => 'start',
1181       constraint_params => $redis_ceilometer_constraint_params,
1182       require           => [Pacemaker::Resource::Ocf['redis'],
1183                             Pacemaker::Resource::Service[$::ceilometer::params::agent_central_service_name]],
1184     }
1185     pacemaker::constraint::base { 'redis-then-aodh-evaluator-constraint':
1186       constraint_type   => 'order',
1187       first_resource    => 'redis-master',
1188       second_resource   => "${::aodh::params::evaluator_service_name}-clone",
1189       first_action      => 'promote',
1190       second_action     => 'start',
1191       constraint_params => $redis_aodh_constraint_params,
1192       require           => [Pacemaker::Resource::Ocf['redis'],
1193                             Pacemaker::Resource::Service[$::aodh::params::evaluator_service_name]],
1194     }
1195     pacemaker::constraint::base { 'keystone-then-ceilometer-central-constraint':
1196       constraint_type => 'order',
1197       first_resource  => 'openstack-core-clone',
1198       second_resource => "${::ceilometer::params::agent_central_service_name}-clone",
1199       first_action    => 'start',
1200       second_action   => 'start',
1201       require         => [Pacemaker::Resource::Service[$::ceilometer::params::agent_central_service_name],
1202                           Pacemaker::Resource::Ocf['openstack-core']],
1203     }
1204     pacemaker::constraint::base { 'keystone-then-ceilometer-notification-constraint':
1205       constraint_type => 'order',
1206       first_resource  => 'openstack-core-clone',
1207       second_resource => "${::ceilometer::params::agent_notification_service_name}-clone",
1208       first_action    => 'start',
1209       second_action   => 'start',
1210       require         => [Pacemaker::Resource::Service[$::ceilometer::params::agent_central_service_name],
1211                           Pacemaker::Resource::Ocf['openstack-core']],
1212     }
1213     pacemaker::constraint::base { 'ceilometer-central-then-ceilometer-collector-constraint':
1214       constraint_type => 'order',
1215       first_resource  => "${::ceilometer::params::agent_central_service_name}-clone",
1216       second_resource => "${::ceilometer::params::collector_service_name}-clone",
1217       first_action    => 'start',
1218       second_action   => 'start',
1219       require         => [Pacemaker::Resource::Service[$::ceilometer::params::agent_central_service_name],
1220                           Pacemaker::Resource::Service[$::ceilometer::params::collector_service_name]],
1221     }
1222     pacemaker::constraint::base { 'ceilometer-collector-then-ceilometer-api-constraint':
1223       constraint_type => 'order',
1224       first_resource  => "${::ceilometer::params::collector_service_name}-clone",
1225       second_resource => "${::ceilometer::params::api_service_name}-clone",
1226       first_action    => 'start',
1227       second_action   => 'start',
1228       require         => [Pacemaker::Resource::Service[$::ceilometer::params::collector_service_name],
1229                           Pacemaker::Resource::Service[$::ceilometer::params::api_service_name]],
1230     }
1231     pacemaker::constraint::colocation { 'ceilometer-api-with-ceilometer-collector-colocation':
1232       source  => "${::ceilometer::params::api_service_name}-clone",
1233       target  => "${::ceilometer::params::collector_service_name}-clone",
1234       score   => 'INFINITY',
1235       require => [Pacemaker::Resource::Service[$::ceilometer::params::api_service_name],
1236                   Pacemaker::Resource::Service[$::ceilometer::params::collector_service_name]],
1237     }
1238     # Aodh
1239     pacemaker::resource::service { $::aodh::params::evaluator_service_name :
1240       clone_params => 'interleave=true',
1241     }
1242     pacemaker::resource::service { $::aodh::params::notifier_service_name :
1243       clone_params => 'interleave=true',
1244     }
1245     pacemaker::resource::service { $::aodh::params::listener_service_name :
1246       clone_params => 'interleave=true',
1247     }
1248     pacemaker::constraint::base { 'aodh-evaluator-then-aodh-notifier-constraint':
1249       constraint_type => 'order',
1250       first_resource  => "${::aodh::params::evaluator_service_name}-clone",
1251       second_resource => "${::aodh::params::notifier_service_name}-clone",
1252       first_action    => 'start',
1253       second_action   => 'start',
1254       require         => [Pacemaker::Resource::Service[$::aodh::params::evaluator_service_name],
1255                           Pacemaker::Resource::Service[$::aodh::params::notifier_service_name]],
1256     }
1257     pacemaker::constraint::colocation { 'aodh-notifier-with-aodh-evaluator-colocation':
1258       source  => "${::aodh::params::notifier_service_name}-clone",
1259       target  => "${::aodh::params::evaluator_service_name}-clone",
1260       score   => 'INFINITY',
1261       require => [Pacemaker::Resource::Service[$::aodh::params::evaluator_service_name],
1262                   Pacemaker::Resource::Service[$::aodh::params::notifier_service_name]],
1263     }
1264     pacemaker::constraint::base { 'aodh-evaluator-then-aodh-listener-constraint':
1265       constraint_type => 'order',
1266       first_resource  => "${::aodh::params::evaluator_service_name}-clone",
1267       second_resource => "${::aodh::params::listener_service_name}-clone",
1268       first_action    => 'start',
1269       second_action   => 'start',
1270       require         => [Pacemaker::Resource::Service[$::aodh::params::evaluator_service_name],
1271                           Pacemaker::Resource::Service[$::aodh::params::listener_service_name]],
1272     }
1273     pacemaker::constraint::colocation { 'aodh-listener-with-aodh-evaluator-colocation':
1274       source  => "${::aodh::params::listener_service_name}-clone",
1275       target  => "${::aodh::params::evaluator_service_name}-clone",
1276       score   => 'INFINITY',
1277       require => [Pacemaker::Resource::Service[$::aodh::params::evaluator_service_name],
1278                   Pacemaker::Resource::Service[$::aodh::params::listener_service_name]],
1279     }
1280     if downcase(hiera('ceilometer_backend')) == 'mongodb' {
1281       pacemaker::constraint::base { 'mongodb-then-ceilometer-central-constraint':
1282         constraint_type => 'order',
1283         first_resource  => "${::mongodb::params::service_name}-clone",
1284         second_resource => "${::ceilometer::params::agent_central_service_name}-clone",
1285         first_action    => 'start',
1286         second_action   => 'start',
1287         require         => [Pacemaker::Resource::Service[$::ceilometer::params::agent_central_service_name],
1288                             Pacemaker::Resource::Service[$::mongodb::params::service_name]],
1289       }
1290     }
1291
1292     # gnocchi
1293     pacemaker::resource::service { $::gnocchi::params::metricd_service_name :
1294       clone_params => 'interleave=true',
1295     }
1296     pacemaker::resource::service { $::gnocchi::params::statsd_service_name :
1297       clone_params => 'interleave=true',
1298     }
1299     pacemaker::constraint::base { 'gnocchi-metricd-then-gnocchi-statsd-constraint':
1300       constraint_type => 'order',
1301       first_resource  => "${::gnocchi::params::metricd_service_name}-clone",
1302       second_resource => "${::gnocchi::params::statsd_service_name}-clone",
1303       first_action    => 'start',
1304       second_action   => 'start',
1305       require         => [Pacemaker::Resource::Service[$::gnocchi::params::metricd_service_name],
1306                           Pacemaker::Resource::Service[$::gnocchi::params::statsd_service_name]],
1307     }
1308     pacemaker::constraint::colocation { 'gnocchi-statsd-with-metricd-colocation':
1309       source  => "${::gnocchi::params::statsd_service_name}-clone",
1310       target  => "${::gnocchi::params::metricd_service_name}-clone",
1311       score   => 'INFINITY',
1312       require => [Pacemaker::Resource::Service[$::gnocchi::params::metricd_service_name],
1313                   Pacemaker::Resource::Service[$::gnocchi::params::statsd_service_name]],
1314     }
1315
1316     # Horizon and Keystone
1317     pacemaker::resource::service { $::apache::params::service_name:
1318       clone_params     => 'interleave=true',
1319       verify_on_create => true,
1320       require          => [File['/etc/keystone/ssl/certs/ca.pem'],
1321       File['/etc/keystone/ssl/private/signing_key.pem'],
1322       File['/etc/keystone/ssl/certs/signing_cert.pem']],
1323     }
1324
1325     #VSM
1326     if 'cisco_n1kv' in hiera('neutron::plugins::ml2::mechanism_drivers') {
1327       pacemaker::resource::ocf { 'vsm-p' :
1328         ocf_agent_name  => 'heartbeat:VirtualDomain',
1329         resource_params => 'force_stop=true config=/var/spool/cisco/vsm/vsm_primary_deploy.xml',
1330         require         => Class['n1k_vsm'],
1331         meta_params     => 'resource-stickiness=INFINITY',
1332       }
1333       if str2bool(hiera('n1k_vsm::pacemaker_control', true)) {
1334         pacemaker::resource::ocf { 'vsm-s' :
1335           ocf_agent_name  => 'heartbeat:VirtualDomain',
1336           resource_params => 'force_stop=true config=/var/spool/cisco/vsm/vsm_secondary_deploy.xml',
1337           require         => Class['n1k_vsm'],
1338           meta_params     => 'resource-stickiness=INFINITY',
1339         }
1340         pacemaker::constraint::colocation { 'vsm-colocation-contraint':
1341           source  => 'vsm-p',
1342           target  => 'vsm-s',
1343           score   => '-INFINITY',
1344           require => [Pacemaker::Resource::Ocf['vsm-p'],
1345                       Pacemaker::Resource::Ocf['vsm-s']],
1346         }
1347       }
1348     }
1349
1350   }
1351
1352 } #END STEP 5
1353
1354 $package_manifest_name = join(['/var/lib/tripleo/installed-packages/overcloud_controller_pacemaker', hiera('step')])
1355 package_manifest{$package_manifest_name: ensure => present}