Move NTP and Memacache respectively into step 1 and step 2
[apex-tripleo-heat-templates.git] / puppet / manifests / overcloud_controller_pacemaker.pp
index 930e903..9f266b6 100644 (file)
 # License for the specific language governing permissions and limitations
 # under the License.
 
+Pcmk_resource <| |> {
+  tries     => 10,
+  try_sleep => 3,
+}
+
 if !str2bool(hiera('enable_package_install', 'false')) {
   case $::osfamily {
     'RedHat': {
@@ -32,12 +37,17 @@ if $::hostname == downcase(hiera('bootstrap_nodeid')) {
 
 if hiera('step') >= 1 {
 
+  if count(hiera('ntp::servers')) > 0 {
+    include ::ntp
+  }
+
   $controller_node_ips = split(hiera('controller_node_ips'), ',')
   $controller_node_names = split(downcase(hiera('controller_node_names')), ',')
   class { '::tripleo::loadbalancer' :
     controller_hosts       => $controller_node_ips,
     controller_hosts_names => $controller_node_names,
     manage_vip             => false,
+    haproxy_service_manage => false,
   }
 
   $pacemaker_cluster_members = regsubst(hiera('controller_node_ips'), ',', ' ', 'G')
@@ -63,28 +73,102 @@ if hiera('step') >= 1 {
     pacemaker::resource::ip { 'public_vip':
       ip_address => $public_vip,
     }
-    pacemaker::resource::service { 'haproxy':
-      clone => true,
-    }
   }
 
+  Class['::pacemaker::corosync'] -> Pacemaker::Resource::Ip <| |>
+  Class['::pacemaker::corosync'] -> Pacemaker::Resource::Ocf <| |>
   Class['::pacemaker::corosync'] -> Pacemaker::Resource::Service <| |>
 
+  # Only configure RabbitMQ in this step, don't start it yet to
+  # avoid races where non-master nodes attempt to start without
+  # config (eg. binding on 0.0.0.0)
+  # The module ignores erlang_cookie if cluster_config is false
+  class { '::rabbitmq':
+    service_manage          => false,
+    tcp_keepalive           => false,
+    config_kernel_variables => hiera('rabbitmq_kernel_variables'),
+    config_variables        => hiera('rabbitmq_config_variables'),
+    environment_variables   => hiera('rabbitmq_environment'),
+  } ->
+  file { '/var/lib/rabbitmq/.erlang.cookie':
+    ensure  => 'present',
+    owner   => 'rabbitmq',
+    group   => 'rabbitmq',
+    mode    => '0400',
+    content => hiera('rabbitmq::erlang_cookie'),
+    replace => true,
+  }
+
+  # MongoDB
+  include ::mongodb::globals
+
+  # FIXME: replace with service_manage => false on ::mongodb::server
+  # when this is merged: https://github.com/puppetlabs/pupp etlabs-mongodb/pull/198
+  class { '::mongodb::server' :
+    service_ensure => undef,
+    service_enable => false,
+  }
+
+  # Galera
+  if str2bool(hiera('enable_galera', 'true')) {
+    $mysql_config_file = '/etc/my.cnf.d/galera.cnf'
+  } else {
+    $mysql_config_file = '/etc/my.cnf.d/server.cnf'
+  }
+  $galera_nodes = downcase(hiera('galera_node_names', $::hostname))
+  $galera_nodes_count = count(split($galera_nodes, ','))
+  $clustercheck_password = hiera('mysql_clustercheck_password')
+  $mysql_root_password = hiera('mysql::server::root_password')
+
+  $mysqld_options = {
+    'mysqld' => {
+      'skip-name-resolve'             => '1',
+      'binlog_format'                 => 'ROW',
+      'default-storage-engine'        => 'innodb',
+      'innodb_autoinc_lock_mode'      => '2',
+      'innodb_locks_unsafe_for_binlog'=> '1',
+      'query_cache_size'              => '0',
+      'query_cache_type'              => '0',
+      'bind-address'                  => hiera('controller_host'),
+      'max_connections'               => '1024',
+      'open_files_limit'              => '-1',
+      'wsrep_provider'                => '/usr/lib64/galera/libgalera_smm.so',
+      'wsrep_cluster_name'            => 'galera_cluster',
+      'wsrep_slave_threads'           => '1',
+      'wsrep_certify_nonPK'           => '1',
+      'wsrep_max_ws_rows'             => '131072',
+      'wsrep_max_ws_size'             => '1073741824',
+      'wsrep_debug'                   => '0',
+      'wsrep_convert_LOCK_to_trx'     => '0',
+      'wsrep_retry_autocommit'        => '1',
+      'wsrep_auto_increment_control'  => '1',
+      'wsrep_drupal_282555_workaround'=> '0',
+      'wsrep_causal_reads'            => '0',
+      'wsrep_notify_cmd'              => '',
+      'wsrep_sst_method'              => 'rsync',
+    }
+  }
+
+  class { '::mysql::server':
+    create_root_user   => false,
+    create_root_my_cnf => false,
+    config_file        => $mysql_config_file,
+    override_options   => $mysqld_options,
+    service_manage     => false,
+  }
+
 }
 
 if hiera('step') >= 2 {
 
-  if count(hiera('ntp::servers')) > 0 {
-    include ::ntp
+  if $pacemaker_master {
+    pacemaker::resource::service { 'haproxy':
+      clone_params => true,
+    }
   }
 
   # MongoDB
   if downcase(hiera('ceilometer_backend')) == 'mongodb' {
-    include ::mongodb::globals
-
-    class {'::mongodb::server' :
-      service_ensure => undef
-    }
     $mongo_node_ips = split(hiera('mongo_node_ips'), ',')
     $mongo_node_ips_with_port = suffix($mongo_node_ips, ':27017')
     $mongo_node_string = join($mongo_node_ips_with_port, ',')
@@ -93,10 +177,11 @@ if hiera('step') >= 2 {
     $ceilometer_mongodb_conn_string = "mongodb://${mongo_node_string}/ceilometer?replicaSet=${mongodb_replset}"
     if downcase(hiera('bootstrap_nodeid')) == $::hostname {
 
-      pacemaker::resource::service { 'mongod' :
-        options => "op start timeout=120s",
-        clone   => true,
-        before  => Exec['mongodb-ready'],
+      pacemaker::resource::service { $::mongodb::params::service_name :
+        op_params    => 'start timeout=120s',
+        clone_params => true,
+        require      => Class['::mongodb::server'],
+        before       => Exec['mongodb-ready'],
       }
       # NOTE (spredzy) : The replset can only be run
       # once all the nodes have joined the cluster.
@@ -136,61 +221,17 @@ if hiera('step') >= 2 {
     }
   }
 
-  if str2bool(hiera('enable_galera', 'true')) {
-    $mysql_config_file = '/etc/my.cnf.d/galera.cnf'
-  } else {
-    $mysql_config_file = '/etc/my.cnf.d/server.cnf'
-  }
-  $galera_nodes = downcase(hiera('galera_node_names', $::hostname))
-  $galera_nodes_count = count(split($galera_nodes, ','))
-  $clustercheck_password = hiera('mysql_clustercheck_password')
-  $mysql_root_password = hiera('mysql::server::root_password')
-
-  $mysqld_options = {
-    'mysqld' => {
-      'skip-name-resolve'             => '1',
-      'binlog_format'                 => 'ROW',
-      'default-storage-engine'        => 'innodb',
-      'innodb_autoinc_lock_mode'      => '2',
-      'innodb_locks_unsafe_for_binlog'=> '1',
-      'query_cache_size'              => '0',
-      'query_cache_type'              => '0',
-      'bind-address'                  => hiera('controller_host'),
-      'max_connections'               => '1024',
-      'open_files_limit'              => '-1',
-      'wsrep_provider'                => '/usr/lib64/galera/libgalera_smm.so',
-      'wsrep_cluster_name'            => 'galera_cluster',
-      'wsrep_slave_threads'           => '1',
-      'wsrep_certify_nonPK'           => '1',
-      'wsrep_max_ws_rows'             => '131072',
-      'wsrep_max_ws_size'             => '1073741824',
-      'wsrep_debug'                   => '0',
-      'wsrep_convert_LOCK_to_trx'     => '0',
-      'wsrep_retry_autocommit'        => '1',
-      'wsrep_auto_increment_control'  => '1',
-      'wsrep_drupal_282555_workaround'=> '0',
-      'wsrep_causal_reads'            => '0',
-      'wsrep_notify_cmd'              => '',
-      'wsrep_sst_method'              => 'rsync',
-    }
-  }
-
-  class { '::mysql::server':
-    create_root_user   => false,
-    create_root_my_cnf => false,
-    config_file        => $mysql_config_file,
-    override_options   => $mysqld_options,
-    service_manage     => false,
-  }
-
+  # Galera
   if $pacemaker_master {
     $sync_db = true
 
     pacemaker::resource::ocf { 'galera' :
-      resource_name => 'heartbeat:galera',
-      options       => "enable_creation=true wsrep_cluster_address='gcomm://${galera_nodes}' meta master-max=${galera_nodes_count} ordered=true op promote timeout=300s on-fail=block --master",
-      require       => Class['::mysql::server'],
-      before        => Exec['galera-ready'],
+      ocf_agent_name  => 'heartbeat:galera',
+      op_params       => 'promote timeout=300s on-fail=block --master',
+      meta_params     => "master-max=${galera_nodes_count} ordered=true",
+      resource_params => "additional_parameters='--open-files-limit=16384' enable_creation=true wsrep_cluster_address='gcomm://${galera_nodes}'",
+      require         => Class['::mysql::server'],
+      before          => Exec['galera-ready'],
     }
 
     mysql_user { 'clustercheckuser@localhost' :
@@ -303,34 +344,20 @@ MYSQL_HOST=localhost\n",
     }
   }
 
-  # the module ignores erlang_cookie if cluster_config is false
-  file { '/var/lib/rabbitmq/.erlang.cookie':
-    ensure  => 'present',
-    owner   => 'rabbitmq',
-    group   => 'rabbitmq',
-    mode    => '0400',
-    content => hiera('rabbitmq::erlang_cookie'),
-    replace => true,
-  } ->
-  class { '::rabbitmq':
-    service_manage          => false,
-    tcp_keepalive           => false,
-    config_kernel_variables => hiera('rabbitmq_kernel_variables'),
-    config_variables        => hiera('rabbitmq_config_variables'),
-    environment_variables   => hiera('rabbitmq_environment'),
-  }
+  # RabbitMQ
   if $pacemaker_master {
     pacemaker::resource::ocf { 'rabbitmq':
-      resource_name => 'heartbeat:rabbitmq-cluster',
-      options       => 'set_policy=\'ha-all ^(?!amq\.).* {"ha-mode":"all"}\'',
-      clone         => true,
-      require       => Class['::rabbitmq'],
+      ocf_agent_name  => 'heartbeat:rabbitmq-cluster',
+      resource_params => 'set_policy=\'ha-all ^(?!amq\.).* {"ha-mode":"all"}\'',
+      clone_params    => true,
+      require         => Class['::rabbitmq'],
     }
   }
 
   # pre-install swift here so we can build rings
   include ::swift
 
+  # Ceph
   $cinder_enable_rbd_backend = hiera('cinder_enable_rbd_backend', false)
   $enable_ceph = $cinder_enable_rbd_backend
 
@@ -346,12 +373,16 @@ MYSQL_HOST=localhost\n",
     include ::ceph::profile::osd
   }
 
+  # Memcached
+  include ::memcached
+
 } #END STEP 2
 
-if (hiera('step') >= 3 and $::hostname == downcase(hiera('bootstrap_nodeid')))
-   or hiera('step') >= 4 {
+if (hiera('step') >= 3 and $pacemaker_master) or hiera('step') >= 4 {
 
-  include ::keystone
+  class { '::keystone':
+    sync_db => $sync_db,
+  }
 
   #TODO: need a cleanup-keystone-tokens.sh solution here
   keystone_config {
@@ -453,7 +484,9 @@ if (hiera('step') >= 3 and $::hostname == downcase(hiera('bootstrap_nodeid')))
   Service['neutron-server'] -> Service['neutron-metadata']
 
   include ::cinder
-  include ::cinder::api
+  class { '::cinder::api':
+    sync_db => $sync_db,
+  }
   include ::cinder::glance
   include ::cinder::scheduler
   include ::cinder::volume
@@ -504,7 +537,6 @@ if (hiera('step') >= 3 and $::hostname == downcase(hiera('bootstrap_nodeid')))
   }
 
   # swift proxy
-  include ::memcached
   include ::swift::proxy
   include ::swift::proxy::proxy_logging
   include ::swift::proxy::healthcheck