Puppet/RabbitMQ: support clustering
[apex-tripleo-heat-templates.git] / puppet / manifests / overcloud_controller.pp
1 # Copyright 2014 Red Hat, Inc.
2 # All Rights Reserved.
3 #
4 # Licensed under the Apache License, Version 2.0 (the "License"); you may
5 # not use this file except in compliance with the License. You may obtain
6 # a copy of the License at
7 #
8 #     http://www.apache.org/licenses/LICENSE-2.0
9 #
10 # Unless required by applicable law or agreed to in writing, software
11 # distributed under the License is distributed on an "AS IS" BASIS, WITHOUT
12 # WARRANTIES OR CONDITIONS OF ANY KIND, either express or implied. See the
13 # License for the specific language governing permissions and limitations
14 # under the License.
15
16 if !str2bool(hiera('enable_package_install', 'false')) {
17   case $::osfamily {
18     'RedHat': {
19       Package { provider => 'norpm' } # provided by tripleo-puppet
20     }
21     default: {
22       warning('enable_package_install option not supported.')
23     }
24   }
25 }
26
27 if hiera('step') >= 1 {
28
29   if count(hiera('ntp::servers')) > 0 {
30     include ::ntp
31   }
32
33   # TODO Galara
34   class { 'mysql::server':
35     override_options => {
36       'mysqld' => {
37         'bind-address' => hiera('controller_host')
38       }
39     }
40   }
41
42   # FIXME: this should only occur on the bootstrap host (ditto for db syncs)
43   # Create all the database schemas
44   # Example DSN format: mysql://user:password@host/dbname
45   $allowed_hosts = ['%',hiera('controller_host')]
46   $keystone_dsn = split(hiera('keystone::database_connection'), '[@:/?]')
47   class { 'keystone::db::mysql':
48     user          => $keystone_dsn[3],
49     password      => $keystone_dsn[4],
50     host          => $keystone_dsn[5],
51     dbname        => $keystone_dsn[6],
52     allowed_hosts => $allowed_hosts,
53   }
54   $glance_dsn = split(hiera('glance::api::database_connection'), '[@:/?]')
55   class { 'glance::db::mysql':
56     user          => $glance_dsn[3],
57     password      => $glance_dsn[4],
58     host          => $glance_dsn[5],
59     dbname        => $glance_dsn[6],
60     allowed_hosts => $allowed_hosts,
61   }
62   $nova_dsn = split(hiera('nova::database_connection'), '[@:/?]')
63   class { 'nova::db::mysql':
64     user          => $nova_dsn[3],
65     password      => $nova_dsn[4],
66     host          => $nova_dsn[5],
67     dbname        => $nova_dsn[6],
68     allowed_hosts => $allowed_hosts,
69   }
70   $neutron_dsn = split(hiera('neutron::server::database_connection'), '[@:/?]')
71   class { 'neutron::db::mysql':
72     user          => $neutron_dsn[3],
73     password      => $neutron_dsn[4],
74     host          => $neutron_dsn[5],
75     dbname        => $neutron_dsn[6],
76     allowed_hosts => $allowed_hosts,
77   }
78   $cinder_dsn = split(hiera('cinder::database_connection'), '[@:/?]')
79   class { 'cinder::db::mysql':
80     user          => $cinder_dsn[3],
81     password      => $cinder_dsn[4],
82     host          => $cinder_dsn[5],
83     dbname        => $cinder_dsn[6],
84     allowed_hosts => $allowed_hosts,
85   }
86   $heat_dsn = split(hiera('heat::database_connection'), '[@:/?]')
87   class { 'heat::db::mysql':
88     user          => $heat_dsn[3],
89     password      => $heat_dsn[4],
90     host          => $heat_dsn[5],
91     dbname        => $heat_dsn[6],
92     allowed_hosts => $allowed_hosts,
93   }
94   $ceilometer_dsn = split(hiera('ceilometer::db::database_connection'), '[@:/?]')
95   class { 'ceilometer::db::mysql':
96     user          => $ceilometer_dsn[3],
97     password      => $ceilometer_dsn[4],
98     host          => $ceilometer_dsn[5],
99     dbname        => $ceilometer_dsn[6],
100     allowed_hosts => $allowed_hosts,
101   }
102
103   if $::osfamily == 'RedHat' {
104     $rabbit_provider = 'yum'
105   } else {
106     $rabbit_provider = undef
107   }
108
109   Class['rabbitmq'] -> Rabbitmq_vhost <| |>
110   Class['rabbitmq'] -> Rabbitmq_user <| |>
111   Class['rabbitmq'] -> Rabbitmq_user_permissions <| |>
112
113   $rabbit_nodes = split(downcase(hiera('rabbit_nodes', $::hostname)), ',')
114   if count($rabbit_nodes) > 1 {
115     $rabbit_cluster = true
116   }
117   else {
118     $rabbit_cluster = false
119   }
120   class { 'rabbitmq':
121     package_provider => $rabbit_provider,
122     config_cluster   => $rabbit_cluster,
123     cluster_nodes    => $rabbit_nodes,
124     node_ip_address  => hiera('controller_host'),
125   }
126
127   rabbitmq_vhost { '/':
128     provider => 'rabbitmqctl',
129   }
130   rabbitmq_user { ['nova','glance','neutron','cinder','ceilometer','heat']:
131     admin    => true,
132     password => hiera('rabbit_password'),
133     provider => 'rabbitmqctl',
134   }
135
136   rabbitmq_user_permissions {[
137     'nova@/',
138     'glance@/',
139     'neutron@/',
140     'cinder@/',
141     'ceilometer@/',
142     'heat@/',
143   ]:
144     configure_permission => '.*',
145     write_permission     => '.*',
146     read_permission      => '.*',
147     provider             => 'rabbitmqctl',
148   }
149
150   # pre-install swift here so we can build rings
151   include ::swift
152
153 } #END STEP 1
154
155 if hiera('step') >= 2 {
156
157   include ::keystone
158
159   #TODO: need a cleanup-keystone-tokens.sh solution here
160   keystone_config {
161     'ec2/driver': value => 'keystone.contrib.ec2.backends.sql.Ec2';
162   }
163   file { [ '/etc/keystone/ssl', '/etc/keystone/ssl/certs', '/etc/keystone/ssl/private' ]:
164     ensure  => 'directory',
165     owner   => 'keystone',
166     group   => 'keystone',
167     require => Package['keystone'],
168   }
169   file { '/etc/keystone/ssl/certs/signing_cert.pem':
170     content => hiera('keystone_signing_certificate'),
171     owner   => 'keystone',
172     group   => 'keystone',
173     notify  => Service['keystone'],
174     require => File['/etc/keystone/ssl/certs'],
175   }
176   file { '/etc/keystone/ssl/private/signing_key.pem':
177     content => hiera('keystone_signing_key'),
178     owner   => 'keystone',
179     group   => 'keystone',
180     notify  => Service['keystone'],
181     require => File['/etc/keystone/ssl/private'],
182   }
183   file { '/etc/keystone/ssl/certs/ca.pem':
184     content => hiera('keystone_ca_certificate'),
185     owner   => 'keystone',
186     group   => 'keystone',
187     notify  => Service['keystone'],
188     require => File['/etc/keystone/ssl/certs'],
189   }
190
191   # TODO: notifications, scrubber, etc.
192   include ::glance::api
193   include ::glance::registry
194   class { 'glance::backend::swift':
195     swift_store_auth_address => join(['http://', hiera('controller_virtual_ip'), ':5000/v2.0']),
196   }
197
198   class { 'nova':
199     rabbit_hosts           => [hiera('controller_virtual_ip')],
200     glance_api_servers     => join([hiera('glance_protocol'), '://', hiera('controller_virtual_ip'), ':', hiera('glance_port')]),
201   }
202
203   include ::nova::api
204   include ::nova::cert
205   include ::nova::conductor
206   include ::nova::consoleauth
207   include ::nova::vncproxy
208   include ::nova::scheduler
209
210   class {'neutron':
211     rabbit_hosts => [hiera('controller_virtual_ip')],
212   }
213
214   include ::neutron::server
215   include ::neutron::agents::dhcp
216   include ::neutron::agents::l3
217
218   file { '/etc/neutron/dnsmasq-neutron.conf':
219     content => hiera('neutron_dnsmasq_options'),
220     owner   => 'neutron',
221     group   => 'neutron',
222     notify  => Service['neutron-dhcp-service'],
223     require => Package['neutron'],
224   }
225
226   class { 'neutron::plugins::ml2':
227     flat_networks        => split(hiera('neutron_flat_networks'), ','),
228     tenant_network_types => [hiera('neutron_tenant_network_type')],
229     type_drivers         => [hiera('neutron_tenant_network_type')],
230   }
231
232   class { 'neutron::agents::ml2::ovs':
233     bridge_mappings  => split(hiera('neutron_bridge_mappings'), ','),
234     tunnel_types     => split(hiera('neutron_tunnel_types'), ','),
235   }
236
237   class { 'neutron::agents::metadata':
238     auth_url => join(['http://', hiera('controller_virtual_ip'), ':35357/v2.0']),
239   }
240
241   class {'cinder':
242     rabbit_hosts => [hiera('controller_virtual_ip')],
243   }
244
245   include ::cinder::api
246   include ::cinder::scheduler
247   include ::cinder::volume
248   include ::cinder::volume::iscsi
249   class {'cinder::setup_test_volume':
250     size => join([hiera('cinder_lvm_loop_device_size'), 'M']),
251   }
252
253   # swift proxy
254   include ::memcached
255   include ::swift::proxy
256   include ::swift::proxy::proxy_logging
257   include ::swift::proxy::healthcheck
258   include ::swift::proxy::cache
259   include ::swift::proxy::keystone
260   include ::swift::proxy::authtoken
261   include ::swift::proxy::staticweb
262   include ::swift::proxy::ceilometer
263   include ::swift::proxy::ratelimit
264   include ::swift::proxy::catch_errors
265   include ::swift::proxy::tempurl
266   include ::swift::proxy::formpost
267
268   # swift storage
269   class {'swift::storage::all':
270     mount_check => str2bool(hiera('swift_mount_check'))
271   }
272   if(!defined(File['/srv/node'])) {
273     file { '/srv/node':
274       ensure  => directory,
275       owner   => 'swift',
276       group   => 'swift',
277       require => Package['openstack-swift'],
278     }
279   }
280   $swift_components = ['account', 'container', 'object']
281   swift::storage::filter::recon { $swift_components : }
282   swift::storage::filter::healthcheck { $swift_components : }
283
284   # Ceilometer
285   include ::ceilometer
286   include ::ceilometer::api
287   include ::ceilometer::db
288   include ::ceilometer::agent::notification
289   include ::ceilometer::agent::central
290   include ::ceilometer::alarm::notifier
291   include ::ceilometer::alarm::evaluator
292   include ::ceilometer::expirer
293   include ::ceilometer::collector
294   class { 'ceilometer::agent::auth':
295     auth_url => join(['http://', hiera('controller_virtual_ip'), ':5000/v2.0']),
296   }
297
298   Cron <| title == 'ceilometer-expirer' |> { command => "sleep $((\$(od -A n -t d -N 3 /dev/urandom) % 86400)) && ${::ceilometer::params::expirer_command}" }
299
300   # Heat
301   include ::heat
302   include ::heat::api
303   include ::heat::api_cfn
304   include ::heat::api_cloudwatch
305   include ::heat::engine
306
307   heat_config {
308     'DEFAULT/instance_user': value => 'heat-admin';
309   }
310
311   $snmpd_user = hiera('snmpd_readonly_user_name')
312   snmp::snmpv3_user { $snmpd_user:
313     authtype => 'MD5',
314     authpass => hiera('snmpd_readonly_user_password'),
315   }
316   class { 'snmp':
317     agentaddress => ['udp:161','udp6:[::1]:161'],
318     snmpd_config => [ join(['rouser ', hiera('snmpd_readonly_user_name')]), 'proc  cron', 'includeAllDisks  10%', 'master agentx', 'trapsink localhost public', 'iquerySecName internalUser', 'rouser internalUser', 'defaultMonitors yes', 'linkUpDownNotifications yes' ],
319   }
320
321 } #END STEP 2