Fixes Foreman clean to not hang and removes libvirt
[genesis.git] / ceph.md
1 # Ceph Installation
2
3 ---
4 ## Intro
5 Ceph is used to build a storage system accross all machines
6
7 ## Architecture
8 We consider the following architecture
9
10     TODO: add schema (4 machines: ceph-admin, 3 ceph-nodes: opensteak9{2,3,4})
11
12 Networks:
13 ```
14 192.168.0.0/24 is the cluster network (use for storage)
15 192.168.1.0/24 is the management network (use for admin task)
16 ```
17
18
19 ## Ceph-admin machine preparation
20
21 This is done on an Ubuntu 14.04 64b server
22
23 ### Install ceph-deploy
24 ```bash
25 wget -q -O- 'https://ceph.com/git/?p=ceph.git;a=blob_plain;f=keys/release.asc' | sudo apt-key add -
26 echo deb http://ceph.com/debian-firefly/ $(lsb_release -sc) main | sudo tee /etc/apt/sources.list.d/ceph.list
27 sudo apt-get update && sudo apt-get install ceph-deploy
28 ```
29
30 ### Install ntp
31 ```bash
32 sudo apt-get install ntp
33 sudo service ntp restart
34 ```
35
36 ### Create a ceph user on each node (ceph-admin included)
37 ```bash
38 sudo useradd -d /home/ceph -m ceph
39 sudo passwd ceph
40 ```
41
42 Add sudo rights:
43 ```bash
44 echo "ceph ALL = (root) NOPASSWD:ALL" | sudo tee /etc/sudoers.d/ceph
45 sudo chmod 0440 /etc/sudoers.d/ceph
46 ```
47
48 * *Note: if you think this can be a security treat, remove the ceph user from sudoers after installation is complete*
49
50 * *Note 2: the ceph documentation ask for this user: http://ceph.com/docs/master/rados/deployment/preflight-checklist/?highlight=sudoers*
51
52
53 ### Add each node in hosts file (ceph-admin included)
54 ```bash
55 sudo bash -c ' cat << EOF >> /etc/hosts
56 192.168.1.200 ceph-admin
57 192.168.1.92 opensteak92
58 192.168.1.93 opensteak93
59 192.168.1.94 opensteak94
60 EOF'
61 ```
62
63 ### Create and copy a passwordless ssh key to each node
64 ```bash
65 ssh-keygen
66 ssh-copy-id ceph@ceph-admin
67 ssh-copy-id ceph@opensteak92
68 ssh-copy-id ceph@opensteak93
69 ssh-copy-id ceph@opensteak94
70 ```
71
72 ### Create a .ssh/config file to connect automatically
73 ```bash
74 cat << EOF >> .ssh/config
75 Host ceph-admin
76   Hostname ceph-admin
77   User ceph
78 Host opensteak92
79   Hostname opensteak92
80   User ceph
81 Host opensteak93
82   Hostname opensteak93
83   User ceph
84 Host opensteak94
85   Hostname opensteak94
86   User ceph
87 EOF
88 ```
89
90 ## Ceph storage cluster
91 All these commands must be run inside the ceph-admin machine as a regular user
92
93 ### Prepare folder
94 ```bash
95 mkdir ceph-cluster
96 cd ceph-cluster/
97 ```
98
99 ### Deploy initial monitor on first node
100 ```bash
101 ceph-deploy new opensteak92
102 ```
103
104 ### Configure ceph
105 We set default pool size to 2 and public/cluster networks:
106
107 ```bash
108 cat << EOF >> ceph.conf
109 osd pool default size = 2
110 public network = 192.168.1.0/24
111 cluster network = 192.168.0.0/24
112 EOF
113 ```
114
115 ### Install ceph in all nodes
116 ```bash
117 ceph-deploy --username ceph install ceph-admin opensteak92 opensteak93 opensteak94
118 ```
119
120 ### Create initial monitor and gather the keys
121 ```bash
122 ceph-deploy --username ceph mon create-initial
123 ```
124
125 ### Create and add OSD
126 We will use hard disk (/dev/sdb) for storage: http://docs.ceph.com/docs/master/rados/deployment/ceph-deploy-osd/
127
128 ```bash
129 ceph-deploy --username ceph osd create opensteak93:sdb
130 ceph-deploy --username ceph osd create opensteak94:sdb
131 ```
132
133 ### Prepare all nodes to administer the cluster
134 Prepare all nodes with a ceph.conf and ceph.client.admin.keyring keyring so that it can administer the cluster:
135
136 ```bash
137 ceph-deploy admin ceph-admin opensteak92 opensteak93 opensteak94
138 sudo chmod +r /etc/ceph/ceph.client.admin.keyring
139 ```
140
141 ### Add a metadata server in first node
142 ```bash
143 ceph-deploy--username ceph mds create opensteak92
144 ```
145
146 ## Extend
147 ### Extend the OSD pool
148 We decided to extend OSD pool by adding the first node as well:
149
150 ```bash
151 ceph-deploy --username ceph osd create opensteak92:sdb
152 ```
153
154 ### Extend the monitors
155 In the same spirit, extend the monitor by adding the two last nodes and check the status
156 ```bash
157 ceph-deploy --username ceph mon create opensteak93 opensteak94
158 ceph quorum_status --format json-pretty
159 ```
160
161 ## Check status
162 ```bash
163 ceph health
164 ```
165
166 ## Create a file system
167 Check osd pools:
168 ```bash
169 ceph osd lspools
170 ```
171
172 I you don't have data and metadata pools, create it:
173 ```bash
174 ceph osd pool create cephfs_data 64
175 ceph osd pool create cephfs_metadata 64
176 ```
177
178 Then enable filesystem on the cephfs_data pool:
179 ```bash
180 ceph fs new cephfs cephfs_metadata cephfs_data
181 ```
182
183 And check again:
184 ```bash
185 ceph osd lspools
186 ```
187
188 Should produce:
189 ```bash
190 0 rbd,1 cephfs_data,2 cephfs_metadata,
191 ```
192
193 You can check as well with:
194 ```bash
195 $ ceph fs ls
196 name: cephfs, metadata pool: cephfs_metadata, data pools: [cephfs_data ]
197
198 $ ceph mds stat
199 e5: 1/1/1 up {0=opensteak92=up:active}
200 ```
201
202 ## Mount file system
203 For each node you want to mount ceph in **/mnt/cephfs/**, run:
204 ```bash
205 ssh opensteak9x "cat /etc/ceph/ceph.client.admin.keyring |grep key|awk '{print \$3}'|sudo tee /etc/ceph/ceph.client.admin.key"
206
207 ssh opensteak9x "sudo mkdir /mnt/cephfs"
208
209 ssh opensteak9x "echo '192.168.1.92:6789:/ /mnt/cephfs ceph name=admin,secretfile=/etc/ceph/ceph.client.admin.key,noatime 0 2' | sudo tee --append /etc/fstab && sudo mount /mnt/cephfs"
210 ```
211
212 This will add a line in fstab so the file system will automatically be mounted on boot.
213
214 ## TODO
215
216 * create a python/bash script that will install & check that the cluster is well configured (do all of this automatically)
217 * create a conf file that will be used by the above script to describe the architecture?