Fix some bugs when testing opensds ansible
[stor4nfv.git] / src / ceph / doc / changelog / v0.80.8.txt
1 commit 69eaad7f8308f21573c604f121956e64679a52a7 (tag: refs/tags/v0.80.8)
2 Author: Jenkins <jenkins@inktank.com>
3 Date:   Tue Jan 13 06:28:08 2015 -0800
4
5     0.80.8
6
7 commit 3c7cacf00b66a0e17272cf67fe0823ee863dfa7c
8 Author: Sage Weil <sage@redhat.com>
9 Date:   Tue Aug 19 16:43:02 2014 -0700
10
11     mon/OSDMonitor: fix double-free on old MOSDBoot
12     
13     send_latest() does an m->put().
14     
15     Backport: firefly, dumpling
16     Signed-off-by: Sage Weil <sage@redhat.com>
17     (cherry picked from commit 97f9b6df668315fba6a5924b79024c7a986f4110)
18
19 commit 852d7b5b3c019c02c042b767fc88916088e1a94d
20 Author: Sage Weil <sage@redhat.com>
21 Date:   Thu Jan 8 11:17:03 2015 -0800
22
23     osd: requeue PG when we skip handling a peering event
24     
25     If we don't handle the event, we need to put the PG back into the peering
26     queue or else the event won't get processed until the next event is
27     queued, at which point we'll be processing events with a delay.
28     
29     The queue_null is not necessary (and is a waste of effort) because the
30     event is still in pg->peering_queue and the PG is queued.
31     
32     This is a firefly-specific patch; a (very) similar one will appear in master
33     in 492ccc900c3358f36b6b14a207beec071eb06707.
34     
35     Backport: giant, firefly
36     Signed-off-by: Sage Weil <sage@redhat.com>
37
38 commit c26ebd38335bb361aade5aacd05ba3217e602b9c
39 Merge: b67b7e7 96ba529
40 Author: Sage Weil <sage@redhat.com>
41 Date:   Thu Jan 8 18:31:26 2015 -0800
42
43     Merge pull request #3217 from boydc2014/firefly
44     
45     clear data and payload after removed from ops_in_flight
46     
47     Reviewed-by: Sage Weil <sage@redhat.com>
48
49 commit b67b7e7ad72a1af96f9fb26ade815e65f72b4cb0
50 Merge: db92718 7faae89
51 Author: Loic Dachary <ldachary@redhat.com>
52 Date:   Fri Jan 9 01:32:17 2015 +0100
53
54     Merge pull request #3127 from ktdreyer/firefly-no-epoch
55     
56     Revert "ceph.spec.: add epoch"
57     
58     Reviewed-by: Ken Dreyer <kdreyer@redhat.com>
59     Reviewed-by: Sage Weil <sage@redhat.com>
60     Reviewed-by: Samuel Just <sjust@redhat.com>
61     Reviewed-by: Loic Dachary <ldachary@redhat.com>
62
63 commit db927186288cd4c63a3483b42e9eb9e016c96156
64 Merge: 0d4abda 820dbfd
65 Author: Loic Dachary <ldachary@redhat.com>
66 Date:   Fri Jan 9 01:31:29 2015 +0100
67
68     Merge pull request #3128 from dachary/wip-10281-make-check-fedora-20
69     
70     tests: fixes to run make check on fedora 20
71     
72     
73     Reviewed-by: Sage Weil <sage@redhat.com>
74     Reviewed-by: Samuel Just <sjust@redhat.com>
75     Reviewed-by: Loic Dachary <ldachary@redhat.com>
76
77 commit 0d4abdaf80f1fedff7975d595abaac0a620c8035
78 Merge: 1fdcb52 11995b3
79 Author: Loic Dachary <ldachary@redhat.com>
80 Date:   Fri Jan 9 01:30:59 2015 +0100
81
82     Merge pull request #3169 from ceph/wip-8797-firefly
83     
84     Wip 8797 firefly
85     
86     Reviewed-by: Sage Weil <sage@redhat.com>
87     Reviewed-by: Samuel Just <sjust@redhat.com>
88     Reviewed-by: Loic Dachary <ldachary@redhat.com>
89
90 commit 1fdcb524411a02b5627be66d9fd821a473223e9d
91 Merge: 4b7b1b0 465eede
92 Author: Loic Dachary <ldachary@redhat.com>
93 Date:   Fri Jan 9 01:28:49 2015 +0100
94
95     Merge pull request #3179 from dachary/wip-9998-crush-underfloat-firefly
96     
97     crush: fix weight underfloat issue (firefly)
98     
99     
100     Reviewed-by: Sage Weil <sage@redhat.com>
101     Reviewed-by: Samuel Just <sjust@redhat.com>
102     Reviewed-by: Loic Dachary <ldachary@redhat.com>
103
104 commit 4b7b1b03bfcb7cb056783555884f211009ea5d46
105 Merge: 4897ba4 f55b097
106 Author: Loic Dachary <ldachary@redhat.com>
107 Date:   Fri Jan 9 01:28:11 2015 +0100
108
109     Merge pull request #3220 from ceph/wip-mon-backports.firefly
110     
111     mon: backports for #9987 against firefly
112     
113     Reviewed-by: Joao Eduardo Luis <joao@redhat.com>
114     Reviewed-by: Sage Weil <sage@redhat.com>
115     Reviewed-by: Samuel Just <sjust@redhat.com>
116     Reviewed-by: Loic Dachary <ldachary@redhat.com>
117
118 commit 4897ba4a304bcac548b2121312cd7235c34dd5aa
119 Merge: efe801f f20225c
120 Author: Loic Dachary <ldachary@redhat.com>
121 Date:   Fri Jan 9 01:26:30 2015 +0100
122
123     Merge pull request #3258 from ceph/wip-10372-firefly
124     
125     osd: fix librados pool deletion race on firefly
126     
127     Reviewed-by: Sage Weil <sage@redhat.com>
128     Reviewed-by: Samuel Just <sjust@redhat.com>
129     Reviewed-by: Loic Dachary <ldachary@redhat.com>
130
131 commit efe801ff3a0d25243da18937c07b89227edbaac4
132 Author: Warren Usui <warren.usui@inktank.com>
133 Date:   Thu Dec 18 20:00:28 2014 -0800
134
135     If trusty, use older version of qemu
136     
137     Fixes #10319
138     Signed-off-by: Warren Usui <warren.usui@inktank.com>
139     (cherry-picked from 46a1a4cb670d30397979cd89808a2e420cef2c11)
140
141 commit 96ba529ef8ce76e07b8444c94883afb3468d6762
142 Author: Lei Dong <leidong@yahoo-inc.com>
143 Date:   Tue Dec 30 21:02:45 2014 +0800
144
145     clear data and payload inside ops_in_flight_lock
146     
147     http://tracker.ceph.com/issues/9916 Fixes: #9916
148     Signed-off-by: Dong Lei <leidong@yahoo-inc.com>
149
150 commit e0648e3d30de504b096c4ae3bbe7d9c17652bdb5
151 Merge: 455f940 3624006
152 Author: Sage Weil <sage@redhat.com>
153 Date:   Mon Dec 29 14:31:23 2014 -0800
154
155     Merge pull request #3264 from dachary/wip-jerasure-firefly
156     
157     erasure-code: update links to jerasure upstream
158
159 commit 455f940908f242b1e34983af61351fd3045ce8ab
160 Merge: b1ab685 aa95a2d
161 Author: Sage Weil <sage@redhat.com>
162 Date:   Mon Dec 29 10:55:39 2014 -0800
163
164     Merge pull request #3268 from ceph/firefly-10415
165     
166     libcephfs/test.cc: close fd before umount
167
168 commit 362400667aad0b5098fbe8dbec1b0bde059f84a6
169 Author: Loic Dachary <ldachary@redhat.com>
170 Date:   Sun Dec 28 10:29:54 2014 +0100
171
172     erasure-code: update links to jerasure upstream
173     
174     It moved from bitbucket to jerasure.org
175     
176     Signed-off-by: Loic Dachary <ldachary@redhat.com>
177     (cherry picked from commit 8e86f901939f16cc9c8ad7a4108ac4bcf3916d2c)
178
179 commit aa95a2d20dbba2f3a775f709493c987d0d001e9c
180 Author: Yan, Zheng <zyan@redhat.com>
181 Date:   Tue Dec 23 10:22:00 2014 +0800
182
183     libcephfs/test.cc: close fd before umount
184     
185     Fixes: #10415
186     Signed-off-by: Yan, Zheng <zyan@redhat.com>
187     (cherry picked from commit d3fb563cee4c4cf08ff4ee01782e52a100462429)
188
189 commit f20225cb99a0d2d08fccfdf88dc89d758ecba077 (refs/remotes/gh/wip-10372-firefly)
190 Author: Sage Weil <sage@redhat.com>
191 Date:   Tue Dec 23 15:49:26 2014 -0800
192
193     osdc/Objecter: handle reply race with pool deletion
194     
195     We need to handle this scenario:
196     
197      - send request in epoch X
198      - osd replies
199      - pool is deleted in epoch X+1
200      - client gets map X+1, sends a map check
201      - client handles reply
202        -> asserts that no map checks are in flight
203     
204     This isn't the best solution.  We could infer that a map check isn't needed
205     since the pool existed earlier and doesn't now.  But this is firefly and
206     the fix is no more expensive than the old assert.
207     
208     Fixes: #10372
209     Signed-off-by: Sage Weil <sage@redhat.com>
210
211 commit 820dbfd9947455d07426981b7152861c3c216080
212 Author: Sage Weil <sage@redhat.com>
213 Date:   Tue Aug 5 15:11:18 2014 -0700
214
215     test/ceph-disk.sh: mkdir -p
216     
217     Signed-off-by: Sage Weil <sage@redhat.com>
218     (cherry picked from commit c2f58e6694a2457200ab3d59e037ad17b9c82028)
219
220 commit 77d393024f9d867b574b8ec8e15ec48a1a291511
221 Author: Danny Al-Gaaf <danny.al-gaaf@bisect.de>
222 Date:   Thu Sep 4 12:23:27 2014 +0200
223
224     test/ceph-disk.sh: resolve symlinks before check
225     
226     Make sure symlinks are resolved in command_fixture()
227     before compare result of which command and the current
228     path.
229     
230     Signed-off-by: Danny Al-Gaaf <danny.al-gaaf@bisect.de>
231     (cherry picked from commit 8ea86dfa7c4a3d7e089cf9d4e49586657875f851)
232
233 commit ed6ec2936513d7dd6c45bccd8edf69a12c71dc7b
234 Author: Danny Al-Gaaf <danny.al-gaaf@bisect.de>
235 Date:   Tue Jun 24 19:54:17 2014 +0200
236
237     test/ceph-disk.sh: fix for SUSE
238     
239     On SUSE 'which' returns always the full path of (shell) commands and
240     not e.g. './ceph-conf' as on Debian. Add check also for full
241     path returned by which.
242     
243     Signed-off-by: Danny Al-Gaaf <danny.al-gaaf@bisect.de>
244     (cherry picked from commit 39530536ff923b91899f6303507c283b78040a20)
245
246 commit 754363f4563e7dbda1ef23fadc8d6ef1a3fdd0af
247 Author: Loic Dachary <loic@dachary.org>
248 Date:   Fri Jun 13 14:41:39 2014 +0200
249
250     tests: prevent kill race condition
251     
252     When trying to kill a daemon, keep its pid in a variable instead of
253     retrieving it from the pidfile multiple times. It prevents the following
254     race condition:
255     
256       * try to kill ceph-mon
257       * ceph-mon is in the process of dying and removed its pidfile
258       * try to kill ceph-mon fails because the pidfile is not found
259       * another ceph-mon is spawned and fails to bind the port
260         because the previous ceph-mon is still holding it
261     
262     Signed-off-by: Loic Dachary <loic@dachary.org>
263     (cherry picked from commit a1c13c57ba20fc329d943ea57523913e11067dc7)
264
265 commit 5be6f2f60e3225bf3d214432044721fe474d55d7
266 Author: Danny Al-Gaaf <danny.al-gaaf@bisect.de>
267 Date:   Wed Jun 25 00:31:48 2014 +0200
268
269     osd/OSD.cc: parse lsb release data via lsb_release
270     
271     Use lsb_release tool to be portable since parsing /etc/lsb-release
272     is not the same between different distributions. The old code failed
273     e.g. for SUSE products to parse LSB information.
274     
275     Fixes: #8654
276     
277     Signed-off-by: Danny Al-Gaaf <danny.al-gaaf@bisect.de>
278     (cherry picked from commit 0b3a3987d382ff33fdf892f189b30df22be80e59)
279
280 commit b62187c52324a4489c2fc1385b1d6574a058f7e8
281 Author: Loic Dachary <loic-201408@dachary.org>
282 Date:   Tue Aug 26 21:59:39 2014 +0200
283
284     tests: histogram prevent re-use of local variables
285     
286     By moving the tests to separate functions.
287     
288     http://tracker.ceph.com/issues/9235 Fixes: #9235
289     
290     Signed-off-by: Loic Dachary <loic-201408@dachary.org>
291     (cherry picked from commit 4b8b25ecd128c34a386ad7c4cc89f323c4d384e1)
292
293 commit e2741c8f1d42cfe91b18201a6a49005d90d85d98
294 Author: Loic Dachary <loic-201408@dachary.org>
295 Date:   Tue Aug 26 21:59:39 2014 +0200
296
297     tests: histogram prevent re-use of local variables
298     
299     By moving the test to a separate function.
300     
301     http://tracker.ceph.com/issues/9235 Fixes: #9235
302     
303     Signed-off-by: Loic Dachary <loic-201408@dachary.org>
304     (cherry picked from commit ee02293ad2ef050672fa8c164ba17b10e8d4ceeb)
305
306 commit cf102df7a3f3b38824c26b9e44a21664fcf979a7
307 Author: Loic Dachary <ldachary@redhat.com>
308 Date:   Wed Dec 10 00:08:57 2014 +0100
309
310     tests: avoid tab interpretation problem on fedora 20
311     
312     Use . instead of tab in echo to avoid variations in how escape sequences
313     are interpreted by the shell.
314     
315     http://tracker.ceph.com/issues/10281 Fixes: #10281
316     
317     Signed-off-by: Loic Dachary <ldachary@redhat.com>
318
319 commit f55b097764beb973c12866f2d7161c6bd870aa07 (refs/remotes/gh/wip-mon-backports.firefly)
320 Author: Sage Weil <sage@redhat.com>
321 Date:   Sun Nov 2 08:50:59 2014 -0800
322
323     mon/PGMap and PGMonitor: update last_epoch_clean cache from new osd keys
324     
325     We were only invalidating the cached value from apply_incremental, which
326     is no longer called on modern clusters.
327     
328     Fix this by storing the update epoch in the key as well (it is not part
329     of osd_stat_t).
330     
331     Backport: giant, firefly, dumpling(?)
332     Fixes: #9987
333     Signed-off-by: Sage Weil <sage@redhat.com>
334     (cherry picked from commit 093c5f0cabeb552b90d944da2c50de48fcf6f564)
335
336 commit 1d314e7a9ab7af5b693583cf2faa5db54f6beb69
337 Author: Sage Weil <sage@redhat.com>
338 Date:   Sun Nov 2 08:49:48 2014 -0800
339
340     mon/PGMap: invalidate cached min_last_epoch_clean from new-style pg keys
341     
342     We were only invalidating the cache from the legacy apply_incremental(),
343     which is no longer called on modern clusters.
344     
345     Fixes: #9987
346     Signed-off-by: Sage Weil <sage@redhat.com>
347     (cherry picked from commit 3fb731b722c50672a5a9de0c86a621f5f50f2d06)
348
349 commit 465eedea9f7411b1e352dc3ccee60a3f1221541d
350 Author: Sage Weil <sage@redhat.com>
351 Date:   Sun Nov 23 18:50:51 2014 -0800
352
353     crush/CrushWrapper: fix create_or_move_item when name exists but item does not
354     
355     We were using item_exists(), which simply checks if we have a name defined
356     for the item.  Instead, use _search_item_exists(), which looks for an
357     instance of the item somewhere in the hierarchy.  This matches what
358     get_item_weightf() is doing, which ensures we get a non-negative weight
359     that converts properly to floating point.
360     
361     Backport: giant, firefly
362     Fixes: #9998
363     Reported-by: Pawel Sadowski <ceph@sadziu.pl>
364     Signed-off-by: Sage Weil <sage@redhat.com>
365     (cherry picked from commit 9902383c690dca9ed5ba667800413daa8332157e)
366
367 commit cee51af9c1dbde550177c95caf6c93f612442300
368 Author: Sage Weil <sage@redhat.com>
369 Date:   Fri Nov 21 17:47:56 2014 -0800
370
371     crush/builder: prevent bucket weight underflow on item removal
372     
373     It is possible to set a bucket weight that is not the sum of the item
374     weights if you manually modify/build the CRUSH map.  Protect against any
375     underflow on the bucket weight when removing items.
376     
377     Signed-off-by: Sage Weil <sage@redhat.com>
378     (cherry picked from commit 8c87e9502142d5b4a282b94f929ae776a49be1dc)
379
380 commit 7ccd5eec11e8cd945d24bf9f6390d6c3fa4a06de
381 Author: Sage Weil <sage@redhat.com>
382 Date:   Fri Nov 21 17:37:03 2014 -0800
383
384     crush/CrushWrapper: fix _search_item_exists
385     
386     Reported-by: Pawel Sadowski <ceph@sadziu.pl>
387     Signed-off-by: Sage Weil <sage@redhat.com>
388     (cherry picked from commit eeadd60714d908a3a033aeb7fd542c511e63122b)
389
390 commit b1ab685e00034751a161a3d5e0325c6581999c75
391 Merge: dd7c8c2 ef3773a
392 Author: Sage Weil <sage@redhat.com>
393 Date:   Fri Dec 12 06:19:50 2014 -0800
394
395     Merge pull request #3124 from ceph/wip-10194-firefly
396     
397     rgw: optionally call FCGX_Free() on the fcgi connection
398     
399     Reviewed-by: Sage Weil <sage@redhat.com>
400
401 commit 11995b329045341c17553269267cfd3688a51b0f
402 Author: Dan Mick <dan.mick@redhat.com>
403 Date:   Wed Dec 10 13:19:53 2014 -0800
404
405     Call Rados.shutdown() explicitly before exit
406     
407     This is mostly a demonstration of good behavior, as the resources will
408     be reclaimed on exit anyway.
409     
410     Signed-off-by: Dan Mick <dan.mick@redhat.com>
411     (cherry picked from commit b038e8fbf9103cc42a4cde734b3ee601af6019ea)
412
413 commit e00270b51896f168d5013b7dc92ec7f8b9e19da3
414 Author: Dan Mick <dan.mick@redhat.com>
415 Date:   Wed Dec 10 13:19:16 2014 -0800
416
417     rados.py: remove Rados.__del__(); it just causes problems
418     
419     Recent versions of Python contain a change to thread shutdown that
420     causes ceph to hang on exit; see http://bugs.python.org/issue21963.
421     As it turns out, this is relatively easy to avoid by not spawning
422     threads on exit, as Rados.__del__() will certainly do by calling
423     shutdown(); I suspect, but haven't proven, that the problem is
424     that shutdown() tries to start() a threading.Thread() that never
425     makes it all the way back to signal start().
426     
427     Also add a PendingReleaseNote and extra doc comments to clarify.
428     
429     Fixes: #8797
430     Signed-off-by: Dan Mick <dan.mick@redhat.com>
431     (cherry picked from commit 5ba9b8f21f8010c59dd84a0ef2acfec99e4b048f)
432     
433     Conflicts:
434         PendingReleaseNotes
435
436 commit 7faae891aefa4c21c50430fa03d9204a86d082f8
437 Author: Ken Dreyer <kdreyer@redhat.com>
438 Date:   Tue Dec 9 14:52:19 2014 -0700
439
440     Revert "ceph.spec.: add epoch"
441     
442     If ICE ships 0.80.8, then it will be newer than what RHCEPH ships
443     (0.80.7), and users won't be able to seamlessly upgrade via Yum.
444     
445     We have three options:
446     A) Revert the "Epoch: 1" change on the Firefly branch.
447     B) Revert the "Epoch: 1" change in the ICE packages.
448     C) Bump the Epoch to "2" in Red Hat's packages.
449     
450     This commit does Option A.
451     
452     Option B may or may not be feasible - it would require a "downstream"
453     change in ICE, and we haven't done that sort of thing before.
454     
455     Due to the RHEL release schedule, Option C is not available to us at
456     this point.
457     
458     This reverts commit b890c1e4706d7cfef7ed24c9df65b439b4f7ff1d.
459
460 commit ef3773ac93413c644e056babce1971f846bbc276
461 Author: Yehuda Sadeh <yehuda@redhat.com>
462 Date:   Wed Nov 26 15:18:07 2014 -0800
463
464     rgw: optionally call FCGX_Free() on the fcgi connection
465     
466     Fixes: #10194
467     
468     A new configurable controls this behavior. This forces disconnection of
469     the fcgi connection when done with the request.
470     
471     Signed-off-by: Yehuda Sadeh <yehuda@redhat.com>
472
473 commit dd7c8c2bc6b2810ff7f483af940fa09dbe74e83a
474 Merge: d759467 a597096
475 Author: Gregory Farnum <greg@gregs42.com>
476 Date:   Mon Dec 8 15:02:52 2014 -0800
477
478     Merge pull request #3109 from ceph/firefly-10263
479     
480     mds: store backtrace for straydir
481     
482     Reviewed-by: Greg Farnum <gfarnum@redhat.com>
483
484 commit d7594672b673796901961cc684c9e7de8dc2c95d
485 Merge: adf9a75 73b47db
486 Author: Samuel Just <sam.just@inktank.com>
487 Date:   Mon Dec 8 13:19:44 2014 -0800
488
489     Merge pull request #3009 from dachary/wip-10018-primary-erasure-code-hinfo-firefly
490     
491     osd: deep scrub must not abort if hinfo is missing (firefly)
492     
493     Reviewed-by: Samuel Just <sjust@redhat.com>
494
495 commit a5970963a2148697fc6da64facfbf6ab6686b9cd
496 Author: Yan, Zheng <zyan@redhat.com>
497 Date:   Fri Nov 7 11:38:37 2014 +0800
498
499     mds: store backtrace for straydir
500     
501     Backport: giant, firefly, emperor, dumpling
502     Signed-off-by: Yan, Zheng <zyan@redhat.com>
503     (cherry picked from commit 0d89db5d3e5ae5d552d4058a88a4e186748ab1d2)
504
505 commit adf9a758000182d27a6582d516356730d02e4099
506 Merge: dea38a7 b4a4b75
507 Author: Sage Weil <sage@redhat.com>
508 Date:   Sat Dec 6 11:06:02 2014 -0800
509
510     Merge pull request #3089 from dachary/wip-10063-hobject-shard-firefly
511     
512     common: do not omit shard when ghobject NO_GEN is set (firefly)
513
514 commit dea38a7af638c833304272c324ed2bc386a40f8f
515 Merge: ccc8b46 5138091
516 Author: Sage Weil <sage@redhat.com>
517 Date:   Sat Dec 6 10:59:44 2014 -0800
518
519     Merge pull request #2480 from dachary/wip-9420-erasure-code-non-regression-firefly
520     
521     erasure-code: store and compare encoded contents (firefly)
522
523 commit ccc8b46b2cdc55c1a861f092259ef36a1296f073
524 Merge: bef363c cd3447d
525 Author: Sage Weil <sage@redhat.com>
526 Date:   Fri Dec 5 17:33:05 2014 -0800
527
528     Merge pull request #3096 from dachary/wip-9785-dmcrypt-keys-permissions-firefly
529     
530     ceph-disk: dmcrypt file permissions (firefly)
531
532 commit cd3447d04cabf6745001afeef69f25a92400cd0e
533 Author: Loic Dachary <ldachary@redhat.com>
534 Date:   Thu Dec 4 22:21:32 2014 +0100
535
536     ceph-disk: dmcrypt file permissions
537     
538     The directory in which key files are stored for dmcrypt must be 700 and
539     the file 600.
540     
541     http://tracker.ceph.com/issues/9785 Fixes: #9785
542     
543     Signed-off-by: Loic Dachary <ldachary@redhat.com>
544     (cherry picked from commit 58682d1776ab1fd4daddd887d921ca9cc312bf50)
545
546 commit bef363c1d1fc06fbb315024145a97a809a2471cd
547 Merge: cb2c83b 9f3b21d
548 Author: Sage Weil <sage@redhat.com>
549 Date:   Fri Dec 5 09:04:00 2014 -0800
550
551     Merge pull request #3086 from dachary/wip-10125-radosgw-init-firefly
552     
553     rgw: run radosgw as apache with systemd (firefly)
554
555 commit b4a4b75e6d4deb6818681902f85baa9f63acdb4f
556 Author: Loic Dachary <ldachary@redhat.com>
557 Date:   Fri Nov 14 01:16:10 2014 +0100
558
559     common: do not omit shard when ghobject NO_GEN is set
560     
561     Do not silence the display of shard_id when generation is NO_GEN.
562     Erasure coded objects JSON representation used by ceph_objectstore_tool
563     need the shard_id to find the file containing the chunk.
564     
565     Minimal testing is added to ceph_objectstore_tool.py
566     
567     http://tracker.ceph.com/issues/10063 Fixes: #10063
568     
569     Signed-off-by: Loic Dachary <ldachary@redhat.com>
570     (cherry picked from commit dcf09aed121f566221f539106d10283a09f15cf5)
571     
572     Conflicts:
573         src/test/ceph_objectstore_tool.py
574
575 commit 9f3b21d1b70be591d68bfa57c3393e8f9af8e7df
576 Author: Loic Dachary <ldachary@redhat.com>
577 Date:   Tue Dec 2 18:10:48 2014 +0100
578
579     rgw: run radosgw as apache with systemd
580     
581     Same as sysv.
582     
583     http://tracker.ceph.com/issues/10125 Fixes: #10125
584     
585     Signed-off-by: Loic Dachary <loic@dachary.org>
586     (cherry picked from commit 7b621f4abf63456272dec3449aa108c89504a7a5)
587     
588     Conflicts:
589         src/init-radosgw.sysv
590
591 commit cb2c83b2f216e503f7a52115f775bda1dbfe0c6a
592 Merge: e2ec37b 02d4685
593 Author: Josh Durgin <jdurgin@redhat.com>
594 Date:   Thu Dec 4 11:32:18 2014 -0800
595
596     Merge pull request #3078 from ceph/wip-10030-firefly
597     
598     librbd: don't close an already closed parent image upon failure
599     
600     Reviewed-by: Josh Durgin <jdurgin@redhat.com>
601
602 commit e2ec37bf45fa5e7f5e787db9b67dbb2a98f2fbb7
603 Merge: c4c63e8 af12194
604 Author: Sage Weil <sage@redhat.com>
605 Date:   Wed Dec 3 23:01:44 2014 -0800
606
607     Merge pull request #3063 from ceph/wip-10123-firefly
608     
609     librbd: protect list_children from invalid child pool IoCtxs
610     
611     Reviewed-by: Sage Weil <sage@redhat.com>
612
613 commit c4c63e82cd7e4716315ca81208293a2567026c72
614 Author: Samuel Just <sam.just@inktank.com>
615 Date:   Tue Sep 23 15:52:08 2014 -0700
616
617     ReplicatedPG: don't move on to the next snap immediately
618     
619     If we have a bunch of trimmed snaps for which we have no
620     objects, we'll spin for a long time.  Instead, requeue.
621     
622     Fixes: #9487
623     Backport: dumpling, firefly, giant
624     Reviewed-by: Sage Weil <sage@redhat.com>
625     Signed-off-by: Samuel Just <sam.just@inktank.com>
626     (cherry picked from commit c17ac03a50da523f250eb6394c89cc7e93cb4659)
627
628 commit 1b656450ca75b12fb98dee82bace914ef5f45c44
629 Author: Sage Weil <sage@redhat.com>
630 Date:   Tue Sep 23 16:21:33 2014 -0700
631
632     osd: initialize purged_snap on backfill start; restart backfill if change
633     
634     If we backfill a PG to a new OSD, we currently neglect to initialize
635     purged_snaps.  As a result, the first time the snaptrimmer runs it has to
636     churn through every deleted snap for all time, and to make matters worse
637     does so in one go with the PG lock held.  This leads to badness on any
638     cluster with a significant number of removed snaps that experiences
639     backfill.
640     
641     Resolve this by initializing purged_snaps when we finish backfill.  The
642     backfill itself will clear out any stray snaps and ensure the object set
643     is in sync with purged_snaps.  Note that purged_snaps on the primary
644     that is driving backfill will not change during this period as the
645     snaptrimmer is not scheduled unless the PG is clean (which it won't be
646     during backfill).
647     
648     If we by chance to interrupt backfill, go clean with other OSDs,
649     purge snaps, and then let this OSD rejoin, we will either restart
650     backfill (non-contiguous log) or the log will include the result of
651     the snap trim (the events that remove the trimmed snap).
652     
653     Fixes: #9487
654     Backfill: firefly, dumpling
655     Signed-off-by: Sage Weil <sage@redhat.com>
656     (cherry picked from commit 255b430a87201c7d0cf8f10a3c1e62cbe8dd2d93)
657
658 commit 02d4685c56e129cb179a5ddfb8e87aefc2fce0b5
659 Author: Jason Dillaman <dillaman@redhat.com>
660 Date:   Thu Nov 6 05:01:38 2014 -0500
661
662     librbd: don't close an already closed parent image upon failure
663     
664     If librbd is not able to open a child's parent image, it will
665     incorrectly close the parent image twice, resulting in a crash.
666     
667     Fixes: #10030
668     Backport: firefly, giant
669     Signed-off-by: Jason Dillaman <dillaman@redhat.com>
670     (cherry picked from commit 61ebfebd59b61ffdc203dfeca01ee1a02315133e)
671
672 commit af121942d7bdfc59fcfae0429ffb12993e7e019d
673 Author: Jason Dillaman <dillaman@redhat.com>
674 Date:   Mon Nov 17 21:49:26 2014 -0500
675
676     librbd: protect list_children from invalid child pool IoCtxs
677     
678     While listing child images, don't ignore error codes returned
679     from librados when creating an IoCtx. This will prevent seg
680     faults from occurring when an invalid IoCtx is used.
681     
682     Fixes: #10123
683     Backport: giant, firefly, dumpling
684     Signed-off-by: Jason Dillaman <dillaman@redhat.com>
685     (cherry picked from commit 0d350b6817d7905908a4e432cd359ca1d36bab50)
686
687 commit c982da44e0e9e0be3c3d4e8f5e0a186fb2fcebb3
688 Merge: 4a148df c4e4a31
689 Author: Sage Weil <sage@redhat.com>
690 Date:   Sun Nov 30 10:12:04 2014 -0800
691
692     Merge pull request #3014 from dachary/wip-9665-ceph-disk-partprobe-firefly
693     
694     ceph disk zap must call partprobe
695
696 commit c4e4a310f14ca3049ac90422aea95051fe0d4b15
697 Author: Loic Dachary <loic-201408@dachary.org>
698 Date:   Fri Oct 10 10:26:31 2014 +0200
699
700     ceph-disk: use update_partition in prepare_dev and main_prepare
701     
702     In the case of prepare_dev the partx alternative was missing and is not
703     added because update_partition does it.
704     
705     http://tracker.ceph.com/issues/9721 Fixes: #9721
706     
707     Signed-off-by: Loic Dachary <loic-201408@dachary.org>
708     (cherry picked from commit 23e71b1ee816c0ec8bd65891998657c46e364fbe)
709     
710     Conflicts:
711         src/ceph-disk
712
713 commit e70a81464b906b9a304c29f474e6726762b63a7c
714 Author: Loic Dachary <loic-201408@dachary.org>
715 Date:   Thu Oct 9 18:52:17 2014 +0200
716
717     ceph-disk: run partprobe after zap
718     
719     Not running partprobe after zapping a device can lead to the following:
720     
721     * ceph-disk prepare /dev/loop2
722     * links are created in /dev/disk/by-partuuid
723     * ceph-disk zap /dev/loop2
724     * links are not removed from /dev/disk/by-partuuid
725     * ceph-disk prepare /dev/loop2
726     * some links are not created in /dev/disk/by-partuuid
727     
728     This is assuming there is a bug in the way udev events are handled by
729     the operating system.
730     
731     http://tracker.ceph.com/issues/9665 Fixes: #9665
732     
733     Signed-off-by: Loic Dachary <loic-201408@dachary.org>
734     (cherry picked from commit fed3b06c47a5ef22cb3514c7647544120086d1e7)
735
736 commit 5a5f427bc09076ef3fb13a710dede1b47bb232e0
737 Author: Loic Dachary <loic-201408@dachary.org>
738 Date:   Fri Oct 10 10:23:34 2014 +0200
739
740     ceph-disk: encapsulate partprobe / partx calls
741     
742     Add the update_partition function to reduce code duplication.
743     The action is made an argument although it always is -a because it will
744     be -d when deleting a partition.
745     
746     Use the update_partition function in prepare_journal_dev
747     
748     Signed-off-by: Loic Dachary <loic-201408@dachary.org>
749     (cherry picked from commit 922a15ea6865ef915bbdec2597433da6792c1cb2)
750     
751     Conflicts:
752         src/ceph-disk
753
754 commit 73b47dbee8858f182fd2b4fd8eb5f3c786877bf4
755 Author: Loic Dachary <loic-201408@dachary.org>
756 Date:   Thu Nov 6 17:11:20 2014 +0100
757
758     osd: deep scrub must not abort if hinfo is missing
759     
760     Instead it should set read_error.
761     
762     http://tracker.ceph.com/issues/10018 Fixes: #10018
763     
764     Signed-off-by: Loic Dachary <loic-201408@dachary.org>
765     (cherry picked from commit 9d84d2e8309d26e39ca849a75166d2d7f2dec9ea)
766
767 commit 5138091a4073d966a65f537280f89372e801d019
768 Author: Loic Dachary <loic-201408@dachary.org>
769 Date:   Tue Sep 23 11:38:09 2014 +0200
770
771     erasure-code: add corpus verification to make check
772     
773     Signed-off-by: Loic Dachary <loic-201408@dachary.org>
774
775 commit 8d3d6bf59aec3877c0231e637270e371d9ed3b8c
776 Author: Loic Dachary <loic-201408@dachary.org>
777 Date:   Sat Sep 13 13:36:09 2014 +0200
778
779     erasure-code: workunit to check for encoding regression
780     
781     Clone the archive of encoded objects and decode all archived objects, up
782     to and including the current ceph version.
783     
784     http://tracker.ceph.com/issues/9420 Refs: #9420
785     
786     Signed-off-by: Loic Dachary <loic-201408@dachary.org>
787
788 commit 4f4358708ed3c261ca4027cc9c3dc3f952a99470
789 Author: Loic Dachary <loic-201408@dachary.org>
790 Date:   Sat Sep 13 10:16:31 2014 +0200
791
792     erasure-code: store and compare encoded contents
793     
794     Introduce ceph_erasure_code_non_regression to check and compare how an
795     erasure code plugin encodes and decodes content with a given set of
796     parameters. For instance:
797     
798     ./ceph_erasure_code_non_regression \
799           --plugin jerasure \
800           --parameter technique=reed_sol_van \
801           --parameter k=2 \
802           --parameter m=2 \
803           --stripe-width 3181 \
804           --create \
805           --check
806     
807     Will create an encoded object (--create) and store it into a directory
808     along with the chunks, one chunk per file. The directory name is derived
809     from the parameters. The content of the object is a random pattern of 31
810     bytes repeated to fill the object size specified with --stripe-width.
811     
812     The check function (--check) reads the object back from the file,
813     encodes it and compares the result with the content of the chunks read
814     from the files. It also attempts recover from one or two erasures.
815     
816     Chunks encoded by a given version of Ceph are expected to be encoded
817     exactly in the same way by all Ceph versions going forward.
818     
819     http://tracker.ceph.com/issues/9420 Refs: #9420
820     
821     Signed-off-by: Loic Dachary <loic-201408@dachary.org>
822
823 commit 4a148df544978383c1ed7cd8b90f590adb563f3d
824 Merge: c069bce 01faf13
825 Author: Loic Dachary <loic-201408@dachary.org>
826 Date:   Wed Nov 19 02:45:26 2014 +0100
827
828     Merge pull request #2961 from ceph/wip-10114-firefly
829     
830     Add annotation to all assembly files to turn off stack-execute bit
831     
832     Reviewed-by: Loic Dachary <ldachary@redhat.com>
833
834 commit 01faf1356f648ded9acda02e7cc67c1adb9e9ee3
835 Author: Dan Mick <dan.mick@redhat.com>
836 Date:   Fri Nov 14 17:59:57 2014 -0800
837
838     Add annotation to all assembly files to turn off stack-execute bit
839     
840     See discussion in http://tracker.ceph.com/issues/10114
841     
842     Building with these changes allows output from readelf like this:
843     
844      $ readelf -lW src/.libs/librados.so.2 | grep GNU_STACK
845       GNU_STACK      0x000000 0x0000000000000000 0x0000000000000000 0x000000
846     0x000000 RW  0x8
847     
848     (note the absence of 'X' in 'RW')
849     
850     Fixes: #10114
851     Signed-off-by: Dan Mick <dan.mick@redhat.com>
852     (cherry picked from commit 06a245a9845c0c126fb3106b41b2fd2bc4bc4df3)
853     (not-yet-present-in-firefly files in isa-l manually removed)
854
855 commit c069bce4e8180da3c0ca4951365032a45df76468
856 Merge: 0d8ad6a fac1654
857 Author: Samuel Just <sam.just@inktank.com>
858 Date:   Thu Nov 13 10:36:12 2014 -0800
859
860     Merge pull request #2760 from ceph/wip-9835-firefly
861     
862     osd: fix erasure hung op bug (9835)
863     
864     Reviewed-by: Samuel Just <sjust@redhat.com>
865
866 commit fac165475031efdebbb88898ca5c12cd307a5bc3
867 Author: Samuel Just <sam.just@inktank.com>
868 Date:   Wed Nov 5 12:12:14 2014 -0800
869
870     osd: use OSDMap helper to tell if ops are misdirected
871     
872     calc_pg_role doesn't actually take into account primary affinity.
873     
874     Fixes: #9835
875     Signed-off-by: Samuel Just <sam.just@inktank.com>
876
877 commit 588602bf0095de5b59064123ca01345f1364bdde
878 Author: Sage Weil <sage@redhat.com>
879 Date:   Mon Oct 20 13:55:33 2014 -0700
880
881     osd: discard rank > 0 ops on erasure pools
882     
883     Erasure pools do not support read from replica, so we should drop
884     any rank > 0 requests.
885     
886     This fixes a bug where an erasure pool maps to [1,2,3], temporarily maps
887     to [-1,2,3], sends a request to osd.2, and then remaps back to [1,2,3].
888     Because the 0 shard never appears on osd.2, the request sits in the
889     waiting_for_pg map indefinitely and cases slow request warnings.
890     This problem does not come up on replicated pools because all instances of
891     the PG are created equal.
892     
893     Fix by only considering role == 0 for erasure pools as a correct mapping.
894     
895     Fixes: #9835
896     Signed-off-by: Sage Weil <sage@redhat.com>
897
898 commit 0c1c4152e6f402af7612c8c8d4719ab0f4cc6ad9
899 Author: Sage Weil <sage@redhat.com>
900 Date:   Wed Nov 12 17:04:35 2014 -0800
901
902     osd/OSDMap: add osd_is_valid_op_target()
903     
904     Helper to check whether an osd is a given op target for a pg.  This
905     assumes that for EC we always send ops to the primary, while for
906     replicated we may target any replica.
907     
908     Signed-off-by: Sage Weil <sage@redhat.com>
909     (cherry picked from commit 89c02637914ac7332e9dbdbfefc2049b2b6c127d)
910
911 commit 0d8ad6ad3c376bcab981bea9a49e1924d7eddb68
912 Author: Josh Durgin <jdurgin@redhat.com>
913 Date:   Tue Nov 11 18:16:02 2014 -0800
914
915     qa: allow small allocation diffs for exported rbds
916     
917     The local filesytem may behave slightly differently. This isn't
918     foolproof, but seems to be reliable enough on rhel7 rootfs, where
919     exact comparison was failing.
920     
921     Fixes: #10002
922     Signed-off-by: Josh Durgin <jdurgin@redhat.com>
923     (cherry picked from commit e94d3c11edb9c9cbcf108463fdff8404df79be33)
924
925 commit 0804deeab293e09123d1b58825051ccc4dddbc0e
926 Author: Sage Weil <sage@inktank.com>
927 Date:   Sun May 25 08:38:38 2014 -0700
928
929     osd: fix map advance limit to handle map gaps
930     
931     The recent change in cf25bdf6b0090379903981fe8cee5ea75efd7ba0 would stop
932     advancing after some number of epochs, but did not take into consideration
933     the possibilty that there are missing maps.  In that case, it is impossible
934     to advance past the gap.
935     
936     Fix this by increasing the max epoch as we go so that we can always get
937     beyond the gap.
938     
939     Signed-off-by: Sage Weil <sage@inktank.com>
940     (cherry picked from commit 1e0a82fd55dede473c0af32924f4bcb5bb697a2b)
941
942 commit d30d6b986433eaef920b3703cf5af3c030f8dcf4
943 Merge: d241aa7 d548431
944 Author: Gregory Farnum <greg@gregs42.com>
945 Date:   Fri Nov 7 14:10:18 2014 -0800
946
947     Merge pull request #2880 from ceph/wip-10025-firefly
948     
949     #10025/firefly -- tools: fix MDS journal import
950     
951     Reviewed-by: Greg Farnum <greg@inktank.com>
952
953 commit d548431a388da1130564d710e1f006772934224b
954 Author: John Spray <john.spray@redhat.com>
955 Date:   Fri Nov 7 11:34:43 2014 +0000
956
957     tools: fix MDS journal import
958     
959     Previously it only worked on fresh filesystems which
960     hadn't been trimmed yet, and resulted in an invalid
961     trimmed_pos when expire_pos wasn't on an object
962     boundary.
963     
964     Fixes: #10025
965     
966     Signed-off-by: John Spray <john.spray@redhat.com>
967     (cherry picked from commit fb29e71f9a97c12354045ad2e128156e503be696)
968
969 commit d241aa7a347655242cc71b8fa3d778df6948c494
970 Merge: 2c85b5d 4afb542
971 Author: Samuel Just <sam.just@inktank.com>
972 Date:   Thu Nov 6 10:37:42 2014 -0800
973
974     Merge remote-tracking branch 'origin/wip-sam-firefly-backports' into firefly
975
976 commit 2c85b5d72953d01296213185382707122e06415c
977 Merge: 23cbffa 1228658
978 Author: Samuel Just <sam.just@inktank.com>
979 Date:   Thu Nov 6 10:30:20 2014 -0800
980
981     Merge pull request #2737 from ceph/wip-9629-firefly
982     
983     osd: do not clone/preserve snapdir on cache-evict (firefly backport)
984     
985     Reviewed-by: Samuel Just <sjust@redhat.com>
986
987 commit 23cbffaa2936dc2707b5b42f8c0e7ce804324ae2
988 Merge: 3bba938 e296685
989 Author: Samuel Just <sam.just@inktank.com>
990 Date:   Thu Nov 6 10:26:21 2014 -0800
991
992     Merge pull request #2657 from ceph/wip-9053-9301-firefly
993     
994     mon: backport two paxos fixes to firefly
995     
996     Reviewed-by: Joao Luis <joao@redhat.com>
997
998 commit 3bba9387eb123c6cf055e874db2925b998dc406c
999 Merge: 3f9bf73 835f8c6
1000 Author: Samuel Just <sam.just@inktank.com>
1001 Date:   Thu Nov 6 10:21:12 2014 -0800
1002
1003     Merge pull request #2656 from ceph/wip-9502-firefly
1004     
1005     mon: backport mon disk full check to firefly
1006     
1007     Reviewed-by: Samuel Just <sjust@redhat.com>
1008
1009 commit 3f9bf738daf47ff4ff56c9f76d1487a5afc5e30a
1010 Merge: a340e6d 3e17a08
1011 Author: Samuel Just <sam.just@inktank.com>
1012 Date:   Thu Nov 6 10:18:27 2014 -0800
1013
1014     Merge pull request #2764 from ceph/wip-9851
1015     
1016     osd: bring FileJournal in sync with giant
1017     
1018     Reviewed-by: Samuel Just <sjust@redhat.com>
1019
1020 commit a340e6d0b166019f58dca0703faf30dd3178c14f
1021 Merge: b7d5f99 b9450b5
1022 Author: Samuel Just <sam.just@inktank.com>
1023 Date:   Thu Nov 6 10:12:17 2014 -0800
1024
1025     Merge pull request #2776 from ceph/wip-9675.firefly
1026     
1027     CrushWrapper: pick a ruleset same as rule_id
1028     
1029     Reviewed-by: Samuel Just <sam.just@inktank.com>
1030
1031 commit b7d5f99c8f4d751e83dc29305649d7a465c657b1
1032 Author: Sage Weil <sage@redhat.com>
1033 Date:   Mon Sep 15 15:29:08 2014 -0700
1034
1035     ceph-disk: mount xfs with inode64 by default
1036     
1037     We did this forever ago with mkcephfs, but ceph-disk didn't.  Note that for
1038     modern XFS this option is obsolete, but for older kernels it was not the
1039     default.
1040     
1041     Backport: firefly
1042     Signed-off-by: Sage Weil <sage@redhat.com>
1043     (cherry picked from commit 11496399ef318498c11e551f139d96db52d3309c)
1044
1045 commit 1a9d000bb679a7392b9dd115373c3827c9626694
1046 Author: Yehuda Sadeh <yehuda@redhat.com>
1047 Date:   Thu Oct 9 10:20:27 2014 -0700
1048
1049     rgw: set length for keystone token validation request
1050     
1051     Fixes: #7796
1052     Backport: giany, firefly
1053     Need to set content length to this request, as the server might not
1054     handle a chunked request (even though we don't send anything).
1055     
1056     Tested-by: Mark Kirkwood <mark.kirkwood@catalyst.net.nz>
1057     Signed-off-by: Yehuda Sadeh <yehuda@redhat.com>
1058     (cherry picked from commit 3dd4ccad7fe97fc16a3ee4130549b48600bc485c)
1059
1060 commit 49d27efde2ce5d282c9ee6ca9c8ea9db8f609392
1061 Author: Yehuda Sadeh <yehuda@redhat.com>
1062 Date:   Tue Aug 19 13:15:46 2014 -0700
1063
1064     rgw: subuser creation fixes
1065     
1066     Fixes: #8587
1067     There were a couple of issues, one when trying to identify whether swift
1068     user exists, we weren't using the correct swift id. The second problem
1069     is that we relied on the gen_access flag in the swift case, where it
1070     doesn't really need to apply.
1071     
1072     Signed-off-by: Yehuda Sadeh <yehuda@redhat.com>
1073     (cherry picked from commit 1441ffe8103f03c6b2f625f37adbb2e1cfec66bb)
1074
1075 commit 8db2f0969e1715f57088c311a33e7e3499933afb
1076 Merge: 9a15592 2a5d7f0
1077 Author: Sage Weil <sage@redhat.com>
1078 Date:   Fri Oct 31 08:35:50 2014 -0700
1079
1080     Merge pull request #2847 from dachary/wip-9752-past-intervals-firefly
1081     
1082     osd: past_interval display bug on acting
1083
1084 commit 2a5d7f08303eb8b1687c5b58426443b3d40e415c
1085 Author: Loic Dachary <loic-201408@dachary.org>
1086 Date:   Fri Oct 31 00:49:21 2014 +0100
1087
1088     osd: past_interval display bug on acting
1089     
1090     The acting array was incorrectly including the primary and up_primary.
1091     
1092     http://tracker.ceph.com/issues/9752 Fixes: #9752
1093     
1094     Signed-off-by: Loic Dachary <loic-201408@dachary.org>
1095     (cherry picked from commit c5f8d6eded52da451fdd1d807bd4700221e4c41c)
1096
1097 commit 9a15592eae6739183049f8376392c5577145871e
1098 Merge: 6fd8879 c20a242
1099 Author: Yan, Zheng <ukernel@gmail.com>
1100 Date:   Thu Oct 30 17:01:24 2014 -0700
1101
1102     Merge pull request #2840 from ceph/firefly-9869
1103     
1104     Backport "client: cast m->get_client_tid() to compare to 16-bit Inode::flushing_cap_tid"
1105
1106 commit c20a2421f4a5b33407d7f31806dd4587b4e9077c
1107 Author: Greg Farnum <greg@inktank.com>
1108 Date:   Wed Oct 22 17:16:31 2014 -0700
1109
1110     client: cast m->get_client_tid() to compare to 16-bit Inode::flushing_cap_tid
1111     
1112     m->get_client_tid() is 64 bits (as it should be), but Inode::flushing_cap_tid
1113     is only 16 bits. 16 bits should be plenty to let the cap flush updates
1114     pipeline appropriately, but we need to cast in the proper direction when
1115     comparing these differently-sized versions. So downcast the 64-bit one
1116     to 16 bits.
1117     
1118     Fixes: #9869
1119     Backport: giant, firefly, dumpling
1120     
1121     Signed-off-by: Greg Farnum <greg@inktank.com>
1122     (cherry picked from commit a5184cf46a6e867287e24aeb731634828467cd98)
1123
1124 commit 4afb54274bb2087da348103d0a7641b3a018d777
1125 Author: Samuel Just <sam.just@inktank.com>
1126 Date:   Thu Sep 11 13:46:51 2014 -0700
1127
1128     ReplicatedPG: cancel cb on blacklisted watcher
1129     
1130     Fixes: #8315
1131     Backport: firefly
1132     Signed-off-by: Samuel Just <sam.just@inktank.com>
1133     (cherry picked from commit 16bd45777166c29c433af3b59254a7169e512d98)
1134
1135 commit 037aa342fa277351fc605da41489a6ceba81ab05
1136 Author: Samuel Just <sam.just@inktank.com>
1137 Date:   Sun Sep 21 10:19:43 2014 -0700
1138
1139     ReplicatedPG::on_removal: clear rollback info
1140     
1141     Fixes: #9293
1142     Backport: firefly
1143     Signed-off-by: Samuel Just <sam.just@inktank.com>
1144     (cherry picked from commit 544b8c7ffb4af01765b87239f2d7ab88479ee779)
1145
1146 commit 8978c8dc1f153a9052b5d967ceff11d4f08d51ea
1147 Merge: 8401e7f 4be53d5
1148 Author: Samuel Just <sam.just@inktank.com>
1149 Date:   Thu Oct 30 13:48:18 2014 -0700
1150
1151     Merge remote-tracking branch 'origin/wip-9574' into wip-sam-firefly-backports
1152
1153 commit 8401e7ffa1768770f451143b3c110d1deae1bd40
1154 Author: Samuel Just <sam.just@inktank.com>
1155 Date:   Mon Sep 29 15:01:25 2014 -0700
1156
1157     PG: release backfill reservations if a backfill peer rejects
1158     
1159     Also, the full peer will wait until the rejection from the primary
1160     to do a state transition.
1161     
1162     Fixes: #9626
1163     Backport: giant, firefly, dumpling
1164     Signed-off-by: Samuel Just <sam.just@inktank.com>
1165     (cherry picked from commit 624aaf2a4ea9950153a89ff921e2adce683a6f51)
1166
1167 commit 5df09fa1b5a42992f9e41aca09e86db0d03d9fbd
1168 Merge: a0937ef a1aa06b
1169 Author: Samuel Just <sam.just@inktank.com>
1170 Date:   Thu Oct 30 13:47:22 2014 -0700
1171
1172     Merge remote-tracking branch 'origin/wip-9113' into wip-sam-firefly-backports
1173
1174 commit a0937ef214b9221e7a5e69e7b0f0697471d56293
1175 Author: Sage Weil <sage@redhat.com>
1176 Date:   Sun Oct 12 10:05:51 2014 -0700
1177
1178     osd/osd_types: consider CRUSH_ITEM_NONE in check_new_interval() min_size check
1179     
1180     Fixes: #9718
1181     Backport: firefly
1182     Signed-off-by: Sage Weil <sage@redhat.com>
1183     (cherry picked from commit d947050c82a511f91c98e1c76e48ffa9e187eee7)
1184     
1185     Conflicts:
1186         src/osd/osd_types.cc
1187
1188 commit 35e8e6b2c1733cd421bf6c3916553eea3786e76e
1189 Author: Samuel Just <sam.just@inktank.com>
1190 Date:   Mon Oct 20 14:10:58 2014 -0700
1191
1192     PG:: reset_interval_flush and in set_last_peering_reset
1193     
1194     If we have a change in the prior set, but not in the up/acting set, we go back
1195     through Reset in order to reset peering state.  Previously, we would reset
1196     last_peering_reset in the Reset constructor.  This did not, however, reset the
1197     flush_interval, which caused the eventual flush event to be ignored and the
1198     peering messages to not be sent.
1199     
1200     Instead, we will always reset_interval_flush if we are actually changing the
1201     last_peering_reset value.
1202     
1203     Fixes: #9821
1204     Backport: firefly
1205     Signed-off-by: Samuel Just <sam.just@inktank.com>
1206     (cherry picked from commit d9ff3a6b789c5b9c77aefa3751bd808f5d7b8ca7)
1207
1208 commit 3f35db42977704a12ac4b5bcad6261aaf6b6a88d
1209 Author: Samuel Just <sam.just@inktank.com>
1210 Date:   Thu Oct 23 09:11:28 2014 -0700
1211
1212     ReplicatedPG: writeout hit_set object with correct prior_version
1213     
1214     Fixes: #9875
1215     Backport: giant, firefly
1216     Signed-off-by: Samuel Just <sam.just@inktank.com>
1217     (cherry picked from commit 1a3ad307f1a4c0a956d6fd31d13f01ffe411a09d)
1218
1219 commit 6fd88792e77cdc7ad33ff0acf9b3189a7c525430
1220 Merge: 0975ec9 afe6bd8
1221 Author: Sage Weil <sage@redhat.com>
1222 Date:   Sun Oct 26 20:37:52 2014 -0700
1223
1224     Merge pull request #2717 from dachary/wip-9747-ceph-spec-firefly
1225     
1226     rpm: 95-ceph-osd-alt.rules is not needed for centos7 / rhel7 (firefly)
1227
1228 commit b9450b532ab7ad23ec6e2c22ed7cf55e6e1cc4c0
1229 Author: Xiaoxi Chen <xiaoxi.chen@intel.com>
1230 Date:   Wed Aug 20 15:35:44 2014 +0800
1231
1232     CrushWrapper: pick a ruleset same as rule_id
1233     
1234     Originally in the add_simple_ruleset funtion, the ruleset_id
1235     is not reused but rule_id is reused. So after some add/remove
1236     against rules, the newly created rule likely to have
1237     ruleset!=rule_id.
1238     
1239     We dont want this happen because we are trying to hold the constraint
1240     that ruleset == rule_id.
1241     
1242     Signed-off-by: Xiaoxi Chen <xiaoxi.chen@intel.com>
1243     (cherry picked from commit 78e84f34da83abf5a62ae97bb84ab70774b164a6)
1244     
1245     Conflicts:
1246         src/test/erasure-code/TestErasureCodeIsa.cc
1247     
1248     Fixes: #9675
1249
1250 commit 3e17a0872a3864cb6aee46959afd955ef0cbafeb
1251 Author: Ma Jianpeng <jianpeng.ma@intel.com>
1252 Date:   Mon Jul 21 15:08:55 2014 +0800
1253
1254     os/FileJournal: When dump journal, using correctly seq avoid misjudging joural corrupt.
1255     
1256     In func FileJournal::dump, it always using seq=0 as last-seq and it can
1257     misjudge the journal corrupt.
1258     
1259     Signed-off-by: Ma Jianpeng <jianpeng.ma@intel.com>
1260     (cherry picked from commit 5f65b4db6d1dad7c2c5a09eab42af63a82ea9e9b)
1261
1262 commit 350da8c98bc1e90cd392992aba290c7478280d88
1263 Author: Loic Dachary <loic-201408@dachary.org>
1264 Date:   Fri Sep 26 01:15:53 2014 +0200
1265
1266     os: io_event.res is the size written
1267     
1268     And not an error code to be converted with cpp_strerror()
1269     
1270     Signed-off-by: Loic Dachary <loic-201408@dachary.org>
1271     (cherry picked from commit 7827e0035e3350ad2d9230f27a1629545f53af5c)
1272
1273 commit ecff3761f3d15061a2cbf0a595ca249a4c424f4c
1274 Author: Ma Jianpeng <jianpeng.ma@intel.com>
1275 Date:   Thu Aug 21 15:10:46 2014 +0800
1276
1277     os/FileJournal: For journal-aio-mode, don't use aio when closing journal.
1278     
1279     For jouranl-aio-mode when closing journal, the write_finish_thread_entry may exit before
1280     write_thread_entry. This cause no one wait last aios to complete.
1281     On some platform, after that the journal-header on journal corrupted.
1282     To avoid this, when closing jouranl we don't use aio.
1283     
1284     Fixes: 9073
1285     Reported-by: Mark Kirkwood <mark.kirkwood@catalyst.net.nz>
1286     Tested-by: Mark Kirkwood <mark.kirkwood@catalyst.net.nz>
1287     Signed-off-by: Ma Jianpeng <jianpeng.ma@intel.com>
1288     (cherry picked from commit e870fd09ce846e5642db268c33bbe8e2e17ffef2)
1289
1290 commit dbc33fbab4b35e2ce1e46a881f6714262502c243
1291 Author: Ma Jianpeng <jianpeng.ma@intel.com>
1292 Date:   Thu Aug 21 21:07:51 2014 +0800
1293
1294     os/FileJournal: Only using aio then alloc the related resources.
1295     
1296     If define HAVE_LIBAIO, it alloc related resouces. But itt don't check whether
1297     using aio mode. Only using aio it alloc the related resources.
1298     
1299     Signed-off-by: Ma Jianpeng <jianpeng.ma@intel.com>
1300     (cherry picked from commit a66a4931d5be9ee26c0983b3154fdbe37261a51c)
1301
1302 commit 3312c6eeca21dcd566df9bdd8de7b3fe33356b57
1303 Author: Ma Jianpeng <jianpeng.ma@intel.com>
1304 Date:   Thu Aug 21 15:49:44 2014 +0800
1305
1306     os/FileJournal: Tune the judge logic for read_header.
1307     
1308     When reading journal-header, it should firstly check the result of
1309     pread and then do decoce operation.
1310     
1311     Signed-off-by: Ma Jianpeng <jianpeng.ma@intel.com>
1312     (cherry picked from commit c8e2b89cf6bc36a0ff29887b9e76cbbeceef9f8f)
1313
1314 commit b42107584449e1f85cbee97bfa486ebeb310e6a1
1315 Author: Sage Weil <sage@redhat.com>
1316 Date:   Tue Aug 19 20:50:13 2014 -0700
1317
1318     os/FileJournal: signal aio_cond even if seq is 0
1319     
1320     This can happen if we write a journal but no events.
1321     
1322     Reported-by: Somnath Roy <somnath.roy@sandisk.com>
1323     Reported-by: Ma, Jianpeng <jianpeng.ma@intel.com>
1324     Signed-off-by: Sage Weil <sage@redhat.com>
1325     (cherry picked from commit 57778e2c577c1e1bbf9525232720a2994fa36abc)
1326
1327 commit 4a43ea171d84a9f3a13064030eb386fcfbe3bbb8
1328 Author: Ma Jianpeng <jianpeng.ma@intel.com>
1329 Date:   Wed Jul 23 10:10:38 2014 -0700
1330
1331     os/FileJournal: Update the journal header when closing journal
1332     
1333     When closing journal, it should check must_write_header and update
1334     journal header if must_write_header alreay set.
1335     It can reduce the nosense journal-replay after restarting osd.
1336     
1337     Signed-off-by: Ma Jianpeng <jianpeng.ma@intel.com>
1338     Reviewed-by: Sage Weil <sage@redhat.com>
1339     (cherry picked from commit 5bf472aefb7360a1fe17601b42e551df120badfb)
1340
1341 commit 0975ec9cec1c466f7b15f5173541a7eab02dae18
1342 Author: Sage Weil <sage@redhat.com>
1343 Date:   Tue Oct 21 06:53:36 2014 -0700
1344
1345     Revert "os/FileJournal: stop aio completion thread *after* writer thread"
1346     
1347     This reverts commit 334631ae4641824b3df49245f36a8fd4b143bf3f.
1348
1349 commit 5a10b95f7968ecac1f2af4abf9fb91347a290544
1350 Merge: cc69c16 d5bac46
1351 Author: Samuel Just <sam.just@inktank.com>
1352 Date:   Fri Oct 17 10:47:22 2014 -0700
1353
1354     Merge pull request #2716 from ceph/wip-firefly-9419
1355     
1356     Backport fix for bug #9419
1357
1358 commit cc69c16c2108cb231b2434a53e3eef51b597756b
1359 Merge: f9cdaab 334631a
1360 Author: Samuel Just <sam.just@inktank.com>
1361 Date:   Fri Oct 17 10:44:30 2014 -0700
1362
1363     Merge pull request #2724 from dachary/wip-9073-journal-aio-mode-firefly
1364     
1365     os/FileJournal: stop aio completion thread *after* writer thread
1366
1367 commit f9cdaabe078415d7927e2618030996f2f24be2f1
1368 Merge: 0b4b34a 412c277
1369 Author: Sage Weil <sage@redhat.com>
1370 Date:   Fri Oct 17 08:20:53 2014 -0700
1371
1372     Merge pull request #2742 from ceph/firefly-unknown-locktype
1373     
1374     mds: reply -EOPNOTSUPP for unknown lock type
1375
1376 commit 412c2770c74abea73a94e10df7b83ebe11ac82ee
1377 Author: Yan, Zheng <zyan@redhat.com>
1378 Date:   Tue Oct 14 22:02:41 2014 +0800
1379
1380     mds: reply -EOPNOTSUPP for unknown lock type
1381     
1382     Signed-off-by: Yan, Zheng <zyan@redhat.com>
1383     (cherry picked from commit 675392335c53ff7879031fb9184e4f35bcc90fe2)
1384
1385 commit 1228658871e53e350bdab3e72cdefd1caf33c291
1386 Author: Sage Weil <sage@redhat.com>
1387 Date:   Sun Sep 21 15:56:18 2014 -0700
1388
1389     osd/ReplicatedPG: do not clone or preserve snapdir on cache_evict
1390     
1391     If we cache_evict a head in a cache pool, we need to prevent
1392     make_writeable() from cloning the head and finish_ctx() from
1393     preserving the snapdir object.
1394     
1395     Fixes: #8629
1396     Backport: firefly
1397     Signed-off-by: Sage Weil <sage@redhat.com>
1398     (cherry picked from commit ce8eefca13008a9cce3aedd67b11537145e1fd77)
1399
1400 commit 88e6014463e86e48d78ac419226644209f83f2a0
1401 Author: Sage Weil <sage@redhat.com>
1402 Date:   Sun Sep 21 15:54:15 2014 -0700
1403
1404     ceph_test_rados_api_tier: add EvictSnap2 test case
1405     
1406     Verify an evict doesn't create a snapdir object.  Reproduces #8629
1407     
1408     Signed-off-by: Sage Weil <sage@redhat.com>
1409     (cherry picked from commit 398c74eacb1ce4e573aef0d24718a5925d90272b)
1410
1411 commit 0b4b34aac497d17a6474c35891aab2bde962524b
1412 Merge: 322958a 0a72235
1413 Author: Sage Weil <sage@redhat.com>
1414 Date:   Thu Oct 16 06:09:51 2014 -0700
1415
1416     Merge pull request #2734 from ceph/wip-firefly-undump
1417     
1418     mds: fix --undump-journal
1419     
1420     Reviewed-by: Sage Weil <sage@redhat.com>
1421
1422 commit 0a72235b0556752fadebc3e155ad41b13a0a15e9
1423 Author: John Spray <john.spray@redhat.com>
1424 Date:   Thu Oct 16 11:17:40 2014 +0100
1425
1426     mds: fix --undump-journal
1427     
1428     This hadn't worked for a long time.  This is a fix
1429     for firefly only, as this code was refactored in giant.
1430     
1431     Signed-off-by: John Spray <john.spray@redhat.com>
1432
1433 commit 835f8c6f6121f3ebdec3a0d2d5cb1376301dc03a
1434 Author: Joao Eduardo Luis <joao@redhat.com>
1435 Date:   Tue Sep 23 14:02:55 2014 +0100
1436
1437     ceph-mon: check fs stats just before preforking
1438     
1439     Otherwise statfs may fail if mkfs hasn't been run yet or if the monitor
1440     data directory does not exist.  There are checks to account for the mon
1441     data dir not existing and we should wait for them to clear before we go
1442     ahead and check the fs stats.
1443     
1444     Signed-off-by: Joao Eduardo Luis <joao@redhat.com>
1445     (cherry picked from commit 7f71c11666b25e91dd612c58b4eda9ac0d4752f8)
1446     
1447     Conflicts:
1448         src/ceph_mon.cc
1449
1450 commit 1ddf435464562f70f63cdb0032da3187f34ce853
1451 Author: Joao Eduardo Luis <joao@redhat.com>
1452 Date:   Thu Sep 18 16:53:43 2014 +0100
1453
1454     ceph_mon: check available storage space for mon data dir on start
1455     
1456     error out if available storage space is below 'mon data avail crit'
1457     
1458     Fixes: #9502
1459     
1460     Signed-off-by: Joao Eduardo Luis <joao@redhat.com>
1461     (cherry picked from commit 2da1a2914ac7df18ce842b0aac728fffb5bed2b6)
1462     
1463     Conflicts:
1464         src/ceph_mon.cc
1465
1466 commit 112317791b744d9890a65adcc13554c85e90f3af
1467 Author: Joao Eduardo Luis <joao@redhat.com>
1468 Date:   Thu Sep 18 16:52:34 2014 +0100
1469
1470     mon: DataHealthService: use get_fs_stats() instead
1471     
1472     and relieve the DataStats struct from clutter by using
1473     ceph_data_stats_t instead of multiple fields.
1474     
1475     Signed-off-by: Joao Eduardo Luis <joao@redhat.com>
1476     (cherry picked from commit 9996d446988768658db751a7843b13cf3d194213)
1477     
1478     Conflicts:
1479         src/mon/DataHealthService.cc
1480
1481 commit f0a92d72fd44542619338db7d6da98e147b6a9fc
1482 Author: Joao Eduardo Luis <joao@redhat.com>
1483 Date:   Thu Sep 18 16:32:20 2014 +0100
1484
1485     common: util: add get_fs_stats() function
1486     
1487     simplifies the task of obtaining available/used disk space, as well as
1488     used available percentage.
1489     
1490     Signed-off-by: Joao Eduardo Luis <joao@redhat.com>
1491     (cherry picked from commit 3d74230d1c0fbfa15487e2a90ac60b883476e840)
1492
1493 commit a8fa009fbe5d5d4d9cfa134d5ecd05c92290a8eb
1494 Author: Joao Eduardo Luis <jeclui@gmail.com>
1495 Date:   Thu Sep 18 16:25:44 2014 +0100
1496
1497     include/util.h: prevent multiple inclusion of header
1498     
1499     Signed-off-by: Joao Eduardo Luis <joao.luis@inktank.com>
1500     (cherry picked from commit 76eff9503493312cb97e4a2f9236f4dbcbf931df)
1501
1502 commit e296685e8f3f5158238216eefb76482bd6d55134
1503 Author: Sage Weil <sage@redhat.com>
1504 Date:   Thu Sep 18 14:23:36 2014 -0700
1505
1506     mon: re-bootstrap if we get probed by a mon that is way ahead
1507     
1508     During bootstrap we verify that our paxos commits overlap with the other
1509     mons we will form a quorum with.  If they do not, we do a sync.
1510     
1511     However, it is possible we pass those checks, then fail to join a quorum
1512     before the quorum moves ahead in time such that we no longer overlap.
1513     Currently nothing kicks up back into a probing state to discover we need
1514     to sync... we will just keep trying to call or join an election instead.
1515     
1516     Fix this by jumping back to bootstrap if we get a probe that is ahead of
1517     us.  Only do this from non probe or sync states as these will be common;
1518     it is only the active and electing states that matter (and probably just
1519     electing!).
1520     
1521     Fixes: #9301
1522     Backport: giant, firefly
1523     Signed-off-by: Sage Weil <sage@redhat.com>
1524     (cherry picked from commit c421b55e8e15ef04ca8aeb47f7d090375eaa8573)
1525
1526 commit 0e57767d5fc524939e8968b506ce2fb3f4f80656
1527 Author: Sage Weil <sage@redhat.com>
1528 Date:   Thu Sep 18 14:11:24 2014 -0700
1529
1530     mon/Paxos: fix off-by-one in last_ vs first_committed check
1531     
1532     peon last_committed + 1 == leader first_committed is okay.  Note that the
1533     other check (where I clean up whitespace) gets this correct.
1534     
1535     Fixes: #9301 (partly)
1536     Signed-off-by: Sage Weil <sage@redhat.com>
1537     (cherry picked from commit d81cd7f86695185dce31df76c33c9a02123f0e4a)
1538
1539 commit 1f4aaf648f4aa6f6056d0e8ce629eeea05c5424d
1540 Author: Sage Weil <sage@redhat.com>
1541 Date:   Wed Aug 13 16:17:02 2014 -0700
1542
1543     mon/Paxos: share state and verify contiguity early in collect phase
1544     
1545     We verify peons are contiguous and share new paxos states to catch peons
1546     up at the end of the round.  Do this each time we (potentially) get new
1547     states via a collect message.  This will allow peons to be pulled forward
1548     and remain contiguous when they otherwise would not have been able to.
1549     For example, if
1550     
1551       mon.0 (leader)  20..30
1552       mon.1 (peon)    15..25
1553       mon.2 (peon)    28..40
1554     
1555     If we got mon.1 first and then mon.2 second, we would store the new txns
1556     and then boot mon.1 out at the end because 15..25 is not contiguous with
1557     28..40.  However, with this change, we share 26..30 to mon.1 when we get
1558     the collect, and then 31..40 when we get mon.2's collect, pulling them
1559     both into the final quorum.
1560     
1561     It also breaks the 'catch-up' work into smaller pieces, which ought to
1562     smooth out latency a bit.
1563     
1564     Signed-off-by: Sage Weil <sage@redhat.com>
1565     (cherry picked from commit c54f1e4d66b22bad715ac17e9baa72ab93e48c46)
1566
1567 commit 6c5b9a666fcd94e175a8b9771368b55246957efe
1568 Author: Sage Weil <sage@redhat.com>
1569 Date:   Thu Aug 14 16:55:58 2014 -0700
1570
1571     mon/Paxos: verify all new peons are still contiguous at end of round
1572     
1573     During the collect phase we verify that each peon has overlapping or
1574     contiguous versions as us (and can therefore be caught up with some
1575     series of transactions).  However, we *also* assimilate any new states we
1576     get from those peers, and that may move our own first_committed forward
1577     in time.  This means that an early responder might have originally been
1578     contiguous, but a later one moved us forward, and when the round finished
1579     they were not contiguous any more.  This leads to a crash on the peon
1580     when they get our first begin message.
1581     
1582     For example:
1583     
1584      - we have 10..20
1585      - first peon has 5..15
1586        - ok!
1587      - second peon has 18..30
1588        - we apply this state
1589      - we are now 18..30
1590      - we finish the round
1591        - send commit to first peon (empty.. we aren't contiguous)
1592        - send no commit to second peon (we match)
1593      - we send a begin for state 31
1594        - first peon crashes (it's lc is still 15)
1595     
1596     Prevent this by checking at the end of the round if we are still
1597     contiguous.  If not, bootstrap.  This is similar to the check we do above,
1598     but reverse to make sure *we* aren't too far ahead of *them*.
1599     
1600     Fixes: #9053
1601     Signed-off-by: Sage Weil <sage@redhat.com>
1602     (cherry picked from commit 3e5ce5f0dcec9bbe9ed4a6b41758ab7802614810)
1603
1604 commit 11d2c9dd4aeb835ca73bfb41fb15b1038547adf6
1605 Author: Sage Weil <sage@redhat.com>
1606 Date:   Wed Aug 13 16:01:01 2014 -0700
1607
1608     mon/Paxos: put source mon id in a temp variable
1609     
1610     Signed-off-by: Sage Weil <sage@redhat.com>
1611     (cherry picked from commit bb046ed01ecf58b8c87eeeee2e00a476e6fba467)
1612
1613 commit 322958a5aad82c031b54592b372aa053e8993be4
1614 Author: Sage Weil <sage@redhat.com>
1615 Date:   Wed Oct 15 12:26:00 2014 -0700
1616
1617     qa/workunits/rbd/import_export.sh: be case insensitive
1618     
1619     Stop tripping over this change (from dumpling).
1620     
1621     Signed-off-by: Sage Weil <sage@redhat.com>
1622     (cherry picked from commit 5558afa03dbd1b20766b76e9410ef5bc3e73784f)
1623
1624 commit 334631ae4641824b3df49245f36a8fd4b143bf3f
1625 Author: Sage Weil <sage@redhat.com>
1626 Date:   Fri Aug 29 19:40:29 2014 -0700
1627
1628     os/FileJournal: stop aio completion thread *after* writer thread
1629     
1630     The writer thread may submit a new aio to update the header in its
1631     final moments before shutting down.  Do not stop the aio thread until after
1632     that has happened or else we may not wait for those aio completions.
1633     
1634     Signed-off-by: Sage Weil <sage@redhat.com>
1635     (cherry picked from commit c776a89880fdac270e6334ad8e49fa616d05d0d4)
1636     
1637     Conflicts:
1638         src/os/FileJournal.cc
1639
1640 commit 111eec9ff6325a12fcbf066ae08f27919aeae5d8
1641 Merge: cf4e300 6c0127f
1642 Author: Sage Weil <sage@redhat.com>
1643 Date:   Tue Oct 14 14:57:42 2014 -0700
1644
1645     Merge remote-tracking branch 'gh/firefly' into firefly-next
1646
1647 commit cf4e30095e8149d1df0f2c9b4c93c9df0779ec84
1648 Author: Xiaoxi Chen <xiaoxi.chen@intel.com>
1649 Date:   Tue Aug 5 16:12:22 2014 +0800
1650
1651     mon/OSDMonitor : Use user provided ruleset for replicated pool
1652     
1653     When creating a replicated pool, currently ceph ignore the ruleset
1654     name provided by user but use a global default ruleset.
1655     
1656     This patch fix this bug, so the rulset specified by
1657     ceph osd pool create replicated
1658     can be properly set.
1659     
1660     Signed-off-by: Xiaoxi Chen <xiaoxi.chen@intel.com>
1661     (cherry picked from commit bf9726a294abd32b429170284ac328a592802648)
1662
1663 commit bfd7da10e708a6eefc6d992b2b6337b7f06fd5ed
1664 Author: Loic Dachary <loic@dachary.org>
1665 Date:   Tue Jun 3 13:05:19 2014 +0200
1666
1667     documentation: update osd pool create erasure
1668     
1669     The properties are replaced with erasure code profiles. Remove the
1670     reference to properties and the documentation of each erasure-code
1671     related property.
1672     
1673     Signed-off-by: Loic Dachary <loic@dachary.org>
1674     (cherry picked from commit 8ff4edda73abb920c91e1226a330e3659def1fbe)
1675
1676 commit afe6bd89f8a1588fb67063d1a08a4be8c1ab2ce6
1677 Author: Loic Dachary <loic-201408@dachary.org>
1678 Date:   Sat Oct 11 18:20:36 2014 +0200
1679
1680     rpm: 95-ceph-osd-alt.rules is not needed for centos7 / rhel7
1681     
1682     The || instead of && had it always installed. That was fixed in EPEL
1683     already.
1684     
1685     http://tracker.ceph.com/issues/9747 Fixes: #9747
1686     
1687     Signed-off-by: Loic Dachary <loic-201408@dachary.org>
1688     (cherry picked from commit 5ff4a850a0d809b3f25988c6cceb82c35095ef84)
1689
1690 commit d5bac46e06c5420f29a021b294e391b2c6694cbd
1691 Author: David Zafman <dzafman@redhat.com>
1692 Date:   Wed Sep 24 16:02:21 2014 -0700
1693
1694     osd: Return EOPNOTSUPP if a set-alloc-hint occurs with OSDs that don't support
1695     
1696     Add CEPH_FEATURE_OSD_SET_ALLOC_HINT feature bit
1697     Collect the intersection of all peer feature bits during peering
1698     When handling CEPH_OSD_OP_SETALLOCHINT check that all OSDs support it
1699     by checking for CEPH_FEATURE_OSD_SET_ALLOC_HINT feature bit.
1700     
1701     Fixes: #9419
1702     Backport: firefly
1703     
1704     Signed-off-by: David Zafman <dzafman@redhat.com>
1705     (cherry picked from commit 9b39033f2b2bcdd2be0f6da4dff06023d0f77499)
1706     
1707     Conflicts:
1708     
1709         src/include/ceph_features.h
1710         src/osd/PG.cc
1711         src/osd/PG.h
1712         src/osd/ReplicatedPG.cc
1713
1714 commit de08802dcf35aea516d013d3d6116aaa7707b923
1715 Author: David Zafman <dzafman@redhat.com>
1716 Date:   Fri Sep 19 15:12:55 2014 -0700
1717
1718     osd: Remove unused PG functions queue_notify(), queue_info(), queue_log()
1719     
1720     Signed-off-by: David Zafman <dzafman@redhat.com>
1721     (cherry picked from commit 70ef4c11cbae669799c30c7592073ad7aa11dcd6)
1722
1723 commit 5b5aba73031e901457ca27cf15600ce1ca90e258
1724 Merge: 345714b a1ae7f4
1725 Author: Gregory Farnum <greg@inktank.com>
1726 Date:   Fri Oct 10 06:57:06 2014 -0700
1727
1728     Merge pull request #2691 from ceph/firefly-unused-variable
1729     
1730     Firefly unused variable
1731
1732 commit a1ae7f471c809e69d363b9145e70160533bfa48c
1733 Author: Yan, Zheng <zyan@redhat.com>
1734 Date:   Fri Oct 10 21:36:39 2014 +0800
1735
1736     mds: Locker: remove unused variable
1737     
1738     Signed-off-by: Yan, Zheng <zyan@redhat.com>
1739
1740 commit 345714b6b4d004ad03cc7952dc56c6db87664ee4
1741 Merge: fd20a1d 2afb6fe
1742 Author: Yan, Zheng <ukernel@gmail.com>
1743 Date:   Fri Oct 10 09:37:53 2014 +0800
1744
1745     Merge pull request #2681 from ceph/firefly-locker-null
1746     
1747     mds: Locker: fix a NULL deref in _update_cap_fields
1748
1749 commit 2afb6febdd8482b8fec5890d79944d656faf1382
1750 Author: Greg Farnum <greg@inktank.com>
1751 Date:   Thu Oct 9 15:12:19 2014 -0700
1752
1753     mds: Locker: fix a NULL deref in _update_cap_fields
1754     
1755     The MClientCaps* is allowed to be NULL, so we can't deref it unless
1756     the dirty param is non-zero. So don't do the ahead-of-time lookup;
1757     just call it explicitly in the if block.
1758     
1759     Signed-off-by: Greg Farnum <greg@inktank.com>
1760     (cherry picked from commit 3cd8a7fb9683577a7d6e934f18c29b7e84415be6)
1761
1762 commit fd20a1d01bde67fb1edc6058e38435af9d5d6abc
1763 Merge: e1bd1b2 86926c6
1764 Author: Loic Dachary <loic-201408@dachary.org>
1765 Date:   Wed Oct 8 08:44:46 2014 +0200
1766
1767     Merge pull request #2662 from dachary/wip-9677-ioprio-class-firefly
1768     
1769     common: ceph_ioprio_string_to_class always returns -EINVAL
1770
1771 commit 86926c6089d63014dd770b4bb61fc7aca3998542
1772 Author: Loic Dachary <loic-201408@dachary.org>
1773 Date:   Tue Oct 7 14:06:38 2014 +0200
1774
1775     common: ceph_ioprio_string_to_class always returns -EINVAL
1776     
1777     The l string is always empty because std::transform needs a
1778     pre-allocated string. Replace with the in-place version. Add unit tests.
1779     
1780     http://tracker.ceph.com/issues/9677 Fixes: #9677
1781     
1782     Signed-off-by: Loic Dachary <loic-201408@dachary.org>
1783     (cherry picked from commit 3535b7aba3df8b54fa5117b8a9c2f52b8f0f118b)
1784     
1785     Conflicts:
1786         src/test/Makefile.am
1787
1788 commit 5f2eec5036a2910aca1e8ce2d94444d3ed0477df
1789 Author: Loic Dachary <loic-201408@dachary.org>
1790 Date:   Tue Oct 7 14:05:08 2014 +0200
1791
1792     osd: log error if set_ioprio fails to parse class
1793     
1794     Signed-off-by: Loic Dachary <loic-201408@dachary.org>
1795     (cherry picked from commit 5088e0d49332d579ba7e33c2c9baee3d5f701a3e)
1796
1797 commit 2796d5151df4dcde324a4d09a83c9a779cece00e
1798 Author: Loic Dachary <loic-201408@dachary.org>
1799 Date:   Tue Oct 7 14:03:39 2014 +0200
1800
1801     common: set_ioprio debug message including pid
1802     
1803     Signed-off-by: Loic Dachary <loic-201408@dachary.org>
1804     (cherry picked from commit 33339c7754875eb7e513345ee6b26a9b2b4d2707)
1805
1806 commit d5ed6b0587b9999b2fd41377b0426e3b09ef8ab9
1807 Author: Loic Dachary <loic-201408@dachary.org>
1808 Date:   Tue Oct 7 14:02:09 2014 +0200
1809
1810     common: do not set ioprio if pid is not set
1811     
1812     Signed-off-by: Loic Dachary <loic-201408@dachary.org>
1813     (cherry picked from commit c7e4c0bfe70bf29d3b8fe4df4e4b934853e33d26)
1814
1815 commit e1bd1b2774f4eae5444b5f7b984193cb91a2dd98
1816 Merge: 726c6a1 459dca1
1817 Author: Sage Weil <sage@redhat.com>
1818 Date:   Tue Oct 7 09:58:03 2014 -0700
1819
1820     Merge pull request #2632 from ceph/wip-9039-firefly
1821     
1822     rgw: copy object data if target bucket is in a different pool
1823
1824 commit 726c6a147a14c00cf12eb6c6561655475282419f
1825 Author: Sage Weil <sage@redhat.com>
1826 Date:   Mon Oct 6 15:50:51 2014 -0700
1827
1828     debian/control: fix python-ceph -> ceph file move to allow upgrades
1829     
1830     This is a backport of 5c6c366d2abe771c581690270c2d176ebb30c571 with the
1831     version numbers changed, to compensate for the change in
1832     fe3434f41cd09433975d7d0f9dbb2fae662e4a1b (backported in
1833     bf1933e5c184476a354664c42fec834e9f59067c).
1834     
1835     Tested-by: Tamil Muthamizhan <tamil.muthamizhan@inktank.com>
1836     Signed-off-by: Sage Weil <sage@redhat.com>
1837
1838 commit 884f7c40c4a28d519847d3995c8d98e5837ceaf0
1839 Merge: 31d57c9 c8a8e47
1840 Author: Sage Weil <sage@redhat.com>
1841 Date:   Mon Oct 6 07:01:50 2014 -0700
1842
1843     Merge remote-tracking branch 'gh/wip-rpm-epoch-firefly' into firefly
1844     
1845     Reviewed-by: Boris Ranto <branto@redhat.com>
1846
1847 commit 31d57c9a28502a4a72f8aa141f7ed63ffe1e0192
1848 Merge: 9a3bac0 548be0b
1849 Author: Loic Dachary <loic-201408@dachary.org>
1850 Date:   Mon Oct 6 09:50:33 2014 +0200
1851
1852     Merge pull request #2643 from johnugeorge/wip-9492-crush-firefly
1853     
1854     Crush: Backporting fixes for #9492 to firefly
1855     
1856     Reviewed-by: Loic Dachary <loic-201408@dachary.org>
1857
1858 commit 548be0b2aea18ed3196ef8f0ab5f58a66e3a9af4
1859 Author: Johnu George <johnugeo@cisco.com>
1860 Date:   Mon Sep 29 10:07:44 2014 -0700
1861
1862     Crush: Ensuring at most num-rep osds are selected
1863     
1864     Crush temporary buffers are allocated as per replica size configured
1865     by the user.When there are more final osds (to be selected as per
1866     rule) than the replicas, buffer overlaps and it causes crash.Now, it
1867     ensures that at most num-rep osds are selected even if more number of
1868     osds are allowed by indep rule. The fix for firstn rules is already
1869     merged as part of bug #9492. Required test files are added.
1870     
1871     Fixes: #9492
1872     
1873     Signed-off-by: Johnu George johnugeo@cisco.com
1874     (cherry picked from commit 234b066ba04976783d15ff2abc3e81b6cc06fb10)
1875
1876 commit e30c570ce691a994898b4a933c57e7ae014cdc30
1877 Author: Johnu George <johnugeo@cisco.com>
1878 Date:   Wed Sep 24 09:32:50 2014 -0700
1879
1880     Crush: Ensuring at most num-rep osds are selected
1881     
1882     Crush temporary buffers are allocated as per replica size configured
1883     by the user.When there are more final osds (to be selected as per
1884     rule) than the replicas, buffer overlaps and it causes crash.Now, it
1885     ensures that at most num-rep osds are selected even if more number of
1886     osds are allowed by the rule.
1887     
1888     Fixes: #9492
1889     
1890     Signed-off-by: Johnu George <johnugeo@cisco.com>
1891     (cherry picked from commit 6b4d1aa99718e3b367496326c1e64551330fabc0)
1892
1893 commit 9a3bac0c1a7a42cdf7ba846c9ad0a3ae0f15b4bb
1894 Merge: 0b978fb 5a5e7e7
1895 Author: Sage Weil <sage@redhat.com>
1896 Date:   Fri Oct 3 11:58:41 2014 -0700
1897
1898     Merge pull request #2634 from dachary/wip-9653-ceph-disk-bootstrap-osd-firefly
1899     
1900     ceph-disk: bootstrap-osd keyring ignores --statedir (firefly)
1901
1902 commit c8a8e4763a55dec44836bc679254ee7dcc448567
1903 Author: Sage Weil <sage@redhat.com>
1904 Date:   Wed Oct 1 12:33:38 2014 -0700
1905
1906     ceph.spec: fix typo
1907     
1908     Signed-off-by: Sage Weil <sage@redhat.com>
1909     (cherry picked from commit da9ae5c92ecb4059e0ec6be5ce03af46430e76a5)
1910
1911 commit b890c1e4706d7cfef7ed24c9df65b439b4f7ff1d
1912 Author: Sage Weil <sage@redhat.com>
1913 Date:   Wed Oct 1 06:02:02 2014 -0700
1914
1915     ceph.spec.: add epoch
1916     
1917     This is done in fedora packaging.  Do it here too so that you can move
1918     between upstream packages (from ceph.com) and fedora and other derivatives
1919     will builds.
1920     
1921     Backport: firefly, dumpling
1922     Signed-off-by: Sage Weil <sage@redhat.com>
1923     (cherry picked from commit 83888362089346e473d6fd6e1d366b826d7bd739)
1924     
1925     Conflicts:
1926     
1927         ceph.spec.in
1928
1929 commit d01db8080d97bfae34dcee3d153bf10e6f5327dd
1930 Author: Sage Weil <sage@inktank.com>
1931 Date:   Tue May 20 13:41:35 2014 -0700
1932
1933     ceph.spec.in: remove BuildRoot
1934     
1935     Deprecated
1936     
1937     Fixes: #8143
1938     Signed-off-by: Sage Weil <sage@inktank.com>
1939     (cherry picked from commit 401319a1527dd9cb5398916105d31e7ec065763d)
1940
1941 commit 3c2b5c440863df548afc2bd8aa5440f15a44ac02
1942 Author: Dan Mick <dan.mick@inktank.com>
1943 Date:   Tue Aug 12 16:31:22 2014 -0700
1944
1945     ceph.spec.in: tests for rhel or centos need to not include _version
1946     
1947     rhel_version and centos_version are apparently the OpenSUSE Build
1948     names; the native macros are just "rhel" and "centos" (and contain
1949     a version number, should it be necessary).
1950     
1951     Signed-off-by: Dan Mick <dan.mick@inktank.com>
1952     (cherry picked from commit 7474f720c2418cf3d52b755f2b60c524e413570a)
1953
1954 commit c82c29d6174022be45929fe9ba8a84993eef974a
1955 Author: Dan Mick <dan.mick@inktank.com>
1956 Date:   Tue Aug 12 14:46:52 2014 -0700
1957
1958     ceph.spec.in: Add a small comment on the empty %files section
1959     
1960     as suggested by Dan Mick.
1961     
1962     Signed-off-by: Erik Logtenberg <erik@logtenberg.eu>
1963     (cherry picked from commit e37b262c7928934530c5bb09fe56f83eb61f4244)
1964
1965 commit a4f748aa906fc65b14f65515721bc3a815c18fb8
1966 Author: Dan Mick <dan.mick@inktank.com>
1967 Date:   Tue Aug 12 14:39:18 2014 -0700
1968
1969     ceph.spec.in: Obsolete all older versions.
1970     
1971     Now this changeset can be used on all current ceph releases that already
1972     have the package split.
1973     
1974     Signed-off-by: Erik Logtenberg <erik@logtenberg.eu>
1975     (cherry picked from commit 875a99e25f0ad2cb47149a3b5a28b4771a09125c)
1976
1977 commit 74c7f3caec1cc7a5da89ef33de36a8b59249cfcd
1978 Author: Dan Mick <dan.mick@inktank.com>
1979 Date:   Tue Aug 12 14:09:43 2014 -0700
1980
1981     ceph.spec.in: No version on ceph-libs Obsoletes.
1982     
1983     If we are installing with the new package structure we don't ever want the
1984     new package to co-exist with the old one; this includes the mistakenly-
1985     released v0.81 on Fedora, which should be removed in favor of this
1986     version.
1987     
1988     Signed-off-by: Sandon Van Ness <sandon@inktank.com>
1989     Reviewed-by: Dan Mick <dan.mick@inktank.com>
1990     (cherry picked from commit 8f95daf66b5fdb2a8141988480f984c1249599c5)
1991
1992 commit 561261b6efb7ea442686bb8fce387c4de2482067
1993 Author: Sandon Van Ness <sandon@inktank.com>
1994 Date:   Fri Aug 8 18:01:30 2014 -0700
1995
1996     ceph.spec.in: Obselete ceph-libcephfs (not libcephfs)
1997     
1998     I am guessing that because it was a sub-package libcephfs was mistakenly
1999     used instead of ceph-libcephfs.
2000     
2001     Signed-off-by: Sandon Van Ness <sandon@inktank.com>
2002     (cherry picked from commit 75985024bd30ca6fbe4c61aa7f7cbe5306c9a988)
2003
2004 commit 107bfd9ee7dbf360561187b9e0946964d40b9b1c
2005 Author: Erik Logtenberg <erik@logtenberg.eu>
2006 Date:   Fri Aug 1 14:20:18 2014 +0200
2007
2008     ceph.spec.in: We need those nice recent changes for rhel7 in Fedora too.
2009     
2010     Signed-off-by: Erik Logtenberg <erik@logtenberg.eu>
2011     (cherry picked from commit 00877ae502ac52613bcd5c5c834d72787d668dca)
2012
2013 commit 7946c5e5de8d6cd25d20beee15f3489113e51539
2014 Author: Dan Mick <dan.mick@inktank.com>
2015 Date:   Wed Aug 27 12:56:43 2014 -0700
2016
2017     Move fedora patch file (used by ceph.spec.in) to rpm/ subdir
2018     
2019     Signed-off-by: Dan Mick <dan.mick@inktank.com>
2020     (cherry picked from commit 06b92cee621cbe33a6f17e8c64169db4453a5160)
2021
2022 commit cb2ae9afa611175226efb5544f7d2aa705d55ece
2023 Author: Erik Logtenberg <erik@logtenberg.eu>
2024 Date:   Fri Aug 1 00:13:50 2014 +0200
2025
2026     ceph.spec.in, init-ceph.in: Don't autostart ceph service on Fedora.
2027     
2028     This patch is taken from the current Fedora package and makes the upstream
2029     ceph.spec compliant with Fedora policy. The goal is to be fully compliant
2030     upstream so that we can replace current Fedora package with upstream
2031     package to fix many bugs in Fedora.
2032     
2033     Addition from Dan Mick <dan.mick@inktank.com>:
2034     Do this for RHEL and Centos as well, since they surely will benefit
2035     from the same policy.   Note: this requires changes to
2036     autobuild-ceph and ceph-build scripts, which currently copy
2037     only the dist tarball to the rpmbuild/SOURCES dir.
2038     
2039     Signed-off-by: Erik Logtenberg <erik@logtenberg.eu>
2040     Signed-off-by: Dan Mick <dan.mick@inktank.com>:
2041     (cherry picked from commit 461523b06cdf93e32f1d8b354ac3799e73162d33)
2042
2043 commit 2b11376f1ee8925ab16065ebda912b11d3d7be59
2044 Author: Erik Logtenberg <erik@logtenberg.eu>
2045 Date:   Thu Jul 31 23:54:03 2014 +0200
2046
2047     ceph.spec.in: Add obsoletes for libcephfs
2048     
2049     This fixes a bug for Fedora:
2050     https://bugzilla.redhat.com/show_bug.cgi?id=1116614
2051     
2052     Signed-off-by: Erik Logtenberg <erik@logtenberg.eu>
2053     (cherry picked from commit e9da2d8f2142771f206ef67f19e7f194855275d0)
2054
2055 commit eefc62e3b85f402a7e1ae31c272c8a432d979379
2056 Author: Erik Logtenberg <erik@logtenberg.eu>
2057 Date:   Thu Jul 31 23:49:56 2014 +0200
2058
2059     ceph.spec.in: add ceph-libs-compat
2060     
2061     Added a ceph-libs-compat package in accordance with Fedora packaging
2062     guidelines [1], to handle the recent package split more gracefully.
2063     In Fedora this is necessary because there are already other packages
2064     depending on ceph-libs, that need to be adjusted to depend on the new
2065     split packages instead. In the mean time, ceph-libs-compat prevents
2066     breakage.
2067     
2068     [1] http://fedoraproject.org/wiki/Upgrade_paths_%E2%80%94_renaming_or_splitting_packages
2069     
2070     Signed-off-by: Erik Logtenberg <erik@logtenberg.eu>
2071     (cherry picked from commit 6c264f2204cbd54d90b02101e40ac9aa5aa72d7c)
2072     
2073     Conflicts:
2074     
2075         ceph.spec.in
2076
2077 commit 0b978fb15a1307644aba3119419bb7386f98ee04
2078 Author: Sage Weil <sage@redhat.com>
2079 Date:   Sun Aug 10 14:41:19 2014 -0700
2080
2081     mon/Paxos: add perfcounters for most paxos operations
2082     
2083     I'm focusing primarily on the ones that result in IO here.
2084     
2085     Signed-off-by: Sage Weil <sage@redhat.com>
2086     (cherry picked from commit b09b8563d35dda23faed43afef2a983e93a879c5)
2087
2088 commit 74aa7afc719e517dbed300f802c1bc2dafe43ee0
2089 Author: Sage Weil <sage@redhat.com>
2090 Date:   Sun Aug 10 14:00:11 2014 -0700
2091
2092     mon/MonitorDBStore: add get_{keys,bytes}() accounting to Transaction
2093     
2094     Signed-off-by: Sage Weil <sage@redhat.com>
2095     (cherry picked from commit fd421b26748e872ddf8e0f068dda2106853edff1)
2096
2097 commit 5a5e7e7bcedbccbe4ae8aab159af6d8615eb3887
2098 Author: Loic Dachary <loic-201408@dachary.org>
2099 Date:   Fri Oct 3 14:08:57 2014 +0200
2100
2101     ceph-disk: bootstrap-osd keyring ignores --statedir
2102     
2103     The STATEDIR variable is used to initialize the bootstrap-osd keyring
2104     before it gets a chance to be overriden by --statedir. Replace it with
2105     {statedir} so that it can be substituted after all options have been
2106     parsed.
2107     
2108     http://tracker.ceph.com/issues/9653 Fixes: #9653
2109     
2110     Signed-off-by: Loic Dachary <loic-201408@dachary.org>
2111     (cherry picked from commit fa0bd06b4657e5b84e237b76033ac3d3478b6a1f)
2112
2113 commit 459dca1613a14cfad8d3afd7e3c783d825573a42
2114 Author: Yehuda Sadeh <yehuda@redhat.com>
2115 Date:   Tue Aug 12 13:36:11 2014 -0700
2116
2117     rgw: copy object data if target bucket is in a different pool
2118     
2119     Fixes: #9039
2120     Backport: firefly
2121     
2122     The new manifest does not provide a way to put the head and the tail in
2123     separate pools. In any case, if an object is copied between buckets in
2124     different pools, we may really just want the object to be copied, rather
2125     than reference counted.
2126     
2127     Signed-off-by: Yehuda Sadeh <yehuda@redhat.com>
2128     (cherry picked from commit 5d3a7e595f47455896304bf358e5251915d0f16f)
2129
2130 commit 711a7e6f81983ff2091caa0f232af914a04a041c
2131 Author: Jason Dillaman <dillaman@redhat.com>
2132 Date:   Mon Sep 15 00:53:50 2014 -0400
2133
2134     rbd: ObjectCacher reads can hang when reading sparse files
2135     
2136     The pending read list was not properly flushed when empty objects
2137     were read from a space file.
2138     
2139     Signed-off-by: Jason Dillaman <dillaman@redhat.com>
2140     (cherry picked from commit cdb7675a21c9107e3596c90c2b1598def3c6899f)
2141
2142 commit b7784dc1baa47560a733fe9dcd2acec51bc93165
2143 Author: Jason Dillaman <dillaman@redhat.com>
2144 Date:   Sat Sep 6 22:59:40 2014 -0400
2145
2146     Enforce cache size on read requests
2147     
2148     In-flight cache reads were not previously counted against
2149     new cache read requests, which could result in very large
2150     cache usage.  This effect is most noticeable when writing
2151     small chunks to a cloned image since each write requires
2152     a full object read from the parent.
2153     
2154     Signed-off-by: Jason Dillaman <dillaman@redhat.com>
2155     (cherry picked from commit 4fc9fffc494abedac0a9b1ce44706343f18466f1)
2156
2157 commit ac4fca065a12f3b00a47bf5ec37983696255174b
2158 Author: Alexandre Marangone <alexandre.marangone@inktank.com>
2159 Date:   Fri Sep 5 10:36:24 2014 -0700
2160
2161     rgw: add .log to default log path
2162     
2163     Fixes: #9353
2164     Signed-off-by: Alexandre Marangone <alexandre.marangone@inktank.com>
2165     (cherry picked from commit 46732420897a2619059050044f4980a4737df43e)
2166
2167 commit f03ae7b00e5694f1670493396a1cee195fcc6b35
2168 Merge: 78c3ef9 ee02cfd
2169 Author: Yehuda Sadeh <yehuda@inktank.com>
2170 Date:   Thu Oct 2 15:28:40 2014 -0700
2171
2172     Merge pull request #2565 from ceph/wip-rgw-firefly-backports
2173     
2174     Wip rgw firefly backports
2175
2176 commit 78c3ef90604ca117255cefe232771a7564fed8b1
2177 Author: Sage Weil <sage@redhat.com>
2178 Date:   Thu Sep 25 13:16:52 2014 -0700
2179
2180     osdc/Objecter: only post_rx_buffer if no op timeout
2181     
2182     If we post an rx buffer and there is a timeout, the revocation can happen
2183     while the reader has consumed the buffers but before it has decoded and
2184     constructed the message.  In particular, we calculate a crc32c over the
2185     data portion of the message after we've taken the buffers and dropped the
2186     lock.
2187     
2188     Instead of fixing this race (for example, by reverifying rx_buffers under
2189     the lock while calculating the crc.. bleh), just skip the rx buffer
2190     optimization entirely when a timeout is present.
2191     
2192     Note that this doesn't cover the op_cancel() paths, but none of those users
2193     provide static buffers to read into.
2194     
2195     Fixes: #9582
2196     Backport: firefly, dumpling
2197     Signed-off-by: Sage Weil <sage@redhat.com>
2198     
2199     backport of 126d0b30e990519b8f845f99ba893fdcd56de447
2200
2201 commit a261b4952056aab7b067453930342960bbe55089
2202 Author: Sage Weil <sage@redhat.com>
2203 Date:   Mon Sep 29 14:28:32 2014 -0700
2204
2205     debian: move ceph_rest_api.py into ceph
2206     
2207     Signed-off-by: Sage Weil <sage@redhat.com>
2208     (cherry picked from commit fe3434f41cd09433975d7d0f9dbb2fae662e4a1b)
2209
2210 commit eb0f6e347969b40c0655d3165a6c4531c6b595a3
2211 Author: Sage Weil <sage@redhat.com>
2212 Date:   Mon Sep 29 14:24:01 2014 -0700
2213
2214     ceph.spec.in: move ceph_rest_api.py into ceph
2215     
2216     Signed-off-by: Sage Weil <sage@redhat.com>
2217     (cherry picked from commit 8cda623e0ba34a48a70e9ea988d619b15605c4fd)
2218
2219 commit c4188e31f7bc8f3c337e637cd99c41d5ee4b6787
2220 Author: Sage Weil <sage@redhat.com>
2221 Date:   Mon Sep 29 13:44:03 2014 -0700
2222
2223     ceph.spec: fix python-flask dependency
2224     
2225     This is needed by ceph-rest-api, which is in ceph.rpm; it's not related to
2226     python-ceph (except that ceph-rest-api happens to require that too).
2227     
2228     Backport: firefly
2229     Signed-off-by: Sage Weil <sage@redhat.com>
2230     (cherry picked from commit b2416240b88b2e067dfc79a2723335f1584562d0)
2231
2232 commit bf1933e5c184476a354664c42fec834e9f59067c
2233 Author: Sage Weil <sage@redhat.com>
2234 Date:   Mon Sep 29 13:40:18 2014 -0700
2235
2236     debian: python-flask is needed by ceph, not python-ceph
2237     
2238     It's used by ceph-rest-api which is in the 'ceph' (server) package.
2239     
2240     Backport: firefly
2241     Signed-off-by: Sage Weil <sage@redhat.com>
2242     (cherry picked from commit e42424e777e4f7d8b03650482253734c1fa8709d)
2243     
2244     Conflicts:
2245     
2246         debian/control
2247
2248 commit 94a7fbaa11c51db294dce0dc1df728f69aef5bf8
2249 Author: Danny Al-Gaaf <danny.al-gaaf@bisect.de>
2250 Date:   Fri Sep 19 12:25:07 2014 +0200
2251
2252     rgw_main.cc: add missing virtual destructor for RGWRequest
2253     
2254     CID 1160858 (#1 of 1): Non-virtual destructor (VIRTUAL_DTOR)
2255      nonvirtual_dtor: Class RGWLoadGenRequest has a destructor
2256      and a pointer to it is upcast to class RGWRequest which doesn't
2257      have a virtual destructor.
2258     
2259     Signed-off-by: Danny Al-Gaaf <danny.al-gaaf@bisect.de>
2260     (cherry picked from commit b82ceda7775ff85943d9143b73789eb37b09bfa9)
2261
2262 commit 9fee8de25ab5c155cd6a3d32a71e45630a5ded15
2263 Author: Greg Farnum <greg@inktank.com>
2264 Date:   Mon Sep 29 16:10:36 2014 -0700
2265
2266     Locker: accept ctime updates from clients without dirty write caps
2267     
2268     The ctime changes any time the inode does. That can happen even without
2269     the file itself having changed, so we'd better accept the update whenever
2270     the auth caps have dirtied, without worrying about the file caps!
2271     
2272     Fixes: #9514
2273     Backport: firefly
2274     
2275     Signed-off-by: Greg Farnum <greg@inktank.com>
2276     Reviewed-by: Sage Weil <sage@redhat.com>
2277     Reviewed-by: John Spray <john.spray@redhat.com>
2278     (cherry picked from commit 0ea20a668cf859881c49b33d1b6db4e636eda18a)
2279
2280 commit 461ece5e9fb1d4994a6214a3b6bdae136773629d
2281 Author: Sage Weil <sage@redhat.com>
2282 Date:   Wed Oct 1 18:01:51 2014 -0700
2283
2284     doc/release-notes: fix attributions for 8702 fix
2285     
2286     Oops!
2287     
2288     Signed-off-by: Sage Weil <sage@redhat.com>
2289     (cherry picked from commit 188370a94353e29fcb8981699022803e23f3fedd)
2290
2291 commit 917529a78e5046f621df5c48fe5d50d2f7e56560
2292 Author: Sage Weil <sage@redhat.com>
2293 Date:   Wed Oct 1 17:48:12 2014 -0700
2294
2295     doc/release-notes: v0.80.6
2296     
2297     Signed-off-by: Sage Weil <sage@redhat.com>
2298     (cherry picked from commit c0dc3a56974a469b61523b67cc032cc5726a3a5f)
2299     
2300     Conflicts:
2301     
2302         doc/release-notes.rst
2303
2304 commit 060a5b1422fcdfb8e84636579a2f0c2f1ec14300
2305 Author: Adam Crume <adamcrume@gmail.com>
2306 Date:   Thu Sep 18 16:57:27 2014 -0700
2307
2308     common: Add cctid meta variable
2309     
2310     Fixes: #6228
2311     Signed-off-by: Adam Crume <adamcrume@gmail.com>
2312     (cherry picked from commit bb45621cb117131707a85154292a3b3cdd1c662a)
2313
2314 commit a1aa06b7fb30e509193e1b1bb7355b5f21aedc82
2315 Author: Samuel Just <sam.just@inktank.com>
2316 Date:   Wed Oct 1 14:30:59 2014 -0700
2317
2318     ReplicatedPG: dump snap_trimq on pg query
2319     
2320     Signed-off-by: Samuel Just <sam.just@inktank.com>
2321
2322 commit 34f38b68d89baf1dcbb4571d4f4d3076dc354538
2323 Author: Samuel Just <sam.just@inktank.com>
2324 Date:   Mon Sep 29 16:26:54 2014 -0700
2325
2326     ReplicatedPG: do not queue the snap trimmer constantly
2327     
2328     Previously, we continuously requeued the snap trimmer while in
2329     TrimmingObjects.  This is not a good idea now that we try to
2330     limit the number of snap trimming repops in flight and requeue
2331     the snap trimmer directly as those repops complete.
2332     
2333     Fixes: #9113
2334     Backport: giant, dumpling, firefly
2335     Signed-off-by: Samuel Just <sam.just@inktank.com>
2336
2337 commit b29bf00f68cf133151c98db06e9498b3e8be22ed
2338 Author: Samuel Just <sam.just@inktank.com>
2339 Date:   Wed Sep 24 13:55:47 2014 -0700
2340
2341     ReplicatedPG: clean out completed trimmed objects as we go
2342     
2343     Also, explicitely maintain a max number of concurrently trimming
2344     objects.
2345     
2346     Fixes: 9113
2347     Backport: dumpling, firefly, giant
2348     Signed-off-by: Samuel Just <sam.just@inktank.com>
2349
2350 commit ee02cfd23facb3404fc377f643b213c2f498474d
2351 Author: Yehuda Sadeh <yehuda@redhat.com>
2352 Date:   Thu Sep 18 20:53:10 2014 -0700
2353
2354     rgw: calculate hash after writing data
2355     
2356     Since data is written asynchronously, we should do the hash calculation
2357     while it's pending.
2358     
2359     Signed-off-by: Yehuda Sadeh <yehuda@redhat.com>
2360     (cherry picked from commit 5bb94ede19a50543a02a8019ed6c9680b3852d4e)
2361
2362 commit 216730221575d88a72b06ed3d71c9a54cffc5719
2363 Author: Yehuda Sadeh <yehuda@redhat.com>
2364 Date:   Thu Sep 18 20:51:02 2014 -0700
2365
2366     crypto: don't hash zero sized buffer
2367     
2368     libnss returns an error and we assert in that case.
2369     
2370     Signed-off-by: Yehuda Sadeh <yehuda@redhat.com>
2371     (cherry picked from commit 7b137246b49a9f0b4d8b8d5cebfa78cc1ebd14e7)
2372
2373 commit dab7a4f6ad054b53cedca76ee329a6395918b1ab
2374 Author: Yehuda Sadeh <yehuda@redhat.com>
2375 Date:   Fri Sep 12 14:07:44 2014 -0700
2376
2377     rgw: push hash calculater deeper
2378     
2379     This might have been the culprit for #9307. Before we were calculating
2380     the hash after the call to processor->handle_data(), however, that
2381     method might have spliced the bufferlist, so we can't be sure that the
2382     pointer that we were holding originally is still invalid. Instead, push
2383     the hash calculation down. Added a new explicit complete_hash() call to
2384     the processor, since when we're at complete() it's too late (we need to
2385     have the hash at that point already).
2386     
2387     Signed-off-by: Yehuda Sadeh <yehuda@redhat.com>
2388     (cherry picked from commit d41c3e858c6f215792c67b8c2a42312cae07ece9)
2389     
2390     Conflicts:
2391         src/rgw/rgw_rados.h
2392
2393 commit bd0a91343ce70d71acced753688a502b7e8b552e
2394 Author: Yehuda Sadeh <yehuda@redhat.com>
2395 Date:   Thu Aug 21 16:30:10 2014 -0700
2396
2397     rgw: separate civetweb log from rgw log
2398     
2399     The civetweb log now is independent from the rgw log.
2400     
2401     Signed-off-by: Yehuda Sadeh <yehuda@redhat.com>
2402     (cherry picked from commit 850242cad749e33e1e6bc008baa75c8ea7eda0c1)
2403     
2404     Conflicts:
2405         src/civetweb
2406         src/rgw/rgw_main.cc
2407
2408 commit a777562b780e7ab312f881c38b1db26983a1ac47
2409 Author: Yehuda Sadeh <yehuda@redhat.com>
2410 Date:   Tue Sep 23 13:40:39 2014 -0700
2411
2412     civetweb: update submodule
2413     
2414     Update submodule to include multiple fixes.
2415     
2416     Signed-off-by: Yehuda Sadeh <yehuda@redhat.com>
2417
2418 commit 1bdcc079d79d8211b44e2a46511cd2240f71744b
2419 Author: Yehuda Sadeh <yehuda@redhat.com>
2420 Date:   Fri Aug 22 15:12:16 2014 -0700
2421
2422     rgw: convert header field underscores into dashes
2423     
2424     Fixes: 9206
2425     Backport: firefly
2426     
2427     Certain web servers filter out underscores in the header field name.
2428     Convert them into dashes.
2429     
2430     Signed-off-by: Yehuda Sadeh <yehuda@redhat.com>
2431     (cherry picked from commit 11acb7097ce21c6218dd48d0c21e0e04a361eb9a)
2432
2433 commit b8fa2ed60b6cce51701df972dbb6f5e02e0d84ba
2434 Author: Yehuda Sadeh <yehuda@redhat.com>
2435 Date:   Mon Aug 25 10:38:42 2014 -0700
2436
2437     rgw: fix test to identify whether object has tail
2438     
2439     Fixes: #9226
2440     Reported-by: Sylvain Munaut <s.munaut@whatever-company.com>
2441     Backport: firefly
2442     
2443     We need to identify whether an object is just composed of a head, or
2444     also has a tail. Test for pre-firefly objects ("explicit objs") was
2445     broken as it was just looking at the number of explicit objs in the
2446     manifest. However, this is insufficient, as we might have empty head,
2447     and in this case it wouldn't appear, so we need to check whether the
2448     sole object is actually pointing at the head.
2449     
2450     Signed-off-by: Yehuda Sadeh <yehuda@redhat.com>
2451     (cherry picked from commit 751b3e26532932a42ca34f9c062a0a3e29a58cff)
2452
2453 commit 6fee71154d838868807fd9824d829c8250d9d2eb
2454 Author: Yehuda Sadeh <yehuda@redhat.com>
2455 Date:   Wed Aug 27 17:44:18 2014 -0700
2456
2457     rgw: don't try to authenticate a CORS preflight request
2458     
2459     Fixes: #8718
2460     Backport: firefly
2461     
2462     CORS preflight requests don't need to be authenticated. Treat them as
2463     coming from anonymous user.
2464     
2465     Reported-by: Robert Hubbard <bobby.hubbard@garmin.com>
2466     Signed-off-by: Yehuda Sadeh <yehuda@redhat.com>
2467     (cherry picked from commit 848fcf7871e07fc689bdcd18943ace36b2f4906e)
2468
2469 commit c75a79cbac30cd14d37d89217113824d98693572
2470 Author: Yehuda Sadeh <yehuda@redhat.com>
2471 Date:   Thu Aug 14 13:35:12 2014 -0700
2472
2473     rgw: fix compilation
2474     
2475     RGWRadosPutObj couldn't refer to the ceph context.
2476     
2477     Reviewed-by: Sage Weil <sage@redhat.com>
2478     Signed-off-by: Yehuda Sadeh <yehuda@redhat.com>
2479     (cherry picked from commit 6a555434ee3edaf742ee7e5910bcba8dd0de46dd)
2480
2481 commit b0d08aab837808f18708a4f8ced0503c0fce2fec
2482 Author: Yehuda Sadeh <yehuda@redhat.com>
2483 Date:   Tue Aug 12 11:17:47 2014 -0700
2484
2485     rgw: call throttle_data() even if renew_state() failed
2486     
2487     Otherwise we're going to leak the aio callback handle.
2488     
2489     Signed-off-by: Yehuda Sadeh <yehuda@redhat.com>
2490     (cherry picked from commit 7998c322179dd69a1250937321c3c2bb023e0e57)
2491
2492 commit a953b313f1e2f884be6ee2ce356780f4f70849dd
2493 Author: Yehuda Sadeh <yehuda@redhat.com>
2494 Date:   Wed Jul 30 21:32:48 2014 -0700
2495
2496     rgw: disable civetweb url decoding
2497     
2498     Fixes: #8621
2499     
2500     We want to have the raw request uri, as we do the decoding ourselves.
2501     
2502     Signed-off-by: Yehuda Sadeh <yehuda@redhat.com>
2503     (cherry picked from commit ffac52b316e7022796d44ae58804d9c20b9c3df9)
2504
2505 commit ba5357714a19b8af989fef1c75ef775837c6a9d6
2506 Author: Yehuda Sadeh <yehuda@redhat.com>
2507 Date:   Tue Aug 12 14:23:46 2014 -0700
2508
2509     rgw: copy_obj_data() uses atomic processor
2510     
2511     Fixes: #9089
2512     
2513     copy_obj_data was not using the current object write infrastructure,
2514     which means that the end objects weren't striped.
2515     
2516     Signed-off-by: Yehuda Sadeh <yehuda@redhat.com>
2517     (cherry picked from commit 800eff24824c0083b8e2441fc34e0bdca5da36dc)
2518
2519 commit d73dbc3a39117eddaaabb2c25d9238cd7c51711b
2520 Author: Yehuda Sadeh <yehuda@redhat.com>
2521 Date:   Thu Aug 21 21:53:38 2014 -0700
2522
2523     rgw: clear bufferlist if write_data() successful
2524     
2525     Fixes: #9201
2526     Backport: firefly
2527     
2528     We sometimes need to call RGWPutObjProcessor::handle_data() again,
2529     so that we send the pending data. However, we failed to clear the buffer
2530     that was already sent, thus it was resent. This triggers when using non
2531     default pool alignments.
2532     
2533     Signed-off-by: Yehuda Sadeh <yehuda@redhat.com>
2534     (cherry picked from commit 9181114d6f6062c55ee4b351fc3495345e545c36)
2535
2536 commit 4be53d5eebbc294878ba38050d841359b6c8e19e
2537 Author: Samuel Just <sam.just@inktank.com>
2538 Date:   Tue Sep 23 12:16:55 2014 -0700
2539
2540     PG: check full ratio again post-reservation
2541     
2542     Otherwise, we might queue 30 pgs for backfill at 0.80 fullness
2543     and then never check again filling the osd after pg 11.
2544     
2545     Fixes: #9574
2546     Backport: dumpling, firefly, giant
2547     Signed-off-by: Samuel Just <sam.just@inktank.com>