qemu/block/raw-posix.c

   1 /*
   2  * Block driver for RAW files (posix)
   3  *
   4  * Copyright (c) 2006 Fabrice Bellard
   5  *
   6  * Permission is hereby granted, free of charge, to any person obtaining a copy
   7  * of this software and associated documentation files (the "Software"), to deal
   8  * in the Software without restriction, including without limitation the rights
   9  * to use, copy, modify, merge, publish, distribute, sublicense, and/or sell
  10  * copies of the Software, and to permit persons to whom the Software is
  11  * furnished to do so, subject to the following conditions:
  12  *
  13  * The above copyright notice and this permission notice shall be included in
  14  * all copies or substantial portions of the Software.
  15  *
  16  * THE SOFTWARE IS PROVIDED "AS IS", WITHOUT WARRANTY OF ANY KIND, EXPRESS OR
  17  * IMPLIED, INCLUDING BUT NOT LIMITED TO THE WARRANTIES OF MERCHANTABILITY,
  18  * FITNESS FOR A PARTICULAR PURPOSE AND NONINFRINGEMENT. IN NO EVENT SHALL
  19  * THE AUTHORS OR COPYRIGHT HOLDERS BE LIABLE FOR ANY CLAIM, DAMAGES OR OTHER
  20  * LIABILITY, WHETHER IN AN ACTION OF CONTRACT, TORT OR OTHERWISE, ARISING FROM,
  21  * OUT OF OR IN CONNECTION WITH THE SOFTWARE OR THE USE OR OTHER DEALINGS IN
  22  * THE SOFTWARE.
  23  */
  24 #include "qemu/osdep.h"
  25 #include "qapi/error.h"
  26 #include "qemu/cutils.h"
  27 #include "qemu/error-report.h"
  28 #include "qemu/timer.h"
  29 #include "qemu/log.h"
  30 #include "block/block_int.h"
  31 #include "qemu/module.h"
  32 #include "trace.h"
  33 #include "block/thread-pool.h"
  34 #include "qemu/iov.h"
  35 #include "raw-aio.h"
  36 #include "qapi/util.h"
  37 #include "qapi/qmp/qstring.h"
  38
  39 #if defined(__APPLE__) && (__MACH__)
  40 #include <paths.h>
  41 #include <sys/param.h>
  42 #include <IOKit/IOKitLib.h>
  43 #include <IOKit/IOBSD.h>
  44 #include <IOKit/storage/IOMediaBSDClient.h>
  45 #include <IOKit/storage/IOMedia.h>
  46 #include <IOKit/storage/IOCDMedia.h>
  47 //#include <IOKit/storage/IOCDTypes.h>
  48 #include <IOKit/storage/IODVDMedia.h>
  49 #include <CoreFoundation/CoreFoundation.h>
  50 #endif
  51
  52 #ifdef __sun__
  53 #define _POSIX_PTHREAD_SEMANTICS 1
  54 #include <sys/dkio.h>
  55 #endif
  56 #ifdef __linux__
  57 #include <sys/ioctl.h>
  58 #include <sys/param.h>
  59 #include <linux/cdrom.h>
  60 #include <linux/fd.h>
  61 #include <linux/fs.h>
  62 #include <linux/hdreg.h>
  63 #include <scsi/sg.h>
  64 #ifdef __s390__
  65 #include <asm/dasd.h>
  66 #endif
  67 #ifndef FS_NOCOW_FL
  68 #define FS_NOCOW_FL                     0x00800000 /* Do not cow file */
  69 #endif
  70 #endif
  71 #if defined(CONFIG_FALLOCATE_PUNCH_HOLE) || defined(CONFIG_FALLOCATE_ZERO_RANGE)
  72 #include <linux/falloc.h>
  73 #endif
  74 #if defined (__FreeBSD__) || defined(__FreeBSD_kernel__)
  75 #include <sys/disk.h>
  76 #include <sys/cdio.h>
  77 #endif
  78
  79 #ifdef __OpenBSD__
  80 #include <sys/ioctl.h>
  81 #include <sys/disklabel.h>
  82 #include <sys/dkio.h>
  83 #endif
  84
  85 #ifdef __NetBSD__
  86 #include <sys/ioctl.h>
  87 #include <sys/disklabel.h>
  88 #include <sys/dkio.h>
  89 #include <sys/disk.h>
  90 #endif
  91
  92 #ifdef __DragonFly__
  93 #include <sys/ioctl.h>
  94 #include <sys/diskslice.h>
  95 #endif
  96
  97 #ifdef CONFIG_XFS
  98 #include <xfs/xfs.h>
  99 #endif
 100
 101 //#define DEBUG_BLOCK
 102
 103 #ifdef DEBUG_BLOCK
 104 # define DEBUG_BLOCK_PRINT 1
 105 #else
 106 # define DEBUG_BLOCK_PRINT 0
 107 #endif
 108 #define DPRINTF(fmt, ...) \
 109 do { \
 110     if (DEBUG_BLOCK_PRINT) { \
 111         printf(fmt, ## __VA_ARGS__); \
 112     } \
 113 } while (0)
 114
 115 /* OS X does not have O_DSYNC */
 116 #ifndef O_DSYNC
 117 #ifdef O_SYNC
 118 #define O_DSYNC O_SYNC
 119 #elif defined(O_FSYNC)
 120 #define O_DSYNC O_FSYNC
 121 #endif
 122 #endif
 123
 124 /* Approximate O_DIRECT with O_DSYNC if O_DIRECT isn't available */
 125 #ifndef O_DIRECT
 126 #define O_DIRECT O_DSYNC
 127 #endif
 128
 129 #define FTYPE_FILE   0
 130 #define FTYPE_CD     1
 131
 132 #define MAX_BLOCKSIZE   4096
 133
 134 typedef struct BDRVRawState {
 135     int fd;
 136     int type;
 137     int open_flags;
 138     size_t buf_align;
 139
 140 #ifdef CONFIG_LINUX_AIO
 141     int use_aio;
 142     void *aio_ctx;
 143 #endif
 144 #ifdef CONFIG_XFS
 145     bool is_xfs:1;
 146 #endif
 147     bool has_discard:1;
 148     bool has_write_zeroes:1;
 149     bool discard_zeroes:1;
 150     bool has_fallocate;
 151     bool needs_alignment;
 152 } BDRVRawState;
 153
 154 typedef struct BDRVRawReopenState {
 155     int fd;
 156     int open_flags;
 157 #ifdef CONFIG_LINUX_AIO
 158     int use_aio;
 159 #endif
 160 } BDRVRawReopenState;
 161
 162 static int fd_open(BlockDriverState *bs);
 163 static int64_t raw_getlength(BlockDriverState *bs);
 164
 165 typedef struct RawPosixAIOData {
 166     BlockDriverState *bs;
 167     int aio_fildes;
 168     union {
 169         struct iovec *aio_iov;
 170         void *aio_ioctl_buf;
 171     };
 172     int aio_niov;
 173     uint64_t aio_nbytes;
 174 #define aio_ioctl_cmd   aio_nbytes /* for QEMU_AIO_IOCTL */
 175     off_t aio_offset;
 176     int aio_type;
 177 } RawPosixAIOData;
 178
 179 #if defined(__FreeBSD__) || defined(__FreeBSD_kernel__)
 180 static int cdrom_reopen(BlockDriverState *bs);
 181 #endif
 182
 183 #if defined(__NetBSD__)
 184 static int raw_normalize_devicepath(const char **filename)
 185 {
 186     static char namebuf[PATH_MAX];
 187     const char *dp, *fname;
 188     struct stat sb;
 189
 190     fname = *filename;
 191     dp = strrchr(fname, '/');
 192     if (lstat(fname, &sb) < 0) {
 193         fprintf(stderr, "%s: stat failed: %s\n",
 194             fname, strerror(errno));
 195         return -errno;
 196     }
 197
 198     if (!S_ISBLK(sb.st_mode)) {
 199         return 0;
 200     }
 201
 202     if (dp == NULL) {
 203         snprintf(namebuf, PATH_MAX, "r%s", fname);
 204     } else {
 205         snprintf(namebuf, PATH_MAX, "%.*s/r%s",
 206             (int)(dp - fname), fname, dp + 1);
 207     }
 208     fprintf(stderr, "%s is a block device", fname);
 209     *filename = namebuf;
 210     fprintf(stderr, ", using %s\n", *filename);
 211
 212     return 0;
 213 }
 214 #else
 215 static int raw_normalize_devicepath(const char **filename)
 216 {
 217     return 0;
 218 }
 219 #endif
 220
 221 /*
 222  * Get logical block size via ioctl. On success store it in @sector_size_p.
 223  */
 224 static int probe_logical_blocksize(int fd, unsigned int *sector_size_p)
 225 {
 226     unsigned int sector_size;
 227     bool success = false;
 228
 229     errno = ENOTSUP;
 230
 231     /* Try a few ioctls to get the right size */
 232 #ifdef BLKSSZGET
 233     if (ioctl(fd, BLKSSZGET, &sector_size) >= 0) {
 234         *sector_size_p = sector_size;
 235         success = true;
 236     }
 237 #endif
 238 #ifdef DKIOCGETBLOCKSIZE
 239     if (ioctl(fd, DKIOCGETBLOCKSIZE, &sector_size) >= 0) {
 240         *sector_size_p = sector_size;
 241         success = true;
 242     }
 243 #endif
 244 #ifdef DIOCGSECTORSIZE
 245     if (ioctl(fd, DIOCGSECTORSIZE, &sector_size) >= 0) {
 246         *sector_size_p = sector_size;
 247         success = true;
 248     }
 249 #endif
 250
 251     return success ? 0 : -errno;
 252 }
 253
 254 /**
 255  * Get physical block size of @fd.
 256  * On success, store it in @blk_size and return 0.
 257  * On failure, return -errno.
 258  */
 259 static int probe_physical_blocksize(int fd, unsigned int *blk_size)
 260 {
 261 #ifdef BLKPBSZGET
 262     if (ioctl(fd, BLKPBSZGET, blk_size) < 0) {
 263         return -errno;
 264     }
 265     return 0;
 266 #else
 267     return -ENOTSUP;
 268 #endif
 269 }
 270
 271 /* Check if read is allowed with given memory buffer and length.
 272  *
 273  * This function is used to check O_DIRECT memory buffer and request alignment.
 274  */
 275 static bool raw_is_io_aligned(int fd, void *buf, size_t len)
 276 {
 277     ssize_t ret = pread(fd, buf, len, 0);
 278
 279     if (ret >= 0) {
 280         return true;
 281     }
 282
 283 #ifdef __linux__
 284     /* The Linux kernel returns EINVAL for misaligned O_DIRECT reads.  Ignore
 285      * other errors (e.g. real I/O error), which could happen on a failed
 286      * drive, since we only care about probing alignment.
 287      */
 288     if (errno != EINVAL) {
 289         return true;
 290     }
 291 #endif
 292
 293     return false;
 294 }
 295
 296 static void raw_probe_alignment(BlockDriverState *bs, int fd, Error **errp)
 297 {
 298     BDRVRawState *s = bs->opaque;
 299     char *buf;
 300     size_t max_align = MAX(MAX_BLOCKSIZE, getpagesize());
 301
 302     /* For SCSI generic devices the alignment is not really used.
 303        With buffered I/O, we don't have any restrictions. */
 304     if (bdrv_is_sg(bs) || !s->needs_alignment) {
 305         bs->request_alignment = 1;
 306         s->buf_align = 1;
 307         return;
 308     }
 309
 310     bs->request_alignment = 0;
 311     s->buf_align = 0;
 312     /* Let's try to use the logical blocksize for the alignment. */
 313     if (probe_logical_blocksize(fd, &bs->request_alignment) < 0) {
 314         bs->request_alignment = 0;
 315     }
 316 #ifdef CONFIG_XFS
 317     if (s->is_xfs) {
 318         struct dioattr da;
 319         if (xfsctl(NULL, fd, XFS_IOC_DIOINFO, &da) >= 0) {
 320             bs->request_alignment = da.d_miniosz;
 321             /* The kernel returns wrong information for d_mem */
 322             /* s->buf_align = da.d_mem; */
 323         }
 324     }
 325 #endif
 326
 327     /* If we could not get the sizes so far, we can only guess them */
 328     if (!s->buf_align) {
 329         size_t align;
 330         buf = qemu_memalign(max_align, 2 * max_align);
 331         for (align = 512; align <= max_align; align <<= 1) {
 332             if (raw_is_io_aligned(fd, buf + align, max_align)) {
 333                 s->buf_align = align;
 334                 break;
 335             }
 336         }
 337         qemu_vfree(buf);
 338     }
 339
 340     if (!bs->request_alignment) {
 341         size_t align;
 342         buf = qemu_memalign(s->buf_align, max_align);
 343         for (align = 512; align <= max_align; align <<= 1) {
 344             if (raw_is_io_aligned(fd, buf, align)) {
 345                 bs->request_alignment = align;
 346                 break;
 347             }
 348         }
 349         qemu_vfree(buf);
 350     }
 351
 352     if (!s->buf_align || !bs->request_alignment) {
 353         error_setg(errp, "Could not find working O_DIRECT alignment. "
 354                          "Try cache.direct=off.");
 355     }
 356 }
 357
 358 static void raw_parse_flags(int bdrv_flags, int *open_flags)
 359 {
 360     assert(open_flags != NULL);
 361
 362     *open_flags |= O_BINARY;
 363     *open_flags &= ~O_ACCMODE;
 364     if (bdrv_flags & BDRV_O_RDWR) {
 365         *open_flags |= O_RDWR;
 366     } else {
 367         *open_flags |= O_RDONLY;
 368     }
 369
 370     /* Use O_DSYNC for write-through caching, no flags for write-back caching,
 371      * and O_DIRECT for no caching. */
 372     if ((bdrv_flags & BDRV_O_NOCACHE)) {
 373         *open_flags |= O_DIRECT;
 374     }
 375 }
 376
 377 static void raw_detach_aio_context(BlockDriverState *bs)
 378 {
 379 #ifdef CONFIG_LINUX_AIO
 380     BDRVRawState *s = bs->opaque;
 381
 382     if (s->use_aio) {
 383         laio_detach_aio_context(s->aio_ctx, bdrv_get_aio_context(bs));
 384     }
 385 #endif
 386 }
 387
 388 static void raw_attach_aio_context(BlockDriverState *bs,
 389                                    AioContext *new_context)
 390 {
 391 #ifdef CONFIG_LINUX_AIO
 392     BDRVRawState *s = bs->opaque;
 393
 394     if (s->use_aio) {
 395         laio_attach_aio_context(s->aio_ctx, new_context);
 396     }
 397 #endif
 398 }
 399
 400 #ifdef CONFIG_LINUX_AIO
 401 static int raw_set_aio(void **aio_ctx, int *use_aio, int bdrv_flags)
 402 {
 403     int ret = -1;
 404     assert(aio_ctx != NULL);
 405     assert(use_aio != NULL);
 406     /*
 407      * Currently Linux do AIO only for files opened with O_DIRECT
 408      * specified so check NOCACHE flag too
 409      */
 410     if ((bdrv_flags & (BDRV_O_NOCACHE|BDRV_O_NATIVE_AIO)) ==
 411                       (BDRV_O_NOCACHE|BDRV_O_NATIVE_AIO)) {
 412
 413         /* if non-NULL, laio_init() has already been run */
 414         if (*aio_ctx == NULL) {
 415             *aio_ctx = laio_init();
 416             if (!*aio_ctx) {
 417                 goto error;
 418             }
 419         }
 420         *use_aio = 1;
 421     } else {
 422         *use_aio = 0;
 423     }
 424
 425     ret = 0;
 426
 427 error:
 428     return ret;
 429 }
 430 #endif
 431
 432 static void raw_parse_filename(const char *filename, QDict *options,
 433                                Error **errp)
 434 {
 435     /* The filename does not have to be prefixed by the protocol name, since
 436      * "file" is the default protocol; therefore, the return value of this
 437      * function call can be ignored. */
 438     strstart(filename, "file:", &filename);
 439
 440     qdict_put_obj(options, "filename", QOBJECT(qstring_from_str(filename)));
 441 }
 442
 443 static QemuOptsList raw_runtime_opts = {
 444     .name = "raw",
 445     .head = QTAILQ_HEAD_INITIALIZER(raw_runtime_opts.head),
 446     .desc = {
 447         {
 448             .name = "filename",
 449             .type = QEMU_OPT_STRING,
 450             .help = "File name of the image",
 451         },
 452         { /* end of list */ }
 453     },
 454 };
 455
 456 static int raw_open_common(BlockDriverState *bs, QDict *options,
 457                            int bdrv_flags, int open_flags, Error **errp)
 458 {
 459     BDRVRawState *s = bs->opaque;
 460     QemuOpts *opts;
 461     Error *local_err = NULL;
 462     const char *filename = NULL;
 463     int fd, ret;
 464     struct stat st;
 465
 466     opts = qemu_opts_create(&raw_runtime_opts, NULL, 0, &error_abort);
 467     qemu_opts_absorb_qdict(opts, options, &local_err);
 468     if (local_err) {
 469         error_propagate(errp, local_err);
 470         ret = -EINVAL;
 471         goto fail;
 472     }
 473
 474     filename = qemu_opt_get(opts, "filename");
 475
 476     ret = raw_normalize_devicepath(&filename);
 477     if (ret != 0) {
 478         error_setg_errno(errp, -ret, "Could not normalize device path");
 479         goto fail;
 480     }
 481
 482     s->open_flags = open_flags;
 483     raw_parse_flags(bdrv_flags, &s->open_flags);
 484
 485     s->fd = -1;
 486     fd = qemu_open(filename, s->open_flags, 0644);
 487     if (fd < 0) {
 488         ret = -errno;
 489         if (ret == -EROFS) {
 490             ret = -EACCES;
 491         }
 492         goto fail;
 493     }
 494     s->fd = fd;
 495
 496 #ifdef CONFIG_LINUX_AIO
 497     if (raw_set_aio(&s->aio_ctx, &s->use_aio, bdrv_flags)) {
 498         qemu_close(fd);
 499         ret = -errno;
 500         error_setg_errno(errp, -ret, "Could not set AIO state");
 501         goto fail;
 502     }
 503     if (!s->use_aio && (bdrv_flags & BDRV_O_NATIVE_AIO)) {
 504         error_setg(errp, "aio=native was specified, but it requires "
 505                          "cache.direct=on, which was not specified.");
 506         ret = -EINVAL;
 507         goto fail;
 508     }
 509 #else
 510     if (bdrv_flags & BDRV_O_NATIVE_AIO) {
 511         error_setg(errp, "aio=native was specified, but is not supported "
 512                          "in this build.");
 513         ret = -EINVAL;
 514         goto fail;
 515     }
 516 #endif /* !defined(CONFIG_LINUX_AIO) */
 517
 518     s->has_discard = true;
 519     s->has_write_zeroes = true;
 520     if ((bs->open_flags & BDRV_O_NOCACHE) != 0) {
 521         s->needs_alignment = true;
 522     }
 523
 524     if (fstat(s->fd, &st) < 0) {
 525         ret = -errno;
 526         error_setg_errno(errp, errno, "Could not stat file");
 527         goto fail;
 528     }
 529     if (S_ISREG(st.st_mode)) {
 530         s->discard_zeroes = true;
 531         s->has_fallocate = true;
 532     }
 533     if (S_ISBLK(st.st_mode)) {
 534 #ifdef BLKDISCARDZEROES
 535         unsigned int arg;
 536         if (ioctl(s->fd, BLKDISCARDZEROES, &arg) == 0 && arg) {
 537             s->discard_zeroes = true;
 538         }
 539 #endif
 540 #ifdef __linux__
 541         /* On Linux 3.10, BLKDISCARD leaves stale data in the page cache.  Do
 542          * not rely on the contents of discarded blocks unless using O_DIRECT.
 543          * Same for BLKZEROOUT.
 544          */
 545         if (!(bs->open_flags & BDRV_O_NOCACHE)) {
 546             s->discard_zeroes = false;
 547             s->has_write_zeroes = false;
 548         }
 549 #endif
 550     }
 551 #ifdef __FreeBSD__
 552     if (S_ISCHR(st.st_mode)) {
 553         /*
 554          * The file is a char device (disk), which on FreeBSD isn't behind
 555          * a pager, so force all requests to be aligned. This is needed
 556          * so QEMU makes sure all IO operations on the device are aligned
 557          * to sector size, or else FreeBSD will reject them with EINVAL.
 558          */
 559         s->needs_alignment = true;
 560     }
 561 #endif
 562
 563 #ifdef CONFIG_XFS
 564     if (platform_test_xfs_fd(s->fd)) {
 565         s->is_xfs = true;
 566     }
 567 #endif
 568
 569     raw_attach_aio_context(bs, bdrv_get_aio_context(bs));
 570
 571     ret = 0;
 572 fail:
 573     if (filename && (bdrv_flags & BDRV_O_TEMPORARY)) {
 574         unlink(filename);
 575     }
 576     qemu_opts_del(opts);
 577     return ret;
 578 }
 579
 580 static int raw_open(BlockDriverState *bs, QDict *options, int flags,
 581                     Error **errp)
 582 {
 583     BDRVRawState *s = bs->opaque;
 584     Error *local_err = NULL;
 585     int ret;
 586
 587     s->type = FTYPE_FILE;
 588     ret = raw_open_common(bs, options, flags, 0, &local_err);
 589     if (local_err) {
 590         error_propagate(errp, local_err);
 591     }
 592     return ret;
 593 }
 594
 595 static int raw_reopen_prepare(BDRVReopenState *state,
 596                               BlockReopenQueue *queue, Error **errp)
 597 {
 598     BDRVRawState *s;
 599     BDRVRawReopenState *raw_s;
 600     int ret = 0;
 601     Error *local_err = NULL;
 602
 603     assert(state != NULL);
 604     assert(state->bs != NULL);
 605
 606     s = state->bs->opaque;
 607
 608     state->opaque = g_new0(BDRVRawReopenState, 1);
 609     raw_s = state->opaque;
 610
 611 #ifdef CONFIG_LINUX_AIO
 612     raw_s->use_aio = s->use_aio;
 613
 614     /* we can use s->aio_ctx instead of a copy, because the use_aio flag is
 615      * valid in the 'false' condition even if aio_ctx is set, and raw_set_aio()
 616      * won't override aio_ctx if aio_ctx is non-NULL */
 617     if (raw_set_aio(&s->aio_ctx, &raw_s->use_aio, state->flags)) {
 618         error_setg(errp, "Could not set AIO state");
 619         return -1;
 620     }
 621 #endif
 622
 623     if (s->type == FTYPE_CD) {
 624         raw_s->open_flags |= O_NONBLOCK;
 625     }
 626
 627     raw_parse_flags(state->flags, &raw_s->open_flags);
 628
 629     raw_s->fd = -1;
 630
 631     int fcntl_flags = O_APPEND | O_NONBLOCK;
 632 #ifdef O_NOATIME
 633     fcntl_flags |= O_NOATIME;
 634 #endif
 635
 636 #ifdef O_ASYNC
 637     /* Not all operating systems have O_ASYNC, and those that don't
 638      * will not let us track the state into raw_s->open_flags (typically
 639      * you achieve the same effect with an ioctl, for example I_SETSIG
 640      * on Solaris). But we do not use O_ASYNC, so that's fine.
 641      */
 642     assert((s->open_flags & O_ASYNC) == 0);
 643 #endif
 644
 645     if ((raw_s->open_flags & ~fcntl_flags) == (s->open_flags & ~fcntl_flags)) {
 646         /* dup the original fd */
 647         /* TODO: use qemu fcntl wrapper */
 648 #ifdef F_DUPFD_CLOEXEC
 649         raw_s->fd = fcntl(s->fd, F_DUPFD_CLOEXEC, 0);
 650 #else
 651         raw_s->fd = dup(s->fd);
 652         if (raw_s->fd != -1) {
 653             qemu_set_cloexec(raw_s->fd);
 654         }
 655 #endif
 656         if (raw_s->fd >= 0) {
 657             ret = fcntl_setfl(raw_s->fd, raw_s->open_flags);
 658             if (ret) {
 659                 qemu_close(raw_s->fd);
 660                 raw_s->fd = -1;
 661             }
 662         }
 663     }
 664
 665     /* If we cannot use fcntl, or fcntl failed, fall back to qemu_open() */
 666     if (raw_s->fd == -1) {
 667         const char *normalized_filename = state->bs->filename;
 668         ret = raw_normalize_devicepath(&normalized_filename);
 669         if (ret < 0) {
 670             error_setg_errno(errp, -ret, "Could not normalize device path");
 671         } else {
 672             assert(!(raw_s->open_flags & O_CREAT));
 673             raw_s->fd = qemu_open(normalized_filename, raw_s->open_flags);
 674             if (raw_s->fd == -1) {
 675                 error_setg_errno(errp, errno, "Could not reopen file");
 676                 ret = -1;
 677             }
 678         }
 679     }
 680
 681     /* Fail already reopen_prepare() if we can't get a working O_DIRECT
 682      * alignment with the new fd. */
 683     if (raw_s->fd != -1) {
 684         raw_probe_alignment(state->bs, raw_s->fd, &local_err);
 685         if (local_err) {
 686             qemu_close(raw_s->fd);
 687             raw_s->fd = -1;
 688             error_propagate(errp, local_err);
 689             ret = -EINVAL;
 690         }
 691     }
 692
 693     return ret;
 694 }
 695
 696 static void raw_reopen_commit(BDRVReopenState *state)
 697 {
 698     BDRVRawReopenState *raw_s = state->opaque;
 699     BDRVRawState *s = state->bs->opaque;
 700
 701     s->open_flags = raw_s->open_flags;
 702
 703     qemu_close(s->fd);
 704     s->fd = raw_s->fd;
 705 #ifdef CONFIG_LINUX_AIO
 706     s->use_aio = raw_s->use_aio;
 707 #endif
 708
 709     g_free(state->opaque);
 710     state->opaque = NULL;
 711 }
 712
 713
 714 static void raw_reopen_abort(BDRVReopenState *state)
 715 {
 716     BDRVRawReopenState *raw_s = state->opaque;
 717
 718      /* nothing to do if NULL, we didn't get far enough */
 719     if (raw_s == NULL) {
 720         return;
 721     }
 722
 723     if (raw_s->fd >= 0) {
 724         qemu_close(raw_s->fd);
 725         raw_s->fd = -1;
 726     }
 727     g_free(state->opaque);
 728     state->opaque = NULL;
 729 }
 730
 731 static void raw_refresh_limits(BlockDriverState *bs, Error **errp)
 732 {
 733     BDRVRawState *s = bs->opaque;
 734
 735     raw_probe_alignment(bs, s->fd, errp);
 736     bs->bl.min_mem_alignment = s->buf_align;
 737     bs->bl.opt_mem_alignment = MAX(s->buf_align, getpagesize());
 738 }
 739
 740 static int check_for_dasd(int fd)
 741 {
 742 #ifdef BIODASDINFO2
 743     struct dasd_information2_t info = {0};
 744
 745     return ioctl(fd, BIODASDINFO2, &info);
 746 #else
 747     return -1;
 748 #endif
 749 }
 750
 751 /**
 752  * Try to get @bs's logical and physical block size.
 753  * On success, store them in @bsz and return zero.
 754  * On failure, return negative errno.
 755  */
 756 static int hdev_probe_blocksizes(BlockDriverState *bs, BlockSizes *bsz)
 757 {
 758     BDRVRawState *s = bs->opaque;
 759     int ret;
 760
 761     /* If DASD, get blocksizes */
 762     if (check_for_dasd(s->fd) < 0) {
 763         return -ENOTSUP;
 764     }
 765     ret = probe_logical_blocksize(s->fd, &bsz->log);
 766     if (ret < 0) {
 767         return ret;
 768     }
 769     return probe_physical_blocksize(s->fd, &bsz->phys);
 770 }
 771
 772 /**
 773  * Try to get @bs's geometry: cyls, heads, sectors.
 774  * On success, store them in @geo and return 0.
 775  * On failure return -errno.
 776  * (Allows block driver to assign default geometry values that guest sees)
 777  */
 778 #ifdef __linux__
 779 static int hdev_probe_geometry(BlockDriverState *bs, HDGeometry *geo)
 780 {
 781     BDRVRawState *s = bs->opaque;
 782     struct hd_geometry ioctl_geo = {0};
 783
 784     /* If DASD, get its geometry */
 785     if (check_for_dasd(s->fd) < 0) {
 786         return -ENOTSUP;
 787     }
 788     if (ioctl(s->fd, HDIO_GETGEO, &ioctl_geo) < 0) {
 789         return -errno;
 790     }
 791     /* HDIO_GETGEO may return success even though geo contains zeros
 792        (e.g. certain multipath setups) */
 793     if (!ioctl_geo.heads || !ioctl_geo.sectors || !ioctl_geo.cylinders) {
 794         return -ENOTSUP;
 795     }
 796     /* Do not return a geometry for partition */
 797     if (ioctl_geo.start != 0) {
 798         return -ENOTSUP;
 799     }
 800     geo->heads = ioctl_geo.heads;
 801     geo->sectors = ioctl_geo.sectors;
 802     geo->cylinders = ioctl_geo.cylinders;
 803
 804     return 0;
 805 }
 806 #else /* __linux__ */
 807 static int hdev_probe_geometry(BlockDriverState *bs, HDGeometry *geo)
 808 {
 809     return -ENOTSUP;
 810 }
 811 #endif
 812
 813 static ssize_t handle_aiocb_ioctl(RawPosixAIOData *aiocb)
 814 {
 815     int ret;
 816
 817     ret = ioctl(aiocb->aio_fildes, aiocb->aio_ioctl_cmd, aiocb->aio_ioctl_buf);
 818     if (ret == -1) {
 819         return -errno;
 820     }
 821
 822     return 0;
 823 }
 824
 825 static ssize_t handle_aiocb_flush(RawPosixAIOData *aiocb)
 826 {
 827     int ret;
 828
 829     ret = qemu_fdatasync(aiocb->aio_fildes);
 830     if (ret == -1) {
 831         return -errno;
 832     }
 833     return 0;
 834 }
 835
 836 #ifdef CONFIG_PREADV
 837
 838 static bool preadv_present = true;
 839
 840 static ssize_t
 841 qemu_preadv(int fd, const struct iovec *iov, int nr_iov, off_t offset)
 842 {
 843     return preadv(fd, iov, nr_iov, offset);
 844 }
 845
 846 static ssize_t
 847 qemu_pwritev(int fd, const struct iovec *iov, int nr_iov, off_t offset)
 848 {
 849     return pwritev(fd, iov, nr_iov, offset);
 850 }
 851
 852 #else
 853
 854 static bool preadv_present = false;
 855
 856 static ssize_t
 857 qemu_preadv(int fd, const struct iovec *iov, int nr_iov, off_t offset)
 858 {
 859     return -ENOSYS;
 860 }
 861
 862 static ssize_t
 863 qemu_pwritev(int fd, const struct iovec *iov, int nr_iov, off_t offset)
 864 {
 865     return -ENOSYS;
 866 }
 867
 868 #endif
 869
 870 static ssize_t handle_aiocb_rw_vector(RawPosixAIOData *aiocb)
 871 {
 872     ssize_t len;
 873
 874     do {
 875         if (aiocb->aio_type & QEMU_AIO_WRITE)
 876             len = qemu_pwritev(aiocb->aio_fildes,
 877                                aiocb->aio_iov,
 878                                aiocb->aio_niov,
 879                                aiocb->aio_offset);
 880          else
 881             len = qemu_preadv(aiocb->aio_fildes,
 882                               aiocb->aio_iov,
 883                               aiocb->aio_niov,
 884                               aiocb->aio_offset);
 885     } while (len == -1 && errno == EINTR);
 886
 887     if (len == -1) {
 888         return -errno;
 889     }
 890     return len;
 891 }
 892
 893 /*
 894  * Read/writes the data to/from a given linear buffer.
 895  *
 896  * Returns the number of bytes handles or -errno in case of an error. Short
 897  * reads are only returned if the end of the file is reached.
 898  */
 899 static ssize_t handle_aiocb_rw_linear(RawPosixAIOData *aiocb, char *buf)
 900 {
 901     ssize_t offset = 0;
 902     ssize_t len;
 903
 904     while (offset < aiocb->aio_nbytes) {
 905         if (aiocb->aio_type & QEMU_AIO_WRITE) {
 906             len = pwrite(aiocb->aio_fildes,
 907                          (const char *)buf + offset,
 908                          aiocb->aio_nbytes - offset,
 909                          aiocb->aio_offset + offset);
 910         } else {
 911             len = pread(aiocb->aio_fildes,
 912                         buf + offset,
 913                         aiocb->aio_nbytes - offset,
 914                         aiocb->aio_offset + offset);
 915         }
 916         if (len == -1 && errno == EINTR) {
 917             continue;
 918         } else if (len == -1 && errno == EINVAL &&
 919                    (aiocb->bs->open_flags & BDRV_O_NOCACHE) &&
 920                    !(aiocb->aio_type & QEMU_AIO_WRITE) &&
 921                    offset > 0) {
 922             /* O_DIRECT pread() may fail with EINVAL when offset is unaligned
 923              * after a short read.  Assume that O_DIRECT short reads only occur
 924              * at EOF.  Therefore this is a short read, not an I/O error.
 925              */
 926             break;
 927         } else if (len == -1) {
 928             offset = -errno;
 929             break;
 930         } else if (len == 0) {
 931             break;
 932         }
 933         offset += len;
 934     }
 935
 936     return offset;
 937 }
 938
 939 static ssize_t handle_aiocb_rw(RawPosixAIOData *aiocb)
 940 {
 941     ssize_t nbytes;
 942     char *buf;
 943
 944     if (!(aiocb->aio_type & QEMU_AIO_MISALIGNED)) {
 945         /*
 946          * If there is just a single buffer, and it is properly aligned
 947          * we can just use plain pread/pwrite without any problems.
 948          */
 949         if (aiocb->aio_niov == 1) {
 950              return handle_aiocb_rw_linear(aiocb, aiocb->aio_iov->iov_base);
 951         }
 952         /*
 953          * We have more than one iovec, and all are properly aligned.
 954          *
 955          * Try preadv/pwritev first and fall back to linearizing the
 956          * buffer if it's not supported.
 957          */
 958         if (preadv_present) {
 959             nbytes = handle_aiocb_rw_vector(aiocb);
 960             if (nbytes == aiocb->aio_nbytes ||
 961                 (nbytes < 0 && nbytes != -ENOSYS)) {
 962                 return nbytes;
 963             }
 964             preadv_present = false;
 965         }
 966
 967         /*
 968          * XXX(hch): short read/write.  no easy way to handle the reminder
 969          * using these interfaces.  For now retry using plain
 970          * pread/pwrite?
 971          */
 972     }
 973
 974     /*
 975      * Ok, we have to do it the hard way, copy all segments into
 976      * a single aligned buffer.
 977      */
 978     buf = qemu_try_blockalign(aiocb->bs, aiocb->aio_nbytes);
 979     if (buf == NULL) {
 980         return -ENOMEM;
 981     }
 982
 983     if (aiocb->aio_type & QEMU_AIO_WRITE) {
 984         char *p = buf;
 985         int i;
 986
 987         for (i = 0; i < aiocb->aio_niov; ++i) {
 988             memcpy(p, aiocb->aio_iov[i].iov_base, aiocb->aio_iov[i].iov_len);
 989             p += aiocb->aio_iov[i].iov_len;
 990         }
 991         assert(p - buf == aiocb->aio_nbytes);
 992     }
 993
 994     nbytes = handle_aiocb_rw_linear(aiocb, buf);
 995     if (!(aiocb->aio_type & QEMU_AIO_WRITE)) {
 996         char *p = buf;
 997         size_t count = aiocb->aio_nbytes, copy;
 998         int i;
 999
1000         for (i = 0; i < aiocb->aio_niov && count; ++i) {
1001             copy = count;
1002             if (copy > aiocb->aio_iov[i].iov_len) {
1003                 copy = aiocb->aio_iov[i].iov_len;
1004             }
1005             memcpy(aiocb->aio_iov[i].iov_base, p, copy);
1006             assert(count >= copy);
1007             p     += copy;
1008             count -= copy;
1009         }
1010         assert(count == 0);
1011     }
1012     qemu_vfree(buf);
1013
1014     return nbytes;
1015 }
1016
1017 #ifdef CONFIG_XFS
1018 static int xfs_write_zeroes(BDRVRawState *s, int64_t offset, uint64_t bytes)
1019 {
1020     struct xfs_flock64 fl;
1021     int err;
1022
1023     memset(&fl, 0, sizeof(fl));
1024     fl.l_whence = SEEK_SET;
1025     fl.l_start = offset;
1026     fl.l_len = bytes;
1027
1028     if (xfsctl(NULL, s->fd, XFS_IOC_ZERO_RANGE, &fl) < 0) {
1029         err = errno;
1030         DPRINTF("cannot write zero range (%s)\n", strerror(errno));
1031         return -err;
1032     }
1033
1034     return 0;
1035 }
1036
1037 static int xfs_discard(BDRVRawState *s, int64_t offset, uint64_t bytes)
1038 {
1039     struct xfs_flock64 fl;
1040     int err;
1041
1042     memset(&fl, 0, sizeof(fl));
1043     fl.l_whence = SEEK_SET;
1044     fl.l_start = offset;
1045     fl.l_len = bytes;
1046
1047     if (xfsctl(NULL, s->fd, XFS_IOC_UNRESVSP64, &fl) < 0) {
1048         err = errno;
1049         DPRINTF("cannot punch hole (%s)\n", strerror(errno));
1050         return -err;
1051     }
1052
1053     return 0;
1054 }
1055 #endif
1056
1057 static int translate_err(int err)
1058 {
1059     if (err == -ENODEV || err == -ENOSYS || err == -EOPNOTSUPP ||
1060         err == -ENOTTY) {
1061         err = -ENOTSUP;
1062     }
1063     return err;
1064 }
1065
1066 #ifdef CONFIG_FALLOCATE
1067 static int do_fallocate(int fd, int mode, off_t offset, off_t len)
1068 {
1069     do {
1070         if (fallocate(fd, mode, offset, len) == 0) {
1071             return 0;
1072         }
1073     } while (errno == EINTR);
1074     return translate_err(-errno);
1075 }
1076 #endif
1077
1078 static ssize_t handle_aiocb_write_zeroes_block(RawPosixAIOData *aiocb)
1079 {
1080     int ret = -ENOTSUP;
1081     BDRVRawState *s = aiocb->bs->opaque;
1082
1083     if (!s->has_write_zeroes) {
1084         return -ENOTSUP;
1085     }
1086
1087 #ifdef BLKZEROOUT
1088     do {
1089         uint64_t range[2] = { aiocb->aio_offset, aiocb->aio_nbytes };
1090         if (ioctl(aiocb->aio_fildes, BLKZEROOUT, range) == 0) {
1091             return 0;
1092         }
1093     } while (errno == EINTR);
1094
1095     ret = translate_err(-errno);
1096 #endif
1097
1098     if (ret == -ENOTSUP) {
1099         s->has_write_zeroes = false;
1100     }
1101     return ret;
1102 }
1103
1104 static ssize_t handle_aiocb_write_zeroes(RawPosixAIOData *aiocb)
1105 {
1106 #if defined(CONFIG_FALLOCATE) || defined(CONFIG_XFS)
1107     BDRVRawState *s = aiocb->bs->opaque;
1108 #endif
1109
1110     if (aiocb->aio_type & QEMU_AIO_BLKDEV) {
1111         return handle_aiocb_write_zeroes_block(aiocb);
1112     }
1113
1114 #ifdef CONFIG_XFS
1115     if (s->is_xfs) {
1116         return xfs_write_zeroes(s, aiocb->aio_offset, aiocb->aio_nbytes);
1117     }
1118 #endif
1119
1120 #ifdef CONFIG_FALLOCATE_ZERO_RANGE
1121     if (s->has_write_zeroes) {
1122         int ret = do_fallocate(s->fd, FALLOC_FL_ZERO_RANGE,
1123                                aiocb->aio_offset, aiocb->aio_nbytes);
1124         if (ret == 0 || ret != -ENOTSUP) {
1125             return ret;
1126         }
1127         s->has_write_zeroes = false;
1128     }
1129 #endif
1130
1131 #ifdef CONFIG_FALLOCATE_PUNCH_HOLE
1132     if (s->has_discard && s->has_fallocate) {
1133         int ret = do_fallocate(s->fd,
1134                                FALLOC_FL_PUNCH_HOLE | FALLOC_FL_KEEP_SIZE,
1135                                aiocb->aio_offset, aiocb->aio_nbytes);
1136         if (ret == 0) {
1137             ret = do_fallocate(s->fd, 0, aiocb->aio_offset, aiocb->aio_nbytes);
1138             if (ret == 0 || ret != -ENOTSUP) {
1139                 return ret;
1140             }
1141             s->has_fallocate = false;
1142         } else if (ret != -ENOTSUP) {
1143             return ret;
1144         } else {
1145             s->has_discard = false;
1146         }
1147     }
1148 #endif
1149
1150 #ifdef CONFIG_FALLOCATE
1151     if (s->has_fallocate && aiocb->aio_offset >= bdrv_getlength(aiocb->bs)) {
1152         int ret = do_fallocate(s->fd, 0, aiocb->aio_offset, aiocb->aio_nbytes);
1153         if (ret == 0 || ret != -ENOTSUP) {
1154             return ret;
1155         }
1156         s->has_fallocate = false;
1157     }
1158 #endif
1159
1160     return -ENOTSUP;
1161 }
1162
1163 static ssize_t handle_aiocb_discard(RawPosixAIOData *aiocb)
1164 {
1165     int ret = -EOPNOTSUPP;
1166     BDRVRawState *s = aiocb->bs->opaque;
1167
1168     if (!s->has_discard) {
1169         return -ENOTSUP;
1170     }
1171
1172     if (aiocb->aio_type & QEMU_AIO_BLKDEV) {
1173 #ifdef BLKDISCARD
1174         do {
1175             uint64_t range[2] = { aiocb->aio_offset, aiocb->aio_nbytes };
1176             if (ioctl(aiocb->aio_fildes, BLKDISCARD, range) == 0) {
1177                 return 0;
1178             }
1179         } while (errno == EINTR);
1180
1181         ret = -errno;
1182 #endif
1183     } else {
1184 #ifdef CONFIG_XFS
1185         if (s->is_xfs) {
1186             return xfs_discard(s, aiocb->aio_offset, aiocb->aio_nbytes);
1187         }
1188 #endif
1189
1190 #ifdef CONFIG_FALLOCATE_PUNCH_HOLE
1191         ret = do_fallocate(s->fd, FALLOC_FL_PUNCH_HOLE | FALLOC_FL_KEEP_SIZE,
1192                            aiocb->aio_offset, aiocb->aio_nbytes);
1193 #endif
1194     }
1195
1196     ret = translate_err(ret);
1197     if (ret == -ENOTSUP) {
1198         s->has_discard = false;
1199     }
1200     return ret;
1201 }
1202
1203 static int aio_worker(void *arg)
1204 {
1205     RawPosixAIOData *aiocb = arg;
1206     ssize_t ret = 0;
1207
1208     switch (aiocb->aio_type & QEMU_AIO_TYPE_MASK) {
1209     case QEMU_AIO_READ:
1210         ret = handle_aiocb_rw(aiocb);
1211         if (ret >= 0 && ret < aiocb->aio_nbytes) {
1212             iov_memset(aiocb->aio_iov, aiocb->aio_niov, ret,
1213                       0, aiocb->aio_nbytes - ret);
1214
1215             ret = aiocb->aio_nbytes;
1216         }
1217         if (ret == aiocb->aio_nbytes) {
1218             ret = 0;
1219         } else if (ret >= 0 && ret < aiocb->aio_nbytes) {
1220             ret = -EINVAL;
1221         }
1222         break;
1223     case QEMU_AIO_WRITE:
1224         ret = handle_aiocb_rw(aiocb);
1225         if (ret == aiocb->aio_nbytes) {
1226             ret = 0;
1227         } else if (ret >= 0 && ret < aiocb->aio_nbytes) {
1228             ret = -EINVAL;
1229         }
1230         break;
1231     case QEMU_AIO_FLUSH:
1232         ret = handle_aiocb_flush(aiocb);
1233         break;
1234     case QEMU_AIO_IOCTL:
1235         ret = handle_aiocb_ioctl(aiocb);
1236         break;
1237     case QEMU_AIO_DISCARD:
1238         ret = handle_aiocb_discard(aiocb);
1239         break;
1240     case QEMU_AIO_WRITE_ZEROES:
1241         ret = handle_aiocb_write_zeroes(aiocb);
1242         break;
1243     default:
1244         fprintf(stderr, "invalid aio request (0x%x)\n", aiocb->aio_type);
1245         ret = -EINVAL;
1246         break;
1247     }
1248
1249     g_free(aiocb);
1250     return ret;
1251 }
1252
1253 static int paio_submit_co(BlockDriverState *bs, int fd,
1254         int64_t sector_num, QEMUIOVector *qiov, int nb_sectors,
1255         int type)
1256 {
1257     RawPosixAIOData *acb = g_new(RawPosixAIOData, 1);
1258     ThreadPool *pool;
1259
1260     acb->bs = bs;
1261     acb->aio_type = type;
1262     acb->aio_fildes = fd;
1263
1264     acb->aio_nbytes = nb_sectors * BDRV_SECTOR_SIZE;
1265     acb->aio_offset = sector_num * BDRV_SECTOR_SIZE;
1266
1267     if (qiov) {
1268         acb->aio_iov = qiov->iov;
1269         acb->aio_niov = qiov->niov;
1270         assert(qiov->size == acb->aio_nbytes);
1271     }
1272
1273     trace_paio_submit_co(sector_num, nb_sectors, type);
1274     pool = aio_get_thread_pool(bdrv_get_aio_context(bs));
1275     return thread_pool_submit_co(pool, aio_worker, acb);
1276 }
1277
1278 static BlockAIOCB *paio_submit(BlockDriverState *bs, int fd,
1279         int64_t sector_num, QEMUIOVector *qiov, int nb_sectors,
1280         BlockCompletionFunc *cb, void *opaque, int type)
1281 {
1282     RawPosixAIOData *acb = g_new(RawPosixAIOData, 1);
1283     ThreadPool *pool;
1284
1285     acb->bs = bs;
1286     acb->aio_type = type;
1287     acb->aio_fildes = fd;
1288
1289     acb->aio_nbytes = nb_sectors * BDRV_SECTOR_SIZE;
1290     acb->aio_offset = sector_num * BDRV_SECTOR_SIZE;
1291
1292     if (qiov) {
1293         acb->aio_iov = qiov->iov;
1294         acb->aio_niov = qiov->niov;
1295         assert(qiov->size == acb->aio_nbytes);
1296     }
1297
1298     trace_paio_submit(acb, opaque, sector_num, nb_sectors, type);
1299     pool = aio_get_thread_pool(bdrv_get_aio_context(bs));
1300     return thread_pool_submit_aio(pool, aio_worker, acb, cb, opaque);
1301 }
1302
1303 static BlockAIOCB *raw_aio_submit(BlockDriverState *bs,
1304         int64_t sector_num, QEMUIOVector *qiov, int nb_sectors,
1305         BlockCompletionFunc *cb, void *opaque, int type)
1306 {
1307     BDRVRawState *s = bs->opaque;
1308
1309     if (fd_open(bs) < 0)
1310         return NULL;
1311
1312     /*
1313      * Check if the underlying device requires requests to be aligned,
1314      * and if the request we are trying to submit is aligned or not.
1315      * If this is the case tell the low-level driver that it needs
1316      * to copy the buffer.
1317      */
1318     if (s->needs_alignment) {
1319         if (!bdrv_qiov_is_aligned(bs, qiov)) {
1320             type |= QEMU_AIO_MISALIGNED;
1321 #ifdef CONFIG_LINUX_AIO
1322         } else if (s->use_aio) {
1323             return laio_submit(bs, s->aio_ctx, s->fd, sector_num, qiov,
1324                                nb_sectors, cb, opaque, type);
1325 #endif
1326         }
1327     }
1328
1329     return paio_submit(bs, s->fd, sector_num, qiov, nb_sectors,
1330                        cb, opaque, type);
1331 }
1332
1333 static void raw_aio_plug(BlockDriverState *bs)
1334 {
1335 #ifdef CONFIG_LINUX_AIO
1336     BDRVRawState *s = bs->opaque;
1337     if (s->use_aio) {
1338         laio_io_plug(bs, s->aio_ctx);
1339     }
1340 #endif
1341 }
1342
1343 static void raw_aio_unplug(BlockDriverState *bs)
1344 {
1345 #ifdef CONFIG_LINUX_AIO
1346     BDRVRawState *s = bs->opaque;
1347     if (s->use_aio) {
1348         laio_io_unplug(bs, s->aio_ctx, true);
1349     }
1350 #endif
1351 }
1352
1353 static void raw_aio_flush_io_queue(BlockDriverState *bs)
1354 {
1355 #ifdef CONFIG_LINUX_AIO
1356     BDRVRawState *s = bs->opaque;
1357     if (s->use_aio) {
1358         laio_io_unplug(bs, s->aio_ctx, false);
1359     }
1360 #endif
1361 }
1362
1363 static BlockAIOCB *raw_aio_readv(BlockDriverState *bs,
1364         int64_t sector_num, QEMUIOVector *qiov, int nb_sectors,
1365         BlockCompletionFunc *cb, void *opaque)
1366 {
1367     return raw_aio_submit(bs, sector_num, qiov, nb_sectors,
1368                           cb, opaque, QEMU_AIO_READ);
1369 }
1370
1371 static BlockAIOCB *raw_aio_writev(BlockDriverState *bs,
1372         int64_t sector_num, QEMUIOVector *qiov, int nb_sectors,
1373         BlockCompletionFunc *cb, void *opaque)
1374 {
1375     return raw_aio_submit(bs, sector_num, qiov, nb_sectors,
1376                           cb, opaque, QEMU_AIO_WRITE);
1377 }
1378
1379 static BlockAIOCB *raw_aio_flush(BlockDriverState *bs,
1380         BlockCompletionFunc *cb, void *opaque)
1381 {
1382     BDRVRawState *s = bs->opaque;
1383
1384     if (fd_open(bs) < 0)
1385         return NULL;
1386
1387     return paio_submit(bs, s->fd, 0, NULL, 0, cb, opaque, QEMU_AIO_FLUSH);
1388 }
1389
1390 static void raw_close(BlockDriverState *bs)
1391 {
1392     BDRVRawState *s = bs->opaque;
1393
1394     raw_detach_aio_context(bs);
1395
1396 #ifdef CONFIG_LINUX_AIO
1397     if (s->use_aio) {
1398         laio_cleanup(s->aio_ctx);
1399     }
1400 #endif
1401     if (s->fd >= 0) {
1402         qemu_close(s->fd);
1403         s->fd = -1;
1404     }
1405 }
1406
1407 static int raw_truncate(BlockDriverState *bs, int64_t offset)
1408 {
1409     BDRVRawState *s = bs->opaque;
1410     struct stat st;
1411
1412     if (fstat(s->fd, &st)) {
1413         return -errno;
1414     }
1415
1416     if (S_ISREG(st.st_mode)) {
1417         if (ftruncate(s->fd, offset) < 0) {
1418             return -errno;
1419         }
1420     } else if (S_ISCHR(st.st_mode) || S_ISBLK(st.st_mode)) {
1421        if (offset > raw_getlength(bs)) {
1422            return -EINVAL;
1423        }
1424     } else {
1425         return -ENOTSUP;
1426     }
1427
1428     return 0;
1429 }
1430
1431 #ifdef __OpenBSD__
1432 static int64_t raw_getlength(BlockDriverState *bs)
1433 {
1434     BDRVRawState *s = bs->opaque;
1435     int fd = s->fd;
1436     struct stat st;
1437
1438     if (fstat(fd, &st))
1439         return -errno;
1440     if (S_ISCHR(st.st_mode) || S_ISBLK(st.st_mode)) {
1441         struct disklabel dl;
1442
1443         if (ioctl(fd, DIOCGDINFO, &dl))
1444             return -errno;
1445         return (uint64_t)dl.d_secsize *
1446             dl.d_partitions[DISKPART(st.st_rdev)].p_size;
1447     } else
1448         return st.st_size;
1449 }
1450 #elif defined(__NetBSD__)
1451 static int64_t raw_getlength(BlockDriverState *bs)
1452 {
1453     BDRVRawState *s = bs->opaque;
1454     int fd = s->fd;
1455     struct stat st;
1456
1457     if (fstat(fd, &st))
1458         return -errno;
1459     if (S_ISCHR(st.st_mode) || S_ISBLK(st.st_mode)) {
1460         struct dkwedge_info dkw;
1461
1462         if (ioctl(fd, DIOCGWEDGEINFO, &dkw) != -1) {
1463             return dkw.dkw_size * 512;
1464         } else {
1465             struct disklabel dl;
1466
1467             if (ioctl(fd, DIOCGDINFO, &dl))
1468                 return -errno;
1469             return (uint64_t)dl.d_secsize *
1470                 dl.d_partitions[DISKPART(st.st_rdev)].p_size;
1471         }
1472     } else
1473         return st.st_size;
1474 }
1475 #elif defined(__sun__)
1476 static int64_t raw_getlength(BlockDriverState *bs)
1477 {
1478     BDRVRawState *s = bs->opaque;
1479     struct dk_minfo minfo;
1480     int ret;
1481     int64_t size;
1482
1483     ret = fd_open(bs);
1484     if (ret < 0) {
1485         return ret;
1486     }
1487
1488     /*
1489      * Use the DKIOCGMEDIAINFO ioctl to read the size.
1490      */
1491     ret = ioctl(s->fd, DKIOCGMEDIAINFO, &minfo);
1492     if (ret != -1) {
1493         return minfo.dki_lbsize * minfo.dki_capacity;
1494     }
1495
1496     /*
1497      * There are reports that lseek on some devices fails, but
1498      * irc discussion said that contingency on contingency was overkill.
1499      */
1500     size = lseek(s->fd, 0, SEEK_END);
1501     if (size < 0) {
1502         return -errno;
1503     }
1504     return size;
1505 }
1506 #elif defined(CONFIG_BSD)
1507 static int64_t raw_getlength(BlockDriverState *bs)
1508 {
1509     BDRVRawState *s = bs->opaque;
1510     int fd = s->fd;
1511     int64_t size;
1512     struct stat sb;
1513 #if defined (__FreeBSD__) || defined(__FreeBSD_kernel__)
1514     int reopened = 0;
1515 #endif
1516     int ret;
1517
1518     ret = fd_open(bs);
1519     if (ret < 0)
1520         return ret;
1521
1522 #if defined (__FreeBSD__) || defined(__FreeBSD_kernel__)
1523 again:
1524 #endif
1525     if (!fstat(fd, &sb) && (S_IFCHR & sb.st_mode)) {
1526 #ifdef DIOCGMEDIASIZE
1527         if (ioctl(fd, DIOCGMEDIASIZE, (off_t *)&size))
1528 #elif defined(DIOCGPART)
1529         {
1530                 struct partinfo pi;
1531                 if (ioctl(fd, DIOCGPART, &pi) == 0)
1532                         size = pi.media_size;
1533                 else
1534                         size = 0;
1535         }
1536         if (size == 0)
1537 #endif
1538 #if defined(__APPLE__) && defined(__MACH__)
1539         {
1540             uint64_t sectors = 0;
1541             uint32_t sector_size = 0;
1542
1543             if (ioctl(fd, DKIOCGETBLOCKCOUNT, &sectors) == 0
1544                && ioctl(fd, DKIOCGETBLOCKSIZE, &sector_size) == 0) {
1545                 size = sectors * sector_size;
1546             } else {
1547                 size = lseek(fd, 0LL, SEEK_END);
1548                 if (size < 0) {
1549                     return -errno;
1550                 }
1551             }
1552         }
1553 #else
1554         size = lseek(fd, 0LL, SEEK_END);
1555         if (size < 0) {
1556             return -errno;
1557         }
1558 #endif
1559 #if defined(__FreeBSD__) || defined(__FreeBSD_kernel__)
1560         switch(s->type) {
1561         case FTYPE_CD:
1562             /* XXX FreeBSD acd returns UINT_MAX sectors for an empty drive */
1563             if (size == 2048LL * (unsigned)-1)
1564                 size = 0;
1565             /* XXX no disc?  maybe we need to reopen... */
1566             if (size <= 0 && !reopened && cdrom_reopen(bs) >= 0) {
1567                 reopened = 1;
1568                 goto again;
1569             }
1570         }
1571 #endif
1572     } else {
1573         size = lseek(fd, 0, SEEK_END);
1574         if (size < 0) {
1575             return -errno;
1576         }
1577     }
1578     return size;
1579 }
1580 #else
1581 static int64_t raw_getlength(BlockDriverState *bs)
1582 {
1583     BDRVRawState *s = bs->opaque;
1584     int ret;
1585     int64_t size;
1586
1587     ret = fd_open(bs);
1588     if (ret < 0) {
1589         return ret;
1590     }
1591
1592     size = lseek(s->fd, 0, SEEK_END);
1593     if (size < 0) {
1594         return -errno;
1595     }
1596     return size;
1597 }
1598 #endif
1599
1600 static int64_t raw_get_allocated_file_size(BlockDriverState *bs)
1601 {
1602     struct stat st;
1603     BDRVRawState *s = bs->opaque;
1604
1605     if (fstat(s->fd, &st) < 0) {
1606         return -errno;
1607     }
1608     return (int64_t)st.st_blocks * 512;
1609 }
1610
1611 static int raw_create(const char *filename, QemuOpts *opts, Error **errp)
1612 {
1613     int fd;
1614     int result = 0;
1615     int64_t total_size = 0;
1616     bool nocow = false;
1617     PreallocMode prealloc;
1618     char *buf = NULL;
1619     Error *local_err = NULL;
1620
1621     strstart(filename, "file:", &filename);
1622
1623     /* Read out options */
1624     total_size = ROUND_UP(qemu_opt_get_size_del(opts, BLOCK_OPT_SIZE, 0),
1625                           BDRV_SECTOR_SIZE);
1626     nocow = qemu_opt_get_bool(opts, BLOCK_OPT_NOCOW, false);
1627     buf = qemu_opt_get_del(opts, BLOCK_OPT_PREALLOC);
1628     prealloc = qapi_enum_parse(PreallocMode_lookup, buf,
1629                                PREALLOC_MODE__MAX, PREALLOC_MODE_OFF,
1630                                &local_err);
1631     g_free(buf);
1632     if (local_err) {
1633         error_propagate(errp, local_err);
1634         result = -EINVAL;
1635         goto out;
1636     }
1637
1638     fd = qemu_open(filename, O_RDWR | O_CREAT | O_TRUNC | O_BINARY,
1639                    0644);
1640     if (fd < 0) {
1641         result = -errno;
1642         error_setg_errno(errp, -result, "Could not create file");
1643         goto out;
1644     }
1645
1646     if (nocow) {
1647 #ifdef __linux__
1648         /* Set NOCOW flag to solve performance issue on fs like btrfs.
1649          * This is an optimisation. The FS_IOC_SETFLAGS ioctl return value
1650          * will be ignored since any failure of this operation should not
1651          * block the left work.
1652          */
1653         int attr;
1654         if (ioctl(fd, FS_IOC_GETFLAGS, &attr) == 0) {
1655             attr |= FS_NOCOW_FL;
1656             ioctl(fd, FS_IOC_SETFLAGS, &attr);
1657         }
1658 #endif
1659     }
1660
1661     if (ftruncate(fd, total_size) != 0) {
1662         result = -errno;
1663         error_setg_errno(errp, -result, "Could not resize file");
1664         goto out_close;
1665     }
1666
1667     switch (prealloc) {
1668 #ifdef CONFIG_POSIX_FALLOCATE
1669     case PREALLOC_MODE_FALLOC:
1670         /* posix_fallocate() doesn't set errno. */
1671         result = -posix_fallocate(fd, 0, total_size);
1672         if (result != 0) {
1673             error_setg_errno(errp, -result,
1674                              "Could not preallocate data for the new file");
1675         }
1676         break;
1677 #endif
1678     case PREALLOC_MODE_FULL:
1679     {
1680         int64_t num = 0, left = total_size;
1681         buf = g_malloc0(65536);
1682
1683         while (left > 0) {
1684             num = MIN(left, 65536);
1685             result = write(fd, buf, num);
1686             if (result < 0) {
1687                 result = -errno;
1688                 error_setg_errno(errp, -result,
1689                                  "Could not write to the new file");
1690                 break;
1691             }
1692             left -= result;
1693         }
1694         if (result >= 0) {
1695             result = fsync(fd);
1696             if (result < 0) {
1697                 result = -errno;
1698                 error_setg_errno(errp, -result,
1699                                  "Could not flush new file to disk");
1700             }
1701         }
1702         g_free(buf);
1703         break;
1704     }
1705     case PREALLOC_MODE_OFF:
1706         break;
1707     default:
1708         result = -EINVAL;
1709         error_setg(errp, "Unsupported preallocation mode: %s",
1710                    PreallocMode_lookup[prealloc]);
1711         break;
1712     }
1713
1714 out_close:
1715     if (qemu_close(fd) != 0 && result == 0) {
1716         result = -errno;
1717         error_setg_errno(errp, -result, "Could not close the new file");
1718     }
1719 out:
1720     return result;
1721 }
1722
1723 /*
1724  * Find allocation range in @bs around offset @start.
1725  * May change underlying file descriptor's file offset.
1726  * If @start is not in a hole, store @start in @data, and the
1727  * beginning of the next hole in @hole, and return 0.
1728  * If @start is in a non-trailing hole, store @start in @hole and the
1729  * beginning of the next non-hole in @data, and return 0.
1730  * If @start is in a trailing hole or beyond EOF, return -ENXIO.
1731  * If we can't find out, return a negative errno other than -ENXIO.
1732  */
1733 static int find_allocation(BlockDriverState *bs, off_t start,
1734                            off_t *data, off_t *hole)
1735 {
1736 #if defined SEEK_HOLE && defined SEEK_DATA
1737     BDRVRawState *s = bs->opaque;
1738     off_t offs;
1739
1740     /*
1741      * SEEK_DATA cases:
1742      * D1. offs == start: start is in data
1743      * D2. offs > start: start is in a hole, next data at offs
1744      * D3. offs < 0, errno = ENXIO: either start is in a trailing hole
1745      *                              or start is beyond EOF
1746      *     If the latter happens, the file has been truncated behind
1747      *     our back since we opened it.  All bets are off then.
1748      *     Treating like a trailing hole is simplest.
1749      * D4. offs < 0, errno != ENXIO: we learned nothing
1750      */
1751     offs = lseek(s->fd, start, SEEK_DATA);
1752     if (offs < 0) {
1753         return -errno;          /* D3 or D4 */
1754     }
1755     assert(offs >= start);
1756
1757     if (offs > start) {
1758         /* D2: in hole, next data at offs */
1759         *hole = start;
1760         *data = offs;
1761         return 0;
1762     }
1763
1764     /* D1: in data, end not yet known */
1765
1766     /*
1767      * SEEK_HOLE cases:
1768      * H1. offs == start: start is in a hole
1769      *     If this happens here, a hole has been dug behind our back
1770      *     since the previous lseek().
1771      * H2. offs > start: either start is in data, next hole at offs,
1772      *                   or start is in trailing hole, EOF at offs
1773      *     Linux treats trailing holes like any other hole: offs ==
1774      *     start.  Solaris seeks to EOF instead: offs > start (blech).
1775      *     If that happens here, a hole has been dug behind our back
1776      *     since the previous lseek().
1777      * H3. offs < 0, errno = ENXIO: start is beyond EOF
1778      *     If this happens, the file has been truncated behind our
1779      *     back since we opened it.  Treat it like a trailing hole.
1780      * H4. offs < 0, errno != ENXIO: we learned nothing
1781      *     Pretend we know nothing at all, i.e. "forget" about D1.
1782      */
1783     offs = lseek(s->fd, start, SEEK_HOLE);
1784     if (offs < 0) {
1785         return -errno;          /* D1 and (H3 or H4) */
1786     }
1787     assert(offs >= start);
1788
1789     if (offs > start) {
1790         /*
1791          * D1 and H2: either in data, next hole at offs, or it was in
1792          * data but is now in a trailing hole.  In the latter case,
1793          * all bets are off.  Treating it as if it there was data all
1794          * the way to EOF is safe, so simply do that.
1795          */
1796         *data = start;
1797         *hole = offs;
1798         return 0;
1799     }
1800
1801     /* D1 and H1 */
1802     return -EBUSY;
1803 #else
1804     return -ENOTSUP;
1805 #endif
1806 }
1807
1808 /*
1809  * Returns the allocation status of the specified sectors.
1810  *
1811  * If 'sector_num' is beyond the end of the disk image the return value is 0
1812  * and 'pnum' is set to 0.
1813  *
1814  * 'pnum' is set to the number of sectors (including and immediately following
1815  * the specified sector) that are known to be in the same
1816  * allocated/unallocated state.
1817  *
1818  * 'nb_sectors' is the max value 'pnum' should be set to.  If nb_sectors goes
1819  * beyond the end of the disk image it will be clamped.
1820  */
1821 static int64_t coroutine_fn raw_co_get_block_status(BlockDriverState *bs,
1822                                                     int64_t sector_num,
1823                                                     int nb_sectors, int *pnum,
1824                                                     BlockDriverState **file)
1825 {
1826     off_t start, data = 0, hole = 0;
1827     int64_t total_size;
1828     int ret;
1829
1830     ret = fd_open(bs);
1831     if (ret < 0) {
1832         return ret;
1833     }
1834
1835     start = sector_num * BDRV_SECTOR_SIZE;
1836     total_size = bdrv_getlength(bs);
1837     if (total_size < 0) {
1838         return total_size;
1839     } else if (start >= total_size) {
1840         *pnum = 0;
1841         return 0;
1842     } else if (start + nb_sectors * BDRV_SECTOR_SIZE > total_size) {
1843         nb_sectors = DIV_ROUND_UP(total_size - start, BDRV_SECTOR_SIZE);
1844     }
1845
1846     ret = find_allocation(bs, start, &data, &hole);
1847     if (ret == -ENXIO) {
1848         /* Trailing hole */
1849         *pnum = nb_sectors;
1850         ret = BDRV_BLOCK_ZERO;
1851     } else if (ret < 0) {
1852         /* No info available, so pretend there are no holes */
1853         *pnum = nb_sectors;
1854         ret = BDRV_BLOCK_DATA;
1855     } else if (data == start) {
1856         /* On a data extent, compute sectors to the end of the extent,
1857          * possibly including a partial sector at EOF. */
1858         *pnum = MIN(nb_sectors, DIV_ROUND_UP(hole - start, BDRV_SECTOR_SIZE));
1859         ret = BDRV_BLOCK_DATA;
1860     } else {
1861         /* On a hole, compute sectors to the beginning of the next extent.  */
1862         assert(hole == start);
1863         *pnum = MIN(nb_sectors, (data - start) / BDRV_SECTOR_SIZE);
1864         ret = BDRV_BLOCK_ZERO;
1865     }
1866     *file = bs;
1867     return ret | BDRV_BLOCK_OFFSET_VALID | start;
1868 }
1869
1870 static coroutine_fn BlockAIOCB *raw_aio_discard(BlockDriverState *bs,
1871     int64_t sector_num, int nb_sectors,
1872     BlockCompletionFunc *cb, void *opaque)
1873 {
1874     BDRVRawState *s = bs->opaque;
1875
1876     return paio_submit(bs, s->fd, sector_num, NULL, nb_sectors,
1877                        cb, opaque, QEMU_AIO_DISCARD);
1878 }
1879
1880 static int coroutine_fn raw_co_write_zeroes(
1881     BlockDriverState *bs, int64_t sector_num,
1882     int nb_sectors, BdrvRequestFlags flags)
1883 {
1884     BDRVRawState *s = bs->opaque;
1885
1886     if (!(flags & BDRV_REQ_MAY_UNMAP)) {
1887         return paio_submit_co(bs, s->fd, sector_num, NULL, nb_sectors,
1888                               QEMU_AIO_WRITE_ZEROES);
1889     } else if (s->discard_zeroes) {
1890         return paio_submit_co(bs, s->fd, sector_num, NULL, nb_sectors,
1891                               QEMU_AIO_DISCARD);
1892     }
1893     return -ENOTSUP;
1894 }
1895
1896 static int raw_get_info(BlockDriverState *bs, BlockDriverInfo *bdi)
1897 {
1898     BDRVRawState *s = bs->opaque;
1899
1900     bdi->unallocated_blocks_are_zero = s->discard_zeroes;
1901     bdi->can_write_zeroes_with_unmap = s->discard_zeroes;
1902     return 0;
1903 }
1904
1905 static QemuOptsList raw_create_opts = {
1906     .name = "raw-create-opts",
1907     .head = QTAILQ_HEAD_INITIALIZER(raw_create_opts.head),
1908     .desc = {
1909         {
1910             .name = BLOCK_OPT_SIZE,
1911             .type = QEMU_OPT_SIZE,
1912             .help = "Virtual disk size"
1913         },
1914         {
1915             .name = BLOCK_OPT_NOCOW,
1916             .type = QEMU_OPT_BOOL,
1917             .help = "Turn off copy-on-write (valid only on btrfs)"
1918         },
1919         {
1920             .name = BLOCK_OPT_PREALLOC,
1921             .type = QEMU_OPT_STRING,
1922             .help = "Preallocation mode (allowed values: off, falloc, full)"
1923         },
1924         { /* end of list */ }
1925     }
1926 };
1927
1928 BlockDriver bdrv_file = {
1929     .format_name = "file",
1930     .protocol_name = "file",
1931     .instance_size = sizeof(BDRVRawState),
1932     .bdrv_needs_filename = true,
1933     .bdrv_probe = NULL, /* no probe for protocols */
1934     .bdrv_parse_filename = raw_parse_filename,
1935     .bdrv_file_open = raw_open,
1936     .bdrv_reopen_prepare = raw_reopen_prepare,
1937     .bdrv_reopen_commit = raw_reopen_commit,
1938     .bdrv_reopen_abort = raw_reopen_abort,
1939     .bdrv_close = raw_close,
1940     .bdrv_create = raw_create,
1941     .bdrv_has_zero_init = bdrv_has_zero_init_1,
1942     .bdrv_co_get_block_status = raw_co_get_block_status,
1943     .bdrv_co_write_zeroes = raw_co_write_zeroes,
1944
1945     .bdrv_aio_readv = raw_aio_readv,
1946     .bdrv_aio_writev = raw_aio_writev,
1947     .bdrv_aio_flush = raw_aio_flush,
1948     .bdrv_aio_discard = raw_aio_discard,
1949     .bdrv_refresh_limits = raw_refresh_limits,
1950     .bdrv_io_plug = raw_aio_plug,
1951     .bdrv_io_unplug = raw_aio_unplug,
1952     .bdrv_flush_io_queue = raw_aio_flush_io_queue,
1953
1954     .bdrv_truncate = raw_truncate,
1955     .bdrv_getlength = raw_getlength,
1956     .bdrv_get_info = raw_get_info,
1957     .bdrv_get_allocated_file_size
1958                         = raw_get_allocated_file_size,
1959
1960     .bdrv_detach_aio_context = raw_detach_aio_context,
1961     .bdrv_attach_aio_context = raw_attach_aio_context,
1962
1963     .create_opts = &raw_create_opts,
1964 };
1965
1966 /***********************************************/
1967 /* host device */
1968
1969 #if defined(__APPLE__) && defined(__MACH__)
1970 static kern_return_t GetBSDPath(io_iterator_t mediaIterator, char *bsdPath,
1971                                 CFIndex maxPathSize, int flags);
1972 static char *FindEjectableOpticalMedia(io_iterator_t *mediaIterator)
1973 {
1974     kern_return_t kernResult = KERN_FAILURE;
1975     mach_port_t     masterPort;
1976     CFMutableDictionaryRef  classesToMatch;
1977     const char *matching_array[] = {kIODVDMediaClass, kIOCDMediaClass};
1978     char *mediaType = NULL;
1979
1980     kernResult = IOMasterPort( MACH_PORT_NULL, &masterPort );
1981     if ( KERN_SUCCESS != kernResult ) {
1982         printf( "IOMasterPort returned %d\n", kernResult );
1983     }
1984
1985     int index;
1986     for (index = 0; index < ARRAY_SIZE(matching_array); index++) {
1987         classesToMatch = IOServiceMatching(matching_array[index]);
1988         if (classesToMatch == NULL) {
1989             error_report("IOServiceMatching returned NULL for %s",
1990                          matching_array[index]);
1991             continue;
1992         }
1993         CFDictionarySetValue(classesToMatch, CFSTR(kIOMediaEjectableKey),
1994                              kCFBooleanTrue);
1995         kernResult = IOServiceGetMatchingServices(masterPort, classesToMatch,
1996                                                   mediaIterator);
1997         if (kernResult != KERN_SUCCESS) {
1998             error_report("Note: IOServiceGetMatchingServices returned %d",
1999                          kernResult);
2000             continue;
2001         }
2002
2003         /* If a match was found, leave the loop */
2004         if (*mediaIterator != 0) {
2005             DPRINTF("Matching using %s\n", matching_array[index]);
2006             mediaType = g_strdup(matching_array[index]);
2007             break;
2008         }
2009     }
2010     return mediaType;
2011 }
2012
2013 kern_return_t GetBSDPath(io_iterator_t mediaIterator, char *bsdPath,
2014                          CFIndex maxPathSize, int flags)
2015 {
2016     io_object_t     nextMedia;
2017     kern_return_t   kernResult = KERN_FAILURE;
2018     *bsdPath = '\0';
2019     nextMedia = IOIteratorNext( mediaIterator );
2020     if ( nextMedia )
2021     {
2022         CFTypeRef   bsdPathAsCFString;
2023     bsdPathAsCFString = IORegistryEntryCreateCFProperty( nextMedia, CFSTR( kIOBSDNameKey ), kCFAllocatorDefault, 0 );
2024         if ( bsdPathAsCFString ) {
2025             size_t devPathLength;
2026             strcpy( bsdPath, _PATH_DEV );
2027             if (flags & BDRV_O_NOCACHE) {
2028                 strcat(bsdPath, "r");
2029             }
2030             devPathLength = strlen( bsdPath );
2031             if ( CFStringGetCString( bsdPathAsCFString, bsdPath + devPathLength, maxPathSize - devPathLength, kCFStringEncodingASCII ) ) {
2032                 kernResult = KERN_SUCCESS;
2033             }
2034             CFRelease( bsdPathAsCFString );
2035         }
2036         IOObjectRelease( nextMedia );
2037     }
2038
2039     return kernResult;
2040 }
2041
2042 /* Sets up a real cdrom for use in QEMU */
2043 static bool setup_cdrom(char *bsd_path, Error **errp)
2044 {
2045     int index, num_of_test_partitions = 2, fd;
2046     char test_partition[MAXPATHLEN];
2047     bool partition_found = false;
2048
2049     /* look for a working partition */
2050     for (index = 0; index < num_of_test_partitions; index++) {
2051         snprintf(test_partition, sizeof(test_partition), "%ss%d", bsd_path,
2052                  index);
2053         fd = qemu_open(test_partition, O_RDONLY | O_BINARY | O_LARGEFILE);
2054         if (fd >= 0) {
2055             partition_found = true;
2056             qemu_close(fd);
2057             break;
2058         }
2059     }
2060
2061     /* if a working partition on the device was not found */
2062     if (partition_found == false) {
2063         error_setg(errp, "Failed to find a working partition on disc");
2064     } else {
2065         DPRINTF("Using %s as optical disc\n", test_partition);
2066         pstrcpy(bsd_path, MAXPATHLEN, test_partition);
2067     }
2068     return partition_found;
2069 }
2070
2071 /* Prints directions on mounting and unmounting a device */
2072 static void print_unmounting_directions(const char *file_name)
2073 {
2074     error_report("If device %s is mounted on the desktop, unmount"
2075                  " it first before using it in QEMU", file_name);
2076     error_report("Command to unmount device: diskutil unmountDisk %s",
2077                  file_name);
2078     error_report("Command to mount device: diskutil mountDisk %s", file_name);
2079 }
2080
2081 #endif /* defined(__APPLE__) && defined(__MACH__) */
2082
2083 static int hdev_probe_device(const char *filename)
2084 {
2085     struct stat st;
2086
2087     /* allow a dedicated CD-ROM driver to match with a higher priority */
2088     if (strstart(filename, "/dev/cdrom", NULL))
2089         return 50;
2090
2091     if (stat(filename, &st) >= 0 &&
2092             (S_ISCHR(st.st_mode) || S_ISBLK(st.st_mode))) {
2093         return 100;
2094     }
2095
2096     return 0;
2097 }
2098
2099 static int check_hdev_writable(BDRVRawState *s)
2100 {
2101 #if defined(BLKROGET)
2102     /* Linux block devices can be configured "read-only" using blockdev(8).
2103      * This is independent of device node permissions and therefore open(2)
2104      * with O_RDWR succeeds.  Actual writes fail with EPERM.
2105      *
2106      * bdrv_open() is supposed to fail if the disk is read-only.  Explicitly
2107      * check for read-only block devices so that Linux block devices behave
2108      * properly.
2109      */
2110     struct stat st;
2111     int readonly = 0;
2112
2113     if (fstat(s->fd, &st)) {
2114         return -errno;
2115     }
2116
2117     if (!S_ISBLK(st.st_mode)) {
2118         return 0;
2119     }
2120
2121     if (ioctl(s->fd, BLKROGET, &readonly) < 0) {
2122         return -errno;
2123     }
2124
2125     if (readonly) {
2126         return -EACCES;
2127     }
2128 #endif /* defined(BLKROGET) */
2129     return 0;
2130 }
2131
2132 static void hdev_parse_filename(const char *filename, QDict *options,
2133                                 Error **errp)
2134 {
2135     /* The prefix is optional, just as for "file". */
2136     strstart(filename, "host_device:", &filename);
2137
2138     qdict_put_obj(options, "filename", QOBJECT(qstring_from_str(filename)));
2139 }
2140
2141 static bool hdev_is_sg(BlockDriverState *bs)
2142 {
2143
2144 #if defined(__linux__)
2145
2146     struct stat st;
2147     struct sg_scsi_id scsiid;
2148     int sg_version;
2149
2150     if (stat(bs->filename, &st) >= 0 && S_ISCHR(st.st_mode) &&
2151         !bdrv_ioctl(bs, SG_GET_VERSION_NUM, &sg_version) &&
2152         !bdrv_ioctl(bs, SG_GET_SCSI_ID, &scsiid)) {
2153         DPRINTF("SG device found: type=%d, version=%d\n",
2154             scsiid.scsi_type, sg_version);
2155         return true;
2156     }
2157
2158 #endif
2159
2160     return false;
2161 }
2162
2163 static int hdev_open(BlockDriverState *bs, QDict *options, int flags,
2164                      Error **errp)
2165 {
2166     BDRVRawState *s = bs->opaque;
2167     Error *local_err = NULL;
2168     int ret;
2169
2170 #if defined(__APPLE__) && defined(__MACH__)
2171     const char *filename = qdict_get_str(options, "filename");
2172     char bsd_path[MAXPATHLEN] = "";
2173     bool error_occurred = false;
2174
2175     /* If using a real cdrom */
2176     if (strcmp(filename, "/dev/cdrom") == 0) {
2177         char *mediaType = NULL;
2178         kern_return_t ret_val;
2179         io_iterator_t mediaIterator = 0;
2180
2181         mediaType = FindEjectableOpticalMedia(&mediaIterator);
2182         if (mediaType == NULL) {
2183             error_setg(errp, "Please make sure your CD/DVD is in the optical"
2184                        " drive");
2185             error_occurred = true;
2186             goto hdev_open_Mac_error;
2187         }
2188
2189         ret_val = GetBSDPath(mediaIterator, bsd_path, sizeof(bsd_path), flags);
2190         if (ret_val != KERN_SUCCESS) {
2191             error_setg(errp, "Could not get BSD path for optical drive");
2192             error_occurred = true;
2193             goto hdev_open_Mac_error;
2194         }
2195
2196         /* If a real optical drive was not found */
2197         if (bsd_path[0] == '\0') {
2198             error_setg(errp, "Failed to obtain bsd path for optical drive");
2199             error_occurred = true;
2200             goto hdev_open_Mac_error;
2201         }
2202
2203         /* If using a cdrom disc and finding a partition on the disc failed */
2204         if (strncmp(mediaType, kIOCDMediaClass, 9) == 0 &&
2205             setup_cdrom(bsd_path, errp) == false) {
2206             print_unmounting_directions(bsd_path);
2207             error_occurred = true;
2208             goto hdev_open_Mac_error;
2209         }
2210
2211         qdict_put(options, "filename", qstring_from_str(bsd_path));
2212
2213 hdev_open_Mac_error:
2214         g_free(mediaType);
2215         if (mediaIterator) {
2216             IOObjectRelease(mediaIterator);
2217         }
2218         if (error_occurred) {
2219             return -ENOENT;
2220         }
2221     }
2222 #endif /* defined(__APPLE__) && defined(__MACH__) */
2223
2224     s->type = FTYPE_FILE;
2225
2226     ret = raw_open_common(bs, options, flags, 0, &local_err);
2227     if (ret < 0) {
2228         if (local_err) {
2229             error_propagate(errp, local_err);
2230         }
2231 #if defined(__APPLE__) && defined(__MACH__)
2232         if (*bsd_path) {
2233             filename = bsd_path;
2234         }
2235         /* if a physical device experienced an error while being opened */
2236         if (strncmp(filename, "/dev/", 5) == 0) {
2237             print_unmounting_directions(filename);
2238         }
2239 #endif /* defined(__APPLE__) && defined(__MACH__) */
2240         return ret;
2241     }
2242
2243     /* Since this does ioctl the device must be already opened */
2244     bs->sg = hdev_is_sg(bs);
2245
2246     if (flags & BDRV_O_RDWR) {
2247         ret = check_hdev_writable(s);
2248         if (ret < 0) {
2249             raw_close(bs);
2250             error_setg_errno(errp, -ret, "The device is not writable");
2251             return ret;
2252         }
2253     }
2254
2255     return ret;
2256 }
2257
2258 #if defined(__linux__)
2259
2260 static BlockAIOCB *hdev_aio_ioctl(BlockDriverState *bs,
2261         unsigned long int req, void *buf,
2262         BlockCompletionFunc *cb, void *opaque)
2263 {
2264     BDRVRawState *s = bs->opaque;
2265     RawPosixAIOData *acb;
2266     ThreadPool *pool;
2267
2268     if (fd_open(bs) < 0)
2269         return NULL;
2270
2271     acb = g_new(RawPosixAIOData, 1);
2272     acb->bs = bs;
2273     acb->aio_type = QEMU_AIO_IOCTL;
2274     acb->aio_fildes = s->fd;
2275     acb->aio_offset = 0;
2276     acb->aio_ioctl_buf = buf;
2277     acb->aio_ioctl_cmd = req;
2278     pool = aio_get_thread_pool(bdrv_get_aio_context(bs));
2279     return thread_pool_submit_aio(pool, aio_worker, acb, cb, opaque);
2280 }
2281 #endif /* linux */
2282
2283 static int fd_open(BlockDriverState *bs)
2284 {
2285     BDRVRawState *s = bs->opaque;
2286
2287     /* this is just to ensure s->fd is sane (its called by io ops) */
2288     if (s->fd >= 0)
2289         return 0;
2290     return -EIO;
2291 }
2292
2293 static coroutine_fn BlockAIOCB *hdev_aio_discard(BlockDriverState *bs,
2294     int64_t sector_num, int nb_sectors,
2295     BlockCompletionFunc *cb, void *opaque)
2296 {
2297     BDRVRawState *s = bs->opaque;
2298
2299     if (fd_open(bs) < 0) {
2300         return NULL;
2301     }
2302     return paio_submit(bs, s->fd, sector_num, NULL, nb_sectors,
2303                        cb, opaque, QEMU_AIO_DISCARD|QEMU_AIO_BLKDEV);
2304 }
2305
2306 static coroutine_fn int hdev_co_write_zeroes(BlockDriverState *bs,
2307     int64_t sector_num, int nb_sectors, BdrvRequestFlags flags)
2308 {
2309     BDRVRawState *s = bs->opaque;
2310     int rc;
2311
2312     rc = fd_open(bs);
2313     if (rc < 0) {
2314         return rc;
2315     }
2316     if (!(flags & BDRV_REQ_MAY_UNMAP)) {
2317         return paio_submit_co(bs, s->fd, sector_num, NULL, nb_sectors,
2318                               QEMU_AIO_WRITE_ZEROES|QEMU_AIO_BLKDEV);
2319     } else if (s->discard_zeroes) {
2320         return paio_submit_co(bs, s->fd, sector_num, NULL, nb_sectors,
2321                               QEMU_AIO_DISCARD|QEMU_AIO_BLKDEV);
2322     }
2323     return -ENOTSUP;
2324 }
2325
2326 static int hdev_create(const char *filename, QemuOpts *opts,
2327                        Error **errp)
2328 {
2329     int fd;
2330     int ret = 0;
2331     struct stat stat_buf;
2332     int64_t total_size = 0;
2333     bool has_prefix;
2334
2335     /* This function is used by both protocol block drivers and therefore either
2336      * of these prefixes may be given.
2337      * The return value has to be stored somewhere, otherwise this is an error
2338      * due to -Werror=unused-value. */
2339     has_prefix =
2340         strstart(filename, "host_device:", &filename) ||
2341         strstart(filename, "host_cdrom:" , &filename);
2342
2343     (void)has_prefix;
2344
2345     ret = raw_normalize_devicepath(&filename);
2346     if (ret < 0) {
2347         error_setg_errno(errp, -ret, "Could not normalize device path");
2348         return ret;
2349     }
2350
2351     /* Read out options */
2352     total_size = ROUND_UP(qemu_opt_get_size_del(opts, BLOCK_OPT_SIZE, 0),
2353                           BDRV_SECTOR_SIZE);
2354
2355     fd = qemu_open(filename, O_WRONLY | O_BINARY);
2356     if (fd < 0) {
2357         ret = -errno;
2358         error_setg_errno(errp, -ret, "Could not open device");
2359         return ret;
2360     }
2361
2362     if (fstat(fd, &stat_buf) < 0) {
2363         ret = -errno;
2364         error_setg_errno(errp, -ret, "Could not stat device");
2365     } else if (!S_ISBLK(stat_buf.st_mode) && !S_ISCHR(stat_buf.st_mode)) {
2366         error_setg(errp,
2367                    "The given file is neither a block nor a character device");
2368         ret = -ENODEV;
2369     } else if (lseek(fd, 0, SEEK_END) < total_size) {
2370         error_setg(errp, "Device is too small");
2371         ret = -ENOSPC;
2372     }
2373
2374     qemu_close(fd);
2375     return ret;
2376 }
2377
2378 static BlockDriver bdrv_host_device = {
2379     .format_name        = "host_device",
2380     .protocol_name        = "host_device",
2381     .instance_size      = sizeof(BDRVRawState),
2382     .bdrv_needs_filename = true,
2383     .bdrv_probe_device  = hdev_probe_device,
2384     .bdrv_parse_filename = hdev_parse_filename,
2385     .bdrv_file_open     = hdev_open,
2386     .bdrv_close         = raw_close,
2387     .bdrv_reopen_prepare = raw_reopen_prepare,
2388     .bdrv_reopen_commit  = raw_reopen_commit,
2389     .bdrv_reopen_abort   = raw_reopen_abort,
2390     .bdrv_create         = hdev_create,
2391     .create_opts         = &raw_create_opts,
2392     .bdrv_co_write_zeroes = hdev_co_write_zeroes,
2393
2394     .bdrv_aio_readv     = raw_aio_readv,
2395     .bdrv_aio_writev    = raw_aio_writev,
2396     .bdrv_aio_flush     = raw_aio_flush,
2397     .bdrv_aio_discard   = hdev_aio_discard,
2398     .bdrv_refresh_limits = raw_refresh_limits,
2399     .bdrv_io_plug = raw_aio_plug,
2400     .bdrv_io_unplug = raw_aio_unplug,
2401     .bdrv_flush_io_queue = raw_aio_flush_io_queue,
2402
2403     .bdrv_truncate      = raw_truncate,
2404     .bdrv_getlength     = raw_getlength,
2405     .bdrv_get_info = raw_get_info,
2406     .bdrv_get_allocated_file_size
2407                         = raw_get_allocated_file_size,
2408     .bdrv_probe_blocksizes = hdev_probe_blocksizes,
2409     .bdrv_probe_geometry = hdev_probe_geometry,
2410
2411     .bdrv_detach_aio_context = raw_detach_aio_context,
2412     .bdrv_attach_aio_context = raw_attach_aio_context,
2413
2414     /* generic scsi device */
2415 #ifdef __linux__
2416     .bdrv_aio_ioctl     = hdev_aio_ioctl,
2417 #endif
2418 };
2419
2420 #if defined(__linux__) || defined(__FreeBSD__) || defined(__FreeBSD_kernel__)
2421 static void cdrom_parse_filename(const char *filename, QDict *options,
2422                                  Error **errp)
2423 {
2424     /* The prefix is optional, just as for "file". */
2425     strstart(filename, "host_cdrom:", &filename);
2426
2427     qdict_put_obj(options, "filename", QOBJECT(qstring_from_str(filename)));
2428 }
2429 #endif
2430
2431 #ifdef __linux__
2432 static int cdrom_open(BlockDriverState *bs, QDict *options, int flags,
2433                       Error **errp)
2434 {
2435     BDRVRawState *s = bs->opaque;
2436     Error *local_err = NULL;
2437     int ret;
2438
2439     s->type = FTYPE_CD;
2440
2441     /* open will not fail even if no CD is inserted, so add O_NONBLOCK */
2442     ret = raw_open_common(bs, options, flags, O_NONBLOCK, &local_err);
2443     if (local_err) {
2444         error_propagate(errp, local_err);
2445     }
2446     return ret;
2447 }
2448
2449 static int cdrom_probe_device(const char *filename)
2450 {
2451     int fd, ret;
2452     int prio = 0;
2453     struct stat st;
2454
2455     fd = qemu_open(filename, O_RDONLY | O_NONBLOCK);
2456     if (fd < 0) {
2457         goto out;
2458     }
2459     ret = fstat(fd, &st);
2460     if (ret == -1 || !S_ISBLK(st.st_mode)) {
2461         goto outc;
2462     }
2463
2464     /* Attempt to detect via a CDROM specific ioctl */
2465     ret = ioctl(fd, CDROM_DRIVE_STATUS, CDSL_CURRENT);
2466     if (ret >= 0)
2467         prio = 100;
2468
2469 outc:
2470     qemu_close(fd);
2471 out:
2472     return prio;
2473 }
2474
2475 static bool cdrom_is_inserted(BlockDriverState *bs)
2476 {
2477     BDRVRawState *s = bs->opaque;
2478     int ret;
2479
2480     ret = ioctl(s->fd, CDROM_DRIVE_STATUS, CDSL_CURRENT);
2481     return ret == CDS_DISC_OK;
2482 }
2483
2484 static void cdrom_eject(BlockDriverState *bs, bool eject_flag)
2485 {
2486     BDRVRawState *s = bs->opaque;
2487
2488     if (eject_flag) {
2489         if (ioctl(s->fd, CDROMEJECT, NULL) < 0)
2490             perror("CDROMEJECT");
2491     } else {
2492         if (ioctl(s->fd, CDROMCLOSETRAY, NULL) < 0)
2493             perror("CDROMEJECT");
2494     }
2495 }
2496
2497 static void cdrom_lock_medium(BlockDriverState *bs, bool locked)
2498 {
2499     BDRVRawState *s = bs->opaque;
2500
2501     if (ioctl(s->fd, CDROM_LOCKDOOR, locked) < 0) {
2502         /*
2503          * Note: an error can happen if the distribution automatically
2504          * mounts the CD-ROM
2505          */
2506         /* perror("CDROM_LOCKDOOR"); */
2507     }
2508 }
2509
2510 static BlockDriver bdrv_host_cdrom = {
2511     .format_name        = "host_cdrom",
2512     .protocol_name      = "host_cdrom",
2513     .instance_size      = sizeof(BDRVRawState),
2514     .bdrv_needs_filename = true,
2515     .bdrv_probe_device  = cdrom_probe_device,
2516     .bdrv_parse_filename = cdrom_parse_filename,
2517     .bdrv_file_open     = cdrom_open,
2518     .bdrv_close         = raw_close,
2519     .bdrv_reopen_prepare = raw_reopen_prepare,
2520     .bdrv_reopen_commit  = raw_reopen_commit,
2521     .bdrv_reopen_abort   = raw_reopen_abort,
2522     .bdrv_create         = hdev_create,
2523     .create_opts         = &raw_create_opts,
2524
2525     .bdrv_aio_readv     = raw_aio_readv,
2526     .bdrv_aio_writev    = raw_aio_writev,
2527     .bdrv_aio_flush     = raw_aio_flush,
2528     .bdrv_refresh_limits = raw_refresh_limits,
2529     .bdrv_io_plug = raw_aio_plug,
2530     .bdrv_io_unplug = raw_aio_unplug,
2531     .bdrv_flush_io_queue = raw_aio_flush_io_queue,
2532
2533     .bdrv_truncate      = raw_truncate,
2534     .bdrv_getlength      = raw_getlength,
2535     .has_variable_length = true,
2536     .bdrv_get_allocated_file_size
2537                         = raw_get_allocated_file_size,
2538
2539     .bdrv_detach_aio_context = raw_detach_aio_context,
2540     .bdrv_attach_aio_context = raw_attach_aio_context,
2541
2542     /* removable device support */
2543     .bdrv_is_inserted   = cdrom_is_inserted,
2544     .bdrv_eject         = cdrom_eject,
2545     .bdrv_lock_medium   = cdrom_lock_medium,
2546
2547     /* generic scsi device */
2548     .bdrv_aio_ioctl     = hdev_aio_ioctl,
2549 };
2550 #endif /* __linux__ */
2551
2552 #if defined (__FreeBSD__) || defined(__FreeBSD_kernel__)
2553 static int cdrom_open(BlockDriverState *bs, QDict *options, int flags,
2554                       Error **errp)
2555 {
2556     BDRVRawState *s = bs->opaque;
2557     Error *local_err = NULL;
2558     int ret;
2559
2560     s->type = FTYPE_CD;
2561
2562     ret = raw_open_common(bs, options, flags, 0, &local_err);
2563     if (ret) {
2564         if (local_err) {
2565             error_propagate(errp, local_err);
2566         }
2567         return ret;
2568     }
2569
2570     /* make sure the door isn't locked at this time */
2571     ioctl(s->fd, CDIOCALLOW);
2572     return 0;
2573 }
2574
2575 static int cdrom_probe_device(const char *filename)
2576 {
2577     if (strstart(filename, "/dev/cd", NULL) ||
2578             strstart(filename, "/dev/acd", NULL))
2579         return 100;
2580     return 0;
2581 }
2582
2583 static int cdrom_reopen(BlockDriverState *bs)
2584 {
2585     BDRVRawState *s = bs->opaque;
2586     int fd;
2587
2588     /*
2589      * Force reread of possibly changed/newly loaded disc,
2590      * FreeBSD seems to not notice sometimes...
2591      */
2592     if (s->fd >= 0)
2593         qemu_close(s->fd);
2594     fd = qemu_open(bs->filename, s->open_flags, 0644);
2595     if (fd < 0) {
2596         s->fd = -1;
2597         return -EIO;
2598     }
2599     s->fd = fd;
2600
2601     /* make sure the door isn't locked at this time */
2602     ioctl(s->fd, CDIOCALLOW);
2603     return 0;
2604 }
2605
2606 static bool cdrom_is_inserted(BlockDriverState *bs)
2607 {
2608     return raw_getlength(bs) > 0;
2609 }
2610
2611 static void cdrom_eject(BlockDriverState *bs, bool eject_flag)
2612 {
2613     BDRVRawState *s = bs->opaque;
2614
2615     if (s->fd < 0)
2616         return;
2617
2618     (void) ioctl(s->fd, CDIOCALLOW);
2619
2620     if (eject_flag) {
2621         if (ioctl(s->fd, CDIOCEJECT) < 0)
2622             perror("CDIOCEJECT");
2623     } else {
2624         if (ioctl(s->fd, CDIOCCLOSE) < 0)
2625             perror("CDIOCCLOSE");
2626     }
2627
2628     cdrom_reopen(bs);
2629 }
2630
2631 static void cdrom_lock_medium(BlockDriverState *bs, bool locked)
2632 {
2633     BDRVRawState *s = bs->opaque;
2634
2635     if (s->fd < 0)
2636         return;
2637     if (ioctl(s->fd, (locked ? CDIOCPREVENT : CDIOCALLOW)) < 0) {
2638         /*
2639          * Note: an error can happen if the distribution automatically
2640          * mounts the CD-ROM
2641          */
2642         /* perror("CDROM_LOCKDOOR"); */
2643     }
2644 }
2645
2646 static BlockDriver bdrv_host_cdrom = {
2647     .format_name        = "host_cdrom",
2648     .protocol_name      = "host_cdrom",
2649     .instance_size      = sizeof(BDRVRawState),
2650     .bdrv_needs_filename = true,
2651     .bdrv_probe_device  = cdrom_probe_device,
2652     .bdrv_parse_filename = cdrom_parse_filename,
2653     .bdrv_file_open     = cdrom_open,
2654     .bdrv_close         = raw_close,
2655     .bdrv_reopen_prepare = raw_reopen_prepare,
2656     .bdrv_reopen_commit  = raw_reopen_commit,
2657     .bdrv_reopen_abort   = raw_reopen_abort,
2658     .bdrv_create        = hdev_create,
2659     .create_opts        = &raw_create_opts,
2660
2661     .bdrv_aio_readv     = raw_aio_readv,
2662     .bdrv_aio_writev    = raw_aio_writev,
2663     .bdrv_aio_flush     = raw_aio_flush,
2664     .bdrv_refresh_limits = raw_refresh_limits,
2665     .bdrv_io_plug = raw_aio_plug,
2666     .bdrv_io_unplug = raw_aio_unplug,
2667     .bdrv_flush_io_queue = raw_aio_flush_io_queue,
2668
2669     .bdrv_truncate      = raw_truncate,
2670     .bdrv_getlength      = raw_getlength,
2671     .has_variable_length = true,
2672     .bdrv_get_allocated_file_size
2673                         = raw_get_allocated_file_size,
2674
2675     .bdrv_detach_aio_context = raw_detach_aio_context,
2676     .bdrv_attach_aio_context = raw_attach_aio_context,
2677
2678     /* removable device support */
2679     .bdrv_is_inserted   = cdrom_is_inserted,
2680     .bdrv_eject         = cdrom_eject,
2681     .bdrv_lock_medium   = cdrom_lock_medium,
2682 };
2683 #endif /* __FreeBSD__ */
2684
2685 static void bdrv_file_init(void)
2686 {
2687     /*
2688      * Register all the drivers.  Note that order is important, the driver
2689      * registered last will get probed first.
2690      */
2691     bdrv_register(&bdrv_file);
2692     bdrv_register(&bdrv_host_device);
2693 #ifdef __linux__
2694     bdrv_register(&bdrv_host_cdrom);
2695 #endif
2696 #if defined(__FreeBSD__) || defined(__FreeBSD_kernel__)
2697     bdrv_register(&bdrv_host_cdrom);
2698 #endif
2699 }
2700
2701 block_init(bdrv_file_init);