kernel/fs/xfs/xfs_log_recover.c

   1 /*
   2  * Copyright (c) 2000-2006 Silicon Graphics, Inc.
   3  * All Rights Reserved.
   4  *
   5  * This program is free software; you can redistribute it and/or
   6  * modify it under the terms of the GNU General Public License as
   7  * published by the Free Software Foundation.
   8  *
   9  * This program is distributed in the hope that it would be useful,
  10  * but WITHOUT ANY WARRANTY; without even the implied warranty of
  11  * MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the
  12  * GNU General Public License for more details.
  13  *
  14  * You should have received a copy of the GNU General Public License
  15  * along with this program; if not, write the Free Software Foundation,
  16  * Inc.,  51 Franklin St, Fifth Floor, Boston, MA  02110-1301  USA
  17  */
  18 #include "xfs.h"
  19 #include "xfs_fs.h"
  20 #include "xfs_shared.h"
  21 #include "xfs_format.h"
  22 #include "xfs_log_format.h"
  23 #include "xfs_trans_resv.h"
  24 #include "xfs_bit.h"
  25 #include "xfs_sb.h"
  26 #include "xfs_mount.h"
  27 #include "xfs_da_format.h"
  28 #include "xfs_da_btree.h"
  29 #include "xfs_inode.h"
  30 #include "xfs_trans.h"
  31 #include "xfs_log.h"
  32 #include "xfs_log_priv.h"
  33 #include "xfs_log_recover.h"
  34 #include "xfs_inode_item.h"
  35 #include "xfs_extfree_item.h"
  36 #include "xfs_trans_priv.h"
  37 #include "xfs_alloc.h"
  38 #include "xfs_ialloc.h"
  39 #include "xfs_quota.h"
  40 #include "xfs_cksum.h"
  41 #include "xfs_trace.h"
  42 #include "xfs_icache.h"
  43 #include "xfs_bmap_btree.h"
  44 #include "xfs_error.h"
  45 #include "xfs_dir2.h"
  46
  47 #define BLK_AVG(blk1, blk2)     ((blk1+blk2) >> 1)
  48
  49 STATIC int
  50 xlog_find_zeroed(
  51         struct xlog     *,
  52         xfs_daddr_t     *);
  53 STATIC int
  54 xlog_clear_stale_blocks(
  55         struct xlog     *,
  56         xfs_lsn_t);
  57 #if defined(DEBUG)
  58 STATIC void
  59 xlog_recover_check_summary(
  60         struct xlog *);
  61 #else
  62 #define xlog_recover_check_summary(log)
  63 #endif
  64
  65 /*
  66  * This structure is used during recovery to record the buf log items which
  67  * have been canceled and should not be replayed.
  68  */
  69 struct xfs_buf_cancel {
  70         xfs_daddr_t             bc_blkno;
  71         uint                    bc_len;
  72         int                     bc_refcount;
  73         struct list_head        bc_list;
  74 };
  75
  76 /*
  77  * Sector aligned buffer routines for buffer create/read/write/access
  78  */
  79
  80 /*
  81  * Verify the given count of basic blocks is valid number of blocks
  82  * to specify for an operation involving the given XFS log buffer.
  83  * Returns nonzero if the count is valid, 0 otherwise.
  84  */
  85
  86 static inline int
  87 xlog_buf_bbcount_valid(
  88         struct xlog     *log,
  89         int             bbcount)
  90 {
  91         return bbcount > 0 && bbcount <= log->l_logBBsize;
  92 }
  93
  94 /*
  95  * Allocate a buffer to hold log data.  The buffer needs to be able
  96  * to map to a range of nbblks basic blocks at any valid (basic
  97  * block) offset within the log.
  98  */
  99 STATIC xfs_buf_t *
 100 xlog_get_bp(
 101         struct xlog     *log,
 102         int             nbblks)
 103 {
 104         struct xfs_buf  *bp;
 105
 106         if (!xlog_buf_bbcount_valid(log, nbblks)) {
 107                 xfs_warn(log->l_mp, "Invalid block length (0x%x) for buffer",
 108                         nbblks);
 109                 XFS_ERROR_REPORT(__func__, XFS_ERRLEVEL_HIGH, log->l_mp);
 110                 return NULL;
 111         }
 112
 113         /*
 114          * We do log I/O in units of log sectors (a power-of-2
 115          * multiple of the basic block size), so we round up the
 116          * requested size to accommodate the basic blocks required
 117          * for complete log sectors.
 118          *
 119          * In addition, the buffer may be used for a non-sector-
 120          * aligned block offset, in which case an I/O of the
 121          * requested size could extend beyond the end of the
 122          * buffer.  If the requested size is only 1 basic block it
 123          * will never straddle a sector boundary, so this won't be
 124          * an issue.  Nor will this be a problem if the log I/O is
 125          * done in basic blocks (sector size 1).  But otherwise we
 126          * extend the buffer by one extra log sector to ensure
 127          * there's space to accommodate this possibility.
 128          */
 129         if (nbblks > 1 && log->l_sectBBsize > 1)
 130                 nbblks += log->l_sectBBsize;
 131         nbblks = round_up(nbblks, log->l_sectBBsize);
 132
 133         bp = xfs_buf_get_uncached(log->l_mp->m_logdev_targp, nbblks, 0);
 134         if (bp)
 135                 xfs_buf_unlock(bp);
 136         return bp;
 137 }
 138
 139 STATIC void
 140 xlog_put_bp(
 141         xfs_buf_t       *bp)
 142 {
 143         xfs_buf_free(bp);
 144 }
 145
 146 /*
 147  * Return the address of the start of the given block number's data
 148  * in a log buffer.  The buffer covers a log sector-aligned region.
 149  */
 150 STATIC xfs_caddr_t
 151 xlog_align(
 152         struct xlog     *log,
 153         xfs_daddr_t     blk_no,
 154         int             nbblks,
 155         struct xfs_buf  *bp)
 156 {
 157         xfs_daddr_t     offset = blk_no & ((xfs_daddr_t)log->l_sectBBsize - 1);
 158
 159         ASSERT(offset + nbblks <= bp->b_length);
 160         return bp->b_addr + BBTOB(offset);
 161 }
 162
 163
 164 /*
 165  * nbblks should be uint, but oh well.  Just want to catch that 32-bit length.
 166  */
 167 STATIC int
 168 xlog_bread_noalign(
 169         struct xlog     *log,
 170         xfs_daddr_t     blk_no,
 171         int             nbblks,
 172         struct xfs_buf  *bp)
 173 {
 174         int             error;
 175
 176         if (!xlog_buf_bbcount_valid(log, nbblks)) {
 177                 xfs_warn(log->l_mp, "Invalid block length (0x%x) for buffer",
 178                         nbblks);
 179                 XFS_ERROR_REPORT(__func__, XFS_ERRLEVEL_HIGH, log->l_mp);
 180                 return -EFSCORRUPTED;
 181         }
 182
 183         blk_no = round_down(blk_no, log->l_sectBBsize);
 184         nbblks = round_up(nbblks, log->l_sectBBsize);
 185
 186         ASSERT(nbblks > 0);
 187         ASSERT(nbblks <= bp->b_length);
 188
 189         XFS_BUF_SET_ADDR(bp, log->l_logBBstart + blk_no);
 190         XFS_BUF_READ(bp);
 191         bp->b_io_length = nbblks;
 192         bp->b_error = 0;
 193
 194         error = xfs_buf_submit_wait(bp);
 195         if (error && !XFS_FORCED_SHUTDOWN(log->l_mp))
 196                 xfs_buf_ioerror_alert(bp, __func__);
 197         return error;
 198 }
 199
 200 STATIC int
 201 xlog_bread(
 202         struct xlog     *log,
 203         xfs_daddr_t     blk_no,
 204         int             nbblks,
 205         struct xfs_buf  *bp,
 206         xfs_caddr_t     *offset)
 207 {
 208         int             error;
 209
 210         error = xlog_bread_noalign(log, blk_no, nbblks, bp);
 211         if (error)
 212                 return error;
 213
 214         *offset = xlog_align(log, blk_no, nbblks, bp);
 215         return 0;
 216 }
 217
 218 /*
 219  * Read at an offset into the buffer. Returns with the buffer in it's original
 220  * state regardless of the result of the read.
 221  */
 222 STATIC int
 223 xlog_bread_offset(
 224         struct xlog     *log,
 225         xfs_daddr_t     blk_no,         /* block to read from */
 226         int             nbblks,         /* blocks to read */
 227         struct xfs_buf  *bp,
 228         xfs_caddr_t     offset)
 229 {
 230         xfs_caddr_t     orig_offset = bp->b_addr;
 231         int             orig_len = BBTOB(bp->b_length);
 232         int             error, error2;
 233
 234         error = xfs_buf_associate_memory(bp, offset, BBTOB(nbblks));
 235         if (error)
 236                 return error;
 237
 238         error = xlog_bread_noalign(log, blk_no, nbblks, bp);
 239
 240         /* must reset buffer pointer even on error */
 241         error2 = xfs_buf_associate_memory(bp, orig_offset, orig_len);
 242         if (error)
 243                 return error;
 244         return error2;
 245 }
 246
 247 /*
 248  * Write out the buffer at the given block for the given number of blocks.
 249  * The buffer is kept locked across the write and is returned locked.
 250  * This can only be used for synchronous log writes.
 251  */
 252 STATIC int
 253 xlog_bwrite(
 254         struct xlog     *log,
 255         xfs_daddr_t     blk_no,
 256         int             nbblks,
 257         struct xfs_buf  *bp)
 258 {
 259         int             error;
 260
 261         if (!xlog_buf_bbcount_valid(log, nbblks)) {
 262                 xfs_warn(log->l_mp, "Invalid block length (0x%x) for buffer",
 263                         nbblks);
 264                 XFS_ERROR_REPORT(__func__, XFS_ERRLEVEL_HIGH, log->l_mp);
 265                 return -EFSCORRUPTED;
 266         }
 267
 268         blk_no = round_down(blk_no, log->l_sectBBsize);
 269         nbblks = round_up(nbblks, log->l_sectBBsize);
 270
 271         ASSERT(nbblks > 0);
 272         ASSERT(nbblks <= bp->b_length);
 273
 274         XFS_BUF_SET_ADDR(bp, log->l_logBBstart + blk_no);
 275         XFS_BUF_ZEROFLAGS(bp);
 276         xfs_buf_hold(bp);
 277         xfs_buf_lock(bp);
 278         bp->b_io_length = nbblks;
 279         bp->b_error = 0;
 280
 281         error = xfs_bwrite(bp);
 282         if (error)
 283                 xfs_buf_ioerror_alert(bp, __func__);
 284         xfs_buf_relse(bp);
 285         return error;
 286 }
 287
 288 #ifdef DEBUG
 289 /*
 290  * dump debug superblock and log record information
 291  */
 292 STATIC void
 293 xlog_header_check_dump(
 294         xfs_mount_t             *mp,
 295         xlog_rec_header_t       *head)
 296 {
 297         xfs_debug(mp, "%s:  SB : uuid = %pU, fmt = %d",
 298                 __func__, &mp->m_sb.sb_uuid, XLOG_FMT);
 299         xfs_debug(mp, "    log : uuid = %pU, fmt = %d",
 300                 &head->h_fs_uuid, be32_to_cpu(head->h_fmt));
 301 }
 302 #else
 303 #define xlog_header_check_dump(mp, head)
 304 #endif
 305
 306 /*
 307  * check log record header for recovery
 308  */
 309 STATIC int
 310 xlog_header_check_recover(
 311         xfs_mount_t             *mp,
 312         xlog_rec_header_t       *head)
 313 {
 314         ASSERT(head->h_magicno == cpu_to_be32(XLOG_HEADER_MAGIC_NUM));
 315
 316         /*
 317          * IRIX doesn't write the h_fmt field and leaves it zeroed
 318          * (XLOG_FMT_UNKNOWN). This stops us from trying to recover
 319          * a dirty log created in IRIX.
 320          */
 321         if (unlikely(head->h_fmt != cpu_to_be32(XLOG_FMT))) {
 322                 xfs_warn(mp,
 323         "dirty log written in incompatible format - can't recover");
 324                 xlog_header_check_dump(mp, head);
 325                 XFS_ERROR_REPORT("xlog_header_check_recover(1)",
 326                                  XFS_ERRLEVEL_HIGH, mp);
 327                 return -EFSCORRUPTED;
 328         } else if (unlikely(!uuid_equal(&mp->m_sb.sb_uuid, &head->h_fs_uuid))) {
 329                 xfs_warn(mp,
 330         "dirty log entry has mismatched uuid - can't recover");
 331                 xlog_header_check_dump(mp, head);
 332                 XFS_ERROR_REPORT("xlog_header_check_recover(2)",
 333                                  XFS_ERRLEVEL_HIGH, mp);
 334                 return -EFSCORRUPTED;
 335         }
 336         return 0;
 337 }
 338
 339 /*
 340  * read the head block of the log and check the header
 341  */
 342 STATIC int
 343 xlog_header_check_mount(
 344         xfs_mount_t             *mp,
 345         xlog_rec_header_t       *head)
 346 {
 347         ASSERT(head->h_magicno == cpu_to_be32(XLOG_HEADER_MAGIC_NUM));
 348
 349         if (uuid_is_nil(&head->h_fs_uuid)) {
 350                 /*
 351                  * IRIX doesn't write the h_fs_uuid or h_fmt fields. If
 352                  * h_fs_uuid is nil, we assume this log was last mounted
 353                  * by IRIX and continue.
 354                  */
 355                 xfs_warn(mp, "nil uuid in log - IRIX style log");
 356         } else if (unlikely(!uuid_equal(&mp->m_sb.sb_uuid, &head->h_fs_uuid))) {
 357                 xfs_warn(mp, "log has mismatched uuid - can't recover");
 358                 xlog_header_check_dump(mp, head);
 359                 XFS_ERROR_REPORT("xlog_header_check_mount",
 360                                  XFS_ERRLEVEL_HIGH, mp);
 361                 return -EFSCORRUPTED;
 362         }
 363         return 0;
 364 }
 365
 366 STATIC void
 367 xlog_recover_iodone(
 368         struct xfs_buf  *bp)
 369 {
 370         if (bp->b_error) {
 371                 /*
 372                  * We're not going to bother about retrying
 373                  * this during recovery. One strike!
 374                  */
 375                 if (!XFS_FORCED_SHUTDOWN(bp->b_target->bt_mount)) {
 376                         xfs_buf_ioerror_alert(bp, __func__);
 377                         xfs_force_shutdown(bp->b_target->bt_mount,
 378                                                 SHUTDOWN_META_IO_ERROR);
 379                 }
 380         }
 381         bp->b_iodone = NULL;
 382         xfs_buf_ioend(bp);
 383 }
 384
 385 /*
 386  * This routine finds (to an approximation) the first block in the physical
 387  * log which contains the given cycle.  It uses a binary search algorithm.
 388  * Note that the algorithm can not be perfect because the disk will not
 389  * necessarily be perfect.
 390  */
 391 STATIC int
 392 xlog_find_cycle_start(
 393         struct xlog     *log,
 394         struct xfs_buf  *bp,
 395         xfs_daddr_t     first_blk,
 396         xfs_daddr_t     *last_blk,
 397         uint            cycle)
 398 {
 399         xfs_caddr_t     offset;
 400         xfs_daddr_t     mid_blk;
 401         xfs_daddr_t     end_blk;
 402         uint            mid_cycle;
 403         int             error;
 404
 405         end_blk = *last_blk;
 406         mid_blk = BLK_AVG(first_blk, end_blk);
 407         while (mid_blk != first_blk && mid_blk != end_blk) {
 408                 error = xlog_bread(log, mid_blk, 1, bp, &offset);
 409                 if (error)
 410                         return error;
 411                 mid_cycle = xlog_get_cycle(offset);
 412                 if (mid_cycle == cycle)
 413                         end_blk = mid_blk;   /* last_half_cycle == mid_cycle */
 414                 else
 415                         first_blk = mid_blk; /* first_half_cycle == mid_cycle */
 416                 mid_blk = BLK_AVG(first_blk, end_blk);
 417         }
 418         ASSERT((mid_blk == first_blk && mid_blk+1 == end_blk) ||
 419                (mid_blk == end_blk && mid_blk-1 == first_blk));
 420
 421         *last_blk = end_blk;
 422
 423         return 0;
 424 }
 425
 426 /*
 427  * Check that a range of blocks does not contain stop_on_cycle_no.
 428  * Fill in *new_blk with the block offset where such a block is
 429  * found, or with -1 (an invalid block number) if there is no such
 430  * block in the range.  The scan needs to occur from front to back
 431  * and the pointer into the region must be updated since a later
 432  * routine will need to perform another test.
 433  */
 434 STATIC int
 435 xlog_find_verify_cycle(
 436         struct xlog     *log,
 437         xfs_daddr_t     start_blk,
 438         int             nbblks,
 439         uint            stop_on_cycle_no,
 440         xfs_daddr_t     *new_blk)
 441 {
 442         xfs_daddr_t     i, j;
 443         uint            cycle;
 444         xfs_buf_t       *bp;
 445         xfs_daddr_t     bufblks;
 446         xfs_caddr_t     buf = NULL;
 447         int             error = 0;
 448
 449         /*
 450          * Greedily allocate a buffer big enough to handle the full
 451          * range of basic blocks we'll be examining.  If that fails,
 452          * try a smaller size.  We need to be able to read at least
 453          * a log sector, or we're out of luck.
 454          */
 455         bufblks = 1 << ffs(nbblks);
 456         while (bufblks > log->l_logBBsize)
 457                 bufblks >>= 1;
 458         while (!(bp = xlog_get_bp(log, bufblks))) {
 459                 bufblks >>= 1;
 460                 if (bufblks < log->l_sectBBsize)
 461                         return -ENOMEM;
 462         }
 463
 464         for (i = start_blk; i < start_blk + nbblks; i += bufblks) {
 465                 int     bcount;
 466
 467                 bcount = min(bufblks, (start_blk + nbblks - i));
 468
 469                 error = xlog_bread(log, i, bcount, bp, &buf);
 470                 if (error)
 471                         goto out;
 472
 473                 for (j = 0; j < bcount; j++) {
 474                         cycle = xlog_get_cycle(buf);
 475                         if (cycle == stop_on_cycle_no) {
 476                                 *new_blk = i+j;
 477                                 goto out;
 478                         }
 479
 480                         buf += BBSIZE;
 481                 }
 482         }
 483
 484         *new_blk = -1;
 485
 486 out:
 487         xlog_put_bp(bp);
 488         return error;
 489 }
 490
 491 /*
 492  * Potentially backup over partial log record write.
 493  *
 494  * In the typical case, last_blk is the number of the block directly after
 495  * a good log record.  Therefore, we subtract one to get the block number
 496  * of the last block in the given buffer.  extra_bblks contains the number
 497  * of blocks we would have read on a previous read.  This happens when the
 498  * last log record is split over the end of the physical log.
 499  *
 500  * extra_bblks is the number of blocks potentially verified on a previous
 501  * call to this routine.
 502  */
 503 STATIC int
 504 xlog_find_verify_log_record(
 505         struct xlog             *log,
 506         xfs_daddr_t             start_blk,
 507         xfs_daddr_t             *last_blk,
 508         int                     extra_bblks)
 509 {
 510         xfs_daddr_t             i;
 511         xfs_buf_t               *bp;
 512         xfs_caddr_t             offset = NULL;
 513         xlog_rec_header_t       *head = NULL;
 514         int                     error = 0;
 515         int                     smallmem = 0;
 516         int                     num_blks = *last_blk - start_blk;
 517         int                     xhdrs;
 518
 519         ASSERT(start_blk != 0 || *last_blk != start_blk);
 520
 521         if (!(bp = xlog_get_bp(log, num_blks))) {
 522                 if (!(bp = xlog_get_bp(log, 1)))
 523                         return -ENOMEM;
 524                 smallmem = 1;
 525         } else {
 526                 error = xlog_bread(log, start_blk, num_blks, bp, &offset);
 527                 if (error)
 528                         goto out;
 529                 offset += ((num_blks - 1) << BBSHIFT);
 530         }
 531
 532         for (i = (*last_blk) - 1; i >= 0; i--) {
 533                 if (i < start_blk) {
 534                         /* valid log record not found */
 535                         xfs_warn(log->l_mp,
 536                 "Log inconsistent (didn't find previous header)");
 537                         ASSERT(0);
 538                         error = -EIO;
 539                         goto out;
 540                 }
 541
 542                 if (smallmem) {
 543                         error = xlog_bread(log, i, 1, bp, &offset);
 544                         if (error)
 545                                 goto out;
 546                 }
 547
 548                 head = (xlog_rec_header_t *)offset;
 549
 550                 if (head->h_magicno == cpu_to_be32(XLOG_HEADER_MAGIC_NUM))
 551                         break;
 552
 553                 if (!smallmem)
 554                         offset -= BBSIZE;
 555         }
 556
 557         /*
 558          * We hit the beginning of the physical log & still no header.  Return
 559          * to caller.  If caller can handle a return of -1, then this routine
 560          * will be called again for the end of the physical log.
 561          */
 562         if (i == -1) {
 563                 error = 1;
 564                 goto out;
 565         }
 566
 567         /*
 568          * We have the final block of the good log (the first block
 569          * of the log record _before_ the head. So we check the uuid.
 570          */
 571         if ((error = xlog_header_check_mount(log->l_mp, head)))
 572                 goto out;
 573
 574         /*
 575          * We may have found a log record header before we expected one.
 576          * last_blk will be the 1st block # with a given cycle #.  We may end
 577          * up reading an entire log record.  In this case, we don't want to
 578          * reset last_blk.  Only when last_blk points in the middle of a log
 579          * record do we update last_blk.
 580          */
 581         if (xfs_sb_version_haslogv2(&log->l_mp->m_sb)) {
 582                 uint    h_size = be32_to_cpu(head->h_size);
 583
 584                 xhdrs = h_size / XLOG_HEADER_CYCLE_SIZE;
 585                 if (h_size % XLOG_HEADER_CYCLE_SIZE)
 586                         xhdrs++;
 587         } else {
 588                 xhdrs = 1;
 589         }
 590
 591         if (*last_blk - i + extra_bblks !=
 592             BTOBB(be32_to_cpu(head->h_len)) + xhdrs)
 593                 *last_blk = i;
 594
 595 out:
 596         xlog_put_bp(bp);
 597         return error;
 598 }
 599
 600 /*
 601  * Head is defined to be the point of the log where the next log write
 602  * could go.  This means that incomplete LR writes at the end are
 603  * eliminated when calculating the head.  We aren't guaranteed that previous
 604  * LR have complete transactions.  We only know that a cycle number of
 605  * current cycle number -1 won't be present in the log if we start writing
 606  * from our current block number.
 607  *
 608  * last_blk contains the block number of the first block with a given
 609  * cycle number.
 610  *
 611  * Return: zero if normal, non-zero if error.
 612  */
 613 STATIC int
 614 xlog_find_head(
 615         struct xlog     *log,
 616         xfs_daddr_t     *return_head_blk)
 617 {
 618         xfs_buf_t       *bp;
 619         xfs_caddr_t     offset;
 620         xfs_daddr_t     new_blk, first_blk, start_blk, last_blk, head_blk;
 621         int             num_scan_bblks;
 622         uint            first_half_cycle, last_half_cycle;
 623         uint            stop_on_cycle;
 624         int             error, log_bbnum = log->l_logBBsize;
 625
 626         /* Is the end of the log device zeroed? */
 627         error = xlog_find_zeroed(log, &first_blk);
 628         if (error < 0) {
 629                 xfs_warn(log->l_mp, "empty log check failed");
 630                 return error;
 631         }
 632         if (error == 1) {
 633                 *return_head_blk = first_blk;
 634
 635                 /* Is the whole lot zeroed? */
 636                 if (!first_blk) {
 637                         /* Linux XFS shouldn't generate totally zeroed logs -
 638                          * mkfs etc write a dummy unmount record to a fresh
 639                          * log so we can store the uuid in there
 640                          */
 641                         xfs_warn(log->l_mp, "totally zeroed log");
 642                 }
 643
 644                 return 0;
 645         }
 646
 647         first_blk = 0;                  /* get cycle # of 1st block */
 648         bp = xlog_get_bp(log, 1);
 649         if (!bp)
 650                 return -ENOMEM;
 651
 652         error = xlog_bread(log, 0, 1, bp, &offset);
 653         if (error)
 654                 goto bp_err;
 655
 656         first_half_cycle = xlog_get_cycle(offset);
 657
 658         last_blk = head_blk = log_bbnum - 1;    /* get cycle # of last block */
 659         error = xlog_bread(log, last_blk, 1, bp, &offset);
 660         if (error)
 661                 goto bp_err;
 662
 663         last_half_cycle = xlog_get_cycle(offset);
 664         ASSERT(last_half_cycle != 0);
 665
 666         /*
 667          * If the 1st half cycle number is equal to the last half cycle number,
 668          * then the entire log is stamped with the same cycle number.  In this
 669          * case, head_blk can't be set to zero (which makes sense).  The below
 670          * math doesn't work out properly with head_blk equal to zero.  Instead,
 671          * we set it to log_bbnum which is an invalid block number, but this
 672          * value makes the math correct.  If head_blk doesn't changed through
 673          * all the tests below, *head_blk is set to zero at the very end rather
 674          * than log_bbnum.  In a sense, log_bbnum and zero are the same block
 675          * in a circular file.
 676          */
 677         if (first_half_cycle == last_half_cycle) {
 678                 /*
 679                  * In this case we believe that the entire log should have
 680                  * cycle number last_half_cycle.  We need to scan backwards
 681                  * from the end verifying that there are no holes still
 682                  * containing last_half_cycle - 1.  If we find such a hole,
 683                  * then the start of that hole will be the new head.  The
 684                  * simple case looks like
 685                  *        x | x ... | x - 1 | x
 686                  * Another case that fits this picture would be
 687                  *        x | x + 1 | x ... | x
 688                  * In this case the head really is somewhere at the end of the
 689                  * log, as one of the latest writes at the beginning was
 690                  * incomplete.
 691                  * One more case is
 692                  *        x | x + 1 | x ... | x - 1 | x
 693                  * This is really the combination of the above two cases, and
 694                  * the head has to end up at the start of the x-1 hole at the
 695                  * end of the log.
 696                  *
 697                  * In the 256k log case, we will read from the beginning to the
 698                  * end of the log and search for cycle numbers equal to x-1.
 699                  * We don't worry about the x+1 blocks that we encounter,
 700                  * because we know that they cannot be the head since the log
 701                  * started with x.
 702                  */
 703                 head_blk = log_bbnum;
 704                 stop_on_cycle = last_half_cycle - 1;
 705         } else {
 706                 /*
 707                  * In this case we want to find the first block with cycle
 708                  * number matching last_half_cycle.  We expect the log to be
 709                  * some variation on
 710                  *        x + 1 ... | x ... | x
 711                  * The first block with cycle number x (last_half_cycle) will
 712                  * be where the new head belongs.  First we do a binary search
 713                  * for the first occurrence of last_half_cycle.  The binary
 714                  * search may not be totally accurate, so then we scan back
 715                  * from there looking for occurrences of last_half_cycle before
 716                  * us.  If that backwards scan wraps around the beginning of
 717                  * the log, then we look for occurrences of last_half_cycle - 1
 718                  * at the end of the log.  The cases we're looking for look
 719                  * like
 720                  *                               v binary search stopped here
 721                  *        x + 1 ... | x | x + 1 | x ... | x
 722                  *                   ^ but we want to locate this spot
 723                  * or
 724                  *        <---------> less than scan distance
 725                  *        x + 1 ... | x ... | x - 1 | x
 726                  *                           ^ we want to locate this spot
 727                  */
 728                 stop_on_cycle = last_half_cycle;
 729                 if ((error = xlog_find_cycle_start(log, bp, first_blk,
 730                                                 &head_blk, last_half_cycle)))
 731                         goto bp_err;
 732         }
 733
 734         /*
 735          * Now validate the answer.  Scan back some number of maximum possible
 736          * blocks and make sure each one has the expected cycle number.  The
 737          * maximum is determined by the total possible amount of buffering
 738          * in the in-core log.  The following number can be made tighter if
 739          * we actually look at the block size of the filesystem.
 740          */
 741         num_scan_bblks = XLOG_TOTAL_REC_SHIFT(log);
 742         if (head_blk >= num_scan_bblks) {
 743                 /*
 744                  * We are guaranteed that the entire check can be performed
 745                  * in one buffer.
 746                  */
 747                 start_blk = head_blk - num_scan_bblks;
 748                 if ((error = xlog_find_verify_cycle(log,
 749                                                 start_blk, num_scan_bblks,
 750                                                 stop_on_cycle, &new_blk)))
 751                         goto bp_err;
 752                 if (new_blk != -1)
 753                         head_blk = new_blk;
 754         } else {                /* need to read 2 parts of log */
 755                 /*
 756                  * We are going to scan backwards in the log in two parts.
 757                  * First we scan the physical end of the log.  In this part
 758                  * of the log, we are looking for blocks with cycle number
 759                  * last_half_cycle - 1.
 760                  * If we find one, then we know that the log starts there, as
 761                  * we've found a hole that didn't get written in going around
 762                  * the end of the physical log.  The simple case for this is
 763                  *        x + 1 ... | x ... | x - 1 | x
 764                  *        <---------> less than scan distance
 765                  * If all of the blocks at the end of the log have cycle number
 766                  * last_half_cycle, then we check the blocks at the start of
 767                  * the log looking for occurrences of last_half_cycle.  If we
 768                  * find one, then our current estimate for the location of the
 769                  * first occurrence of last_half_cycle is wrong and we move
 770                  * back to the hole we've found.  This case looks like
 771                  *        x + 1 ... | x | x + 1 | x ...
 772                  *                               ^ binary search stopped here
 773                  * Another case we need to handle that only occurs in 256k
 774                  * logs is
 775                  *        x + 1 ... | x ... | x+1 | x ...
 776                  *                   ^ binary search stops here
 777                  * In a 256k log, the scan at the end of the log will see the
 778                  * x + 1 blocks.  We need to skip past those since that is
 779                  * certainly not the head of the log.  By searching for
 780                  * last_half_cycle-1 we accomplish that.
 781                  */
 782                 ASSERT(head_blk <= INT_MAX &&
 783                         (xfs_daddr_t) num_scan_bblks >= head_blk);
 784                 start_blk = log_bbnum - (num_scan_bblks - head_blk);
 785                 if ((error = xlog_find_verify_cycle(log, start_blk,
 786                                         num_scan_bblks - (int)head_blk,
 787                                         (stop_on_cycle - 1), &new_blk)))
 788                         goto bp_err;
 789                 if (new_blk != -1) {
 790                         head_blk = new_blk;
 791                         goto validate_head;
 792                 }
 793
 794                 /*
 795                  * Scan beginning of log now.  The last part of the physical
 796                  * log is good.  This scan needs to verify that it doesn't find
 797                  * the last_half_cycle.
 798                  */
 799                 start_blk = 0;
 800                 ASSERT(head_blk <= INT_MAX);
 801                 if ((error = xlog_find_verify_cycle(log,
 802                                         start_blk, (int)head_blk,
 803                                         stop_on_cycle, &new_blk)))
 804                         goto bp_err;
 805                 if (new_blk != -1)
 806                         head_blk = new_blk;
 807         }
 808
 809 validate_head:
 810         /*
 811          * Now we need to make sure head_blk is not pointing to a block in
 812          * the middle of a log record.
 813          */
 814         num_scan_bblks = XLOG_REC_SHIFT(log);
 815         if (head_blk >= num_scan_bblks) {
 816                 start_blk = head_blk - num_scan_bblks; /* don't read head_blk */
 817
 818                 /* start ptr at last block ptr before head_blk */
 819                 error = xlog_find_verify_log_record(log, start_blk, &head_blk, 0);
 820                 if (error == 1)
 821                         error = -EIO;
 822                 if (error)
 823                         goto bp_err;
 824         } else {
 825                 start_blk = 0;
 826                 ASSERT(head_blk <= INT_MAX);
 827                 error = xlog_find_verify_log_record(log, start_blk, &head_blk, 0);
 828                 if (error < 0)
 829                         goto bp_err;
 830                 if (error == 1) {
 831                         /* We hit the beginning of the log during our search */
 832                         start_blk = log_bbnum - (num_scan_bblks - head_blk);
 833                         new_blk = log_bbnum;
 834                         ASSERT(start_blk <= INT_MAX &&
 835                                 (xfs_daddr_t) log_bbnum-start_blk >= 0);
 836                         ASSERT(head_blk <= INT_MAX);
 837                         error = xlog_find_verify_log_record(log, start_blk,
 838                                                         &new_blk, (int)head_blk);
 839                         if (error == 1)
 840                                 error = -EIO;
 841                         if (error)
 842                                 goto bp_err;
 843                         if (new_blk != log_bbnum)
 844                                 head_blk = new_blk;
 845                 } else if (error)
 846                         goto bp_err;
 847         }
 848
 849         xlog_put_bp(bp);
 850         if (head_blk == log_bbnum)
 851                 *return_head_blk = 0;
 852         else
 853                 *return_head_blk = head_blk;
 854         /*
 855          * When returning here, we have a good block number.  Bad block
 856          * means that during a previous crash, we didn't have a clean break
 857          * from cycle number N to cycle number N-1.  In this case, we need
 858          * to find the first block with cycle number N-1.
 859          */
 860         return 0;
 861
 862  bp_err:
 863         xlog_put_bp(bp);
 864
 865         if (error)
 866                 xfs_warn(log->l_mp, "failed to find log head");
 867         return error;
 868 }
 869
 870 /*
 871  * Find the sync block number or the tail of the log.
 872  *
 873  * This will be the block number of the last record to have its
 874  * associated buffers synced to disk.  Every log record header has
 875  * a sync lsn embedded in it.  LSNs hold block numbers, so it is easy
 876  * to get a sync block number.  The only concern is to figure out which
 877  * log record header to believe.
 878  *
 879  * The following algorithm uses the log record header with the largest
 880  * lsn.  The entire log record does not need to be valid.  We only care
 881  * that the header is valid.
 882  *
 883  * We could speed up search by using current head_blk buffer, but it is not
 884  * available.
 885  */
 886 STATIC int
 887 xlog_find_tail(
 888         struct xlog             *log,
 889         xfs_daddr_t             *head_blk,
 890         xfs_daddr_t             *tail_blk)
 891 {
 892         xlog_rec_header_t       *rhead;
 893         xlog_op_header_t        *op_head;
 894         xfs_caddr_t             offset = NULL;
 895         xfs_buf_t               *bp;
 896         int                     error, i, found;
 897         xfs_daddr_t             umount_data_blk;
 898         xfs_daddr_t             after_umount_blk;
 899         xfs_lsn_t               tail_lsn;
 900         int                     hblks;
 901
 902         found = 0;
 903
 904         /*
 905          * Find previous log record
 906          */
 907         if ((error = xlog_find_head(log, head_blk)))
 908                 return error;
 909
 910         bp = xlog_get_bp(log, 1);
 911         if (!bp)
 912                 return -ENOMEM;
 913         if (*head_blk == 0) {                           /* special case */
 914                 error = xlog_bread(log, 0, 1, bp, &offset);
 915                 if (error)
 916                         goto done;
 917
 918                 if (xlog_get_cycle(offset) == 0) {
 919                         *tail_blk = 0;
 920                         /* leave all other log inited values alone */
 921                         goto done;
 922                 }
 923         }
 924
 925         /*
 926          * Search backwards looking for log record header block
 927          */
 928         ASSERT(*head_blk < INT_MAX);
 929         for (i = (int)(*head_blk) - 1; i >= 0; i--) {
 930                 error = xlog_bread(log, i, 1, bp, &offset);
 931                 if (error)
 932                         goto done;
 933
 934                 if (*(__be32 *)offset == cpu_to_be32(XLOG_HEADER_MAGIC_NUM)) {
 935                         found = 1;
 936                         break;
 937                 }
 938         }
 939         /*
 940          * If we haven't found the log record header block, start looking
 941          * again from the end of the physical log.  XXXmiken: There should be
 942          * a check here to make sure we didn't search more than N blocks in
 943          * the previous code.
 944          */
 945         if (!found) {
 946                 for (i = log->l_logBBsize - 1; i >= (int)(*head_blk); i--) {
 947                         error = xlog_bread(log, i, 1, bp, &offset);
 948                         if (error)
 949                                 goto done;
 950
 951                         if (*(__be32 *)offset ==
 952                             cpu_to_be32(XLOG_HEADER_MAGIC_NUM)) {
 953                                 found = 2;
 954                                 break;
 955                         }
 956                 }
 957         }
 958         if (!found) {
 959                 xfs_warn(log->l_mp, "%s: couldn't find sync record", __func__);
 960                 xlog_put_bp(bp);
 961                 ASSERT(0);
 962                 return -EIO;
 963         }
 964
 965         /* find blk_no of tail of log */
 966         rhead = (xlog_rec_header_t *)offset;
 967         *tail_blk = BLOCK_LSN(be64_to_cpu(rhead->h_tail_lsn));
 968
 969         /*
 970          * Reset log values according to the state of the log when we
 971          * crashed.  In the case where head_blk == 0, we bump curr_cycle
 972          * one because the next write starts a new cycle rather than
 973          * continuing the cycle of the last good log record.  At this
 974          * point we have guaranteed that all partial log records have been
 975          * accounted for.  Therefore, we know that the last good log record
 976          * written was complete and ended exactly on the end boundary
 977          * of the physical log.
 978          */
 979         log->l_prev_block = i;
 980         log->l_curr_block = (int)*head_blk;
 981         log->l_curr_cycle = be32_to_cpu(rhead->h_cycle);
 982         if (found == 2)
 983                 log->l_curr_cycle++;
 984         atomic64_set(&log->l_tail_lsn, be64_to_cpu(rhead->h_tail_lsn));
 985         atomic64_set(&log->l_last_sync_lsn, be64_to_cpu(rhead->h_lsn));
 986         xlog_assign_grant_head(&log->l_reserve_head.grant, log->l_curr_cycle,
 987                                         BBTOB(log->l_curr_block));
 988         xlog_assign_grant_head(&log->l_write_head.grant, log->l_curr_cycle,
 989                                         BBTOB(log->l_curr_block));
 990
 991         /*
 992          * Look for unmount record.  If we find it, then we know there
 993          * was a clean unmount.  Since 'i' could be the last block in
 994          * the physical log, we convert to a log block before comparing
 995          * to the head_blk.
 996          *
 997          * Save the current tail lsn to use to pass to
 998          * xlog_clear_stale_blocks() below.  We won't want to clear the
 999          * unmount record if there is one, so we pass the lsn of the
1000          * unmount record rather than the block after it.
1001          */
1002         if (xfs_sb_version_haslogv2(&log->l_mp->m_sb)) {
1003                 int     h_size = be32_to_cpu(rhead->h_size);
1004                 int     h_version = be32_to_cpu(rhead->h_version);
1005
1006                 if ((h_version & XLOG_VERSION_2) &&
1007                     (h_size > XLOG_HEADER_CYCLE_SIZE)) {
1008                         hblks = h_size / XLOG_HEADER_CYCLE_SIZE;
1009                         if (h_size % XLOG_HEADER_CYCLE_SIZE)
1010                                 hblks++;
1011                 } else {
1012                         hblks = 1;
1013                 }
1014         } else {
1015                 hblks = 1;
1016         }
1017         after_umount_blk = (i + hblks + (int)
1018                 BTOBB(be32_to_cpu(rhead->h_len))) % log->l_logBBsize;
1019         tail_lsn = atomic64_read(&log->l_tail_lsn);
1020         if (*head_blk == after_umount_blk &&
1021             be32_to_cpu(rhead->h_num_logops) == 1) {
1022                 umount_data_blk = (i + hblks) % log->l_logBBsize;
1023                 error = xlog_bread(log, umount_data_blk, 1, bp, &offset);
1024                 if (error)
1025                         goto done;
1026
1027                 op_head = (xlog_op_header_t *)offset;
1028                 if (op_head->oh_flags & XLOG_UNMOUNT_TRANS) {
1029                         /*
1030                          * Set tail and last sync so that newly written
1031                          * log records will point recovery to after the
1032                          * current unmount record.
1033                          */
1034                         xlog_assign_atomic_lsn(&log->l_tail_lsn,
1035                                         log->l_curr_cycle, after_umount_blk);
1036                         xlog_assign_atomic_lsn(&log->l_last_sync_lsn,
1037                                         log->l_curr_cycle, after_umount_blk);
1038                         *tail_blk = after_umount_blk;
1039
1040                         /*
1041                          * Note that the unmount was clean. If the unmount
1042                          * was not clean, we need to know this to rebuild the
1043                          * superblock counters from the perag headers if we
1044                          * have a filesystem using non-persistent counters.
1045                          */
1046                         log->l_mp->m_flags |= XFS_MOUNT_WAS_CLEAN;
1047                 }
1048         }
1049
1050         /*
1051          * Make sure that there are no blocks in front of the head
1052          * with the same cycle number as the head.  This can happen
1053          * because we allow multiple outstanding log writes concurrently,
1054          * and the later writes might make it out before earlier ones.
1055          *
1056          * We use the lsn from before modifying it so that we'll never
1057          * overwrite the unmount record after a clean unmount.
1058          *
1059          * Do this only if we are going to recover the filesystem
1060          *
1061          * NOTE: This used to say "if (!readonly)"
1062          * However on Linux, we can & do recover a read-only filesystem.
1063          * We only skip recovery if NORECOVERY is specified on mount,
1064          * in which case we would not be here.
1065          *
1066          * But... if the -device- itself is readonly, just skip this.
1067          * We can't recover this device anyway, so it won't matter.
1068          */
1069         if (!xfs_readonly_buftarg(log->l_mp->m_logdev_targp))
1070                 error = xlog_clear_stale_blocks(log, tail_lsn);
1071
1072 done:
1073         xlog_put_bp(bp);
1074
1075         if (error)
1076                 xfs_warn(log->l_mp, "failed to locate log tail");
1077         return error;
1078 }
1079
1080 /*
1081  * Is the log zeroed at all?
1082  *
1083  * The last binary search should be changed to perform an X block read
1084  * once X becomes small enough.  You can then search linearly through
1085  * the X blocks.  This will cut down on the number of reads we need to do.
1086  *
1087  * If the log is partially zeroed, this routine will pass back the blkno
1088  * of the first block with cycle number 0.  It won't have a complete LR
1089  * preceding it.
1090  *
1091  * Return:
1092  *      0  => the log is completely written to
1093  *      1 => use *blk_no as the first block of the log
1094  *      <0 => error has occurred
1095  */
1096 STATIC int
1097 xlog_find_zeroed(
1098         struct xlog     *log,
1099         xfs_daddr_t     *blk_no)
1100 {
1101         xfs_buf_t       *bp;
1102         xfs_caddr_t     offset;
1103         uint            first_cycle, last_cycle;
1104         xfs_daddr_t     new_blk, last_blk, start_blk;
1105         xfs_daddr_t     num_scan_bblks;
1106         int             error, log_bbnum = log->l_logBBsize;
1107
1108         *blk_no = 0;
1109
1110         /* check totally zeroed log */
1111         bp = xlog_get_bp(log, 1);
1112         if (!bp)
1113                 return -ENOMEM;
1114         error = xlog_bread(log, 0, 1, bp, &offset);
1115         if (error)
1116                 goto bp_err;
1117
1118         first_cycle = xlog_get_cycle(offset);
1119         if (first_cycle == 0) {         /* completely zeroed log */
1120                 *blk_no = 0;
1121                 xlog_put_bp(bp);
1122                 return 1;
1123         }
1124
1125         /* check partially zeroed log */
1126         error = xlog_bread(log, log_bbnum-1, 1, bp, &offset);
1127         if (error)
1128                 goto bp_err;
1129
1130         last_cycle = xlog_get_cycle(offset);
1131         if (last_cycle != 0) {          /* log completely written to */
1132                 xlog_put_bp(bp);
1133                 return 0;
1134         } else if (first_cycle != 1) {
1135                 /*
1136                  * If the cycle of the last block is zero, the cycle of
1137                  * the first block must be 1. If it's not, maybe we're
1138                  * not looking at a log... Bail out.
1139                  */
1140                 xfs_warn(log->l_mp,
1141                         "Log inconsistent or not a log (last==0, first!=1)");
1142                 error = -EINVAL;
1143                 goto bp_err;
1144         }
1145
1146         /* we have a partially zeroed log */
1147         last_blk = log_bbnum-1;
1148         if ((error = xlog_find_cycle_start(log, bp, 0, &last_blk, 0)))
1149                 goto bp_err;
1150
1151         /*
1152          * Validate the answer.  Because there is no way to guarantee that
1153          * the entire log is made up of log records which are the same size,
1154          * we scan over the defined maximum blocks.  At this point, the maximum
1155          * is not chosen to mean anything special.   XXXmiken
1156          */
1157         num_scan_bblks = XLOG_TOTAL_REC_SHIFT(log);
1158         ASSERT(num_scan_bblks <= INT_MAX);
1159
1160         if (last_blk < num_scan_bblks)
1161                 num_scan_bblks = last_blk;
1162         start_blk = last_blk - num_scan_bblks;
1163
1164         /*
1165          * We search for any instances of cycle number 0 that occur before
1166          * our current estimate of the head.  What we're trying to detect is
1167          *        1 ... | 0 | 1 | 0...
1168          *                       ^ binary search ends here
1169          */
1170         if ((error = xlog_find_verify_cycle(log, start_blk,
1171                                          (int)num_scan_bblks, 0, &new_blk)))
1172                 goto bp_err;
1173         if (new_blk != -1)
1174                 last_blk = new_blk;
1175
1176         /*
1177          * Potentially backup over partial log record write.  We don't need
1178          * to search the end of the log because we know it is zero.
1179          */
1180         error = xlog_find_verify_log_record(log, start_blk, &last_blk, 0);
1181         if (error == 1)
1182                 error = -EIO;
1183         if (error)
1184                 goto bp_err;
1185
1186         *blk_no = last_blk;
1187 bp_err:
1188         xlog_put_bp(bp);
1189         if (error)
1190                 return error;
1191         return 1;
1192 }
1193
1194 /*
1195  * These are simple subroutines used by xlog_clear_stale_blocks() below
1196  * to initialize a buffer full of empty log record headers and write
1197  * them into the log.
1198  */
1199 STATIC void
1200 xlog_add_record(
1201         struct xlog             *log,
1202         xfs_caddr_t             buf,
1203         int                     cycle,
1204         int                     block,
1205         int                     tail_cycle,
1206         int                     tail_block)
1207 {
1208         xlog_rec_header_t       *recp = (xlog_rec_header_t *)buf;
1209
1210         memset(buf, 0, BBSIZE);
1211         recp->h_magicno = cpu_to_be32(XLOG_HEADER_MAGIC_NUM);
1212         recp->h_cycle = cpu_to_be32(cycle);
1213         recp->h_version = cpu_to_be32(
1214                         xfs_sb_version_haslogv2(&log->l_mp->m_sb) ? 2 : 1);
1215         recp->h_lsn = cpu_to_be64(xlog_assign_lsn(cycle, block));
1216         recp->h_tail_lsn = cpu_to_be64(xlog_assign_lsn(tail_cycle, tail_block));
1217         recp->h_fmt = cpu_to_be32(XLOG_FMT);
1218         memcpy(&recp->h_fs_uuid, &log->l_mp->m_sb.sb_uuid, sizeof(uuid_t));
1219 }
1220
1221 STATIC int
1222 xlog_write_log_records(
1223         struct xlog     *log,
1224         int             cycle,
1225         int             start_block,
1226         int             blocks,
1227         int             tail_cycle,
1228         int             tail_block)
1229 {
1230         xfs_caddr_t     offset;
1231         xfs_buf_t       *bp;
1232         int             balign, ealign;
1233         int             sectbb = log->l_sectBBsize;
1234         int             end_block = start_block + blocks;
1235         int             bufblks;
1236         int             error = 0;
1237         int             i, j = 0;
1238
1239         /*
1240          * Greedily allocate a buffer big enough to handle the full
1241          * range of basic blocks to be written.  If that fails, try
1242          * a smaller size.  We need to be able to write at least a
1243          * log sector, or we're out of luck.
1244          */
1245         bufblks = 1 << ffs(blocks);
1246         while (bufblks > log->l_logBBsize)
1247                 bufblks >>= 1;
1248         while (!(bp = xlog_get_bp(log, bufblks))) {
1249                 bufblks >>= 1;
1250                 if (bufblks < sectbb)
1251                         return -ENOMEM;
1252         }
1253
1254         /* We may need to do a read at the start to fill in part of
1255          * the buffer in the starting sector not covered by the first
1256          * write below.
1257          */
1258         balign = round_down(start_block, sectbb);
1259         if (balign != start_block) {
1260                 error = xlog_bread_noalign(log, start_block, 1, bp);
1261                 if (error)
1262                         goto out_put_bp;
1263
1264                 j = start_block - balign;
1265         }
1266
1267         for (i = start_block; i < end_block; i += bufblks) {
1268                 int             bcount, endcount;
1269
1270                 bcount = min(bufblks, end_block - start_block);
1271                 endcount = bcount - j;
1272
1273                 /* We may need to do a read at the end to fill in part of
1274                  * the buffer in the final sector not covered by the write.
1275                  * If this is the same sector as the above read, skip it.
1276                  */
1277                 ealign = round_down(end_block, sectbb);
1278                 if (j == 0 && (start_block + endcount > ealign)) {
1279                         offset = bp->b_addr + BBTOB(ealign - start_block);
1280                         error = xlog_bread_offset(log, ealign, sectbb,
1281                                                         bp, offset);
1282                         if (error)
1283                                 break;
1284
1285                 }
1286
1287                 offset = xlog_align(log, start_block, endcount, bp);
1288                 for (; j < endcount; j++) {
1289                         xlog_add_record(log, offset, cycle, i+j,
1290                                         tail_cycle, tail_block);
1291                         offset += BBSIZE;
1292                 }
1293                 error = xlog_bwrite(log, start_block, endcount, bp);
1294                 if (error)
1295                         break;
1296                 start_block += endcount;
1297                 j = 0;
1298         }
1299
1300  out_put_bp:
1301         xlog_put_bp(bp);
1302         return error;
1303 }
1304
1305 /*
1306  * This routine is called to blow away any incomplete log writes out
1307  * in front of the log head.  We do this so that we won't become confused
1308  * if we come up, write only a little bit more, and then crash again.
1309  * If we leave the partial log records out there, this situation could
1310  * cause us to think those partial writes are valid blocks since they
1311  * have the current cycle number.  We get rid of them by overwriting them
1312  * with empty log records with the old cycle number rather than the
1313  * current one.
1314  *
1315  * The tail lsn is passed in rather than taken from
1316  * the log so that we will not write over the unmount record after a
1317  * clean unmount in a 512 block log.  Doing so would leave the log without
1318  * any valid log records in it until a new one was written.  If we crashed
1319  * during that time we would not be able to recover.
1320  */
1321 STATIC int
1322 xlog_clear_stale_blocks(
1323         struct xlog     *log,
1324         xfs_lsn_t       tail_lsn)
1325 {
1326         int             tail_cycle, head_cycle;
1327         int             tail_block, head_block;
1328         int             tail_distance, max_distance;
1329         int             distance;
1330         int             error;
1331
1332         tail_cycle = CYCLE_LSN(tail_lsn);
1333         tail_block = BLOCK_LSN(tail_lsn);
1334         head_cycle = log->l_curr_cycle;
1335         head_block = log->l_curr_block;
1336
1337         /*
1338          * Figure out the distance between the new head of the log
1339          * and the tail.  We want to write over any blocks beyond the
1340          * head that we may have written just before the crash, but
1341          * we don't want to overwrite the tail of the log.
1342          */
1343         if (head_cycle == tail_cycle) {
1344                 /*
1345                  * The tail is behind the head in the physical log,
1346                  * so the distance from the head to the tail is the
1347                  * distance from the head to the end of the log plus
1348                  * the distance from the beginning of the log to the
1349                  * tail.
1350                  */
1351                 if (unlikely(head_block < tail_block || head_block >= log->l_logBBsize)) {
1352                         XFS_ERROR_REPORT("xlog_clear_stale_blocks(1)",
1353                                          XFS_ERRLEVEL_LOW, log->l_mp);
1354                         return -EFSCORRUPTED;
1355                 }
1356                 tail_distance = tail_block + (log->l_logBBsize - head_block);
1357         } else {
1358                 /*
1359                  * The head is behind the tail in the physical log,
1360                  * so the distance from the head to the tail is just
1361                  * the tail block minus the head block.
1362                  */
1363                 if (unlikely(head_block >= tail_block || head_cycle != (tail_cycle + 1))){
1364                         XFS_ERROR_REPORT("xlog_clear_stale_blocks(2)",
1365                                          XFS_ERRLEVEL_LOW, log->l_mp);
1366                         return -EFSCORRUPTED;
1367                 }
1368                 tail_distance = tail_block - head_block;
1369         }
1370
1371         /*
1372          * If the head is right up against the tail, we can't clear
1373          * anything.
1374          */
1375         if (tail_distance <= 0) {
1376                 ASSERT(tail_distance == 0);
1377                 return 0;
1378         }
1379
1380         max_distance = XLOG_TOTAL_REC_SHIFT(log);
1381         /*
1382          * Take the smaller of the maximum amount of outstanding I/O
1383          * we could have and the distance to the tail to clear out.
1384          * We take the smaller so that we don't overwrite the tail and
1385          * we don't waste all day writing from the head to the tail
1386          * for no reason.
1387          */
1388         max_distance = MIN(max_distance, tail_distance);
1389
1390         if ((head_block + max_distance) <= log->l_logBBsize) {
1391                 /*
1392                  * We can stomp all the blocks we need to without
1393                  * wrapping around the end of the log.  Just do it
1394                  * in a single write.  Use the cycle number of the
1395                  * current cycle minus one so that the log will look like:
1396                  *     n ... | n - 1 ...
1397                  */
1398                 error = xlog_write_log_records(log, (head_cycle - 1),
1399                                 head_block, max_distance, tail_cycle,
1400                                 tail_block);
1401                 if (error)
1402                         return error;
1403         } else {
1404                 /*
1405                  * We need to wrap around the end of the physical log in
1406                  * order to clear all the blocks.  Do it in two separate
1407                  * I/Os.  The first write should be from the head to the
1408                  * end of the physical log, and it should use the current
1409                  * cycle number minus one just like above.
1410                  */
1411                 distance = log->l_logBBsize - head_block;
1412                 error = xlog_write_log_records(log, (head_cycle - 1),
1413                                 head_block, distance, tail_cycle,
1414                                 tail_block);
1415
1416                 if (error)
1417                         return error;
1418
1419                 /*
1420                  * Now write the blocks at the start of the physical log.
1421                  * This writes the remainder of the blocks we want to clear.
1422                  * It uses the current cycle number since we're now on the
1423                  * same cycle as the head so that we get:
1424                  *    n ... n ... | n - 1 ...
1425                  *    ^^^^^ blocks we're writing
1426                  */
1427                 distance = max_distance - (log->l_logBBsize - head_block);
1428                 error = xlog_write_log_records(log, head_cycle, 0, distance,
1429                                 tail_cycle, tail_block);
1430                 if (error)
1431                         return error;
1432         }
1433
1434         return 0;
1435 }
1436
1437 /******************************************************************************
1438  *
1439  *              Log recover routines
1440  *
1441  ******************************************************************************
1442  */
1443
1444 /*
1445  * Sort the log items in the transaction.
1446  *
1447  * The ordering constraints are defined by the inode allocation and unlink
1448  * behaviour. The rules are:
1449  *
1450  *      1. Every item is only logged once in a given transaction. Hence it
1451  *         represents the last logged state of the item. Hence ordering is
1452  *         dependent on the order in which operations need to be performed so
1453  *         required initial conditions are always met.
1454  *
1455  *      2. Cancelled buffers are recorded in pass 1 in a separate table and
1456  *         there's nothing to replay from them so we can simply cull them
1457  *         from the transaction. However, we can't do that until after we've
1458  *         replayed all the other items because they may be dependent on the
1459  *         cancelled buffer and replaying the cancelled buffer can remove it
1460  *         form the cancelled buffer table. Hence they have tobe done last.
1461  *
1462  *      3. Inode allocation buffers must be replayed before inode items that
1463  *         read the buffer and replay changes into it. For filesystems using the
1464  *         ICREATE transactions, this means XFS_LI_ICREATE objects need to get
1465  *         treated the same as inode allocation buffers as they create and
1466  *         initialise the buffers directly.
1467  *
1468  *      4. Inode unlink buffers must be replayed after inode items are replayed.
1469  *         This ensures that inodes are completely flushed to the inode buffer
1470  *         in a "free" state before we remove the unlinked inode list pointer.
1471  *
1472  * Hence the ordering needs to be inode allocation buffers first, inode items
1473  * second, inode unlink buffers third and cancelled buffers last.
1474  *
1475  * But there's a problem with that - we can't tell an inode allocation buffer
1476  * apart from a regular buffer, so we can't separate them. We can, however,
1477  * tell an inode unlink buffer from the others, and so we can separate them out
1478  * from all the other buffers and move them to last.
1479  *
1480  * Hence, 4 lists, in order from head to tail:
1481  *      - buffer_list for all buffers except cancelled/inode unlink buffers
1482  *      - item_list for all non-buffer items
1483  *      - inode_buffer_list for inode unlink buffers
1484  *      - cancel_list for the cancelled buffers
1485  *
1486  * Note that we add objects to the tail of the lists so that first-to-last
1487  * ordering is preserved within the lists. Adding objects to the head of the
1488  * list means when we traverse from the head we walk them in last-to-first
1489  * order. For cancelled buffers and inode unlink buffers this doesn't matter,
1490  * but for all other items there may be specific ordering that we need to
1491  * preserve.
1492  */
1493 STATIC int
1494 xlog_recover_reorder_trans(
1495         struct xlog             *log,
1496         struct xlog_recover     *trans,
1497         int                     pass)
1498 {
1499         xlog_recover_item_t     *item, *n;
1500         int                     error = 0;
1501         LIST_HEAD(sort_list);
1502         LIST_HEAD(cancel_list);
1503         LIST_HEAD(buffer_list);
1504         LIST_HEAD(inode_buffer_list);
1505         LIST_HEAD(inode_list);
1506
1507         list_splice_init(&trans->r_itemq, &sort_list);
1508         list_for_each_entry_safe(item, n, &sort_list, ri_list) {
1509                 xfs_buf_log_format_t    *buf_f = item->ri_buf[0].i_addr;
1510
1511                 switch (ITEM_TYPE(item)) {
1512                 case XFS_LI_ICREATE:
1513                         list_move_tail(&item->ri_list, &buffer_list);
1514                         break;
1515                 case XFS_LI_BUF:
1516                         if (buf_f->blf_flags & XFS_BLF_CANCEL) {
1517                                 trace_xfs_log_recover_item_reorder_head(log,
1518                                                         trans, item, pass);
1519                                 list_move(&item->ri_list, &cancel_list);
1520                                 break;
1521                         }
1522                         if (buf_f->blf_flags & XFS_BLF_INODE_BUF) {
1523                                 list_move(&item->ri_list, &inode_buffer_list);
1524                                 break;
1525                         }
1526                         list_move_tail(&item->ri_list, &buffer_list);
1527                         break;
1528                 case XFS_LI_INODE:
1529                 case XFS_LI_DQUOT:
1530                 case XFS_LI_QUOTAOFF:
1531                 case XFS_LI_EFD:
1532                 case XFS_LI_EFI:
1533                         trace_xfs_log_recover_item_reorder_tail(log,
1534                                                         trans, item, pass);
1535                         list_move_tail(&item->ri_list, &inode_list);
1536                         break;
1537                 default:
1538                         xfs_warn(log->l_mp,
1539                                 "%s: unrecognized type of log operation",
1540                                 __func__);
1541                         ASSERT(0);
1542                         /*
1543                          * return the remaining items back to the transaction
1544                          * item list so they can be freed in caller.
1545                          */
1546                         if (!list_empty(&sort_list))
1547                                 list_splice_init(&sort_list, &trans->r_itemq);
1548                         error = -EIO;
1549                         goto out;
1550                 }
1551         }
1552 out:
1553         ASSERT(list_empty(&sort_list));
1554         if (!list_empty(&buffer_list))
1555                 list_splice(&buffer_list, &trans->r_itemq);
1556         if (!list_empty(&inode_list))
1557                 list_splice_tail(&inode_list, &trans->r_itemq);
1558         if (!list_empty(&inode_buffer_list))
1559                 list_splice_tail(&inode_buffer_list, &trans->r_itemq);
1560         if (!list_empty(&cancel_list))
1561                 list_splice_tail(&cancel_list, &trans->r_itemq);
1562         return error;
1563 }
1564
1565 /*
1566  * Build up the table of buf cancel records so that we don't replay
1567  * cancelled data in the second pass.  For buffer records that are
1568  * not cancel records, there is nothing to do here so we just return.
1569  *
1570  * If we get a cancel record which is already in the table, this indicates
1571  * that the buffer was cancelled multiple times.  In order to ensure
1572  * that during pass 2 we keep the record in the table until we reach its
1573  * last occurrence in the log, we keep a reference count in the cancel
1574  * record in the table to tell us how many times we expect to see this
1575  * record during the second pass.
1576  */
1577 STATIC int
1578 xlog_recover_buffer_pass1(
1579         struct xlog                     *log,
1580         struct xlog_recover_item        *item)
1581 {
1582         xfs_buf_log_format_t    *buf_f = item->ri_buf[0].i_addr;
1583         struct list_head        *bucket;
1584         struct xfs_buf_cancel   *bcp;
1585
1586         /*
1587          * If this isn't a cancel buffer item, then just return.
1588          */
1589         if (!(buf_f->blf_flags & XFS_BLF_CANCEL)) {
1590                 trace_xfs_log_recover_buf_not_cancel(log, buf_f);
1591                 return 0;
1592         }
1593
1594         /*
1595          * Insert an xfs_buf_cancel record into the hash table of them.
1596          * If there is already an identical record, bump its reference count.
1597          */
1598         bucket = XLOG_BUF_CANCEL_BUCKET(log, buf_f->blf_blkno);
1599         list_for_each_entry(bcp, bucket, bc_list) {
1600                 if (bcp->bc_blkno == buf_f->blf_blkno &&
1601                     bcp->bc_len == buf_f->blf_len) {
1602                         bcp->bc_refcount++;
1603                         trace_xfs_log_recover_buf_cancel_ref_inc(log, buf_f);
1604                         return 0;
1605                 }
1606         }
1607
1608         bcp = kmem_alloc(sizeof(struct xfs_buf_cancel), KM_SLEEP);
1609         bcp->bc_blkno = buf_f->blf_blkno;
1610         bcp->bc_len = buf_f->blf_len;
1611         bcp->bc_refcount = 1;
1612         list_add_tail(&bcp->bc_list, bucket);
1613
1614         trace_xfs_log_recover_buf_cancel_add(log, buf_f);
1615         return 0;
1616 }
1617
1618 /*
1619  * Check to see whether the buffer being recovered has a corresponding
1620  * entry in the buffer cancel record table. If it is, return the cancel
1621  * buffer structure to the caller.
1622  */
1623 STATIC struct xfs_buf_cancel *
1624 xlog_peek_buffer_cancelled(
1625         struct xlog             *log,
1626         xfs_daddr_t             blkno,
1627         uint                    len,
1628         ushort                  flags)
1629 {
1630         struct list_head        *bucket;
1631         struct xfs_buf_cancel   *bcp;
1632
1633         if (!log->l_buf_cancel_table) {
1634                 /* empty table means no cancelled buffers in the log */
1635                 ASSERT(!(flags & XFS_BLF_CANCEL));
1636                 return NULL;
1637         }
1638
1639         bucket = XLOG_BUF_CANCEL_BUCKET(log, blkno);
1640         list_for_each_entry(bcp, bucket, bc_list) {
1641                 if (bcp->bc_blkno == blkno && bcp->bc_len == len)
1642                         return bcp;
1643         }
1644
1645         /*
1646          * We didn't find a corresponding entry in the table, so return 0 so
1647          * that the buffer is NOT cancelled.
1648          */
1649         ASSERT(!(flags & XFS_BLF_CANCEL));
1650         return NULL;
1651 }
1652
1653 /*
1654  * If the buffer is being cancelled then return 1 so that it will be cancelled,
1655  * otherwise return 0.  If the buffer is actually a buffer cancel item
1656  * (XFS_BLF_CANCEL is set), then decrement the refcount on the entry in the
1657  * table and remove it from the table if this is the last reference.
1658  *
1659  * We remove the cancel record from the table when we encounter its last
1660  * occurrence in the log so that if the same buffer is re-used again after its
1661  * last cancellation we actually replay the changes made at that point.
1662  */
1663 STATIC int
1664 xlog_check_buffer_cancelled(
1665         struct xlog             *log,
1666         xfs_daddr_t             blkno,
1667         uint                    len,
1668         ushort                  flags)
1669 {
1670         struct xfs_buf_cancel   *bcp;
1671
1672         bcp = xlog_peek_buffer_cancelled(log, blkno, len, flags);
1673         if (!bcp)
1674                 return 0;
1675
1676         /*
1677          * We've go a match, so return 1 so that the recovery of this buffer
1678          * is cancelled.  If this buffer is actually a buffer cancel log
1679          * item, then decrement the refcount on the one in the table and
1680          * remove it if this is the last reference.
1681          */
1682         if (flags & XFS_BLF_CANCEL) {
1683                 if (--bcp->bc_refcount == 0) {
1684                         list_del(&bcp->bc_list);
1685                         kmem_free(bcp);
1686                 }
1687         }
1688         return 1;
1689 }
1690
1691 /*
1692  * Perform recovery for a buffer full of inodes.  In these buffers, the only
1693  * data which should be recovered is that which corresponds to the
1694  * di_next_unlinked pointers in the on disk inode structures.  The rest of the
1695  * data for the inodes is always logged through the inodes themselves rather
1696  * than the inode buffer and is recovered in xlog_recover_inode_pass2().
1697  *
1698  * The only time when buffers full of inodes are fully recovered is when the
1699  * buffer is full of newly allocated inodes.  In this case the buffer will
1700  * not be marked as an inode buffer and so will be sent to
1701  * xlog_recover_do_reg_buffer() below during recovery.
1702  */
1703 STATIC int
1704 xlog_recover_do_inode_buffer(
1705         struct xfs_mount        *mp,
1706         xlog_recover_item_t     *item,
1707         struct xfs_buf          *bp,
1708         xfs_buf_log_format_t    *buf_f)
1709 {
1710         int                     i;
1711         int                     item_index = 0;
1712         int                     bit = 0;
1713         int                     nbits = 0;
1714         int                     reg_buf_offset = 0;
1715         int                     reg_buf_bytes = 0;
1716         int                     next_unlinked_offset;
1717         int                     inodes_per_buf;
1718         xfs_agino_t             *logged_nextp;
1719         xfs_agino_t             *buffer_nextp;
1720
1721         trace_xfs_log_recover_buf_inode_buf(mp->m_log, buf_f);
1722
1723         /*
1724          * Post recovery validation only works properly on CRC enabled
1725          * filesystems.
1726          */
1727         if (xfs_sb_version_hascrc(&mp->m_sb))
1728                 bp->b_ops = &xfs_inode_buf_ops;
1729
1730         inodes_per_buf = BBTOB(bp->b_io_length) >> mp->m_sb.sb_inodelog;
1731         for (i = 0; i < inodes_per_buf; i++) {
1732                 next_unlinked_offset = (i * mp->m_sb.sb_inodesize) +
1733                         offsetof(xfs_dinode_t, di_next_unlinked);
1734
1735                 while (next_unlinked_offset >=
1736                        (reg_buf_offset + reg_buf_bytes)) {
1737                         /*
1738                          * The next di_next_unlinked field is beyond
1739                          * the current logged region.  Find the next
1740                          * logged region that contains or is beyond
1741                          * the current di_next_unlinked field.
1742                          */
1743                         bit += nbits;
1744                         bit = xfs_next_bit(buf_f->blf_data_map,
1745                                            buf_f->blf_map_size, bit);
1746
1747                         /*
1748                          * If there are no more logged regions in the
1749                          * buffer, then we're done.
1750                          */
1751                         if (bit == -1)
1752                                 return 0;
1753
1754                         nbits = xfs_contig_bits(buf_f->blf_data_map,
1755                                                 buf_f->blf_map_size, bit);
1756                         ASSERT(nbits > 0);
1757                         reg_buf_offset = bit << XFS_BLF_SHIFT;
1758                         reg_buf_bytes = nbits << XFS_BLF_SHIFT;
1759                         item_index++;
1760                 }
1761
1762                 /*
1763                  * If the current logged region starts after the current
1764                  * di_next_unlinked field, then move on to the next
1765                  * di_next_unlinked field.
1766                  */
1767                 if (next_unlinked_offset < reg_buf_offset)
1768                         continue;
1769
1770                 ASSERT(item->ri_buf[item_index].i_addr != NULL);
1771                 ASSERT((item->ri_buf[item_index].i_len % XFS_BLF_CHUNK) == 0);
1772                 ASSERT((reg_buf_offset + reg_buf_bytes) <=
1773                                                         BBTOB(bp->b_io_length));
1774
1775                 /*
1776                  * The current logged region contains a copy of the
1777                  * current di_next_unlinked field.  Extract its value
1778                  * and copy it to the buffer copy.
1779                  */
1780                 logged_nextp = item->ri_buf[item_index].i_addr +
1781                                 next_unlinked_offset - reg_buf_offset;
1782                 if (unlikely(*logged_nextp == 0)) {
1783                         xfs_alert(mp,
1784                 "Bad inode buffer log record (ptr = 0x%p, bp = 0x%p). "
1785                 "Trying to replay bad (0) inode di_next_unlinked field.",
1786                                 item, bp);
1787                         XFS_ERROR_REPORT("xlog_recover_do_inode_buf",
1788                                          XFS_ERRLEVEL_LOW, mp);
1789                         return -EFSCORRUPTED;
1790                 }
1791
1792                 buffer_nextp = (xfs_agino_t *)xfs_buf_offset(bp,
1793                                               next_unlinked_offset);
1794                 *buffer_nextp = *logged_nextp;
1795
1796                 /*
1797                  * If necessary, recalculate the CRC in the on-disk inode. We
1798                  * have to leave the inode in a consistent state for whoever
1799                  * reads it next....
1800                  */
1801                 xfs_dinode_calc_crc(mp, (struct xfs_dinode *)
1802                                 xfs_buf_offset(bp, i * mp->m_sb.sb_inodesize));
1803
1804         }
1805
1806         return 0;
1807 }
1808
1809 /*
1810  * V5 filesystems know the age of the buffer on disk being recovered. We can
1811  * have newer objects on disk than we are replaying, and so for these cases we
1812  * don't want to replay the current change as that will make the buffer contents
1813  * temporarily invalid on disk.
1814  *
1815  * The magic number might not match the buffer type we are going to recover
1816  * (e.g. reallocated blocks), so we ignore the xfs_buf_log_format flags.  Hence
1817  * extract the LSN of the existing object in the buffer based on it's current
1818  * magic number.  If we don't recognise the magic number in the buffer, then
1819  * return a LSN of -1 so that the caller knows it was an unrecognised block and
1820  * so can recover the buffer.
1821  *
1822  * Note: we cannot rely solely on magic number matches to determine that the
1823  * buffer has a valid LSN - we also need to verify that it belongs to this
1824  * filesystem, so we need to extract the object's LSN and compare it to that
1825  * which we read from the superblock. If the UUIDs don't match, then we've got a
1826  * stale metadata block from an old filesystem instance that we need to recover
1827  * over the top of.
1828  */
1829 static xfs_lsn_t
1830 xlog_recover_get_buf_lsn(
1831         struct xfs_mount        *mp,
1832         struct xfs_buf          *bp)
1833 {
1834         __uint32_t              magic32;
1835         __uint16_t              magic16;
1836         __uint16_t              magicda;
1837         void                    *blk = bp->b_addr;
1838         uuid_t                  *uuid;
1839         xfs_lsn_t               lsn = -1;
1840
1841         /* v4 filesystems always recover immediately */
1842         if (!xfs_sb_version_hascrc(&mp->m_sb))
1843                 goto recover_immediately;
1844
1845         magic32 = be32_to_cpu(*(__be32 *)blk);
1846         switch (magic32) {
1847         case XFS_ABTB_CRC_MAGIC:
1848         case XFS_ABTC_CRC_MAGIC:
1849         case XFS_ABTB_MAGIC:
1850         case XFS_ABTC_MAGIC:
1851         case XFS_IBT_CRC_MAGIC:
1852         case XFS_IBT_MAGIC: {
1853                 struct xfs_btree_block *btb = blk;
1854
1855                 lsn = be64_to_cpu(btb->bb_u.s.bb_lsn);
1856                 uuid = &btb->bb_u.s.bb_uuid;
1857                 break;
1858         }
1859         case XFS_BMAP_CRC_MAGIC:
1860         case XFS_BMAP_MAGIC: {
1861                 struct xfs_btree_block *btb = blk;
1862
1863                 lsn = be64_to_cpu(btb->bb_u.l.bb_lsn);
1864                 uuid = &btb->bb_u.l.bb_uuid;
1865                 break;
1866         }
1867         case XFS_AGF_MAGIC:
1868                 lsn = be64_to_cpu(((struct xfs_agf *)blk)->agf_lsn);
1869                 uuid = &((struct xfs_agf *)blk)->agf_uuid;
1870                 break;
1871         case XFS_AGFL_MAGIC:
1872                 lsn = be64_to_cpu(((struct xfs_agfl *)blk)->agfl_lsn);
1873                 uuid = &((struct xfs_agfl *)blk)->agfl_uuid;
1874                 break;
1875         case XFS_AGI_MAGIC:
1876                 lsn = be64_to_cpu(((struct xfs_agi *)blk)->agi_lsn);
1877                 uuid = &((struct xfs_agi *)blk)->agi_uuid;
1878                 break;
1879         case XFS_SYMLINK_MAGIC:
1880                 lsn = be64_to_cpu(((struct xfs_dsymlink_hdr *)blk)->sl_lsn);
1881                 uuid = &((struct xfs_dsymlink_hdr *)blk)->sl_uuid;
1882                 break;
1883         case XFS_DIR3_BLOCK_MAGIC:
1884         case XFS_DIR3_DATA_MAGIC:
1885         case XFS_DIR3_FREE_MAGIC:
1886                 lsn = be64_to_cpu(((struct xfs_dir3_blk_hdr *)blk)->lsn);
1887                 uuid = &((struct xfs_dir3_blk_hdr *)blk)->uuid;
1888                 break;
1889         case XFS_ATTR3_RMT_MAGIC:
1890                 lsn = be64_to_cpu(((struct xfs_attr3_rmt_hdr *)blk)->rm_lsn);
1891                 uuid = &((struct xfs_attr3_rmt_hdr *)blk)->rm_uuid;
1892                 break;
1893         case XFS_SB_MAGIC:
1894                 lsn = be64_to_cpu(((struct xfs_dsb *)blk)->sb_lsn);
1895                 uuid = &((struct xfs_dsb *)blk)->sb_uuid;
1896                 break;
1897         default:
1898                 break;
1899         }
1900
1901         if (lsn != (xfs_lsn_t)-1) {
1902                 if (!uuid_equal(&mp->m_sb.sb_uuid, uuid))
1903                         goto recover_immediately;
1904                 return lsn;
1905         }
1906
1907         magicda = be16_to_cpu(((struct xfs_da_blkinfo *)blk)->magic);
1908         switch (magicda) {
1909         case XFS_DIR3_LEAF1_MAGIC:
1910         case XFS_DIR3_LEAFN_MAGIC:
1911         case XFS_DA3_NODE_MAGIC:
1912                 lsn = be64_to_cpu(((struct xfs_da3_blkinfo *)blk)->lsn);
1913                 uuid = &((struct xfs_da3_blkinfo *)blk)->uuid;
1914                 break;
1915         default:
1916                 break;
1917         }
1918
1919         if (lsn != (xfs_lsn_t)-1) {
1920                 if (!uuid_equal(&mp->m_sb.sb_uuid, uuid))
1921                         goto recover_immediately;
1922                 return lsn;
1923         }
1924
1925         /*
1926          * We do individual object checks on dquot and inode buffers as they
1927          * have their own individual LSN records. Also, we could have a stale
1928          * buffer here, so we have to at least recognise these buffer types.
1929          *
1930          * A notd complexity here is inode unlinked list processing - it logs
1931          * the inode directly in the buffer, but we don't know which inodes have
1932          * been modified, and there is no global buffer LSN. Hence we need to
1933          * recover all inode buffer types immediately. This problem will be
1934          * fixed by logical logging of the unlinked list modifications.
1935          */
1936         magic16 = be16_to_cpu(*(__be16 *)blk);
1937         switch (magic16) {
1938         case XFS_DQUOT_MAGIC:
1939         case XFS_DINODE_MAGIC:
1940                 goto recover_immediately;
1941         default:
1942                 break;
1943         }
1944
1945         /* unknown buffer contents, recover immediately */
1946
1947 recover_immediately:
1948         return (xfs_lsn_t)-1;
1949
1950 }
1951
1952 /*
1953  * Validate the recovered buffer is of the correct type and attach the
1954  * appropriate buffer operations to them for writeback. Magic numbers are in a
1955  * few places:
1956  *      the first 16 bits of the buffer (inode buffer, dquot buffer),
1957  *      the first 32 bits of the buffer (most blocks),
1958  *      inside a struct xfs_da_blkinfo at the start of the buffer.
1959  */
1960 static void
1961 xlog_recover_validate_buf_type(
1962         struct xfs_mount        *mp,
1963         struct xfs_buf          *bp,
1964         xfs_buf_log_format_t    *buf_f)
1965 {
1966         struct xfs_da_blkinfo   *info = bp->b_addr;
1967         __uint32_t              magic32;
1968         __uint16_t              magic16;
1969         __uint16_t              magicda;
1970
1971         /*
1972          * We can only do post recovery validation on items on CRC enabled
1973          * fielsystems as we need to know when the buffer was written to be able
1974          * to determine if we should have replayed the item. If we replay old
1975          * metadata over a newer buffer, then it will enter a temporarily
1976          * inconsistent state resulting in verification failures. Hence for now
1977          * just avoid the verification stage for non-crc filesystems
1978          */
1979         if (!xfs_sb_version_hascrc(&mp->m_sb))
1980                 return;
1981
1982         magic32 = be32_to_cpu(*(__be32 *)bp->b_addr);
1983         magic16 = be16_to_cpu(*(__be16*)bp->b_addr);
1984         magicda = be16_to_cpu(info->magic);
1985         switch (xfs_blft_from_flags(buf_f)) {
1986         case XFS_BLFT_BTREE_BUF:
1987                 switch (magic32) {
1988                 case XFS_ABTB_CRC_MAGIC:
1989                 case XFS_ABTC_CRC_MAGIC:
1990                 case XFS_ABTB_MAGIC:
1991                 case XFS_ABTC_MAGIC:
1992                         bp->b_ops = &xfs_allocbt_buf_ops;
1993                         break;
1994                 case XFS_IBT_CRC_MAGIC:
1995                 case XFS_FIBT_CRC_MAGIC:
1996                 case XFS_IBT_MAGIC:
1997                 case XFS_FIBT_MAGIC:
1998                         bp->b_ops = &xfs_inobt_buf_ops;
1999                         break;
2000                 case XFS_BMAP_CRC_MAGIC:
2001                 case XFS_BMAP_MAGIC:
2002                         bp->b_ops = &xfs_bmbt_buf_ops;
2003                         break;
2004                 default:
2005                         xfs_warn(mp, "Bad btree block magic!");
2006                         ASSERT(0);
2007                         break;
2008                 }
2009                 break;
2010         case XFS_BLFT_AGF_BUF:
2011                 if (magic32 != XFS_AGF_MAGIC) {
2012                         xfs_warn(mp, "Bad AGF block magic!");
2013                         ASSERT(0);
2014                         break;
2015                 }
2016                 bp->b_ops = &xfs_agf_buf_ops;
2017                 break;
2018         case XFS_BLFT_AGFL_BUF:
2019                 if (magic32 != XFS_AGFL_MAGIC) {
2020                         xfs_warn(mp, "Bad AGFL block magic!");
2021                         ASSERT(0);
2022                         break;
2023                 }
2024                 bp->b_ops = &xfs_agfl_buf_ops;
2025                 break;
2026         case XFS_BLFT_AGI_BUF:
2027                 if (magic32 != XFS_AGI_MAGIC) {
2028                         xfs_warn(mp, "Bad AGI block magic!");
2029                         ASSERT(0);
2030                         break;
2031                 }
2032                 bp->b_ops = &xfs_agi_buf_ops;
2033                 break;
2034         case XFS_BLFT_UDQUOT_BUF:
2035         case XFS_BLFT_PDQUOT_BUF:
2036         case XFS_BLFT_GDQUOT_BUF:
2037 #ifdef CONFIG_XFS_QUOTA
2038                 if (magic16 != XFS_DQUOT_MAGIC) {
2039                         xfs_warn(mp, "Bad DQUOT block magic!");
2040                         ASSERT(0);
2041                         break;
2042                 }
2043                 bp->b_ops = &xfs_dquot_buf_ops;
2044 #else
2045                 xfs_alert(mp,
2046         "Trying to recover dquots without QUOTA support built in!");
2047                 ASSERT(0);
2048 #endif
2049                 break;
2050         case XFS_BLFT_DINO_BUF:
2051                 if (magic16 != XFS_DINODE_MAGIC) {
2052                         xfs_warn(mp, "Bad INODE block magic!");
2053                         ASSERT(0);
2054                         break;
2055                 }
2056                 bp->b_ops = &xfs_inode_buf_ops;
2057                 break;
2058         case XFS_BLFT_SYMLINK_BUF:
2059                 if (magic32 != XFS_SYMLINK_MAGIC) {
2060                         xfs_warn(mp, "Bad symlink block magic!");
2061                         ASSERT(0);
2062                         break;
2063                 }
2064                 bp->b_ops = &xfs_symlink_buf_ops;
2065                 break;
2066         case XFS_BLFT_DIR_BLOCK_BUF:
2067                 if (magic32 != XFS_DIR2_BLOCK_MAGIC &&
2068                     magic32 != XFS_DIR3_BLOCK_MAGIC) {
2069                         xfs_warn(mp, "Bad dir block magic!");
2070                         ASSERT(0);
2071                         break;
2072                 }
2073                 bp->b_ops = &xfs_dir3_block_buf_ops;
2074                 break;
2075         case XFS_BLFT_DIR_DATA_BUF:
2076                 if (magic32 != XFS_DIR2_DATA_MAGIC &&
2077                     magic32 != XFS_DIR3_DATA_MAGIC) {
2078                         xfs_warn(mp, "Bad dir data magic!");
2079                         ASSERT(0);
2080                         break;
2081                 }
2082                 bp->b_ops = &xfs_dir3_data_buf_ops;
2083                 break;
2084         case XFS_BLFT_DIR_FREE_BUF:
2085                 if (magic32 != XFS_DIR2_FREE_MAGIC &&
2086                     magic32 != XFS_DIR3_FREE_MAGIC) {
2087                         xfs_warn(mp, "Bad dir3 free magic!");
2088                         ASSERT(0);
2089                         break;
2090                 }
2091                 bp->b_ops = &xfs_dir3_free_buf_ops;
2092                 break;
2093         case XFS_BLFT_DIR_LEAF1_BUF:
2094                 if (magicda != XFS_DIR2_LEAF1_MAGIC &&
2095                     magicda != XFS_DIR3_LEAF1_MAGIC) {
2096                         xfs_warn(mp, "Bad dir leaf1 magic!");
2097                         ASSERT(0);
2098                         break;
2099                 }
2100                 bp->b_ops = &xfs_dir3_leaf1_buf_ops;
2101                 break;
2102         case XFS_BLFT_DIR_LEAFN_BUF:
2103                 if (magicda != XFS_DIR2_LEAFN_MAGIC &&
2104                     magicda != XFS_DIR3_LEAFN_MAGIC) {
2105                         xfs_warn(mp, "Bad dir leafn magic!");
2106                         ASSERT(0);
2107                         break;
2108                 }
2109                 bp->b_ops = &xfs_dir3_leafn_buf_ops;
2110                 break;
2111         case XFS_BLFT_DA_NODE_BUF:
2112                 if (magicda != XFS_DA_NODE_MAGIC &&
2113                     magicda != XFS_DA3_NODE_MAGIC) {
2114                         xfs_warn(mp, "Bad da node magic!");
2115                         ASSERT(0);
2116                         break;
2117                 }
2118                 bp->b_ops = &xfs_da3_node_buf_ops;
2119                 break;
2120         case XFS_BLFT_ATTR_LEAF_BUF:
2121                 if (magicda != XFS_ATTR_LEAF_MAGIC &&
2122                     magicda != XFS_ATTR3_LEAF_MAGIC) {
2123                         xfs_warn(mp, "Bad attr leaf magic!");
2124                         ASSERT(0);
2125                         break;
2126                 }
2127                 bp->b_ops = &xfs_attr3_leaf_buf_ops;
2128                 break;
2129         case XFS_BLFT_ATTR_RMT_BUF:
2130                 if (magic32 != XFS_ATTR3_RMT_MAGIC) {
2131                         xfs_warn(mp, "Bad attr remote magic!");
2132                         ASSERT(0);
2133                         break;
2134                 }
2135                 bp->b_ops = &xfs_attr3_rmt_buf_ops;
2136                 break;
2137         case XFS_BLFT_SB_BUF:
2138                 if (magic32 != XFS_SB_MAGIC) {
2139                         xfs_warn(mp, "Bad SB block magic!");
2140                         ASSERT(0);
2141                         break;
2142                 }
2143                 bp->b_ops = &xfs_sb_buf_ops;
2144                 break;
2145         default:
2146                 xfs_warn(mp, "Unknown buffer type %d!",
2147                          xfs_blft_from_flags(buf_f));
2148                 break;
2149         }
2150 }
2151
2152 /*
2153  * Perform a 'normal' buffer recovery.  Each logged region of the
2154  * buffer should be copied over the corresponding region in the
2155  * given buffer.  The bitmap in the buf log format structure indicates
2156  * where to place the logged data.
2157  */
2158 STATIC void
2159 xlog_recover_do_reg_buffer(
2160         struct xfs_mount        *mp,
2161         xlog_recover_item_t     *item,
2162         struct xfs_buf          *bp,
2163         xfs_buf_log_format_t    *buf_f)
2164 {
2165         int                     i;
2166         int                     bit;
2167         int                     nbits;
2168         int                     error;
2169
2170         trace_xfs_log_recover_buf_reg_buf(mp->m_log, buf_f);
2171
2172         bit = 0;
2173         i = 1;  /* 0 is the buf format structure */
2174         while (1) {
2175                 bit = xfs_next_bit(buf_f->blf_data_map,
2176                                    buf_f->blf_map_size, bit);
2177                 if (bit == -1)
2178                         break;
2179                 nbits = xfs_contig_bits(buf_f->blf_data_map,
2180                                         buf_f->blf_map_size, bit);
2181                 ASSERT(nbits > 0);
2182                 ASSERT(item->ri_buf[i].i_addr != NULL);
2183                 ASSERT(item->ri_buf[i].i_len % XFS_BLF_CHUNK == 0);
2184                 ASSERT(BBTOB(bp->b_io_length) >=
2185                        ((uint)bit << XFS_BLF_SHIFT) + (nbits << XFS_BLF_SHIFT));
2186
2187                 /*
2188                  * The dirty regions logged in the buffer, even though
2189                  * contiguous, may span multiple chunks. This is because the
2190                  * dirty region may span a physical page boundary in a buffer
2191                  * and hence be split into two separate vectors for writing into
2192                  * the log. Hence we need to trim nbits back to the length of
2193                  * the current region being copied out of the log.
2194                  */
2195                 if (item->ri_buf[i].i_len < (nbits << XFS_BLF_SHIFT))
2196                         nbits = item->ri_buf[i].i_len >> XFS_BLF_SHIFT;
2197
2198                 /*
2199                  * Do a sanity check if this is a dquot buffer. Just checking
2200                  * the first dquot in the buffer should do. XXXThis is
2201                  * probably a good thing to do for other buf types also.
2202                  */
2203                 error = 0;
2204                 if (buf_f->blf_flags &
2205                    (XFS_BLF_UDQUOT_BUF|XFS_BLF_PDQUOT_BUF|XFS_BLF_GDQUOT_BUF)) {
2206                         if (item->ri_buf[i].i_addr == NULL) {
2207                                 xfs_alert(mp,
2208                                         "XFS: NULL dquot in %s.", __func__);
2209                                 goto next;
2210                         }
2211                         if (item->ri_buf[i].i_len < sizeof(xfs_disk_dquot_t)) {
2212                                 xfs_alert(mp,
2213                                         "XFS: dquot too small (%d) in %s.",
2214                                         item->ri_buf[i].i_len, __func__);
2215                                 goto next;
2216                         }
2217                         error = xfs_dqcheck(mp, item->ri_buf[i].i_addr,
2218                                                -1, 0, XFS_QMOPT_DOWARN,
2219                                                "dquot_buf_recover");
2220                         if (error)
2221                                 goto next;
2222                 }
2223
2224                 memcpy(xfs_buf_offset(bp,
2225                         (uint)bit << XFS_BLF_SHIFT),    /* dest */
2226                         item->ri_buf[i].i_addr,         /* source */
2227                         nbits<<XFS_BLF_SHIFT);          /* length */
2228  next:
2229                 i++;
2230                 bit += nbits;
2231         }
2232
2233         /* Shouldn't be any more regions */
2234         ASSERT(i == item->ri_total);
2235
2236         xlog_recover_validate_buf_type(mp, bp, buf_f);
2237 }
2238
2239 /*
2240  * Perform a dquot buffer recovery.
2241  * Simple algorithm: if we have found a QUOTAOFF log item of the same type
2242  * (ie. USR or GRP), then just toss this buffer away; don't recover it.
2243  * Else, treat it as a regular buffer and do recovery.
2244  *
2245  * Return false if the buffer was tossed and true if we recovered the buffer to
2246  * indicate to the caller if the buffer needs writing.
2247  */
2248 STATIC bool
2249 xlog_recover_do_dquot_buffer(
2250         struct xfs_mount                *mp,
2251         struct xlog                     *log,
2252         struct xlog_recover_item        *item,
2253         struct xfs_buf                  *bp,
2254         struct xfs_buf_log_format       *buf_f)
2255 {
2256         uint                    type;
2257
2258         trace_xfs_log_recover_buf_dquot_buf(log, buf_f);
2259
2260         /*
2261          * Filesystems are required to send in quota flags at mount time.
2262          */
2263         if (!mp->m_qflags)
2264                 return false;
2265
2266         type = 0;
2267         if (buf_f->blf_flags & XFS_BLF_UDQUOT_BUF)
2268                 type |= XFS_DQ_USER;
2269         if (buf_f->blf_flags & XFS_BLF_PDQUOT_BUF)
2270                 type |= XFS_DQ_PROJ;
2271         if (buf_f->blf_flags & XFS_BLF_GDQUOT_BUF)
2272                 type |= XFS_DQ_GROUP;
2273         /*
2274          * This type of quotas was turned off, so ignore this buffer
2275          */
2276         if (log->l_quotaoffs_flag & type)
2277                 return false;
2278
2279         xlog_recover_do_reg_buffer(mp, item, bp, buf_f);
2280         return true;
2281 }
2282
2283 /*
2284  * This routine replays a modification made to a buffer at runtime.
2285  * There are actually two types of buffer, regular and inode, which
2286  * are handled differently.  Inode buffers are handled differently
2287  * in that we only recover a specific set of data from them, namely
2288  * the inode di_next_unlinked fields.  This is because all other inode
2289  * data is actually logged via inode records and any data we replay
2290  * here which overlaps that may be stale.
2291  *
2292  * When meta-data buffers are freed at run time we log a buffer item
2293  * with the XFS_BLF_CANCEL bit set to indicate that previous copies
2294  * of the buffer in the log should not be replayed at recovery time.
2295  * This is so that if the blocks covered by the buffer are reused for
2296  * file data before we crash we don't end up replaying old, freed
2297  * meta-data into a user's file.
2298  *
2299  * To handle the cancellation of buffer log items, we make two passes
2300  * over the log during recovery.  During the first we build a table of
2301  * those buffers which have been cancelled, and during the second we
2302  * only replay those buffers which do not have corresponding cancel
2303  * records in the table.  See xlog_recover_buffer_pass[1,2] above
2304  * for more details on the implementation of the table of cancel records.
2305  */
2306 STATIC int
2307 xlog_recover_buffer_pass2(
2308         struct xlog                     *log,
2309         struct list_head                *buffer_list,
2310         struct xlog_recover_item        *item,
2311         xfs_lsn_t                       current_lsn)
2312 {
2313         xfs_buf_log_format_t    *buf_f = item->ri_buf[0].i_addr;
2314         xfs_mount_t             *mp = log->l_mp;
2315         xfs_buf_t               *bp;
2316         int                     error;
2317         uint                    buf_flags;
2318         xfs_lsn_t               lsn;
2319
2320         /*
2321          * In this pass we only want to recover all the buffers which have
2322          * not been cancelled and are not cancellation buffers themselves.
2323          */
2324         if (xlog_check_buffer_cancelled(log, buf_f->blf_blkno,
2325                         buf_f->blf_len, buf_f->blf_flags)) {
2326                 trace_xfs_log_recover_buf_cancel(log, buf_f);
2327                 return 0;
2328         }
2329
2330         trace_xfs_log_recover_buf_recover(log, buf_f);
2331
2332         buf_flags = 0;
2333         if (buf_f->blf_flags & XFS_BLF_INODE_BUF)
2334                 buf_flags |= XBF_UNMAPPED;
2335
2336         bp = xfs_buf_read(mp->m_ddev_targp, buf_f->blf_blkno, buf_f->blf_len,
2337                           buf_flags, NULL);
2338         if (!bp)
2339                 return -ENOMEM;
2340         error = bp->b_error;
2341         if (error) {
2342                 xfs_buf_ioerror_alert(bp, "xlog_recover_do..(read#1)");
2343                 goto out_release;
2344         }
2345
2346         /*
2347          * Recover the buffer only if we get an LSN from it and it's less than
2348          * the lsn of the transaction we are replaying.
2349          *
2350          * Note that we have to be extremely careful of readahead here.
2351          * Readahead does not attach verfiers to the buffers so if we don't
2352          * actually do any replay after readahead because of the LSN we found
2353          * in the buffer if more recent than that current transaction then we
2354          * need to attach the verifier directly. Failure to do so can lead to
2355          * future recovery actions (e.g. EFI and unlinked list recovery) can
2356          * operate on the buffers and they won't get the verifier attached. This
2357          * can lead to blocks on disk having the correct content but a stale
2358          * CRC.
2359          *
2360          * It is safe to assume these clean buffers are currently up to date.
2361          * If the buffer is dirtied by a later transaction being replayed, then
2362          * the verifier will be reset to match whatever recover turns that
2363          * buffer into.
2364          */
2365         lsn = xlog_recover_get_buf_lsn(mp, bp);
2366         if (lsn && lsn != -1 && XFS_LSN_CMP(lsn, current_lsn) >= 0) {
2367                 xlog_recover_validate_buf_type(mp, bp, buf_f);
2368                 goto out_release;
2369         }
2370
2371         if (buf_f->blf_flags & XFS_BLF_INODE_BUF) {
2372                 error = xlog_recover_do_inode_buffer(mp, item, bp, buf_f);
2373                 if (error)
2374                         goto out_release;
2375         } else if (buf_f->blf_flags &
2376                   (XFS_BLF_UDQUOT_BUF|XFS_BLF_PDQUOT_BUF|XFS_BLF_GDQUOT_BUF)) {
2377                 bool    dirty;
2378
2379                 dirty = xlog_recover_do_dquot_buffer(mp, log, item, bp, buf_f);
2380                 if (!dirty)
2381                         goto out_release;
2382         } else {
2383                 xlog_recover_do_reg_buffer(mp, item, bp, buf_f);
2384         }
2385
2386         /*
2387          * Perform delayed write on the buffer.  Asynchronous writes will be
2388          * slower when taking into account all the buffers to be flushed.
2389          *
2390          * Also make sure that only inode buffers with good sizes stay in
2391          * the buffer cache.  The kernel moves inodes in buffers of 1 block
2392          * or mp->m_inode_cluster_size bytes, whichever is bigger.  The inode
2393          * buffers in the log can be a different size if the log was generated
2394          * by an older kernel using unclustered inode buffers or a newer kernel
2395          * running with a different inode cluster size.  Regardless, if the
2396          * the inode buffer size isn't MAX(blocksize, mp->m_inode_cluster_size)
2397          * for *our* value of mp->m_inode_cluster_size, then we need to keep
2398          * the buffer out of the buffer cache so that the buffer won't
2399          * overlap with future reads of those inodes.
2400          */
2401         if (XFS_DINODE_MAGIC ==
2402             be16_to_cpu(*((__be16 *)xfs_buf_offset(bp, 0))) &&
2403             (BBTOB(bp->b_io_length) != MAX(log->l_mp->m_sb.sb_blocksize,
2404                         (__uint32_t)log->l_mp->m_inode_cluster_size))) {
2405                 xfs_buf_stale(bp);
2406                 error = xfs_bwrite(bp);
2407         } else {
2408                 ASSERT(bp->b_target->bt_mount == mp);
2409                 bp->b_iodone = xlog_recover_iodone;
2410                 xfs_buf_delwri_queue(bp, buffer_list);
2411         }
2412
2413 out_release:
2414         xfs_buf_relse(bp);
2415         return error;
2416 }
2417
2418 /*
2419  * Inode fork owner changes
2420  *
2421  * If we have been told that we have to reparent the inode fork, it's because an
2422  * extent swap operation on a CRC enabled filesystem has been done and we are
2423  * replaying it. We need to walk the BMBT of the appropriate fork and change the
2424  * owners of it.
2425  *
2426  * The complexity here is that we don't have an inode context to work with, so
2427  * after we've replayed the inode we need to instantiate one.  This is where the
2428  * fun begins.
2429  *
2430  * We are in the middle of log recovery, so we can't run transactions. That
2431  * means we cannot use cache coherent inode instantiation via xfs_iget(), as
2432  * that will result in the corresponding iput() running the inode through
2433  * xfs_inactive(). If we've just replayed an inode core that changes the link
2434  * count to zero (i.e. it's been unlinked), then xfs_inactive() will run
2435  * transactions (bad!).
2436  *
2437  * So, to avoid this, we instantiate an inode directly from the inode core we've
2438  * just recovered. We have the buffer still locked, and all we really need to
2439  * instantiate is the inode core and the forks being modified. We can do this
2440  * manually, then run the inode btree owner change, and then tear down the
2441  * xfs_inode without having to run any transactions at all.
2442  *
2443  * Also, because we don't have a transaction context available here but need to
2444  * gather all the buffers we modify for writeback so we pass the buffer_list
2445  * instead for the operation to use.
2446  */
2447
2448 STATIC int
2449 xfs_recover_inode_owner_change(
2450         struct xfs_mount        *mp,
2451         struct xfs_dinode       *dip,
2452         struct xfs_inode_log_format *in_f,
2453         struct list_head        *buffer_list)
2454 {
2455         struct xfs_inode        *ip;
2456         int                     error;
2457
2458         ASSERT(in_f->ilf_fields & (XFS_ILOG_DOWNER|XFS_ILOG_AOWNER));
2459
2460         ip = xfs_inode_alloc(mp, in_f->ilf_ino);
2461         if (!ip)
2462                 return -ENOMEM;
2463
2464         /* instantiate the inode */
2465         xfs_dinode_from_disk(&ip->i_d, dip);
2466         ASSERT(ip->i_d.di_version >= 3);
2467
2468         error = xfs_iformat_fork(ip, dip);
2469         if (error)
2470                 goto out_free_ip;
2471
2472
2473         if (in_f->ilf_fields & XFS_ILOG_DOWNER) {
2474                 ASSERT(in_f->ilf_fields & XFS_ILOG_DBROOT);
2475                 error = xfs_bmbt_change_owner(NULL, ip, XFS_DATA_FORK,
2476                                               ip->i_ino, buffer_list);
2477                 if (error)
2478                         goto out_free_ip;
2479         }
2480
2481         if (in_f->ilf_fields & XFS_ILOG_AOWNER) {
2482                 ASSERT(in_f->ilf_fields & XFS_ILOG_ABROOT);
2483                 error = xfs_bmbt_change_owner(NULL, ip, XFS_ATTR_FORK,
2484                                               ip->i_ino, buffer_list);
2485                 if (error)
2486                         goto out_free_ip;
2487         }
2488
2489 out_free_ip:
2490         xfs_inode_free(ip);
2491         return error;
2492 }
2493
2494 STATIC int
2495 xlog_recover_inode_pass2(
2496         struct xlog                     *log,
2497         struct list_head                *buffer_list,
2498         struct xlog_recover_item        *item,
2499         xfs_lsn_t                       current_lsn)
2500 {
2501         xfs_inode_log_format_t  *in_f;
2502         xfs_mount_t             *mp = log->l_mp;
2503         xfs_buf_t               *bp;
2504         xfs_dinode_t            *dip;
2505         int                     len;
2506         xfs_caddr_t             src;
2507         xfs_caddr_t             dest;
2508         int                     error;
2509         int                     attr_index;
2510         uint                    fields;
2511         xfs_icdinode_t          *dicp;
2512         uint                    isize;
2513         int                     need_free = 0;
2514
2515         if (item->ri_buf[0].i_len == sizeof(xfs_inode_log_format_t)) {
2516                 in_f = item->ri_buf[0].i_addr;
2517         } else {
2518                 in_f = kmem_alloc(sizeof(xfs_inode_log_format_t), KM_SLEEP);
2519                 need_free = 1;
2520                 error = xfs_inode_item_format_convert(&item->ri_buf[0], in_f);
2521                 if (error)
2522                         goto error;
2523         }
2524
2525         /*
2526          * Inode buffers can be freed, look out for it,
2527          * and do not replay the inode.
2528          */
2529         if (xlog_check_buffer_cancelled(log, in_f->ilf_blkno,
2530                                         in_f->ilf_len, 0)) {
2531                 error = 0;
2532                 trace_xfs_log_recover_inode_cancel(log, in_f);
2533                 goto error;
2534         }
2535         trace_xfs_log_recover_inode_recover(log, in_f);
2536
2537         bp = xfs_buf_read(mp->m_ddev_targp, in_f->ilf_blkno, in_f->ilf_len, 0,
2538                           &xfs_inode_buf_ops);
2539         if (!bp) {
2540                 error = -ENOMEM;
2541                 goto error;
2542         }
2543         error = bp->b_error;
2544         if (error) {
2545                 xfs_buf_ioerror_alert(bp, "xlog_recover_do..(read#2)");
2546                 goto out_release;
2547         }
2548         ASSERT(in_f->ilf_fields & XFS_ILOG_CORE);
2549         dip = (xfs_dinode_t *)xfs_buf_offset(bp, in_f->ilf_boffset);
2550
2551         /*
2552          * Make sure the place we're flushing out to really looks
2553          * like an inode!
2554          */
2555         if (unlikely(dip->di_magic != cpu_to_be16(XFS_DINODE_MAGIC))) {
2556                 xfs_alert(mp,
2557         "%s: Bad inode magic number, dip = 0x%p, dino bp = 0x%p, ino = %Ld",
2558                         __func__, dip, bp, in_f->ilf_ino);
2559                 XFS_ERROR_REPORT("xlog_recover_inode_pass2(1)",
2560                                  XFS_ERRLEVEL_LOW, mp);
2561                 error = -EFSCORRUPTED;
2562                 goto out_release;
2563         }
2564         dicp = item->ri_buf[1].i_addr;
2565         if (unlikely(dicp->di_magic != XFS_DINODE_MAGIC)) {
2566                 xfs_alert(mp,
2567                         "%s: Bad inode log record, rec ptr 0x%p, ino %Ld",
2568                         __func__, item, in_f->ilf_ino);
2569                 XFS_ERROR_REPORT("xlog_recover_inode_pass2(2)",
2570                                  XFS_ERRLEVEL_LOW, mp);
2571                 error = -EFSCORRUPTED;
2572                 goto out_release;
2573         }
2574
2575         /*
2576          * If the inode has an LSN in it, recover the inode only if it's less
2577          * than the lsn of the transaction we are replaying. Note: we still
2578          * need to replay an owner change even though the inode is more recent
2579          * than the transaction as there is no guarantee that all the btree
2580          * blocks are more recent than this transaction, too.
2581          */
2582         if (dip->di_version >= 3) {
2583                 xfs_lsn_t       lsn = be64_to_cpu(dip->di_lsn);
2584
2585                 if (lsn && lsn != -1 && XFS_LSN_CMP(lsn, current_lsn) >= 0) {
2586                         trace_xfs_log_recover_inode_skip(log, in_f);
2587                         error = 0;
2588                         goto out_owner_change;
2589                 }
2590         }
2591
2592         /*
2593          * di_flushiter is only valid for v1/2 inodes. All changes for v3 inodes
2594          * are transactional and if ordering is necessary we can determine that
2595          * more accurately by the LSN field in the V3 inode core. Don't trust
2596          * the inode versions we might be changing them here - use the
2597          * superblock flag to determine whether we need to look at di_flushiter
2598          * to skip replay when the on disk inode is newer than the log one
2599          */
2600         if (!xfs_sb_version_hascrc(&mp->m_sb) &&
2601             dicp->di_flushiter < be16_to_cpu(dip->di_flushiter)) {
2602                 /*
2603                  * Deal with the wrap case, DI_MAX_FLUSH is less
2604                  * than smaller numbers
2605                  */
2606                 if (be16_to_cpu(dip->di_flushiter) == DI_MAX_FLUSH &&
2607                     dicp->di_flushiter < (DI_MAX_FLUSH >> 1)) {
2608                         /* do nothing */
2609                 } else {
2610                         trace_xfs_log_recover_inode_skip(log, in_f);
2611                         error = 0;
2612                         goto out_release;
2613                 }
2614         }
2615
2616         /* Take the opportunity to reset the flush iteration count */
2617         dicp->di_flushiter = 0;
2618
2619         if (unlikely(S_ISREG(dicp->di_mode))) {
2620                 if ((dicp->di_format != XFS_DINODE_FMT_EXTENTS) &&
2621                     (dicp->di_format != XFS_DINODE_FMT_BTREE)) {
2622                         XFS_CORRUPTION_ERROR("xlog_recover_inode_pass2(3)",
2623                                          XFS_ERRLEVEL_LOW, mp, dicp);
2624                         xfs_alert(mp,
2625                 "%s: Bad regular inode log record, rec ptr 0x%p, "
2626                 "ino ptr = 0x%p, ino bp = 0x%p, ino %Ld",
2627                                 __func__, item, dip, bp, in_f->ilf_ino);
2628                         error = -EFSCORRUPTED;
2629                         goto out_release;
2630                 }
2631         } else if (unlikely(S_ISDIR(dicp->di_mode))) {
2632                 if ((dicp->di_format != XFS_DINODE_FMT_EXTENTS) &&
2633                     (dicp->di_format != XFS_DINODE_FMT_BTREE) &&
2634                     (dicp->di_format != XFS_DINODE_FMT_LOCAL)) {
2635                         XFS_CORRUPTION_ERROR("xlog_recover_inode_pass2(4)",
2636                                              XFS_ERRLEVEL_LOW, mp, dicp);
2637                         xfs_alert(mp,
2638                 "%s: Bad dir inode log record, rec ptr 0x%p, "
2639                 "ino ptr = 0x%p, ino bp = 0x%p, ino %Ld",
2640                                 __func__, item, dip, bp, in_f->ilf_ino);
2641                         error = -EFSCORRUPTED;
2642                         goto out_release;
2643                 }
2644         }
2645         if (unlikely(dicp->di_nextents + dicp->di_anextents > dicp->di_nblocks)){
2646                 XFS_CORRUPTION_ERROR("xlog_recover_inode_pass2(5)",
2647                                      XFS_ERRLEVEL_LOW, mp, dicp);
2648                 xfs_alert(mp,
2649         "%s: Bad inode log record, rec ptr 0x%p, dino ptr 0x%p, "
2650         "dino bp 0x%p, ino %Ld, total extents = %d, nblocks = %Ld",
2651                         __func__, item, dip, bp, in_f->ilf_ino,
2652                         dicp->di_nextents + dicp->di_anextents,
2653                         dicp->di_nblocks);
2654                 error = -EFSCORRUPTED;
2655                 goto out_release;
2656         }
2657         if (unlikely(dicp->di_forkoff > mp->m_sb.sb_inodesize)) {
2658                 XFS_CORRUPTION_ERROR("xlog_recover_inode_pass2(6)",
2659                                      XFS_ERRLEVEL_LOW, mp, dicp);
2660                 xfs_alert(mp,
2661         "%s: Bad inode log record, rec ptr 0x%p, dino ptr 0x%p, "
2662         "dino bp 0x%p, ino %Ld, forkoff 0x%x", __func__,
2663                         item, dip, bp, in_f->ilf_ino, dicp->di_forkoff);
2664                 error = -EFSCORRUPTED;
2665                 goto out_release;
2666         }
2667         isize = xfs_icdinode_size(dicp->di_version);
2668         if (unlikely(item->ri_buf[1].i_len > isize)) {
2669                 XFS_CORRUPTION_ERROR("xlog_recover_inode_pass2(7)",
2670                                      XFS_ERRLEVEL_LOW, mp, dicp);
2671                 xfs_alert(mp,
2672                         "%s: Bad inode log record length %d, rec ptr 0x%p",
2673                         __func__, item->ri_buf[1].i_len, item);
2674                 error = -EFSCORRUPTED;
2675                 goto out_release;
2676         }
2677
2678         /* The core is in in-core format */
2679         xfs_dinode_to_disk(dip, dicp);
2680
2681         /* the rest is in on-disk format */
2682         if (item->ri_buf[1].i_len > isize) {
2683                 memcpy((char *)dip + isize,
2684                         item->ri_buf[1].i_addr + isize,
2685                         item->ri_buf[1].i_len - isize);
2686         }
2687
2688         fields = in_f->ilf_fields;
2689         switch (fields & (XFS_ILOG_DEV | XFS_ILOG_UUID)) {
2690         case XFS_ILOG_DEV:
2691                 xfs_dinode_put_rdev(dip, in_f->ilf_u.ilfu_rdev);
2692                 break;
2693         case XFS_ILOG_UUID:
2694                 memcpy(XFS_DFORK_DPTR(dip),
2695                        &in_f->ilf_u.ilfu_uuid,
2696                        sizeof(uuid_t));
2697                 break;
2698         }
2699
2700         if (in_f->ilf_size == 2)
2701                 goto out_owner_change;
2702         len = item->ri_buf[2].i_len;
2703         src = item->ri_buf[2].i_addr;
2704         ASSERT(in_f->ilf_size <= 4);
2705         ASSERT((in_f->ilf_size == 3) || (fields & XFS_ILOG_AFORK));
2706         ASSERT(!(fields & XFS_ILOG_DFORK) ||
2707                (len == in_f->ilf_dsize));
2708
2709         switch (fields & XFS_ILOG_DFORK) {
2710         case XFS_ILOG_DDATA:
2711         case XFS_ILOG_DEXT:
2712                 memcpy(XFS_DFORK_DPTR(dip), src, len);
2713                 break;
2714
2715         case XFS_ILOG_DBROOT:
2716                 xfs_bmbt_to_bmdr(mp, (struct xfs_btree_block *)src, len,
2717                                  (xfs_bmdr_block_t *)XFS_DFORK_DPTR(dip),
2718                                  XFS_DFORK_DSIZE(dip, mp));
2719                 break;
2720
2721         default:
2722                 /*
2723                  * There are no data fork flags set.
2724                  */
2725                 ASSERT((fields & XFS_ILOG_DFORK) == 0);
2726                 break;
2727         }
2728
2729         /*
2730          * If we logged any attribute data, recover it.  There may or
2731          * may not have been any other non-core data logged in this
2732          * transaction.
2733          */
2734         if (in_f->ilf_fields & XFS_ILOG_AFORK) {
2735                 if (in_f->ilf_fields & XFS_ILOG_DFORK) {
2736                         attr_index = 3;
2737                 } else {
2738                         attr_index = 2;
2739                 }
2740                 len = item->ri_buf[attr_index].i_len;
2741                 src = item->ri_buf[attr_index].i_addr;
2742                 ASSERT(len == in_f->ilf_asize);
2743
2744                 switch (in_f->ilf_fields & XFS_ILOG_AFORK) {
2745                 case XFS_ILOG_ADATA:
2746                 case XFS_ILOG_AEXT:
2747                         dest = XFS_DFORK_APTR(dip);
2748                         ASSERT(len <= XFS_DFORK_ASIZE(dip, mp));
2749                         memcpy(dest, src, len);
2750                         break;
2751
2752                 case XFS_ILOG_ABROOT:
2753                         dest = XFS_DFORK_APTR(dip);
2754                         xfs_bmbt_to_bmdr(mp, (struct xfs_btree_block *)src,
2755                                          len, (xfs_bmdr_block_t*)dest,
2756                                          XFS_DFORK_ASIZE(dip, mp));
2757                         break;
2758
2759                 default:
2760                         xfs_warn(log->l_mp, "%s: Invalid flag", __func__);
2761                         ASSERT(0);
2762                         error = -EIO;
2763                         goto out_release;
2764                 }
2765         }
2766
2767 out_owner_change:
2768         if (in_f->ilf_fields & (XFS_ILOG_DOWNER|XFS_ILOG_AOWNER))
2769                 error = xfs_recover_inode_owner_change(mp, dip, in_f,
2770                                                        buffer_list);
2771         /* re-generate the checksum. */
2772         xfs_dinode_calc_crc(log->l_mp, dip);
2773
2774         ASSERT(bp->b_target->bt_mount == mp);
2775         bp->b_iodone = xlog_recover_iodone;
2776         xfs_buf_delwri_queue(bp, buffer_list);
2777
2778 out_release:
2779         xfs_buf_relse(bp);
2780 error:
2781         if (need_free)
2782                 kmem_free(in_f);
2783         return error;
2784 }
2785
2786 /*
2787  * Recover QUOTAOFF records. We simply make a note of it in the xlog
2788  * structure, so that we know not to do any dquot item or dquot buffer recovery,
2789  * of that type.
2790  */
2791 STATIC int
2792 xlog_recover_quotaoff_pass1(
2793         struct xlog                     *log,
2794         struct xlog_recover_item        *item)
2795 {
2796         xfs_qoff_logformat_t    *qoff_f = item->ri_buf[0].i_addr;
2797         ASSERT(qoff_f);
2798
2799         /*
2800          * The logitem format's flag tells us if this was user quotaoff,
2801          * group/project quotaoff or both.
2802          */
2803         if (qoff_f->qf_flags & XFS_UQUOTA_ACCT)
2804                 log->l_quotaoffs_flag |= XFS_DQ_USER;
2805         if (qoff_f->qf_flags & XFS_PQUOTA_ACCT)
2806                 log->l_quotaoffs_flag |= XFS_DQ_PROJ;
2807         if (qoff_f->qf_flags & XFS_GQUOTA_ACCT)
2808                 log->l_quotaoffs_flag |= XFS_DQ_GROUP;
2809
2810         return 0;
2811 }
2812
2813 /*
2814  * Recover a dquot record
2815  */
2816 STATIC int
2817 xlog_recover_dquot_pass2(
2818         struct xlog                     *log,
2819         struct list_head                *buffer_list,
2820         struct xlog_recover_item        *item,
2821         xfs_lsn_t                       current_lsn)
2822 {
2823         xfs_mount_t             *mp = log->l_mp;
2824         xfs_buf_t               *bp;
2825         struct xfs_disk_dquot   *ddq, *recddq;
2826         int                     error;
2827         xfs_dq_logformat_t      *dq_f;
2828         uint                    type;
2829
2830
2831         /*
2832          * Filesystems are required to send in quota flags at mount time.
2833          */
2834         if (mp->m_qflags == 0)
2835                 return 0;
2836
2837         recddq = item->ri_buf[1].i_addr;
2838         if (recddq == NULL) {
2839                 xfs_alert(log->l_mp, "NULL dquot in %s.", __func__);
2840                 return -EIO;
2841         }
2842         if (item->ri_buf[1].i_len < sizeof(xfs_disk_dquot_t)) {
2843                 xfs_alert(log->l_mp, "dquot too small (%d) in %s.",
2844                         item->ri_buf[1].i_len, __func__);
2845                 return -EIO;
2846         }
2847
2848         /*
2849          * This type of quotas was turned off, so ignore this record.
2850          */
2851         type = recddq->d_flags & (XFS_DQ_USER | XFS_DQ_PROJ | XFS_DQ_GROUP);
2852         ASSERT(type);
2853         if (log->l_quotaoffs_flag & type)
2854                 return 0;
2855
2856         /*
2857          * At this point we know that quota was _not_ turned off.
2858          * Since the mount flags are not indicating to us otherwise, this
2859          * must mean that quota is on, and the dquot needs to be replayed.
2860          * Remember that we may not have fully recovered the superblock yet,
2861          * so we can't do the usual trick of looking at the SB quota bits.
2862          *
2863          * The other possibility, of course, is that the quota subsystem was
2864          * removed since the last mount - ENOSYS.
2865          */
2866         dq_f = item->ri_buf[0].i_addr;
2867         ASSERT(dq_f);
2868         error = xfs_dqcheck(mp, recddq, dq_f->qlf_id, 0, XFS_QMOPT_DOWARN,
2869                            "xlog_recover_dquot_pass2 (log copy)");
2870         if (error)
2871                 return -EIO;
2872         ASSERT(dq_f->qlf_len == 1);
2873
2874         /*
2875          * At this point we are assuming that the dquots have been allocated
2876          * and hence the buffer has valid dquots stamped in it. It should,
2877          * therefore, pass verifier validation. If the dquot is bad, then the
2878          * we'll return an error here, so we don't need to specifically check
2879          * the dquot in the buffer after the verifier has run.
2880          */
2881         error = xfs_trans_read_buf(mp, NULL, mp->m_ddev_targp, dq_f->qlf_blkno,
2882                                    XFS_FSB_TO_BB(mp, dq_f->qlf_len), 0, &bp,
2883                                    &xfs_dquot_buf_ops);
2884         if (error)
2885                 return error;
2886
2887         ASSERT(bp);
2888         ddq = (xfs_disk_dquot_t *)xfs_buf_offset(bp, dq_f->qlf_boffset);
2889
2890         /*
2891          * If the dquot has an LSN in it, recover the dquot only if it's less
2892          * than the lsn of the transaction we are replaying.
2893          */
2894         if (xfs_sb_version_hascrc(&mp->m_sb)) {
2895                 struct xfs_dqblk *dqb = (struct xfs_dqblk *)ddq;
2896                 xfs_lsn_t       lsn = be64_to_cpu(dqb->dd_lsn);
2897
2898                 if (lsn && lsn != -1 && XFS_LSN_CMP(lsn, current_lsn) >= 0) {
2899                         goto out_release;
2900                 }
2901         }
2902
2903         memcpy(ddq, recddq, item->ri_buf[1].i_len);
2904         if (xfs_sb_version_hascrc(&mp->m_sb)) {
2905                 xfs_update_cksum((char *)ddq, sizeof(struct xfs_dqblk),
2906                                  XFS_DQUOT_CRC_OFF);
2907         }
2908
2909         ASSERT(dq_f->qlf_size == 2);
2910         ASSERT(bp->b_target->bt_mount == mp);
2911         bp->b_iodone = xlog_recover_iodone;
2912         xfs_buf_delwri_queue(bp, buffer_list);
2913
2914 out_release:
2915         xfs_buf_relse(bp);
2916         return 0;
2917 }
2918
2919 /*
2920  * This routine is called to create an in-core extent free intent
2921  * item from the efi format structure which was logged on disk.
2922  * It allocates an in-core efi, copies the extents from the format
2923  * structure into it, and adds the efi to the AIL with the given
2924  * LSN.
2925  */
2926 STATIC int
2927 xlog_recover_efi_pass2(
2928         struct xlog                     *log,
2929         struct xlog_recover_item        *item,
2930         xfs_lsn_t                       lsn)
2931 {
2932         int                     error;
2933         xfs_mount_t             *mp = log->l_mp;
2934         xfs_efi_log_item_t      *efip;
2935         xfs_efi_log_format_t    *efi_formatp;
2936
2937         efi_formatp = item->ri_buf[0].i_addr;
2938
2939         efip = xfs_efi_init(mp, efi_formatp->efi_nextents);
2940         if ((error = xfs_efi_copy_format(&(item->ri_buf[0]),
2941                                          &(efip->efi_format)))) {
2942                 xfs_efi_item_free(efip);
2943                 return error;
2944         }
2945         atomic_set(&efip->efi_next_extent, efi_formatp->efi_nextents);
2946
2947         spin_lock(&log->l_ailp->xa_lock);
2948         /*
2949          * xfs_trans_ail_update() drops the AIL lock.
2950          */
2951         xfs_trans_ail_update(log->l_ailp, &efip->efi_item, lsn);
2952         return 0;
2953 }
2954
2955
2956 /*
2957  * This routine is called when an efd format structure is found in
2958  * a committed transaction in the log.  It's purpose is to cancel
2959  * the corresponding efi if it was still in the log.  To do this
2960  * it searches the AIL for the efi with an id equal to that in the
2961  * efd format structure.  If we find it, we remove the efi from the
2962  * AIL and free it.
2963  */
2964 STATIC int
2965 xlog_recover_efd_pass2(
2966         struct xlog                     *log,
2967         struct xlog_recover_item        *item)
2968 {
2969         xfs_efd_log_format_t    *efd_formatp;
2970         xfs_efi_log_item_t      *efip = NULL;
2971         xfs_log_item_t          *lip;
2972         __uint64_t              efi_id;
2973         struct xfs_ail_cursor   cur;
2974         struct xfs_ail          *ailp = log->l_ailp;
2975
2976         efd_formatp = item->ri_buf[0].i_addr;
2977         ASSERT((item->ri_buf[0].i_len == (sizeof(xfs_efd_log_format_32_t) +
2978                 ((efd_formatp->efd_nextents - 1) * sizeof(xfs_extent_32_t)))) ||
2979                (item->ri_buf[0].i_len == (sizeof(xfs_efd_log_format_64_t) +
2980                 ((efd_formatp->efd_nextents - 1) * sizeof(xfs_extent_64_t)))));
2981         efi_id = efd_formatp->efd_efi_id;
2982
2983         /*
2984          * Search for the efi with the id in the efd format structure
2985          * in the AIL.
2986          */
2987         spin_lock(&ailp->xa_lock);
2988         lip = xfs_trans_ail_cursor_first(ailp, &cur, 0);
2989         while (lip != NULL) {
2990                 if (lip->li_type == XFS_LI_EFI) {
2991                         efip = (xfs_efi_log_item_t *)lip;
2992                         if (efip->efi_format.efi_id == efi_id) {
2993                                 /*
2994                                  * xfs_trans_ail_delete() drops the
2995                                  * AIL lock.
2996                                  */
2997                                 xfs_trans_ail_delete(ailp, lip,
2998                                                      SHUTDOWN_CORRUPT_INCORE);
2999                                 xfs_efi_item_free(efip);
3000                                 spin_lock(&ailp->xa_lock);
3001                                 break;
3002                         }
3003                 }
3004                 lip = xfs_trans_ail_cursor_next(ailp, &cur);
3005         }
3006         xfs_trans_ail_cursor_done(&cur);
3007         spin_unlock(&ailp->xa_lock);
3008
3009         return 0;
3010 }
3011
3012 /*
3013  * This routine is called when an inode create format structure is found in a
3014  * committed transaction in the log.  It's purpose is to initialise the inodes
3015  * being allocated on disk. This requires us to get inode cluster buffers that
3016  * match the range to be intialised, stamped with inode templates and written
3017  * by delayed write so that subsequent modifications will hit the cached buffer
3018  * and only need writing out at the end of recovery.
3019  */
3020 STATIC int
3021 xlog_recover_do_icreate_pass2(
3022         struct xlog             *log,
3023         struct list_head        *buffer_list,
3024         xlog_recover_item_t     *item)
3025 {
3026         struct xfs_mount        *mp = log->l_mp;
3027         struct xfs_icreate_log  *icl;
3028         xfs_agnumber_t          agno;
3029         xfs_agblock_t           agbno;
3030         unsigned int            count;
3031         unsigned int            isize;
3032         xfs_agblock_t           length;
3033
3034         icl = (struct xfs_icreate_log *)item->ri_buf[0].i_addr;
3035         if (icl->icl_type != XFS_LI_ICREATE) {
3036                 xfs_warn(log->l_mp, "xlog_recover_do_icreate_trans: bad type");
3037                 return -EINVAL;
3038         }
3039
3040         if (icl->icl_size != 1) {
3041                 xfs_warn(log->l_mp, "xlog_recover_do_icreate_trans: bad icl size");
3042                 return -EINVAL;
3043         }
3044
3045         agno = be32_to_cpu(icl->icl_ag);
3046         if (agno >= mp->m_sb.sb_agcount) {
3047                 xfs_warn(log->l_mp, "xlog_recover_do_icreate_trans: bad agno");
3048                 return -EINVAL;
3049         }
3050         agbno = be32_to_cpu(icl->icl_agbno);
3051         if (!agbno || agbno == NULLAGBLOCK || agbno >= mp->m_sb.sb_agblocks) {
3052                 xfs_warn(log->l_mp, "xlog_recover_do_icreate_trans: bad agbno");
3053                 return -EINVAL;
3054         }
3055         isize = be32_to_cpu(icl->icl_isize);
3056         if (isize != mp->m_sb.sb_inodesize) {
3057                 xfs_warn(log->l_mp, "xlog_recover_do_icreate_trans: bad isize");
3058                 return -EINVAL;
3059         }
3060         count = be32_to_cpu(icl->icl_count);
3061         if (!count) {
3062                 xfs_warn(log->l_mp, "xlog_recover_do_icreate_trans: bad count");
3063                 return -EINVAL;
3064         }
3065         length = be32_to_cpu(icl->icl_length);
3066         if (!length || length >= mp->m_sb.sb_agblocks) {
3067                 xfs_warn(log->l_mp, "xlog_recover_do_icreate_trans: bad length");
3068                 return -EINVAL;
3069         }
3070
3071         /* existing allocation is fixed value */
3072         ASSERT(count == mp->m_ialloc_inos);
3073         ASSERT(length == mp->m_ialloc_blks);
3074         if (count != mp->m_ialloc_inos ||
3075              length != mp->m_ialloc_blks) {
3076                 xfs_warn(log->l_mp, "xlog_recover_do_icreate_trans: bad count 2");
3077                 return -EINVAL;
3078         }
3079
3080         /*
3081          * Inode buffers can be freed. Do not replay the inode initialisation as
3082          * we could be overwriting something written after this inode buffer was
3083          * cancelled.
3084          *
3085          * XXX: we need to iterate all buffers and only init those that are not
3086          * cancelled. I think that a more fine grained factoring of
3087          * xfs_ialloc_inode_init may be appropriate here to enable this to be
3088          * done easily.
3089          */
3090         if (xlog_check_buffer_cancelled(log,
3091                         XFS_AGB_TO_DADDR(mp, agno, agbno), length, 0))
3092                 return 0;
3093
3094         xfs_ialloc_inode_init(mp, NULL, buffer_list, agno, agbno, length,
3095                                         be32_to_cpu(icl->icl_gen));
3096         return 0;
3097 }
3098
3099 STATIC void
3100 xlog_recover_buffer_ra_pass2(
3101         struct xlog                     *log,
3102         struct xlog_recover_item        *item)
3103 {
3104         struct xfs_buf_log_format       *buf_f = item->ri_buf[0].i_addr;
3105         struct xfs_mount                *mp = log->l_mp;
3106
3107         if (xlog_peek_buffer_cancelled(log, buf_f->blf_blkno,
3108                         buf_f->blf_len, buf_f->blf_flags)) {
3109                 return;
3110         }
3111
3112         xfs_buf_readahead(mp->m_ddev_targp, buf_f->blf_blkno,
3113                                 buf_f->blf_len, NULL);
3114 }
3115
3116 STATIC void
3117 xlog_recover_inode_ra_pass2(
3118         struct xlog                     *log,
3119         struct xlog_recover_item        *item)
3120 {
3121         struct xfs_inode_log_format     ilf_buf;
3122         struct xfs_inode_log_format     *ilfp;
3123         struct xfs_mount                *mp = log->l_mp;
3124         int                     error;
3125
3126         if (item->ri_buf[0].i_len == sizeof(struct xfs_inode_log_format)) {
3127                 ilfp = item->ri_buf[0].i_addr;
3128         } else {
3129                 ilfp = &ilf_buf;
3130                 memset(ilfp, 0, sizeof(*ilfp));
3131                 error = xfs_inode_item_format_convert(&item->ri_buf[0], ilfp);
3132                 if (error)
3133                         return;
3134         }
3135
3136         if (xlog_peek_buffer_cancelled(log, ilfp->ilf_blkno, ilfp->ilf_len, 0))
3137                 return;
3138
3139         xfs_buf_readahead(mp->m_ddev_targp, ilfp->ilf_blkno,
3140                                 ilfp->ilf_len, &xfs_inode_buf_ra_ops);
3141 }
3142
3143 STATIC void
3144 xlog_recover_dquot_ra_pass2(
3145         struct xlog                     *log,
3146         struct xlog_recover_item        *item)
3147 {
3148         struct xfs_mount        *mp = log->l_mp;
3149         struct xfs_disk_dquot   *recddq;
3150         struct xfs_dq_logformat *dq_f;
3151         uint                    type;
3152
3153
3154         if (mp->m_qflags == 0)
3155                 return;
3156
3157         recddq = item->ri_buf[1].i_addr;
3158         if (recddq == NULL)
3159                 return;
3160         if (item->ri_buf[1].i_len < sizeof(struct xfs_disk_dquot))
3161                 return;
3162
3163         type = recddq->d_flags & (XFS_DQ_USER | XFS_DQ_PROJ | XFS_DQ_GROUP);
3164         ASSERT(type);
3165         if (log->l_quotaoffs_flag & type)
3166                 return;
3167
3168         dq_f = item->ri_buf[0].i_addr;
3169         ASSERT(dq_f);
3170         ASSERT(dq_f->qlf_len == 1);
3171
3172         xfs_buf_readahead(mp->m_ddev_targp, dq_f->qlf_blkno,
3173                           XFS_FSB_TO_BB(mp, dq_f->qlf_len), NULL);
3174 }
3175
3176 STATIC void
3177 xlog_recover_ra_pass2(
3178         struct xlog                     *log,
3179         struct xlog_recover_item        *item)
3180 {
3181         switch (ITEM_TYPE(item)) {
3182         case XFS_LI_BUF:
3183                 xlog_recover_buffer_ra_pass2(log, item);
3184                 break;
3185         case XFS_LI_INODE:
3186                 xlog_recover_inode_ra_pass2(log, item);
3187                 break;
3188         case XFS_LI_DQUOT:
3189                 xlog_recover_dquot_ra_pass2(log, item);
3190                 break;
3191         case XFS_LI_EFI:
3192         case XFS_LI_EFD:
3193         case XFS_LI_QUOTAOFF:
3194         default:
3195                 break;
3196         }
3197 }
3198
3199 STATIC int
3200 xlog_recover_commit_pass1(
3201         struct xlog                     *log,
3202         struct xlog_recover             *trans,
3203         struct xlog_recover_item        *item)
3204 {
3205         trace_xfs_log_recover_item_recover(log, trans, item, XLOG_RECOVER_PASS1);
3206
3207         switch (ITEM_TYPE(item)) {
3208         case XFS_LI_BUF:
3209                 return xlog_recover_buffer_pass1(log, item);
3210         case XFS_LI_QUOTAOFF:
3211                 return xlog_recover_quotaoff_pass1(log, item);
3212         case XFS_LI_INODE:
3213         case XFS_LI_EFI:
3214         case XFS_LI_EFD:
3215         case XFS_LI_DQUOT:
3216         case XFS_LI_ICREATE:
3217                 /* nothing to do in pass 1 */
3218                 return 0;
3219         default:
3220                 xfs_warn(log->l_mp, "%s: invalid item type (%d)",
3221                         __func__, ITEM_TYPE(item));
3222                 ASSERT(0);
3223                 return -EIO;
3224         }
3225 }
3226
3227 STATIC int
3228 xlog_recover_commit_pass2(
3229         struct xlog                     *log,
3230         struct xlog_recover             *trans,
3231         struct list_head                *buffer_list,
3232         struct xlog_recover_item        *item)
3233 {
3234         trace_xfs_log_recover_item_recover(log, trans, item, XLOG_RECOVER_PASS2);
3235
3236         switch (ITEM_TYPE(item)) {
3237         case XFS_LI_BUF:
3238                 return xlog_recover_buffer_pass2(log, buffer_list, item,
3239                                                  trans->r_lsn);
3240         case XFS_LI_INODE:
3241                 return xlog_recover_inode_pass2(log, buffer_list, item,
3242                                                  trans->r_lsn);
3243         case XFS_LI_EFI:
3244                 return xlog_recover_efi_pass2(log, item, trans->r_lsn);
3245         case XFS_LI_EFD:
3246                 return xlog_recover_efd_pass2(log, item);
3247         case XFS_LI_DQUOT:
3248                 return xlog_recover_dquot_pass2(log, buffer_list, item,
3249                                                 trans->r_lsn);
3250         case XFS_LI_ICREATE:
3251                 return xlog_recover_do_icreate_pass2(log, buffer_list, item);
3252         case XFS_LI_QUOTAOFF:
3253                 /* nothing to do in pass2 */
3254                 return 0;
3255         default:
3256                 xfs_warn(log->l_mp, "%s: invalid item type (%d)",
3257                         __func__, ITEM_TYPE(item));
3258                 ASSERT(0);
3259                 return -EIO;
3260         }
3261 }
3262
3263 STATIC int
3264 xlog_recover_items_pass2(
3265         struct xlog                     *log,
3266         struct xlog_recover             *trans,
3267         struct list_head                *buffer_list,
3268         struct list_head                *item_list)
3269 {
3270         struct xlog_recover_item        *item;
3271         int                             error = 0;
3272
3273         list_for_each_entry(item, item_list, ri_list) {
3274                 error = xlog_recover_commit_pass2(log, trans,
3275                                           buffer_list, item);
3276                 if (error)
3277                         return error;
3278         }
3279
3280         return error;
3281 }
3282
3283 /*
3284  * Perform the transaction.
3285  *
3286  * If the transaction modifies a buffer or inode, do it now.  Otherwise,
3287  * EFIs and EFDs get queued up by adding entries into the AIL for them.
3288  */
3289 STATIC int
3290 xlog_recover_commit_trans(
3291         struct xlog             *log,
3292         struct xlog_recover     *trans,
3293         int                     pass)
3294 {
3295         int                             error = 0;
3296         int                             error2;
3297         int                             items_queued = 0;
3298         struct xlog_recover_item        *item;
3299         struct xlog_recover_item        *next;
3300         LIST_HEAD                       (buffer_list);
3301         LIST_HEAD                       (ra_list);
3302         LIST_HEAD                       (done_list);
3303
3304         #define XLOG_RECOVER_COMMIT_QUEUE_MAX 100
3305
3306         hlist_del(&trans->r_list);
3307
3308         error = xlog_recover_reorder_trans(log, trans, pass);
3309         if (error)
3310                 return error;
3311
3312         list_for_each_entry_safe(item, next, &trans->r_itemq, ri_list) {
3313                 switch (pass) {
3314                 case XLOG_RECOVER_PASS1:
3315                         error = xlog_recover_commit_pass1(log, trans, item);
3316                         break;
3317                 case XLOG_RECOVER_PASS2:
3318                         xlog_recover_ra_pass2(log, item);
3319                         list_move_tail(&item->ri_list, &ra_list);
3320                         items_queued++;
3321                         if (items_queued >= XLOG_RECOVER_COMMIT_QUEUE_MAX) {
3322                                 error = xlog_recover_items_pass2(log, trans,
3323                                                 &buffer_list, &ra_list);
3324                                 list_splice_tail_init(&ra_list, &done_list);
3325                                 items_queued = 0;
3326                         }
3327
3328                         break;
3329                 default:
3330                         ASSERT(0);
3331                 }
3332
3333                 if (error)
3334                         goto out;
3335         }
3336
3337 out:
3338         if (!list_empty(&ra_list)) {
3339                 if (!error)
3340                         error = xlog_recover_items_pass2(log, trans,
3341                                         &buffer_list, &ra_list);
3342                 list_splice_tail_init(&ra_list, &done_list);
3343         }
3344
3345         if (!list_empty(&done_list))
3346                 list_splice_init(&done_list, &trans->r_itemq);
3347
3348         error2 = xfs_buf_delwri_submit(&buffer_list);
3349         return error ? error : error2;
3350 }
3351
3352 STATIC void
3353 xlog_recover_add_item(
3354         struct list_head        *head)
3355 {
3356         xlog_recover_item_t     *item;
3357
3358         item = kmem_zalloc(sizeof(xlog_recover_item_t), KM_SLEEP);
3359         INIT_LIST_HEAD(&item->ri_list);
3360         list_add_tail(&item->ri_list, head);
3361 }
3362
3363 STATIC int
3364 xlog_recover_add_to_cont_trans(
3365         struct xlog             *log,
3366         struct xlog_recover     *trans,
3367         xfs_caddr_t             dp,
3368         int                     len)
3369 {
3370         xlog_recover_item_t     *item;
3371         xfs_caddr_t             ptr, old_ptr;
3372         int                     old_len;
3373
3374         if (list_empty(&trans->r_itemq)) {
3375                 /* finish copying rest of trans header */
3376                 xlog_recover_add_item(&trans->r_itemq);
3377                 ptr = (xfs_caddr_t) &trans->r_theader +
3378                                 sizeof(xfs_trans_header_t) - len;
3379                 memcpy(ptr, dp, len);
3380                 return 0;
3381         }
3382         /* take the tail entry */
3383         item = list_entry(trans->r_itemq.prev, xlog_recover_item_t, ri_list);
3384
3385         old_ptr = item->ri_buf[item->ri_cnt-1].i_addr;
3386         old_len = item->ri_buf[item->ri_cnt-1].i_len;
3387
3388         ptr = kmem_realloc(old_ptr, len+old_len, old_len, KM_SLEEP);
3389         memcpy(&ptr[old_len], dp, len);
3390         item->ri_buf[item->ri_cnt-1].i_len += len;
3391         item->ri_buf[item->ri_cnt-1].i_addr = ptr;
3392         trace_xfs_log_recover_item_add_cont(log, trans, item, 0);
3393         return 0;
3394 }
3395
3396 /*
3397  * The next region to add is the start of a new region.  It could be
3398  * a whole region or it could be the first part of a new region.  Because
3399  * of this, the assumption here is that the type and size fields of all
3400  * format structures fit into the first 32 bits of the structure.
3401  *
3402  * This works because all regions must be 32 bit aligned.  Therefore, we
3403  * either have both fields or we have neither field.  In the case we have
3404  * neither field, the data part of the region is zero length.  We only have
3405  * a log_op_header and can throw away the header since a new one will appear
3406  * later.  If we have at least 4 bytes, then we can determine how many regions
3407  * will appear in the current log item.
3408  */
3409 STATIC int
3410 xlog_recover_add_to_trans(
3411         struct xlog             *log,
3412         struct xlog_recover     *trans,
3413         xfs_caddr_t             dp,
3414         int                     len)
3415 {
3416         xfs_inode_log_format_t  *in_f;                  /* any will do */
3417         xlog_recover_item_t     *item;
3418         xfs_caddr_t             ptr;
3419
3420         if (!len)
3421                 return 0;
3422         if (list_empty(&trans->r_itemq)) {
3423                 /* we need to catch log corruptions here */
3424                 if (*(uint *)dp != XFS_TRANS_HEADER_MAGIC) {
3425                         xfs_warn(log->l_mp, "%s: bad header magic number",
3426                                 __func__);
3427                         ASSERT(0);
3428                         return -EIO;
3429                 }
3430                 if (len == sizeof(xfs_trans_header_t))
3431                         xlog_recover_add_item(&trans->r_itemq);
3432                 memcpy(&trans->r_theader, dp, len);
3433                 return 0;
3434         }
3435
3436         ptr = kmem_alloc(len, KM_SLEEP);
3437         memcpy(ptr, dp, len);
3438         in_f = (xfs_inode_log_format_t *)ptr;
3439
3440         /* take the tail entry */
3441         item = list_entry(trans->r_itemq.prev, xlog_recover_item_t, ri_list);
3442         if (item->ri_total != 0 &&
3443              item->ri_total == item->ri_cnt) {
3444                 /* tail item is in use, get a new one */
3445                 xlog_recover_add_item(&trans->r_itemq);
3446                 item = list_entry(trans->r_itemq.prev,
3447                                         xlog_recover_item_t, ri_list);
3448         }
3449
3450         if (item->ri_total == 0) {              /* first region to be added */
3451                 if (in_f->ilf_size == 0 ||
3452                     in_f->ilf_size > XLOG_MAX_REGIONS_IN_ITEM) {
3453                         xfs_warn(log->l_mp,
3454                 "bad number of regions (%d) in inode log format",
3455                                   in_f->ilf_size);
3456                         ASSERT(0);
3457                         kmem_free(ptr);
3458                         return -EIO;
3459                 }
3460
3461                 item->ri_total = in_f->ilf_size;
3462                 item->ri_buf =
3463                         kmem_zalloc(item->ri_total * sizeof(xfs_log_iovec_t),
3464                                     KM_SLEEP);
3465         }
3466         ASSERT(item->ri_total > item->ri_cnt);
3467         /* Description region is ri_buf[0] */
3468         item->ri_buf[item->ri_cnt].i_addr = ptr;
3469         item->ri_buf[item->ri_cnt].i_len  = len;
3470         item->ri_cnt++;
3471         trace_xfs_log_recover_item_add(log, trans, item, 0);
3472         return 0;
3473 }
3474
3475 /*
3476  * Free up any resources allocated by the transaction
3477  *
3478  * Remember that EFIs, EFDs, and IUNLINKs are handled later.
3479  */
3480 STATIC void
3481 xlog_recover_free_trans(
3482         struct xlog_recover     *trans)
3483 {
3484         xlog_recover_item_t     *item, *n;
3485         int                     i;
3486
3487         list_for_each_entry_safe(item, n, &trans->r_itemq, ri_list) {
3488                 /* Free the regions in the item. */
3489                 list_del(&item->ri_list);
3490                 for (i = 0; i < item->ri_cnt; i++)
3491                         kmem_free(item->ri_buf[i].i_addr);
3492                 /* Free the item itself */
3493                 kmem_free(item->ri_buf);
3494                 kmem_free(item);
3495         }
3496         /* Free the transaction recover structure */
3497         kmem_free(trans);
3498 }
3499
3500 /*
3501  * On error or completion, trans is freed.
3502  */
3503 STATIC int
3504 xlog_recovery_process_trans(
3505         struct xlog             *log,
3506         struct xlog_recover     *trans,
3507         xfs_caddr_t             dp,
3508         unsigned int            len,
3509         unsigned int            flags,
3510         int                     pass)
3511 {
3512         int                     error = 0;
3513         bool                    freeit = false;
3514
3515         /* mask off ophdr transaction container flags */
3516         flags &= ~XLOG_END_TRANS;
3517         if (flags & XLOG_WAS_CONT_TRANS)
3518                 flags &= ~XLOG_CONTINUE_TRANS;
3519
3520         /*
3521          * Callees must not free the trans structure. We'll decide if we need to
3522          * free it or not based on the operation being done and it's result.
3523          */
3524         switch (flags) {
3525         /* expected flag values */
3526         case 0:
3527         case XLOG_CONTINUE_TRANS:
3528                 error = xlog_recover_add_to_trans(log, trans, dp, len);
3529                 break;
3530         case XLOG_WAS_CONT_TRANS:
3531                 error = xlog_recover_add_to_cont_trans(log, trans, dp, len);
3532                 break;
3533         case XLOG_COMMIT_TRANS:
3534                 error = xlog_recover_commit_trans(log, trans, pass);
3535                 /* success or fail, we are now done with this transaction. */
3536                 freeit = true;
3537                 break;
3538
3539         /* unexpected flag values */
3540         case XLOG_UNMOUNT_TRANS:
3541                 /* just skip trans */
3542                 xfs_warn(log->l_mp, "%s: Unmount LR", __func__);
3543                 freeit = true;
3544                 break;
3545         case XLOG_START_TRANS:
3546         default:
3547                 xfs_warn(log->l_mp, "%s: bad flag 0x%x", __func__, flags);
3548                 ASSERT(0);
3549                 error = -EIO;
3550                 break;
3551         }
3552         if (error || freeit)
3553                 xlog_recover_free_trans(trans);
3554         return error;
3555 }
3556
3557 /*
3558  * Lookup the transaction recovery structure associated with the ID in the
3559  * current ophdr. If the transaction doesn't exist and the start flag is set in
3560  * the ophdr, then allocate a new transaction for future ID matches to find.
3561  * Either way, return what we found during the lookup - an existing transaction
3562  * or nothing.
3563  */
3564 STATIC struct xlog_recover *
3565 xlog_recover_ophdr_to_trans(
3566         struct hlist_head       rhash[],
3567         struct xlog_rec_header  *rhead,
3568         struct xlog_op_header   *ohead)
3569 {
3570         struct xlog_recover     *trans;
3571         xlog_tid_t              tid;
3572         struct hlist_head       *rhp;
3573
3574         tid = be32_to_cpu(ohead->oh_tid);
3575         rhp = &rhash[XLOG_RHASH(tid)];
3576         hlist_for_each_entry(trans, rhp, r_list) {
3577                 if (trans->r_log_tid == tid)
3578                         return trans;
3579         }
3580
3581         /*
3582          * skip over non-start transaction headers - we could be
3583          * processing slack space before the next transaction starts
3584          */
3585         if (!(ohead->oh_flags & XLOG_START_TRANS))
3586                 return NULL;
3587
3588         ASSERT(be32_to_cpu(ohead->oh_len) == 0);
3589
3590         /*
3591          * This is a new transaction so allocate a new recovery container to
3592          * hold the recovery ops that will follow.
3593          */
3594         trans = kmem_zalloc(sizeof(struct xlog_recover), KM_SLEEP);
3595         trans->r_log_tid = tid;
3596         trans->r_lsn = be64_to_cpu(rhead->h_lsn);
3597         INIT_LIST_HEAD(&trans->r_itemq);
3598         INIT_HLIST_NODE(&trans->r_list);
3599         hlist_add_head(&trans->r_list, rhp);
3600
3601         /*
3602          * Nothing more to do for this ophdr. Items to be added to this new
3603          * transaction will be in subsequent ophdr containers.
3604          */
3605         return NULL;
3606 }
3607
3608 STATIC int
3609 xlog_recover_process_ophdr(
3610         struct xlog             *log,
3611         struct hlist_head       rhash[],
3612         struct xlog_rec_header  *rhead,
3613         struct xlog_op_header   *ohead,
3614         xfs_caddr_t             dp,
3615         xfs_caddr_t             end,
3616         int                     pass)
3617 {
3618         struct xlog_recover     *trans;
3619         unsigned int            len;
3620
3621         /* Do we understand who wrote this op? */
3622         if (ohead->oh_clientid != XFS_TRANSACTION &&
3623             ohead->oh_clientid != XFS_LOG) {
3624                 xfs_warn(log->l_mp, "%s: bad clientid 0x%x",
3625                         __func__, ohead->oh_clientid);
3626                 ASSERT(0);
3627                 return -EIO;
3628         }
3629
3630         /*
3631          * Check the ophdr contains all the data it is supposed to contain.
3632          */
3633         len = be32_to_cpu(ohead->oh_len);
3634         if (dp + len > end) {
3635                 xfs_warn(log->l_mp, "%s: bad length 0x%x", __func__, len);
3636                 WARN_ON(1);
3637                 return -EIO;
3638         }
3639
3640         trans = xlog_recover_ophdr_to_trans(rhash, rhead, ohead);
3641         if (!trans) {
3642                 /* nothing to do, so skip over this ophdr */
3643                 return 0;
3644         }
3645
3646         return xlog_recovery_process_trans(log, trans, dp, len,
3647                                            ohead->oh_flags, pass);
3648 }
3649
3650 /*
3651  * There are two valid states of the r_state field.  0 indicates that the
3652  * transaction structure is in a normal state.  We have either seen the
3653  * start of the transaction or the last operation we added was not a partial
3654  * operation.  If the last operation we added to the transaction was a
3655  * partial operation, we need to mark r_state with XLOG_WAS_CONT_TRANS.
3656  *
3657  * NOTE: skip LRs with 0 data length.
3658  */
3659 STATIC int
3660 xlog_recover_process_data(
3661         struct xlog             *log,
3662         struct hlist_head       rhash[],
3663         struct xlog_rec_header  *rhead,
3664         xfs_caddr_t             dp,
3665         int                     pass)
3666 {
3667         struct xlog_op_header   *ohead;
3668         xfs_caddr_t             end;
3669         int                     num_logops;
3670         int                     error;
3671
3672         end = dp + be32_to_cpu(rhead->h_len);
3673         num_logops = be32_to_cpu(rhead->h_num_logops);
3674
3675         /* check the log format matches our own - else we can't recover */
3676         if (xlog_header_check_recover(log->l_mp, rhead))
3677                 return -EIO;
3678
3679         while ((dp < end) && num_logops) {
3680
3681                 ohead = (struct xlog_op_header *)dp;
3682                 dp += sizeof(*ohead);
3683                 ASSERT(dp <= end);
3684
3685                 /* errors will abort recovery */
3686                 error = xlog_recover_process_ophdr(log, rhash, rhead, ohead,
3687                                                     dp, end, pass);
3688                 if (error)
3689                         return error;
3690
3691                 dp += be32_to_cpu(ohead->oh_len);
3692                 num_logops--;
3693         }
3694         return 0;
3695 }
3696
3697 /*
3698  * Process an extent free intent item that was recovered from
3699  * the log.  We need to free the extents that it describes.
3700  */
3701 STATIC int
3702 xlog_recover_process_efi(
3703         xfs_mount_t             *mp,
3704         xfs_efi_log_item_t      *efip)
3705 {
3706         xfs_efd_log_item_t      *efdp;
3707         xfs_trans_t             *tp;
3708         int                     i;
3709         int                     error = 0;
3710         xfs_extent_t            *extp;
3711         xfs_fsblock_t           startblock_fsb;
3712
3713         ASSERT(!test_bit(XFS_EFI_RECOVERED, &efip->efi_flags));
3714
3715         /*
3716          * First check the validity of the extents described by the
3717          * EFI.  If any are bad, then assume that all are bad and
3718          * just toss the EFI.
3719          */
3720         for (i = 0; i < efip->efi_format.efi_nextents; i++) {
3721                 extp = &(efip->efi_format.efi_extents[i]);
3722                 startblock_fsb = XFS_BB_TO_FSB(mp,
3723                                    XFS_FSB_TO_DADDR(mp, extp->ext_start));
3724                 if ((startblock_fsb == 0) ||
3725                     (extp->ext_len == 0) ||
3726                     (startblock_fsb >= mp->m_sb.sb_dblocks) ||
3727                     (extp->ext_len >= mp->m_sb.sb_agblocks)) {
3728                         /*
3729                          * This will pull the EFI from the AIL and
3730                          * free the memory associated with it.
3731                          */
3732                         set_bit(XFS_EFI_RECOVERED, &efip->efi_flags);
3733                         xfs_efi_release(efip, efip->efi_format.efi_nextents);
3734                         return -EIO;
3735                 }
3736         }
3737
3738         tp = xfs_trans_alloc(mp, 0);
3739         error = xfs_trans_reserve(tp, &M_RES(mp)->tr_itruncate, 0, 0);
3740         if (error)
3741                 goto abort_error;
3742         efdp = xfs_trans_get_efd(tp, efip, efip->efi_format.efi_nextents);
3743
3744         for (i = 0; i < efip->efi_format.efi_nextents; i++) {
3745                 extp = &(efip->efi_format.efi_extents[i]);
3746                 error = xfs_free_extent(tp, extp->ext_start, extp->ext_len);
3747                 if (error)
3748                         goto abort_error;
3749                 xfs_trans_log_efd_extent(tp, efdp, extp->ext_start,
3750                                          extp->ext_len);
3751         }
3752
3753         set_bit(XFS_EFI_RECOVERED, &efip->efi_flags);
3754         error = xfs_trans_commit(tp, 0);
3755         return error;
3756
3757 abort_error:
3758         xfs_trans_cancel(tp, XFS_TRANS_ABORT);
3759         return error;
3760 }
3761
3762 /*
3763  * When this is called, all of the EFIs which did not have
3764  * corresponding EFDs should be in the AIL.  What we do now
3765  * is free the extents associated with each one.
3766  *
3767  * Since we process the EFIs in normal transactions, they
3768  * will be removed at some point after the commit.  This prevents
3769  * us from just walking down the list processing each one.
3770  * We'll use a flag in the EFI to skip those that we've already
3771  * processed and use the AIL iteration mechanism's generation
3772  * count to try to speed this up at least a bit.
3773  *
3774  * When we start, we know that the EFIs are the only things in
3775  * the AIL.  As we process them, however, other items are added
3776  * to the AIL.  Since everything added to the AIL must come after
3777  * everything already in the AIL, we stop processing as soon as
3778  * we see something other than an EFI in the AIL.
3779  */
3780 STATIC int
3781 xlog_recover_process_efis(
3782         struct xlog     *log)
3783 {
3784         xfs_log_item_t          *lip;
3785         xfs_efi_log_item_t      *efip;
3786         int                     error = 0;
3787         struct xfs_ail_cursor   cur;
3788         struct xfs_ail          *ailp;
3789
3790         ailp = log->l_ailp;
3791         spin_lock(&ailp->xa_lock);
3792         lip = xfs_trans_ail_cursor_first(ailp, &cur, 0);
3793         while (lip != NULL) {
3794                 /*
3795                  * We're done when we see something other than an EFI.
3796                  * There should be no EFIs left in the AIL now.
3797                  */
3798                 if (lip->li_type != XFS_LI_EFI) {
3799 #ifdef DEBUG
3800                         for (; lip; lip = xfs_trans_ail_cursor_next(ailp, &cur))
3801                                 ASSERT(lip->li_type != XFS_LI_EFI);
3802 #endif
3803                         break;
3804                 }
3805
3806                 /*
3807                  * Skip EFIs that we've already processed.
3808                  */
3809                 efip = (xfs_efi_log_item_t *)lip;
3810                 if (test_bit(XFS_EFI_RECOVERED, &efip->efi_flags)) {
3811                         lip = xfs_trans_ail_cursor_next(ailp, &cur);
3812                         continue;
3813                 }
3814
3815                 spin_unlock(&ailp->xa_lock);
3816                 error = xlog_recover_process_efi(log->l_mp, efip);
3817                 spin_lock(&ailp->xa_lock);
3818                 if (error)
3819                         goto out;
3820                 lip = xfs_trans_ail_cursor_next(ailp, &cur);
3821         }
3822 out:
3823         xfs_trans_ail_cursor_done(&cur);
3824         spin_unlock(&ailp->xa_lock);
3825         return error;
3826 }
3827
3828 /*
3829  * This routine performs a transaction to null out a bad inode pointer
3830  * in an agi unlinked inode hash bucket.
3831  */
3832 STATIC void
3833 xlog_recover_clear_agi_bucket(
3834         xfs_mount_t     *mp,
3835         xfs_agnumber_t  agno,
3836         int             bucket)
3837 {
3838         xfs_trans_t     *tp;
3839         xfs_agi_t       *agi;
3840         xfs_buf_t       *agibp;
3841         int             offset;
3842         int             error;
3843
3844         tp = xfs_trans_alloc(mp, XFS_TRANS_CLEAR_AGI_BUCKET);
3845         error = xfs_trans_reserve(tp, &M_RES(mp)->tr_clearagi, 0, 0);
3846         if (error)
3847                 goto out_abort;
3848
3849         error = xfs_read_agi(mp, tp, agno, &agibp);
3850         if (error)
3851                 goto out_abort;
3852
3853         agi = XFS_BUF_TO_AGI(agibp);
3854         agi->agi_unlinked[bucket] = cpu_to_be32(NULLAGINO);
3855         offset = offsetof(xfs_agi_t, agi_unlinked) +
3856                  (sizeof(xfs_agino_t) * bucket);
3857         xfs_trans_log_buf(tp, agibp, offset,
3858                           (offset + sizeof(xfs_agino_t) - 1));
3859
3860         error = xfs_trans_commit(tp, 0);
3861         if (error)
3862                 goto out_error;
3863         return;
3864
3865 out_abort:
3866         xfs_trans_cancel(tp, XFS_TRANS_ABORT);
3867 out_error:
3868         xfs_warn(mp, "%s: failed to clear agi %d. Continuing.", __func__, agno);
3869         return;
3870 }
3871
3872 STATIC xfs_agino_t
3873 xlog_recover_process_one_iunlink(
3874         struct xfs_mount                *mp,
3875         xfs_agnumber_t                  agno,
3876         xfs_agino_t                     agino,
3877         int                             bucket)
3878 {
3879         struct xfs_buf                  *ibp;
3880         struct xfs_dinode               *dip;
3881         struct xfs_inode                *ip;
3882         xfs_ino_t                       ino;
3883         int                             error;
3884
3885         ino = XFS_AGINO_TO_INO(mp, agno, agino);
3886         error = xfs_iget(mp, NULL, ino, 0, 0, &ip);
3887         if (error)
3888                 goto fail;
3889
3890         /*
3891          * Get the on disk inode to find the next inode in the bucket.
3892          */
3893         error = xfs_imap_to_bp(mp, NULL, &ip->i_imap, &dip, &ibp, 0, 0);
3894         if (error)
3895                 goto fail_iput;
3896
3897         ASSERT(ip->i_d.di_nlink == 0);
3898         ASSERT(ip->i_d.di_mode != 0);
3899
3900         /* setup for the next pass */
3901         agino = be32_to_cpu(dip->di_next_unlinked);
3902         xfs_buf_relse(ibp);
3903
3904         /*
3905          * Prevent any DMAPI event from being sent when the reference on
3906          * the inode is dropped.
3907          */
3908         ip->i_d.di_dmevmask = 0;
3909
3910         IRELE(ip);
3911         return agino;
3912
3913  fail_iput:
3914         IRELE(ip);
3915  fail:
3916         /*
3917          * We can't read in the inode this bucket points to, or this inode
3918          * is messed up.  Just ditch this bucket of inodes.  We will lose
3919          * some inodes and space, but at least we won't hang.
3920          *
3921          * Call xlog_recover_clear_agi_bucket() to perform a transaction to
3922          * clear the inode pointer in the bucket.
3923          */
3924         xlog_recover_clear_agi_bucket(mp, agno, bucket);
3925         return NULLAGINO;
3926 }
3927
3928 /*
3929  * xlog_iunlink_recover
3930  *
3931  * This is called during recovery to process any inodes which
3932  * we unlinked but not freed when the system crashed.  These
3933  * inodes will be on the lists in the AGI blocks.  What we do
3934  * here is scan all the AGIs and fully truncate and free any
3935  * inodes found on the lists.  Each inode is removed from the
3936  * lists when it has been fully truncated and is freed.  The
3937  * freeing of the inode and its removal from the list must be
3938  * atomic.
3939  */
3940 STATIC void
3941 xlog_recover_process_iunlinks(
3942         struct xlog     *log)
3943 {
3944         xfs_mount_t     *mp;
3945         xfs_agnumber_t  agno;
3946         xfs_agi_t       *agi;
3947         xfs_buf_t       *agibp;
3948         xfs_agino_t     agino;
3949         int             bucket;
3950         int             error;
3951         uint            mp_dmevmask;
3952
3953         mp = log->l_mp;
3954
3955         /*
3956          * Prevent any DMAPI event from being sent while in this function.
3957          */
3958         mp_dmevmask = mp->m_dmevmask;
3959         mp->m_dmevmask = 0;
3960
3961         for (agno = 0; agno < mp->m_sb.sb_agcount; agno++) {
3962                 /*
3963                  * Find the agi for this ag.
3964                  */
3965                 error = xfs_read_agi(mp, NULL, agno, &agibp);
3966                 if (error) {
3967                         /*
3968                          * AGI is b0rked. Don't process it.
3969                          *
3970                          * We should probably mark the filesystem as corrupt
3971                          * after we've recovered all the ag's we can....
3972                          */
3973                         continue;
3974                 }
3975                 /*
3976                  * Unlock the buffer so that it can be acquired in the normal
3977                  * course of the transaction to truncate and free each inode.
3978                  * Because we are not racing with anyone else here for the AGI
3979                  * buffer, we don't even need to hold it locked to read the
3980                  * initial unlinked bucket entries out of the buffer. We keep
3981                  * buffer reference though, so that it stays pinned in memory
3982                  * while we need the buffer.
3983                  */
3984                 agi = XFS_BUF_TO_AGI(agibp);
3985                 xfs_buf_unlock(agibp);
3986
3987                 for (bucket = 0; bucket < XFS_AGI_UNLINKED_BUCKETS; bucket++) {
3988                         agino = be32_to_cpu(agi->agi_unlinked[bucket]);
3989                         while (agino != NULLAGINO) {
3990                                 agino = xlog_recover_process_one_iunlink(mp,
3991                                                         agno, agino, bucket);
3992                         }
3993                 }
3994                 xfs_buf_rele(agibp);
3995         }
3996
3997         mp->m_dmevmask = mp_dmevmask;
3998 }
3999
4000 /*
4001  * Upack the log buffer data and crc check it. If the check fails, issue a
4002  * warning if and only if the CRC in the header is non-zero. This makes the
4003  * check an advisory warning, and the zero CRC check will prevent failure
4004  * warnings from being emitted when upgrading the kernel from one that does not
4005  * add CRCs by default.
4006  *
4007  * When filesystems are CRC enabled, this CRC mismatch becomes a fatal log
4008  * corruption failure
4009  */
4010 STATIC int
4011 xlog_unpack_data_crc(
4012         struct xlog_rec_header  *rhead,
4013         xfs_caddr_t             dp,
4014         struct xlog             *log)
4015 {
4016         __le32                  crc;
4017
4018         crc = xlog_cksum(log, rhead, dp, be32_to_cpu(rhead->h_len));
4019         if (crc != rhead->h_crc) {
4020                 if (rhead->h_crc || xfs_sb_version_hascrc(&log->l_mp->m_sb)) {
4021                         xfs_alert(log->l_mp,
4022                 "log record CRC mismatch: found 0x%x, expected 0x%x.",
4023                                         le32_to_cpu(rhead->h_crc),
4024                                         le32_to_cpu(crc));
4025                         xfs_hex_dump(dp, 32);
4026                 }
4027
4028                 /*
4029                  * If we've detected a log record corruption, then we can't
4030                  * recover past this point. Abort recovery if we are enforcing
4031                  * CRC protection by punting an error back up the stack.
4032                  */
4033                 if (xfs_sb_version_hascrc(&log->l_mp->m_sb))
4034                         return -EFSCORRUPTED;
4035         }
4036
4037         return 0;
4038 }
4039
4040 STATIC int
4041 xlog_unpack_data(
4042         struct xlog_rec_header  *rhead,
4043         xfs_caddr_t             dp,
4044         struct xlog             *log)
4045 {
4046         int                     i, j, k;
4047         int                     error;
4048
4049         error = xlog_unpack_data_crc(rhead, dp, log);
4050         if (error)
4051                 return error;
4052
4053         for (i = 0; i < BTOBB(be32_to_cpu(rhead->h_len)) &&
4054                   i < (XLOG_HEADER_CYCLE_SIZE / BBSIZE); i++) {
4055                 *(__be32 *)dp = *(__be32 *)&rhead->h_cycle_data[i];
4056                 dp += BBSIZE;
4057         }
4058
4059         if (xfs_sb_version_haslogv2(&log->l_mp->m_sb)) {
4060                 xlog_in_core_2_t *xhdr = (xlog_in_core_2_t *)rhead;
4061                 for ( ; i < BTOBB(be32_to_cpu(rhead->h_len)); i++) {
4062                         j = i / (XLOG_HEADER_CYCLE_SIZE / BBSIZE);
4063                         k = i % (XLOG_HEADER_CYCLE_SIZE / BBSIZE);
4064                         *(__be32 *)dp = xhdr[j].hic_xheader.xh_cycle_data[k];
4065                         dp += BBSIZE;
4066                 }
4067         }
4068
4069         return 0;
4070 }
4071
4072 STATIC int
4073 xlog_valid_rec_header(
4074         struct xlog             *log,
4075         struct xlog_rec_header  *rhead,
4076         xfs_daddr_t             blkno)
4077 {
4078         int                     hlen;
4079
4080         if (unlikely(rhead->h_magicno != cpu_to_be32(XLOG_HEADER_MAGIC_NUM))) {
4081                 XFS_ERROR_REPORT("xlog_valid_rec_header(1)",
4082                                 XFS_ERRLEVEL_LOW, log->l_mp);
4083                 return -EFSCORRUPTED;
4084         }
4085         if (unlikely(
4086             (!rhead->h_version ||
4087             (be32_to_cpu(rhead->h_version) & (~XLOG_VERSION_OKBITS))))) {
4088                 xfs_warn(log->l_mp, "%s: unrecognised log version (%d).",
4089                         __func__, be32_to_cpu(rhead->h_version));
4090                 return -EIO;
4091         }
4092
4093         /* LR body must have data or it wouldn't have been written */
4094         hlen = be32_to_cpu(rhead->h_len);
4095         if (unlikely( hlen <= 0 || hlen > INT_MAX )) {
4096                 XFS_ERROR_REPORT("xlog_valid_rec_header(2)",
4097                                 XFS_ERRLEVEL_LOW, log->l_mp);
4098                 return -EFSCORRUPTED;
4099         }
4100         if (unlikely( blkno > log->l_logBBsize || blkno > INT_MAX )) {
4101                 XFS_ERROR_REPORT("xlog_valid_rec_header(3)",
4102                                 XFS_ERRLEVEL_LOW, log->l_mp);
4103                 return -EFSCORRUPTED;
4104         }
4105         return 0;
4106 }
4107
4108 /*
4109  * Read the log from tail to head and process the log records found.
4110  * Handle the two cases where the tail and head are in the same cycle
4111  * and where the active portion of the log wraps around the end of
4112  * the physical log separately.  The pass parameter is passed through
4113  * to the routines called to process the data and is not looked at
4114  * here.
4115  */
4116 STATIC int
4117 xlog_do_recovery_pass(
4118         struct xlog             *log,
4119         xfs_daddr_t             head_blk,
4120         xfs_daddr_t             tail_blk,
4121         int                     pass)
4122 {
4123         xlog_rec_header_t       *rhead;
4124         xfs_daddr_t             blk_no;
4125         xfs_caddr_t             offset;
4126         xfs_buf_t               *hbp, *dbp;
4127         int                     error = 0, h_size;
4128         int                     bblks, split_bblks;
4129         int                     hblks, split_hblks, wrapped_hblks;
4130         struct hlist_head       rhash[XLOG_RHASH_SIZE];
4131
4132         ASSERT(head_blk != tail_blk);
4133
4134         /*
4135          * Read the header of the tail block and get the iclog buffer size from
4136          * h_size.  Use this to tell how many sectors make up the log header.
4137          */
4138         if (xfs_sb_version_haslogv2(&log->l_mp->m_sb)) {
4139                 /*
4140                  * When using variable length iclogs, read first sector of
4141                  * iclog header and extract the header size from it.  Get a
4142                  * new hbp that is the correct size.
4143                  */
4144                 hbp = xlog_get_bp(log, 1);
4145                 if (!hbp)
4146                         return -ENOMEM;
4147
4148                 error = xlog_bread(log, tail_blk, 1, hbp, &offset);
4149                 if (error)
4150                         goto bread_err1;
4151
4152                 rhead = (xlog_rec_header_t *)offset;
4153                 error = xlog_valid_rec_header(log, rhead, tail_blk);
4154                 if (error)
4155                         goto bread_err1;
4156                 h_size = be32_to_cpu(rhead->h_size);
4157                 if ((be32_to_cpu(rhead->h_version) & XLOG_VERSION_2) &&
4158                     (h_size > XLOG_HEADER_CYCLE_SIZE)) {
4159                         hblks = h_size / XLOG_HEADER_CYCLE_SIZE;
4160                         if (h_size % XLOG_HEADER_CYCLE_SIZE)
4161                                 hblks++;
4162                         xlog_put_bp(hbp);
4163                         hbp = xlog_get_bp(log, hblks);
4164                 } else {
4165                         hblks = 1;
4166                 }
4167         } else {
4168                 ASSERT(log->l_sectBBsize == 1);
4169                 hblks = 1;
4170                 hbp = xlog_get_bp(log, 1);
4171                 h_size = XLOG_BIG_RECORD_BSIZE;
4172         }
4173
4174         if (!hbp)
4175                 return -ENOMEM;
4176         dbp = xlog_get_bp(log, BTOBB(h_size));
4177         if (!dbp) {
4178                 xlog_put_bp(hbp);
4179                 return -ENOMEM;
4180         }
4181
4182         memset(rhash, 0, sizeof(rhash));
4183         blk_no = tail_blk;
4184         if (tail_blk > head_blk) {
4185                 /*
4186                  * Perform recovery around the end of the physical log.
4187                  * When the head is not on the same cycle number as the tail,
4188                  * we can't do a sequential recovery.
4189                  */
4190                 while (blk_no < log->l_logBBsize) {
4191                         /*
4192                          * Check for header wrapping around physical end-of-log
4193                          */
4194                         offset = hbp->b_addr;
4195                         split_hblks = 0;
4196                         wrapped_hblks = 0;
4197                         if (blk_no + hblks <= log->l_logBBsize) {
4198                                 /* Read header in one read */
4199                                 error = xlog_bread(log, blk_no, hblks, hbp,
4200                                                    &offset);
4201                                 if (error)
4202                                         goto bread_err2;
4203                         } else {
4204                                 /* This LR is split across physical log end */
4205                                 if (blk_no != log->l_logBBsize) {
4206                                         /* some data before physical log end */
4207                                         ASSERT(blk_no <= INT_MAX);
4208                                         split_hblks = log->l_logBBsize - (int)blk_no;
4209                                         ASSERT(split_hblks > 0);
4210                                         error = xlog_bread(log, blk_no,
4211                                                            split_hblks, hbp,
4212                                                            &offset);
4213                                         if (error)
4214                                                 goto bread_err2;
4215                                 }
4216
4217                                 /*
4218                                  * Note: this black magic still works with
4219                                  * large sector sizes (non-512) only because:
4220                                  * - we increased the buffer size originally
4221                                  *   by 1 sector giving us enough extra space
4222                                  *   for the second read;
4223                                  * - the log start is guaranteed to be sector
4224                                  *   aligned;
4225                                  * - we read the log end (LR header start)
4226                                  *   _first_, then the log start (LR header end)
4227                                  *   - order is important.
4228                                  */
4229                                 wrapped_hblks = hblks - split_hblks;
4230                                 error = xlog_bread_offset(log, 0,
4231                                                 wrapped_hblks, hbp,
4232                                                 offset + BBTOB(split_hblks));
4233                                 if (error)
4234                                         goto bread_err2;
4235                         }
4236                         rhead = (xlog_rec_header_t *)offset;
4237                         error = xlog_valid_rec_header(log, rhead,
4238                                                 split_hblks ? blk_no : 0);
4239                         if (error)
4240                                 goto bread_err2;
4241
4242                         bblks = (int)BTOBB(be32_to_cpu(rhead->h_len));
4243                         blk_no += hblks;
4244
4245                         /* Read in data for log record */
4246                         if (blk_no + bblks <= log->l_logBBsize) {
4247                                 error = xlog_bread(log, blk_no, bblks, dbp,
4248                                                    &offset);
4249                                 if (error)
4250                                         goto bread_err2;
4251                         } else {
4252                                 /* This log record is split across the
4253                                  * physical end of log */
4254                                 offset = dbp->b_addr;
4255                                 split_bblks = 0;
4256                                 if (blk_no != log->l_logBBsize) {
4257                                         /* some data is before the physical
4258                                          * end of log */
4259                                         ASSERT(!wrapped_hblks);
4260                                         ASSERT(blk_no <= INT_MAX);
4261                                         split_bblks =
4262                                                 log->l_logBBsize - (int)blk_no;
4263                                         ASSERT(split_bblks > 0);
4264                                         error = xlog_bread(log, blk_no,
4265                                                         split_bblks, dbp,
4266                                                         &offset);
4267                                         if (error)
4268                                                 goto bread_err2;
4269                                 }
4270
4271                                 /*
4272                                  * Note: this black magic still works with
4273                                  * large sector sizes (non-512) only because:
4274                                  * - we increased the buffer size originally
4275                                  *   by 1 sector giving us enough extra space
4276                                  *   for the second read;
4277                                  * - the log start is guaranteed to be sector
4278                                  *   aligned;
4279                                  * - we read the log end (LR header start)
4280                                  *   _first_, then the log start (LR header end)
4281                                  *   - order is important.
4282                                  */
4283                                 error = xlog_bread_offset(log, 0,
4284                                                 bblks - split_bblks, dbp,
4285                                                 offset + BBTOB(split_bblks));
4286                                 if (error)
4287                                         goto bread_err2;
4288                         }
4289
4290                         error = xlog_unpack_data(rhead, offset, log);
4291                         if (error)
4292                                 goto bread_err2;
4293
4294                         error = xlog_recover_process_data(log, rhash,
4295                                                         rhead, offset, pass);
4296                         if (error)
4297                                 goto bread_err2;
4298                         blk_no += bblks;
4299                 }
4300
4301                 ASSERT(blk_no >= log->l_logBBsize);
4302                 blk_no -= log->l_logBBsize;
4303         }
4304
4305         /* read first part of physical log */
4306         while (blk_no < head_blk) {
4307                 error = xlog_bread(log, blk_no, hblks, hbp, &offset);
4308                 if (error)
4309                         goto bread_err2;
4310
4311                 rhead = (xlog_rec_header_t *)offset;
4312                 error = xlog_valid_rec_header(log, rhead, blk_no);
4313                 if (error)
4314                         goto bread_err2;
4315
4316                 /* blocks in data section */
4317                 bblks = (int)BTOBB(be32_to_cpu(rhead->h_len));
4318                 error = xlog_bread(log, blk_no+hblks, bblks, dbp,
4319                                    &offset);
4320                 if (error)
4321                         goto bread_err2;
4322
4323                 error = xlog_unpack_data(rhead, offset, log);
4324                 if (error)
4325                         goto bread_err2;
4326
4327                 error = xlog_recover_process_data(log, rhash,
4328                                                 rhead, offset, pass);
4329                 if (error)
4330                         goto bread_err2;
4331                 blk_no += bblks + hblks;
4332         }
4333
4334  bread_err2:
4335         xlog_put_bp(dbp);
4336  bread_err1:
4337         xlog_put_bp(hbp);
4338         return error;
4339 }
4340
4341 /*
4342  * Do the recovery of the log.  We actually do this in two phases.
4343  * The two passes are necessary in order to implement the function
4344  * of cancelling a record written into the log.  The first pass
4345  * determines those things which have been cancelled, and the
4346  * second pass replays log items normally except for those which
4347  * have been cancelled.  The handling of the replay and cancellations
4348  * takes place in the log item type specific routines.
4349  *
4350  * The table of items which have cancel records in the log is allocated
4351  * and freed at this level, since only here do we know when all of
4352  * the log recovery has been completed.
4353  */
4354 STATIC int
4355 xlog_do_log_recovery(
4356         struct xlog     *log,
4357         xfs_daddr_t     head_blk,
4358         xfs_daddr_t     tail_blk)
4359 {
4360         int             error, i;
4361
4362         ASSERT(head_blk != tail_blk);
4363
4364         /*
4365          * First do a pass to find all of the cancelled buf log items.
4366          * Store them in the buf_cancel_table for use in the second pass.
4367          */
4368         log->l_buf_cancel_table = kmem_zalloc(XLOG_BC_TABLE_SIZE *
4369                                                  sizeof(struct list_head),
4370                                                  KM_SLEEP);
4371         for (i = 0; i < XLOG_BC_TABLE_SIZE; i++)
4372                 INIT_LIST_HEAD(&log->l_buf_cancel_table[i]);
4373
4374         error = xlog_do_recovery_pass(log, head_blk, tail_blk,
4375                                       XLOG_RECOVER_PASS1);
4376         if (error != 0) {
4377                 kmem_free(log->l_buf_cancel_table);
4378                 log->l_buf_cancel_table = NULL;
4379                 return error;
4380         }
4381         /*
4382          * Then do a second pass to actually recover the items in the log.
4383          * When it is complete free the table of buf cancel items.
4384          */
4385         error = xlog_do_recovery_pass(log, head_blk, tail_blk,
4386                                       XLOG_RECOVER_PASS2);
4387 #ifdef DEBUG
4388         if (!error) {
4389                 int     i;
4390
4391                 for (i = 0; i < XLOG_BC_TABLE_SIZE; i++)
4392                         ASSERT(list_empty(&log->l_buf_cancel_table[i]));
4393         }
4394 #endif  /* DEBUG */
4395
4396         kmem_free(log->l_buf_cancel_table);
4397         log->l_buf_cancel_table = NULL;
4398
4399         return error;
4400 }
4401
4402 /*
4403  * Do the actual recovery
4404  */
4405 STATIC int
4406 xlog_do_recover(
4407         struct xlog     *log,
4408         xfs_daddr_t     head_blk,
4409         xfs_daddr_t     tail_blk)
4410 {
4411         int             error;
4412         xfs_buf_t       *bp;
4413         xfs_sb_t        *sbp;
4414
4415         /*
4416          * First replay the images in the log.
4417          */
4418         error = xlog_do_log_recovery(log, head_blk, tail_blk);
4419         if (error)
4420                 return error;
4421
4422         /*
4423          * If IO errors happened during recovery, bail out.
4424          */
4425         if (XFS_FORCED_SHUTDOWN(log->l_mp)) {
4426                 return -EIO;
4427         }
4428
4429         /*
4430          * We now update the tail_lsn since much of the recovery has completed
4431          * and there may be space available to use.  If there were no extent
4432          * or iunlinks, we can free up the entire log and set the tail_lsn to
4433          * be the last_sync_lsn.  This was set in xlog_find_tail to be the
4434          * lsn of the last known good LR on disk.  If there are extent frees
4435          * or iunlinks they will have some entries in the AIL; so we look at
4436          * the AIL to determine how to set the tail_lsn.
4437          */
4438         xlog_assign_tail_lsn(log->l_mp);
4439
4440         /*
4441          * Now that we've finished replaying all buffer and inode
4442          * updates, re-read in the superblock and reverify it.
4443          */
4444         bp = xfs_getsb(log->l_mp, 0);
4445         XFS_BUF_UNDONE(bp);
4446         ASSERT(!(XFS_BUF_ISWRITE(bp)));
4447         XFS_BUF_READ(bp);
4448         XFS_BUF_UNASYNC(bp);
4449         bp->b_ops = &xfs_sb_buf_ops;
4450
4451         error = xfs_buf_submit_wait(bp);
4452         if (error) {
4453                 if (!XFS_FORCED_SHUTDOWN(log->l_mp)) {
4454                         xfs_buf_ioerror_alert(bp, __func__);
4455                         ASSERT(0);
4456                 }
4457                 xfs_buf_relse(bp);
4458                 return error;
4459         }
4460
4461         /* Convert superblock from on-disk format */
4462         sbp = &log->l_mp->m_sb;
4463         xfs_sb_from_disk(sbp, XFS_BUF_TO_SBP(bp));
4464         ASSERT(sbp->sb_magicnum == XFS_SB_MAGIC);
4465         ASSERT(xfs_sb_good_version(sbp));
4466         xfs_reinit_percpu_counters(log->l_mp);
4467
4468         xfs_buf_relse(bp);
4469
4470
4471         xlog_recover_check_summary(log);
4472
4473         /* Normal transactions can now occur */
4474         log->l_flags &= ~XLOG_ACTIVE_RECOVERY;
4475         return 0;
4476 }
4477
4478 /*
4479  * Perform recovery and re-initialize some log variables in xlog_find_tail.
4480  *
4481  * Return error or zero.
4482  */
4483 int
4484 xlog_recover(
4485         struct xlog     *log)
4486 {
4487         xfs_daddr_t     head_blk, tail_blk;
4488         int             error;
4489
4490         /* find the tail of the log */
4491         if ((error = xlog_find_tail(log, &head_blk, &tail_blk)))
4492                 return error;
4493
4494         if (tail_blk != head_blk) {
4495                 /* There used to be a comment here:
4496                  *
4497                  * disallow recovery on read-only mounts.  note -- mount
4498                  * checks for ENOSPC and turns it into an intelligent
4499                  * error message.
4500                  * ...but this is no longer true.  Now, unless you specify
4501                  * NORECOVERY (in which case this function would never be
4502                  * called), we just go ahead and recover.  We do this all
4503                  * under the vfs layer, so we can get away with it unless
4504                  * the device itself is read-only, in which case we fail.
4505                  */
4506                 if ((error = xfs_dev_is_read_only(log->l_mp, "recovery"))) {
4507                         return error;
4508                 }
4509
4510                 /*
4511                  * Version 5 superblock log feature mask validation. We know the
4512                  * log is dirty so check if there are any unknown log features
4513                  * in what we need to recover. If there are unknown features
4514                  * (e.g. unsupported transactions, then simply reject the
4515                  * attempt at recovery before touching anything.
4516                  */
4517                 if (XFS_SB_VERSION_NUM(&log->l_mp->m_sb) == XFS_SB_VERSION_5 &&
4518                     xfs_sb_has_incompat_log_feature(&log->l_mp->m_sb,
4519                                         XFS_SB_FEAT_INCOMPAT_LOG_UNKNOWN)) {
4520                         xfs_warn(log->l_mp,
4521 "Superblock has unknown incompatible log features (0x%x) enabled.\n"
4522 "The log can not be fully and/or safely recovered by this kernel.\n"
4523 "Please recover the log on a kernel that supports the unknown features.",
4524                                 (log->l_mp->m_sb.sb_features_log_incompat &
4525                                         XFS_SB_FEAT_INCOMPAT_LOG_UNKNOWN));
4526                         return -EINVAL;
4527                 }
4528
4529                 /*
4530                  * Delay log recovery if the debug hook is set. This is debug
4531                  * instrumention to coordinate simulation of I/O failures with
4532                  * log recovery.
4533                  */
4534                 if (xfs_globals.log_recovery_delay) {
4535                         xfs_notice(log->l_mp,
4536                                 "Delaying log recovery for %d seconds.",
4537                                 xfs_globals.log_recovery_delay);
4538                         msleep(xfs_globals.log_recovery_delay * 1000);
4539                 }
4540
4541                 xfs_notice(log->l_mp, "Starting recovery (logdev: %s)",
4542                                 log->l_mp->m_logname ? log->l_mp->m_logname
4543                                                      : "internal");
4544
4545                 error = xlog_do_recover(log, head_blk, tail_blk);
4546                 log->l_flags |= XLOG_RECOVERY_NEEDED;
4547         }
4548         return error;
4549 }
4550
4551 /*
4552  * In the first part of recovery we replay inodes and buffers and build
4553  * up the list of extent free items which need to be processed.  Here
4554  * we process the extent free items and clean up the on disk unlinked
4555  * inode lists.  This is separated from the first part of recovery so
4556  * that the root and real-time bitmap inodes can be read in from disk in
4557  * between the two stages.  This is necessary so that we can free space
4558  * in the real-time portion of the file system.
4559  */
4560 int
4561 xlog_recover_finish(
4562         struct xlog     *log)
4563 {
4564         /*
4565          * Now we're ready to do the transactions needed for the
4566          * rest of recovery.  Start with completing all the extent
4567          * free intent records and then process the unlinked inode
4568          * lists.  At this point, we essentially run in normal mode
4569          * except that we're still performing recovery actions
4570          * rather than accepting new requests.
4571          */
4572         if (log->l_flags & XLOG_RECOVERY_NEEDED) {
4573                 int     error;
4574                 error = xlog_recover_process_efis(log);
4575                 if (error) {
4576                         xfs_alert(log->l_mp, "Failed to recover EFIs");
4577                         return error;
4578                 }
4579                 /*
4580                  * Sync the log to get all the EFIs out of the AIL.
4581                  * This isn't absolutely necessary, but it helps in
4582                  * case the unlink transactions would have problems
4583                  * pushing the EFIs out of the way.
4584                  */
4585                 xfs_log_force(log->l_mp, XFS_LOG_SYNC);
4586
4587                 xlog_recover_process_iunlinks(log);
4588
4589                 xlog_recover_check_summary(log);
4590
4591                 xfs_notice(log->l_mp, "Ending recovery (logdev: %s)",
4592                                 log->l_mp->m_logname ? log->l_mp->m_logname
4593                                                      : "internal");
4594                 log->l_flags &= ~XLOG_RECOVERY_NEEDED;
4595         } else {
4596                 xfs_info(log->l_mp, "Ending clean mount");
4597         }
4598         return 0;
4599 }
4600
4601
4602 #if defined(DEBUG)
4603 /*
4604  * Read all of the agf and agi counters and check that they
4605  * are consistent with the superblock counters.
4606  */
4607 void
4608 xlog_recover_check_summary(
4609         struct xlog     *log)
4610 {
4611         xfs_mount_t     *mp;
4612         xfs_agf_t       *agfp;
4613         xfs_buf_t       *agfbp;
4614         xfs_buf_t       *agibp;
4615         xfs_agnumber_t  agno;
4616         __uint64_t      freeblks;
4617         __uint64_t      itotal;
4618         __uint64_t      ifree;
4619         int             error;
4620
4621         mp = log->l_mp;
4622
4623         freeblks = 0LL;
4624         itotal = 0LL;
4625         ifree = 0LL;
4626         for (agno = 0; agno < mp->m_sb.sb_agcount; agno++) {
4627                 error = xfs_read_agf(mp, NULL, agno, 0, &agfbp);
4628                 if (error) {
4629                         xfs_alert(mp, "%s agf read failed agno %d error %d",
4630                                                 __func__, agno, error);
4631                 } else {
4632                         agfp = XFS_BUF_TO_AGF(agfbp);
4633                         freeblks += be32_to_cpu(agfp->agf_freeblks) +
4634                                     be32_to_cpu(agfp->agf_flcount);
4635                         xfs_buf_relse(agfbp);
4636                 }
4637
4638                 error = xfs_read_agi(mp, NULL, agno, &agibp);
4639                 if (error) {
4640                         xfs_alert(mp, "%s agi read failed agno %d error %d",
4641                                                 __func__, agno, error);
4642                 } else {
4643                         struct xfs_agi  *agi = XFS_BUF_TO_AGI(agibp);
4644
4645                         itotal += be32_to_cpu(agi->agi_count);
4646                         ifree += be32_to_cpu(agi->agi_freecount);
4647                         xfs_buf_relse(agibp);
4648                 }
4649         }
4650 }
4651 #endif /* DEBUG */