src/ceph/doc/rbd/iscsi-monitoring.rst

   1 -----------------------------
   2 Monitoring the iSCSI gateways
   3 -----------------------------
   4
   5 Ceph provides an additional tool for iSCSI gateway environments
   6 to monitor performance of exported RADOS Block Device (RBD) images.
   7
   8 The ``gwtop`` tool is a ``top``-like tool that displays aggregated
   9 performance metrics of RBD images that are exported to clients over
  10 iSCSI. The metrics are sourced from a Performance Metrics Domain Agent
  11 (PMDA). Information from the Linux-IO target (LIO) PMDA is used to list
  12 each exported RBD image with the connected client and its associated I/O
  13 metrics.
  14
  15 **Requirements:**
  16
  17 -  A running Ceph iSCSI gateway
  18
  19 **Installing:**
  20
  21 #. As ``root``, install the ``ceph-iscsi-tools`` package on each iSCSI
  22    gateway node:
  23
  24    ::
  25
  26        # yum install ceph-iscsi-tools
  27
  28 #. As ``root``, install the performance co-pilot package on each iSCSI
  29    gateway node:
  30
  31    ::
  32
  33        # yum install pcp
  34
  35 #. As ``root``, install the LIO PMDA package on each iSCSI gateway node:
  36
  37    ::
  38
  39        # yum install pcp-pmda-lio
  40
  41 #. As ``root``, enable and start the performance co-pilot service on
  42    each iSCSI gateway node:
  43
  44    ::
  45
  46        # systemctl enable pmcd
  47        # systemctl start pmcd
  48
  49 #. As ``root``, register the ``pcp-pmda-lio`` agent:
  50
  51    ::
  52
  53        cd /var/lib/pcp/pmdas/lio
  54        ./Install
  55
  56 By default, ``gwtop`` assumes the iSCSI gateway configuration object is
  57 stored in a RADOS object called ``gateway.conf`` in the ``rbd`` pool.
  58 This configuration defines the iSCSI gateways to contact for gathering
  59 the performance statistics. This can be overridden by using either the
  60 ``-g`` or ``-c`` flags. See ``gwtop --help`` for more details.
  61
  62 The LIO configuration determines which type of performance statistics to
  63 extract from performance co-pilot. When ``gwtop`` starts it looks at the
  64 LIO configuration, and if it find user-space disks, then ``gwtop``
  65 selects the LIO collector automatically.
  66
  67 **Example ``gwtop`` Outputs**
  68
  69 For kernel RBD-based devices:
  70
  71 ::
  72
  73     gwtop  2/2 Gateways   CPU% MIN:  4 MAX:  5    Network Total In:    2M  Out:    3M   10:20:09
  74     Capacity:   8G    Disks:   8   IOPS:  500   Clients:  1   Ceph: HEALTH_OK          OSDs:   3
  75     Pool.Image     Src  Device   Size     r/s     w/s    rMB/s     wMB/s    await  r_await  w_await  Client
  76     iscsi.t1703          rbd0    500M       0       0     0.00      0.00     0.00     0.00     0.00
  77     iscsi.testme1        rbd5    500M       0       0     0.00      0.00     0.00     0.00     0.00
  78     iscsi.testme2        rbd2    500M       0       0     0.00      0.00     0.00     0.00     0.00
  79     iscsi.testme3        rbd3    500M       0       0     0.00      0.00     0.00     0.00     0.00
  80     iscsi.testme5        rbd1    500M       0       0     0.00      0.00     0.00     0.00     0.00
  81     rbd.myhost_1    T    rbd4      4G     500       0     1.95      0.00     2.37     2.37     0.00  rh460p(CON)
  82     rbd.test_2           rbd6      1G       0       0     0.00      0.00     0.00     0.00     0.00
  83     rbd.testme           rbd7    500M       0       0     0.00      0.00     0.00     0.00     0.00
  84
  85 For user backed storage (TCMU) devices:
  86
  87 ::
  88
  89     gwtop  2/2 Gateways   CPU% MIN:  4 MAX:  5    Network Total In:    2M  Out:    3M   10:20:00
  90     Capacity:   8G    Disks:   8   IOPS:  503   Clients:  1   Ceph: HEALTH_OK          OSDs:   3
  91     Pool.Image       Src    Size     iops     rMB/s     wMB/s   Client
  92     iscsi.t1703             500M        0      0.00      0.00
  93     iscsi.testme1           500M        0      0.00      0.00
  94     iscsi.testme2           500M        0      0.00      0.00
  95     iscsi.testme3           500M        0      0.00      0.00
  96     iscsi.testme5           500M        0      0.00      0.00
  97     rbd.myhost_1      T       4G      504      1.95      0.00   rh460p(CON)
  98     rbd.test_2                1G        0      0.00      0.00
  99     rbd.testme              500M        0      0.00      0.00
 100
 101 In the *Client* column, ``(CON)`` means the iSCSI initiator (client) is
 102 currently logged into the iSCSI gateway. If ``-multi-`` is displayed,
 103 then multiple clients are mapped to the single RBD image.