docs/results/overview.rst

   1 .. This work is licensed under a Creative Commons Attribution 4.0 International Licence.
   2 .. http://creativecommons.org/licenses/by/4.0
   3
   4 FuncTest test result document overview
   5 ======================================
   6
   7 Functest project is described in `Functest user guide`_.
   8 The user guide details the different test cases as well as the possible errors.
   9 A `developer guide`_ and a `configuration guide`_ are also available.
  10
  11 Functest is run systematically at the end of an OPNFV fresh installation.
  12 All the runnable tests are run sequentially. The installer and the scenario are
  13 considered to evaluate whether the test case can be run or not. That is why all
  14 the number of test cases may vary from 1 installer to another and from 1
  15 scenario to another.
  16
  17 The list of scenario supported by installer can be described as follows:
  18
  19 +----------------+---------+---------+---------+---------+
  20 |    Scenario    |  Apex   | Compass |  Fuel   |   Joid  |
  21 +================+=========+=========+=========+=========+
  22 |   odl_l2       |    X    |    X    |    X    |    X    |
  23 +----------------+---------+---------+---------+---------+
  24 |   onos         |         |    X    |         |         |
  25 +----------------+---------+---------+---------+---------+
  26 |   nosdn        |         |    X    |    X    |         |
  27 +----------------+---------+---------+---------+---------+
  28 |   ovs (dpdk)   |         |         |    X    |         |
  29 +----------------+---------+---------+---------+---------+
  30
  31 The matrix below details the Functest runnable tests versus the installer and
  32 the scenario:
  33
  34 +----------------+-------------+-------------+-------------+-------------+
  35 |  Test cases    |    Apex     |   Compass   |    Fuel     |     Joid    |
  36 +================+=============+=============+=============+=============+
  37 |   vPing SSH    | all         | all         | all         | all         |
  38 +----------------+-------------+-------------+-------------+-------------+
  39 | vPing userdata | all except  | all except  | all except  | all except  |
  40 |                | ONOS        | ONOS        | ONOS        | ONOS        |
  41 +----------------+-------------+-------------+-------------+-------------+
  42 | Tempest        | all         | all         | all         | all         |
  43 +----------------+-------------+-------------+-------------+-------------+
  44 | Rally          | all         | all         | all         | all         |
  45 +----------------+-------------+-------------+-------------+-------------+
  46 | ODL            | all ODL     | all ODL     | all ODL     | all ODL     |
  47 +----------------+-------------+-------------+-------------+-------------+
  48 | ONOS           | ONOS        | ONOS        | ONOS        | ONOS        |
  49 +----------------+-------------+-------------+-------------+-------------+
  50 | Promise        | no          | no          | all         | all         |
  51 +----------------+-------------+-------------+-------------+-------------+
  52 | vIMS           | all except  | all except  | all except  | all except  |
  53 |                | ONOS        | ONOS        | ONOS        | ONOS        |
  54 +----------------+-------------+-------------+-------------+-------------+
  55 | Doctor         | all         | no          | no          | no          |
  56 +----------------+-------------+-------------+-------------+-------------+
  57
  58 all means that the test case is run on all the scenarios related to the
  59 installer.
  60
  61 Functest results from continuous integration can be found in:
  62  * jenkins logs: https://build.opnfv.org/ci/view/functest/
  63  * artifacts http://artifacts.opnfv.org/, it includes the tempest logs and the
  64  Rally html pages
  65
  66 Additional test result assests and information
  67 ==============================================
  68
  69 The Functest deals with 2 dashboards:
  70  * The `Test Dashboard`_ provides an overview of all the projects
  71  * The  `Functest Dashboard`_ dedicated to Functest real-time test results
  72
  73     * is used to provide a quick overview of the different testcases according to installer and scenario.
  74
  75 .. _`Test Dashboard`: https://www.opnfv.org/opnfvtestgraphs/per-test-projects/default
  76 .. _`Functest Dashboard`: https://testresults.opnfv.org/dashboard/
  77 .. _`Functest user guide`: artifacts.opnfv.org/functest/docs/userguide/index.html
  78 .. _`developer guide`: artifacts.opnfv.org/functest/docs/devguide/index.html
  79 .. _`configuration guide`: artifacts.opnfv.org/functest/docs/configguide/index.html