docs/userguide/index.rst

   1 ===========================
   2 OPNFV FUNCTEST user guide
   3 ===========================
   4
   5 .. contents::
   6
   7
   8 .. _introduction:
   9
  10 DOCUMENT IS IN PROGRESS FOR BRAHMAPUTRA
  11
  12 ------------
  13 Introduction
  14 ------------
  15
  16 .. _description:
  17
  18 -----------------------------
  19 Description of the test cases
  20 -----------------------------
  21
  22 vPing
  23 =====
  24
  25 The goal of this test can be described as follow::
  26
  27  vPing testcase
  28  +-------------+                   +-------------+
  29  |             |                   |             |
  30  |             |                   |             |
  31  |             |     Boot VM1      |             |
  32  |             +------------------>|             |
  33  |             |                   |             |
  34  |             |     Get IP VM1    |             |
  35  |             +------------------>|             |
  36  |   Tester    |                   |   System    |
  37  |             |     Boot VM2      |    Under    |
  38  |             +------------------>|     Test    |
  39  |             | VM2 pings VM1     |             |
  40  |             |                   |             |
  41  |             | Check console log |             |
  42  |             |    If ping:       |             |
  43  |             |      exit OK      |             |
  44  |             |    else (timeout) |             |
  45  |             |      exit KO      |             |
  46  |             |                   |             |
  47  |             |                   |             |
  48  +-------------+                   +-------------+
  49
  50
  51 This example, using OpenStack Python clients can be considered as an "Hello World" example and may be modified for future use.
  52
  53 In SR1, some code has been added in order to push the results (status and duration) into a centralized test result database.
  54
  55 SDN Controllers
  56 ===============
  57
  58 OpenDaylight
  59 ------------
  60
  61 The ODL suite consists in a set of basic tests inherited from ODL project. The suite tests the creation and deletion of network, subnet, port though OpenDaylight and Neutron.
  62
  63 The list of tests can be described as follow:
  64  * Restconf.basic: Get the controller modules via Restconf
  65  * Neutron.Networks
  66
  67    * Check OpenStack Networks :: Checking OpenStack Neutron for known networks
  68    * Check OpenDaylight Networks :: Checking OpenDaylight Neutron API
  69    * Create Network :: Create new network in OpenStack
  70    * Check Network :: Check Network created in OpenDaylight
  71    * Neutron.Networks :: Checking Network created in OpenStack are pushed
  72
  73  * Neutron.Subnets
  74
  75    * Check OpenStack Subnets :: Checking OpenStack Neutron for known Subnets
  76    * Check OpenDaylight subnets :: Checking OpenDaylight Neutron API
  77    * Create New subnet :: Create new subnet in OpenStack
  78    * Check New subnet :: Check new subnet created in OpenDaylight
  79    * Neutron.Subnets :: Checking Subnets created in OpenStack are pushed
  80
  81  * Neutron.Ports
  82
  83    * Check OpenStack ports :: Checking OpenStack Neutron for known ports
  84    * Check OpenDaylight ports :: Checking OpenDaylight Neutron API
  85    * Create New Port :: Create new port in OpenStack
  86    * Check New Port :: Check new subnet created in OpenDaylight
  87    * Neutron.Ports :: Checking Port created in OpenStack are pushed
  88
  89  * Delete Ports
  90
  91    * Delete previously created subnet in OpenStack
  92    * Check subnet deleted in OpenDaylight
  93    * Check subnet deleted in OpenStack
  94
  95  * Delete network
  96
  97    * Delete previously created network in OpenStack
  98    * Check network deleted in OpenDaylight
  99    * Check network deleted in OpenStack
 100
 101
 102 ONOS
 103 ----
 104 TODO
 105
 106 OpenContrail
 107 ------------
 108
 109 TODO
 110
 111
 112 Tempest
 113 =======
 114
 115 .. _Tempest: http://docs.openstack.org/developer/tempest/overview.html
 116
 117 Tempest_ is the OpenStack Integration Test Suite. We use Rally to run Tempest suite.
 118
 119 The Tempest.conf configuration file is automatically generated by Rally then the Tempest suite is run, each test duration is measured.
 120
 121 We considered the smoke test suite for Arno.
 122
 123 The goal of this test is to  to check the basic OpenStack functionality on a fresh installation.
 124
 125 vIMS
 126 ====
 127
 128 TODO
 129
 130 Rally bench test suite
 131 ======================
 132
 133 .. _Rally: https://wiki.openstack.org/wiki/Rally
 134
 135 Rally bench test suite consist in a suite of light performance tests on some of the OpenStack components.
 136
 137 The goal of this test suite is to test the different modules of OpenStack and get significant figures that could help us to define telco Cloud KPI.
 138
 139 The OPNFV scenarios are based on the collection of the existing Rally_ scenarios:
 140  * authenticate
 141  * cinder
 142  * nova
 143  * requests
 144  * glance
 145  * keystone
 146  * neutron
 147  * quotas
 148
 149
 150 This test suite provides performance information on VIM (OpenStack) part.
 151
 152 No SLA were defined for release 1, we just consider whether the tests are passed or failed.
 153
 154 In the future SLA shall be defined (e.g. accepting booting time for a given image with a given flavour).
 155
 156 Through its integration in Continuous Integration, the evolution of the performance of these tests shall also be considered.
 157
 158 Feature projects
 159 ================
 160
 161 --------------
 162 Manual testing
 163 --------------
 164
 165 ------------------
 166 Automated testing
 167 ------------------
 168
 169 ---------------
 170 Troubleshooting
 171 ---------------
 172
 173
 174
 175 ----------
 176 References
 177 ----------
 178
 179 OPNFV main site: opnfvmain_.
 180
 181 OPNFV functional test page: opnfvfunctest_.
 182
 183 IRC support chan: #opnfv-testperf
 184
 185 .. _opnfvmain: http://www.opnfv.org
 186 .. _opnfvfunctest: https://wiki.opnfv.org/opnfv_functional_testing
 187 .. _`OpenRC`: http://docs.openstack.org/user-guide/common/cli_set_environment_variables_using_openstack_rc.html
 188 .. _`Rally installation procedure`: https://rally.readthedocs.org/en/latest/tutorial/step_0_installation.html
 189 .. _`config_test.py` : https://git.opnfv.org/cgit/functest/tree/testcases/config_functest.py
 190 .. _`config_functest.yaml` : https://git.opnfv.org/cgit/functest/tree/testcases/config_functest.yaml