docs/userguide/index.rst

   1 =========================
   2 OPNFV FUNCTEST user guide
   3 =========================
   4
   5 .. toctree::
   6    :numbered:
   7    :maxdepth: 2
   8
   9
  10 Introduction
  11 ============
  12
  13 The goal of this documents is to describe the Functest test cases as well as
  14 provide a procedure about how to execute (or launch) them.
  15
  16 A presentation has been created for the first OPNFV Summit `[4]`_.
  17
  18 It is assumed that Functest container has been properly installed `[1]`_.
  19
  20 .. include:: ./description.rst
  21
  22 The different scenarios are described in the section hereafter.
  23
  24 VIM
  25 ---
  26
  27 vPing
  28 ^^^^^
  29
  30 The goal of this test can be described as follows::
  31
  32  vPing test case
  33  +-------------+                   +-------------+
  34  |             |                   |             |
  35  |             |     Boot VM1      |             |
  36  |             +------------------>|             |
  37  |             |                   |             |
  38  |             |     Get IP VM1    |             |
  39  |             +------------------>|             |
  40  |   Tester    |                   |   System    |
  41  |             |     Boot VM2      |    Under    |
  42  |             +------------------>|     Test    |
  43  |             |                   |             |
  44  |             |   Create (VM2)    |             |
  45  |             |   floating IP     |             |
  46  |             +------------------>|             |
  47  |             |                   |             |
  48  |             | SCP vPing script  |             |
  49  |             |      to VM2       |             |
  50  |             +------------------>|             |
  51  |             |                   |             |
  52  |             |   SSH to VM2      |             |
  53  |             +------------------>|             |
  54  |             |                   |             |
  55  |             |    Ping VM1       |             |
  56  |             |    private IP     |             |
  57  |             +------------------>|             |
  58  |             |                   |             |
  59  |             |    If ping:       |             |
  60  |             |      exit OK      |             |
  61  |             |    else (timeout) |             |
  62  |             |      exit KO      |             |
  63  |             |                   |             |
  64  +-------------+                   +-------------+
  65
  66 This example can be considered as an "Hello World" example.
  67 It is the first basic example, it must work on any configuration.
  68
  69 vPing_userdata
  70 ^^^^^^^^^^^^^^
  71
  72 The goal of this test can be described as follow::
  73
  74  vPing_userdata test case
  75  +-------------+                   +-------------+
  76  |             |                   |             |
  77  |             |     Boot VM1      |             |
  78  |             +------------------>|             |
  79  |             |                   |             |
  80  |             |     Get IP VM1    |             |
  81  |             +------------------>|             |
  82  |   Tester    |                   |   System    |
  83  |             |     Boot VM2      |    Under    |
  84  |             +------------------>|     Test    |
  85  |             | VM2 pings VM1     |             |
  86  |             |   (cloud-init)    |             |
  87  |             | Check console log |             |
  88  |             |    If ping:       |             |
  89  |             |      exit OK      |             |
  90  |             |    else (timeout) |             |
  91  |             |      exit KO      |             |
  92  |             |                   |             |
  93  +-------------+                   +-------------+
  94
  95 This scenario is similar to the previous one but it uses cloud-init (nova
  96 metadata service) instead of floating IPs and SSH.
  97
  98
  99 Tempest
 100 ^^^^^^^
 101
 102 Tempest `[2]`_ is the reference OpenStack Integration test suite.
 103 It is a set of integration tests to be run against a live OpenStack cluster.
 104 Tempest has batteries of tests for:
 105
 106   * OpenStack API validation
 107   * Scenarios
 108   * Other specific tests useful in validating an OpenStack deployment
 109
 110 We use Rally `[3]`_ to run Tempest suite.
 111 Rally generates automatically tempest.conf configuration file.
 112 Before running actual test cases Functest creates needed resources.
 113 Needed parameters are updated in the configuration file.
 114 When the Tempest suite is run, each test duration is measured.
 115 The full console output is stored in the tempest.log file.
 116
 117 As an addition of Arno, Brahmaputra runs a customized set of Tempest test cases.
 118 The list is specificed through *--tests-file* when running Rally.
 119 This option has been introduced in Rally in version 0.1.2.
 120
 121 The customized test list is available in the Functest repo `[4]`_.
 122 This list contains more than 200 Tempest test cases.
 123 The list can be divied into two main parts:
 124
 125   1) Set of tempest smoke test cases
 126   2) Set of test cases from DefCore list `[8]`_
 127
 128 The goal of Tempest test suite is to check the basic functionalities of
 129 different OpenStack components on an OPNFV fresh installation using
 130 corresponding REST API interfaces.
 131
 132
 133 Rally bench test suites
 134 ^^^^^^^^^^^^^^^^^^^^^^^
 135
 136 Rally `[3]`_ is a benchmarking tool that answers the question::
 137
 138  “How does OpenStack work at scale?”.
 139
 140 The goal of this test suite is to test the different modules of OpenStack and
 141 get significant figures that could help us to define telco Cloud KPI.
 142
 143 The OPNFV scenarios are based on the collection of the existing Rally scenarios:
 144
 145  * authenticate
 146  * cinder
 147  * glance
 148  * heat
 149  * keystone
 150  * neutron
 151  * nova
 152  * quotas
 153  * requests
 154
 155 Basic SLA (stop test on errors) have been implemented.
 156
 157
 158 SDN Controllers
 159 ---------------
 160
 161 Brahmaputra introduces new SDN controllers.
 162 There are currently 3 possible controllers:
 163
 164  * OpenDaylight (ODL)
 165  * ONOS
 166  * OpenContrail (OCL)
 167
 168 OpenDaylight
 169 ^^^^^^^^^^^^
 170
 171 The OpenDaylight (ODL) test suite consists of a set of basic tests inherited
 172 from ODL project.
 173 The suite verifies creation and deletion of networks, subnets and ports with
 174 OpenDaylight and Neutron.
 175
 176 The list of tests can be described as follow:
 177
 178  * Restconf.basic: Get the controller modules via Restconf
 179  * Neutron.Networks
 180
 181    * Check OpenStack Networks :: Checking OpenStack Neutron for known networks
 182    * Check OpenDaylight Networks :: Checking OpenDaylight Neutron API
 183    * Create Network :: Create new network in OpenStack
 184    * Check Network :: Check Network created in OpenDaylight
 185    * Neutron.Networks :: Checking Network created in OpenStack are pushed
 186
 187  * Neutron.Subnets
 188
 189    * Check OpenStack Subnets :: Checking OpenStack Neutron for known Subnets
 190    * Check OpenDaylight subnets :: Checking OpenDaylight Neutron API
 191    * Create New subnet :: Create new subnet in OpenStack
 192    * Check New subnet :: Check new subnet created in OpenDaylight
 193    * Neutron.Subnets :: Checking Subnets created in OpenStack are pushed
 194
 195  * Neutron.Ports
 196
 197    * Check OpenStack ports :: Checking OpenStack Neutron for known ports
 198    * Check OpenDaylight ports :: Checking OpenDaylight Neutron API
 199    * Create New Port :: Create new port in OpenStack
 200    * Check New Port :: Check new subnet created in OpenDaylight
 201    * Neutron.Ports :: Checking Port created in OpenStack are pushed
 202
 203  * Delete Ports
 204
 205    * Delete previously created subnet in OpenStack
 206    * Check subnet deleted in OpenDaylight
 207    * Check subnet deleted in OpenStack
 208
 209  * Delete network
 210
 211    * Delete previously created network in OpenStack
 212    * Check network deleted in OpenDaylight
 213    * Check network deleted in OpenStack
 214
 215
 216 ONOS
 217 ^^^^
 218
 219 TestON Framework is used to test ONOS function.
 220 The test cases deal with L2 and L3 functions.
 221 ONOS is configured through OPNFV scenario.
 222 The ONOS test suite can be run on any ONOS compliant scenario.
 223
 224 The test cases may be described as follow:
 225
 226  * onosfunctest: The mainly executable file contains the initialization of
 227    the docker environment and functions called by FUNCvirNetNB and
 228    FUNCvirNetNBL3
 229
 230  * FUNCvirNetNB
 231
 232    * Create Network: Post Network data and check it in ONOS
 233    * Update Network: Update the Network and compare it in ONOS
 234    * Delete Network: Delete the Network and check if it's NULL in ONOS or
 235      not
 236    * Create Subnet: Post Subnet data and check it in ONOS
 237    * Update Subnet: Update the Subnet and compare it in ONOS
 238    * Delete Subnet: Delete the Subnet and check if it's NULL in ONOS or not
 239    * Create Port: Post Port data and check it in ONOS
 240    * Update Port: Update the Port and compare it in ONOS
 241    * Delete Port: Delete the Port and check if it's NULL in ONOS or not
 242
 243  * FUNCvirNetNBL3
 244
 245    * Create Router: Post dataes for create Router and check it in ONOS
 246    * Update Router: Update the Router and compare it in ONOS
 247    * Delete Router: Delete the Router dataes and check it in ONOS
 248    * Create RouterInterface: Post RouterInterface data to an exist Router
 249      and check it in ONOS
 250    * Delete RouterInterface: Delete the RouterInterface and check the Router
 251    * Create FloatingIp: Post dataes for create FloatingIp and check it in
 252      ONOS
 253    * Update FloatingIp: Update the FloatingIp and compare it in ONOS
 254    * Delete FloatingIp: Delete the FloatingIp and check if it's NULL in
 255      ONOS  or not
 256    * Create External Gateway: Post dataes for create External Gateway to an
 257      exit Router and check it
 258    * Update External Gateway: Update the External Gateway and compare it
 259    * Delete External Gateway: Delete the External Gateway and check if it's
 260      NULL in ONOS or not
 261
 262
 263 OpenContrail
 264 ^^^^^^^^^^^^
 265 TODO OVNO
 266
 267
 268
 269 Features
 270 --------
 271
 272 vIMS
 273 ^^^^
 274 The goal of this test suite consists of:
 275
 276  * deploying a VNF orchestrator (cloudify)
 277  * deploy a Clearwater vIMS (IP Multimedia Subsystem) VNF from this
 278    orchestrator based on a TOSCA blueprint defined in `[5]`_
 279  * run suite of signaling tests on top of this VNF
 280
 281 The Clearwater architecture is described as follows:
 282
 283 .. figure:: ../images/clearwater-architecture.png
 284    :align: center
 285    :alt: vIMS architecture
 286
 287 Two types of information are stored in the Test Database:
 288
 289  * the duration of each step (orchestion deployment, VNF deployment and test)
 290  * the test results
 291
 292 The deployment of a complete functional VNF allows the test of most of the
 293 essential functions needed for a NFV system.
 294
 295 Promise
 296 ^^^^^^^
 297
 298 Promise provides a basic set of test cases as part of Brahmaputra.
 299
 300 The available 33 test cases can be grouped into 7 test suites:
 301
 302     #. Add a new OpenStack provider into resource pool: Registers
 303        OpenStack into a new resource pool and adds more capacity associated
 304        with this pool.
 305
 306     #. Allocation without reservation: Creates a new server in OpenStack
 307        and adds a new allocation record in Promise shim-layer.
 308
 309     #. Allocation using reservation for immediate use: Creates a resource
 310        reservation record with no start/end time and immediately creates a new
 311        server in OpenStack and add a new allocation record in Promise
 312        shim-layer.
 313
 314     #. Reservation for future use: Creates a resource reservation record
 315        for a future start time, queries, modifies and cancels the newly created
 316        reservation.
 317
 318     #. Capacity planning: Decreases and increases the available capacity
 319        from a provider in the future and queries the available collections and
 320        utilizations.
 321
 322     #. Reservation with conflict: Tries to create reservations for
 323        immediate and future use with conflict.
 324
 325     #. Cleanup test allocations: Destroys all allocations in OpenStack.
 326
 327 The test results are pushed into the LF test DB:
 328   * Duration of the Promise test case
 329   * Number of tests / failures
 330
 331 The specific parameters for Promise can be found in config_functest.yaml and
 332 include::
 333
 334    promise:
 335      general:
 336          tenant_name: Name of the OpenStack tenant/project (e.g. promise)
 337          tenant_description: Description of the OpenStack tenant (e.g. promise Functionality Testing)
 338          user_name: Name of the user tenant (e.g. promiser)
 339          user_pwd: Password of the user tenant (e.g. test)
 340          image_name: Name of the software image (e.g. promise-img)
 341          flavor_name: Name of the flavor (e.g. promise-flavor with 1 vCPU and 512 MB RAM)
 342          flavor_vcpus: 1
 343          flavor_ram: 512
 344          flavor_disk: 0
 345
 346 .. include:: ./runfunctest.rst
 347
 348 Test results
 349 ============
 350
 351 VIM
 352 ---
 353
 354 vPing
 355 ^^^^^
 356
 357 vPing results are displayed in the console::
 358
 359   FUNCTEST.info: Running vPing test...
 360   2016-01-23 03:18:20,153 - vPing- INFO - Creating neutron network vping-net...
 361   2016-01-23 03:18:35,476 - vPing- INFO - Flavor found 'm1.small'
 362   2016-01-23 03:18:36,350 - vPing- INFO - vPing Start Time:'2016-01-23 03:18:36'
 363   2016-01-23 03:18:38,571 - vPing- INFO - Creating instance 'opnfv-vping-1' with IP 192.168.130.30...
 364   2016-01-23 03:18:53,716 - vPing- INFO - Instance 'opnfv-vping-1' is ACTIVE.
 365   2016-01-23 03:18:55,239 - vPing- INFO - Creating instance 'opnfv-vping-2' with IP 192.168.130.40...
 366   2016-01-23 03:19:15,593 - vPing- INFO - Instance 'opnfv-vping-2' is ACTIVE.
 367   2016-01-23 03:19:15,593 - vPing- INFO - Creating floating IP for the second VM...
 368   2016-01-23 03:19:18,017 - vPing- INFO - Floating IP created: '10.2.65.6'
 369   2016-01-23 03:19:18,017 - vPing- INFO - Associating floating ip: '10.2.65.6' to VM2
 370   2016-01-23 03:19:37,839 - vPing- INFO - SCP ping script to VM2...
 371   2016-01-23 03:19:37,839 - vPing- INFO - Waiting for ping...
 372   2016-01-23 03:19:40,130 - vPing- INFO - vPing detected!
 373   2016-01-23 03:19:40,130 - vPing- INFO - vPing duration:'63.8'
 374   2016-01-23 03:19:40,130 - vPing- INFO - Cleaning up...
 375   2016-01-23 03:20:06,574 - vPing- INFO - Deleting network 'vping-net'...
 376   2016-01-23 03:20:13,587 - vPing- INFO - vPing OK
 377
 378
 379
 380
 381 vPing_userdata
 382 ^^^^^^^^^^^^^^
 383
 384 vPing_userdata results are displayed in the console::
 385
 386     2016-01-06 16:06:20,550 - vPing- INFO - Creating neutron network vping-net...
 387     2016-01-06 16:06:23,867 - vPing- INFO - Flavor found 'm1.small'
 388     2016-01-06 16:06:24,457 - vPing- INFO - vPing Start Time:'2016-01-06 16:06:24'
 389     2016-01-06 16:06:24,626 - vPing- INFO - Creating instance 'opnfv-vping-1' with IP 192.168.130.30...
 390     2016-01-06 16:06:39,351 - vPing- INFO - Instance 'opnfv-vping-1' is ACTIVE.
 391     2016-01-06 16:06:39,650 - vPing- INFO - Creating instance 'opnfv-vping-2' with IP 192.168.130.40...
 392     2016-01-06 16:06:53,330 - vPing- INFO - Instance 'opnfv-vping-2' is ACTIVE.
 393     2016-01-06 16:06:53,330 - vPing- INFO - Waiting for ping...
 394     2016-01-06 16:06:58,669 - vPing- INFO - vPing detected!
 395     2016-01-06 16:06:58,669 - vPing- INFO - vPing duration:'34.2'
 396     2016-01-06 16:06:58,670 - vPing- INFO - Cleaning up...
 397     2016-01-06 16:07:12,661 - vPing- INFO - Deleting network 'vping-net'...
 398     2016-01-06 16:07:14,748 - vPing- INFO - vPing OK
 399
 400 A json file is produced and pushed into the test result database.
 401
 402
 403 Tempest
 404 ^^^^^^^
 405
 406 The Tempest results are displayed in the console::
 407
 408   FUNCTEST.info: Running Tempest tests...
 409   2016-01-28 07:56:55,380 - run_tempest - INFO - Creating tenant and user for Tempest suite
 410   2016-01-28 07:56:56.127 23795 INFO rally.verification.tempest.tempest [-] Starting: Creating configuration file for Tempest.
 411   2016-01-28 07:56:59.512 23795 INFO rally.verification.tempest.tempest [-] Completed: Creating configuration file for Tempest.
 412   16-01-28 07:57:00,597 - run_tempest - INFO - Starting Tempest test suite: '--tests-file /home/opnfv/repos/functest/testcases/VIM/OpenStack/CI/custom_tests/test_list.txt'.
 413   Total results of verification:
 414   .
 415   +--------------------------------------+--------------------------------------+----------+-------+----------+----------------------------+----------+
 416   | UUID                                 | Deployment UUID                      | Set name | Tests | Failures | Created at                 | Status   |
 417   +--------------------------------------+--------------------------------------+----------+-------+----------+----------------------------+----------+
 418   | e0bf7770-2c0f-4c63-913c-cd51a6edd96d | 16582e1e-7b01-4d5d-9c13-a26db8567b7b |          | 144   | 30       | 2016-01-28 07:57:01.044856 | finished |
 419   +--------------------------------------+--------------------------------------+----------+-------+----------+----------------------------+----------+
 420   .
 421   Tests:
 422   .
 423   +------------------------------------------------------------------------------------------------------------------------------------------+-----------+---------+
 424   | name                                                                                                                                     | time      | status  |
 425   +------------------------------------------------------------------------------------------------------------------------------------------+-----------+---------+
 426   | tempest.api.compute.flavors.test_flavors.FlavorsV2TestJSON.test_get_flavor                                                               | 0.29804   | success |
 427   | tempest.api.compute.flavors.test_flavors.FlavorsV2TestJSON.test_list_flavors                                                             | 0.06289   | success |
 428   | tempest.api.compute.images.test_images.ImagesTestJSON.test_delete_saving_image                                                           | 9.21756   | success |
 429   | tempest.api.compute.images.test_images_oneserver.ImagesOneServerTestJSON.test_create_delete_image                                        | 8.65376   | success |
 430   | tempest.api.compute.images.test_images_oneserver.ImagesOneServerTestJSON.test_create_image_specify_multibyte_character_image_name        | 9.10993   | success |
 431   | tempest.api.compute.images.test_list_image_filters.ListImageFiltersTestJSON.test_list_images_filter_by_changes_since                     | 0.19585   | success |
 432   ...........................................
 433   2016-01-28 08:19:32,132 - run_tempest - INFO - Results: {'timestart': '2016-01-2807:57:01.044856', 'duration': 1350, 'tests': 144, 'failures': 30}
 434   2016-01-28 08:19:32,133 - run_tempest - INFO - Pushing results to DB: 'http://testresults.opnfv.org/testapi/results'.
 435   2016-01-28 08:19:32,278 - run_tempest - INFO - Deleting tenant and user for Tempest suite)
 436
 437 In order to check all the available test cases related debug information, please
 438 inspect tempest.log file stored into related Rally deployment folder.
 439 The Tempest log is also automatically pushed to OPNFV artifact server in
 440 Continuous Integration.
 441 The Tempest results are also pushed to the Test Database from Continuous
 442 Integration.
 443
 444
 445 Rally
 446 ^^^^^
 447
 448 The Rally results are displayed in the console, each module is run one after the
 449 other. Tables are displayed::
 450
 451   +-------------------------------------------------------------------------------------------+
 452   |                                   Response Times (sec)                                    |
 453   +----------------------+-------+--------+--------+--------+-------+-------+---------+-------+
 454   | action               | min   | median | 90%ile | 95%ile | max   | avg   | success | count |
 455   +----------------------+-------+--------+--------+--------+-------+-------+---------+-------+
 456   | keystone.create_role | 0.358 | 0.572  | 0.772  | 0.811  | 1.106 | 0.603 | 100.0%  | 20    |
 457   | keystone.add_role    | 0.32  | 0.436  | 0.846  | 0.903  | 1.018 | 0.51  | 100.0%  | 20    |
 458   | keystone.list_roles  | 0.102 | 0.185  | 0.253  | 0.275  | 0.347 | 0.188 | 100.0%  | 20    |
 459   | total                | 0.845 | 1.223  | 1.821  | 1.822  | 1.823 | 1.302 | 100.0%  | 20    |
 460   +----------------------+-------+--------+--------+--------+-------+-------+---------+-------+
 461   Load duration: 7.13633608818
 462   Full duration: 36.7863121033
 463   ..............
 464   +------------------------------------------------------------------------------------------+
 465   |                                   Response Times (sec)                                   |
 466   +---------------------+-------+--------+--------+--------+-------+-------+---------+-------+
 467   | action              | min   | median | 90%ile | 95%ile | max   | avg   | success | count |
 468   +---------------------+-------+--------+--------+--------+-------+-------+---------+-------+
 469   | nova.create_keypair | 1.005 | 1.784  | 3.025  | 3.636  | 4.373 | 2.004 | 100.0%  | 20    |
 470   | nova.delete_keypair | 0.199 | 0.699  | 1.007  | 1.244  | 3.014 | 0.79  | 100.0%  | 20    |
 471   | total               | 1.249 | 2.625  | 4.259  | 4.845  | 5.131 | 2.794 | 100.0%  | 20    |
 472   +---------------------+-------+--------+--------+--------+-------+-------+---------+-------+
 473   Load duration: 14.9231169224
 474   Full duration: 71.4614388943
 475
 476
 477 At the end of the module test, a message is displayed to provide a global
 478 summary::
 479
 480   2016-02-04 12:50:18,382 - run_rally - INFO - Test scenario: "requests" OK.
 481
 482 The raw results are pushed into the Test Database from Continuous Integration.
 483
 484
 485 Controllers
 486 -----------
 487
 488 OpenDaylight
 489 ^^^^^^^^^^^^
 490
 491 The results of ODL tests can be seen in the console::
 492
 493  ==============================================================================
 494  Basic
 495  ==============================================================================
 496  Basic.010 Restconf OK :: Test suite to verify Restconf is OK
 497  ==============================================================================
 498  Get Controller Modules :: Get the controller modules via Restconf     | PASS |
 499  ------------------------------------------------------------------------------
 500  Basic.010 Restconf OK :: Test suite to verify Restconf is OK          | PASS |
 501  1 critical test, 1 passed, 0 failed
 502  1 test total, 1 passed, 0 failed
 503  ==============================================================================
 504  Basic                                                                 | PASS |
 505  1 critical test, 1 passed, 0 failed
 506  1 test total, 1 passed, 0 failed
 507  ==============================================================================
 508  Output:  /home/jenkins-ci/workspace/functest-opnfv-jump-2/output.xml
 509  Log:     /home/jenkins-ci/workspace/functest-opnfv-jump-2/log.html
 510  Report:  /home/jenkins-ci/workspace/functest-opnfv-jump-2/report.html
 511
 512  ..............................................................................
 513
 514  Neutron.Delete Networks :: Checking Network deleted in OpenStack a... | PASS |
 515  2 critical tests, 2 passed, 0 failed
 516  2 tests total, 2 passed, 0 failed
 517  ==============================================================================
 518  Neutron :: Test suite for Neutron Plugin                              | PASS |
 519  18 critical tests, 18 passed, 0 failed
 520  18 tests total, 18 passed, 0 failed
 521  ==============================================================================
 522  Output:  /home/jenkins-ci/workspace/functest-opnfv-jump-2/output.xml
 523  Log:     /home/jenkins-ci/workspace/functest-opnfv-jump-2/log.html
 524  Report:  /home/jenkins-ci/workspace/functest-opnfv-jump-2/report.html
 525
 526 3 result files are generated:
 527  * output.xml
 528  * log.html
 529  * report.html
 530
 531 **ODL result page**
 532
 533 .. figure:: ../images/functestODL.png
 534    :width: 170mm
 535    :align: center
 536    :alt: ODL suite result page
 537
 538
 539 ONOS
 540 ^^^^
 541
 542 The ONOS test logs can be found in OnosSystemTest/, and TestON/, and logs/
 543 (ONOSCI_PATH to be added), and can also be seen in the console::
 544
 545  ******************************
 546  Result summary for Testcase4
 547  ******************************
 548
 549  2016-01-14 05:25:40,529 - FUNCvirNetNBL3 - INFO - ONOS Router Delete test Start
 550
 551  [2016-01-14 05:25:40.529644] [FUNCvirNetNBL3] [CASE]  Virtual Network NBI Test - Router
 552  2016-01-14 05:25:40,530 - FUNCvirNetNBL3 - INFO - Generate Post Data
 553
 554  [2016-01-14 05:25:40.530825] [FUNCvirNetNBL3] [STEP]  4.1: Post Network Data via HTTP(Post Router need post network)
 555  2016-01-14 05:25:40,531 - FUNCvirNetNBL3 - INFO - Sending request http://192.168.122.56:8181/onos/vtn/networks/ using POST method.
 556  2016-01-14 05:25:40,539 - FUNCvirNetNBL3 - INFO - Verifying the Expected is equal to the actual or not using assert_equal
 557  2016-01-14 05:25:40,539 - FUNCvirNetNBL3 - INFO - Post Network Success
 558  2016-01-14 05:25:40,539 - FUNCvirNetNBL3 - INFO - Assertion Passed
 559
 560  [2016-01-14 05:25:40.539687] [FUNCvirNetNBL3] [STEP]  4.2: Post Router Data via HTTP
 561  2016-01-14 05:25:40,540 - FUNCvirNetNBL3 - INFO - Sending request http://192.168.122.56:8181/onos/vtn/routers/ using POST method.
 562  2016-01-14 05:25:40,543 - FUNCvirNetNBL3 - INFO - Verifying the Expected is equal to the actual or not using assert_equal
 563  2016-01-14 05:25:40,543 - FUNCvirNetNBL3 - INFO - Post Router Success
 564  2016-01-14 05:25:40,543 - FUNCvirNetNBL3 - INFO - Assertion Passed
 565
 566  [2016-01-14 05:25:40.543489] [FUNCvirNetNBL3] [STEP]  4.3: Delete Router Data via HTTP
 567  2016-01-14 05:25:40,543 - FUNCvirNetNBL3 - INFO - Sending request http://192.168.122.56:8181/onos/vtn/routers/e44bd655-e22c-4aeb-b1e9-ea1606875178 using DELETE method.
 568  2016-01-14 05:25:40,546 - FUNCvirNetNBL3 - INFO - Verifying the Expected is equal to the actual or not using assert_equal
 569  2016-01-14 05:25:40,546 - FUNCvirNetNBL3 - INFO - Delete Router Success
 570  2016-01-14 05:25:40,546 - FUNCvirNetNBL3 - INFO - Assertion Passed
 571
 572  [2016-01-14 05:25:40.546774] [FUNCvirNetNBL3] [STEP]  4.4: Get Router Data is NULL
 573  2016-01-14 05:25:40,547 - FUNCvirNetNBL3 - INFO - Sending request http://192.168.122.56:8181/onos/vtn/routers/e44bd655-e22c-4aeb-b1e9-ea1606875178 using GET method.
 574  2016-01-14 05:25:40,550 - FUNCvirNetNBL3 - INFO - Verifying the Expected is equal to the actual or not using assert_equal
 575  2016-01-14 05:25:40,550 - FUNCvirNetNBL3 - INFO - Get Router Success
 576  2016-01-14 05:25:40,550 - FUNCvirNetNBL3 - INFO - Assertion Passed
 577
 578
 579  *****************************
 580   Result: Pass
 581  *****************************
 582
 583  .......................................................................................
 584
 585  ******************************
 586   Result summary for Testcase9
 587  ******************************
 588  .......................................................................................
 589
 590
 591  [2016-01-14 05:26:42.543489] [FUNCvirNetNBL3] [STEP]  9.6: FloatingIp Clean Data via HTTP
 592  2016-01-14 05:26:42,543 - FUNCvirNetNBL3 - INFO - Sending request http://192.168.122.56:8181/onos/vtn/floatingips/e44bd655-e22c-4aeb-b1e9-ea1606875178 using DELETE method.
 593  2016-01-14 05:26:42,546 - FUNCvirNetNBL3 - INFO - Verifying the Expected is equal to the actual or not using assert_equal
 594  2016-01-14 05:26:42,546 - FUNCvirNetNBL3 - ERROR - Delete Floatingip failed
 595
 596  .......................................................................................
 597
 598  *****************************
 599   Result: Failed
 600  *****************************
 601
 602 There is a result summary for each testcase, and a global summary for the whole test.
 603 If any problem occurs during the test, a ERROR message will be provided in the test and the the global summary::
 604
 605  *************************************
 606          Test Execution Summary
 607  *************************************
 608
 609   Test Start           : 14 Jan 2016 05:25:37
 610   Test End             : 14 Jan 2016 05:25:41
 611   Execution Time       : 0:00:03.349087
 612   Total tests planned  : 11
 613   Total tests RUN      : 11
 614   Total Pass           : 8
 615   Total Fail           : 3
 616   Total No Result      : 0
 617   Success Percentage   : 72%
 618   Execution Result     : 100%
 619
 620
 621 OpenContrail
 622 ^^^^^^^^^^^^
 623
 624 TODO OVNO
 625
 626
 627 Feature
 628 -------
 629
 630 vIMS
 631 ^^^^
 632
 633 The results in the console can be described as follows::
 634
 635     FUNCTEST.info: Running vIMS test...
 636     2016-02-04 13:46:25,025 - vIMS - INFO - Prepare OpenStack plateform (create tenant and user)
 637     2016-02-04 13:46:25,312 - vIMS - INFO - Update OpenStack creds informations
 638     2016-02-04 13:46:25,312 - vIMS - INFO - Upload some OS images if it doesn't exist
 639     2016-02-04 13:46:25,566 - vIMS - INFO - centos_7 image doesn't exist on glance repository.
 640                                 Try downloading this image and upload on glance !
 641     2016-02-04 13:47:06,167 - vIMS - INFO - ubuntu_14.04 image doesn't exist on glance repository.
 642                                 Try downloading this image and upload on glance !
 643     2016-02-04 13:47:26,987 - vIMS - INFO - Update security group quota for this tenant
 644     2016-02-04 13:47:27,193 - vIMS - INFO - Update cinder quota for this tenant
 645     2016-02-04 13:47:27,746 - vIMS - INFO - Collect flavor id for cloudify manager server
 646     2016-02-04 13:47:28,326 - vIMS - INFO - Prepare virtualenv for cloudify-cli
 647     2016-02-04 13:48:00,657 - vIMS - INFO - Downloading the cloudify manager server blueprint
 648     2016-02-04 13:48:03,391 - vIMS - INFO - Cloudify deployment Start Time:'2016-02-04 13:48:03'
 649     2016-02-04 13:48:03,391 - vIMS - INFO - Writing the inputs file
 650     2016-02-04 13:48:03,395 - vIMS - INFO - Launching the cloudify-manager deployment
 651     2016-02-04 13:56:03,501 - vIMS - INFO - Cloudify-manager server is UP !
 652     2016-02-04 13:56:03,502 - vIMS - INFO - Cloudify deployment duration:'480.1'
 653     2016-02-04 13:56:03,502 - vIMS - INFO - Collect flavor id for all clearwater vm
 654     2016-02-04 13:56:04,093 - vIMS - INFO - vIMS VNF deployment Start Time:'2016-02-04 13:56:04'
 655     2016-02-04 13:56:04,093 - vIMS - INFO - Downloading the openstack-blueprint.yaml blueprint
 656     2016-02-04 13:56:06,265 - vIMS - INFO - Writing the inputs file
 657     2016-02-04 13:56:06,268 - vIMS - INFO - Launching the clearwater deployment
 658     2016-02-04 14:11:27,101 - vIMS - INFO - The deployment of clearwater-opnfv is ended
 659     2016-02-04 14:11:27,103 - vIMS - INFO - vIMS VNF deployment duration:'923.0'
 660     2016-02-04 14:14:31,976 - vIMS - INFO - vIMS functional test Start Time:'2016-02-04 14:14:31'
 661     2016-02-04 14:15:45,880 - vIMS - INFO - vIMS functional test duration:'73.9'
 662     2016-02-04 14:15:46,113 - vIMS - INFO - Launching the clearwater-opnfv undeployment
 663     2016-02-04 14:18:12,604 - vIMS - INFO - Launching the cloudify-manager undeployment
 664     2016-02-04 14:18:51,808 - vIMS - INFO - Cloudify-manager server has been successfully removed!
 665     2016-02-04 14:18:51,870 - vIMS - INFO - Removing vIMS tenant ..
 666     2016-02-04 14:18:52,131 - vIMS - INFO - Removing vIMS user ..
 667
 668 Please note that vIMS traces can bee summarized in several steps:
 669
 670  * INFO: environment prepared successfully => environment OK
 671  * INFO - Cloudify-manager server is UP ! => orchestrator deployed
 672  * INFO - The deployment of clearwater-opnfv is ended => VNF deployed
 673  * Multiple Identities (UDP) - (6505550771, 6505550675) Passed => tests run
 674  * DEBUG - Pushing results to DB.... => tests saved
 675
 676
 677 Promise
 678 ^^^^^^^
 679
 680 The results can be observed in the console::
 681
 682     Running test case: promise
 683     ----------------------------------------------
 684     FUNCTEST.info: Running PROMISE test case...
 685     2016-02-04 07:10:37,735 - Promise- INFO - Creating tenant 'promise'...
 686     2016-02-04 07:10:37,893 - Promise- INFO - Adding role '59828986a9a94dfaa852548599fde628' to tenant 'promise'...
 687     2016-02-04 07:10:38,005 - Promise- INFO - Creating user 'promiser'...
 688     2016-02-04 07:10:38,128 - Promise- INFO - Updating OpenStack credentials...
 689     2016-02-04 07:10:38,157 - Promise- INFO - Creating image 'promise-img' from '/home/opnfv/functest/data/cirros-0.3.4-x86_64-disk.img'...
 690     2016-02-04 07:10:42,016 - Promise- INFO - Creating flavor 'promise-flavor'...
 691     2016-02-04 07:10:42,836 - Promise- INFO - Exporting environment variables...
 692     2016-02-04 07:10:42,836 - Promise- INFO - Running command: DEBUG=1 npm run -s test -- --reporter json
 693     2016-02-04 07:10:51,505 - Promise- INFO - The test succeeded.
 694     ....
 695     **********************************
 696         Promise test summary
 697     **********************************
 698     Test start: Thu Feb 04 07:10:42 UTC 2016
 699     Test end: Thu Feb 04 07:10:51 UTC 2016
 700     Execution time: 8.7
 701     Total tests executed: 33
 702     Total tests failed: 0
 703     **********************************
 704
 705
 706
 707 Functest in test Dashboard
 708 ==========================
 709
 710 The OPNFV testing group created a test collection database to collect the test
 711 results from CI.
 712 Any test project running on any lab integrated in CI can push the results to
 713 this database.
 714 This database can be used afterwards to see the evolution of the tests and
 715 compare the results versus the installers, the scenario or the labs.
 716
 717 You can find more information about the dashboard from Testing Dashboard wiki
 718 page `[6]`_.
 719
 720
 721 Overall Architecture
 722 --------------------
 723
 724 The Test result management in Brahmaputra can be summarized as follows::
 725
 726   +-------------+    +-------------+    +-------------+
 727   |             |    |             |    |             |
 728   |   Test      |    |   Test      |    |   Test      |
 729   | Project #1  |    | Project #2  |    | Project #N  |
 730   |             |    |             |    |             |
 731   +-------------+    +-------------+    +-------------+
 732            |               |               |
 733            V               V               V
 734        +-----------------------------------------+
 735        |                                         |
 736        |         Test Rest API front end         |
 737        |  http://testresults.opnfv.org/testapi   |
 738        |                                         |
 739        +-----------------------------------------+
 740            A                |
 741            |                V
 742            |     +-------------------------+
 743            |     |                         |
 744            |     |    Test Results DB      |
 745            |     |         Mongo DB        |
 746            |     |                         |
 747            |     +-------------------------+
 748            |
 749            |
 750      +----------------------+
 751      |                      |
 752      |    test Dashboard    |
 753      |                      |
 754      +----------------------+
 755
 756 The Test dashboard URL is: TODO LF
 757 A proto Test dashboard has been realized: http://testresults.opnfv.org/proto/
 758
 759 Test API description
 760 --------------------
 761
 762 The Test API is used to declare pods, projects, test cases and test results. An
 763 additional method dashboard has been added to post-process the raw results. The
 764 data model is very basic, 4 objects are created:
 765
 766   * Pods
 767   * Test projects
 768   * Test cases
 769   * Test results
 770
 771 Pods::
 772
 773   {
 774     "id": <ID>,
 775     "details": <URL description of the POD>,
 776     "creation_date": YYYY-MM-DD HH:MM:SS ,
 777     "name": <The POD Name>,
 778     "mode": <metal or virtual>
 779   },
 780
 781 Test project::
 782
 783   {
 784     "id": <ID>,
 785     "name": <Name of the Project>,
 786     "creation_date": "YYYY-MM-DD HH:MM:SS",
 787     "description": <Short description>
 788   },
 789
 790 Test case::
 791
 792   {
 793     "id": <ID>,
 794     "name":<Name of the test case>,
 795     "creation_date": "YYYY-MM-DD HH:MM:SS",
 796     "description": <short description>,
 797     "url":<URL for longer description>
 798   },
 799
 800 Test results::
 801
 802   {
 803     "_id": <ID,
 804     "project_name": <Reference to project>,
 805     "pod_name": <Reference to POD where the test was executed>,
 806     "version": <Scenario on which the test was executed>,
 807     "installer": <Installer Apex or Compass or Fuel or Joid>,
 808     "description": <Short description>,
 809     "creation_date": "YYYY-MM-DD HH:MM:SS",
 810     "case_name": <Reference to the test case>
 811     "details":{
 812        <- the results to be put here ->
 813     }
 814
 815
 816 For Brahmaputra, we got:
 817
 818  * 16 pods
 819  * 18 projects
 820  * 101 test cases
 821
 822 The projects and the test cases have been frozen in December.
 823 But all were not ready for Brahmaputra.
 824
 825
 826
 827 The API can described as follows:
 828
 829 Version:
 830
 831  +--------+--------------------------+-----------------------------------------+
 832  | Method | Path                     | Description                             |
 833  +========+==========================+=========================================+
 834  | GET    | /version                 | Get API version                         |
 835  +--------+--------------------------+-----------------------------------------+
 836
 837
 838 Pods:
 839
 840  +--------+--------------------------+-----------------------------------------+
 841  | Method | Path                     | Description                             |
 842  +========+==========================+=========================================+
 843  | GET    | /pods                    | Get the list of declared Labs (PODs)    |
 844  +--------+--------------------------+-----------------------------------------+
 845  | POST   | /pods                    | Declare a new POD                       |
 846  |        |                          | Content-Type: application/json          |
 847  |        |                          | {                                       |
 848  |        |                          |   "name": "pod_foo",                    |
 849  |        |                          |   "creation_date": "YYYY-MM-DD HH:MM:SS"|
 850  |        |                          | }                                       |
 851  +--------+--------------------------+-----------------------------------------+
 852
 853 Projects:
 854
 855  +--------+--------------------------+-----------------------------------------+
 856  | Method | Path                     | Description                             |
 857  +========+==========================+=========================================+
 858  | GET    | /test_projects           | Get the list of test projects           |
 859  +--------+--------------------------+-----------------------------------------+
 860  | GET    |/test_projects/{project}  | Get details on {project}                |
 861  |        |                          |                                         |
 862  +--------+--------------------------+-----------------------------------------+
 863  | POST   | /test_projects           | Add a new test project                  |
 864  |        |                          | Content-Type: application/json          |
 865  |        |                          | {                                       |
 866  |        |                          |    "name": "project_foo",               |
 867  |        |                          |    "description": "whatever you want"   |
 868  |        |                          | }                                       |
 869  +--------+--------------------------+-----------------------------------------+
 870  | PUT    | /test_projects/{project} | Update a test project                   |
 871  |        |                          |                                         |
 872  |        |                          | Content-Type: application/json          |
 873  |        |                          | {                                       |
 874  |        |                          |    <the field(s) you want to modify>    |
 875  |        |                          | }                                       |
 876  +--------+--------------------------+-----------------------------------------+
 877  | DELETE | /test_projects/{project} | Delete a test project                   |
 878  +--------+--------------------------+-----------------------------------------+
 879
 880
 881 Test cases:
 882
 883  +--------+--------------------------+-----------------------------------------+
 884  | Method | Path                     | Description                             |
 885  +========+==========================+=========================================+
 886  | GET    | /test_projects/{project}/| Get the list of test cases of {project} |
 887  |        | cases                    |                                         |
 888  +--------+--------------------------+-----------------------------------------+
 889  | POST   | /test_projects/{project}/| Add a new test case to {project}        |
 890  |        | cases                    | Content-Type: application/json          |
 891  |        |                          | {                                       |
 892  |        |                          |   "name": "case_foo",                   |
 893  |        |                          |   "description": "whatever you want"    |
 894  |        |                          |   "creation_date": "YYYY-MM-DD HH:MM:SS"|
 895  |        |                          |   "url": "whatever you want"            |
 896  |        |                          | }                                       |
 897  +--------+--------------------------+-----------------------------------------+
 898  | PUT    | /test_projects/{project}?| Modify a test case of {project}         |
 899  |        | case_name={case}         |                                         |
 900  |        |                          | Content-Type: application/json          |
 901  |        |                          | {                                       |
 902  |        |                          |    <the field(s) you want to modify>    |
 903  |        |                          | }                                       |
 904  +--------+--------------------------+-----------------------------------------+
 905  | DELETE | /test_projects/{project}/| Delete a test case                      |
 906  |        | case_name={case}         |                                         |
 907  +--------+--------------------------+-----------------------------------------+
 908
 909 Test Results:
 910
 911  +--------+--------------------------+-----------------------------------------+
 912  | Method | Path                     | Description                             |
 913  +========+==========================+=========================================+
 914  | GET    |/results/project={project}| Get the test results of {project}       |
 915  +--------+--------------------------+-----------------------------------------+
 916  | GET    |/results/case={case}      | Get the test results of {case}          |
 917  +--------+--------------------------+-----------------------------------------+
 918  | GET    |/results?pod={pod}        | get the results on pod {pod}            |
 919  +--------+--------------------------+-----------------------------------------+
 920  | GET    |/results?installer={inst} | Get the test results of installer {inst}|
 921  +--------+--------------------------+-----------------------------------------+
 922  | GET    |/results?version={version}| Get the test results of scenario        |
 923  |        |                          | {version}. Initially the version param  |
 924  |        |                          | was reflecting git version, in Functest |
 925  |        |                          | it was decided to move to scenario      |
 926  +--------+--------------------------+-----------------------------------------+
 927  | GET    |/results?project={project}| Get all the results of the test case    |
 928  |        |&case={case}              | {case} of the project {project} with    |
 929  |        |&version={scenario}       | version {scenario} installed by         |
 930  |        |&installer={installer}    | {installer} on POD {pod} stored since   |
 931  |        |&pod={pod}                | {days} days                             |
 932  |        |                          | {project_name} and {case_name} are      |
 933  |        |&period={days}            | mandatory, the other parameters are     |
 934  |        |                          | optional.                               |
 935  +--------+--------------------------+-----------------------------------------+
 936  | POST   | /results                 | Add a new test results                  |
 937  |        |                          | Content-Type: application/json          |
 938  |        |                          | {                                       |
 939  |        |                          |    "project_name": "project_foo",       |
 940  |        |                          |    "case_name": "case_foo",             |
 941  |        |                          |    "pod_name": "pod_foo",               |
 942  |        |                          |    "installer": "installer_foo",        |
 943  |        |                          |    "version": "scenario_foo",           |
 944  |        |                          |    "details": <your results>            |
 945  |        |                          | }                                       |
 946  +--------+--------------------------+-----------------------------------------+
 947
 948
 949 Dashboard:
 950
 951  +--------+--------------------------+-----------------------------------------+
 952  | Method | Path                     | Description                             |
 953  +========+==========================+=========================================+
 954  | GET    |/dashboard?               | Get all the dashboard ready results of  |
 955  |        |&project={project}        | {case} of the project {project}         |
 956  |        |&case={case}              | version {scenario} installed by         |
 957  |        |&version={scenario}       | {installer} on POD {pod} stored since   |
 958  |        |&installer={installer}    | {days} days                             |
 959  |        |&pod={pod}                |                                         |
 960  |        |&period={days}            | {project_name} and {case_name} are      |
 961  |        |                          | mandatory, the other parameters are     |
 962  |        |                          | optional.                               |
 963  +--------+--------------------------+-----------------------------------------+
 964
 965
 966 The results with dashboard method are post-processed from raw results.
 967 Please note that dashboard results are not stored. Only raw results are stored.
 968
 969
 970
 971 Test Dashboard
 972 --------------
 973
 974 Based on dashboard post-porcessed results, a Test dashboard is automatically
 975 generated.
 976
 977 TODO LF
 978 or http://testresults.opnfv.org/proto/
 979
 980
 981 Troubleshooting
 982 ===============
 983
 984 VIM
 985 ---
 986
 987 vPing
 988 ^^^^^
 989
 990 vPing should work on all the scenarios. In case of timeout, check your network
 991 connectivity. The test case creates its own security group to allow SSH access,
 992 check your network settings and your security rules.
 993
 994
 995 vPing_userdata
 996 ^^^^^^^^^^^^^^
 997
 998 Cloud-init in not supported on scenario dealing with ONOS.
 999
1000 Tempest
1001 ^^^^^^^
1002
1003 In the upstream OpenStack CI all the Tempest test cases are supposed to pass.
1004 If some test cases fail in an OPNFV deployment, the reason is very probably one
1005 of the following::
1006
1007  +-----------------------------+------------------------------------------------+
1008  | Error                       | Details                                        |
1009  +=============================+================================================+
1010  | Resources required for test | Such resources could be e.g. an external       |
1011  | case execution are missing  | network and access to the management subnet    |
1012  |                             | (adminURL) from the Functest docker container. |
1013  +-----------------------------+------------------------------------------------+
1014  | OpenStack components or     | Check running services in the controller and   |
1015  | services are missing or not | compute nodes (e.g. with "systemctl" or        |
1016  | configured properly         | "service" commands). Configuration parameters  |
1017  |                             | can be verified from related .conf files       |
1018  |                             | located under /etc/<component> directories.    |
1019  +-----------------------------+------------------------------------------------+
1020  | Some resources required for | The tempest.conf file, automatically generated |
1021  | execution test cases are    | by Rally in Functest, does not contain all the |
1022  | missing                     | needed parameters or some parameters are not   |
1023  |                             | set properly.                                  |
1024  |                             | The tempest.conf file is located in /home/opnfv|
1025  |                             | /.rally/tempest/for-deployment-<UUID> in       |
1026  |                             | Functest container                             |
1027  |                             | Use "rally deployment list" command in order to|
1028  |                             | check UUID of current deployment.              |
1029  +-----------------------------+------------------------------------------------+
1030
1031
1032 When some Tempest test case fails, captured traceback and possibly also related
1033 REST API requests/responses are output to the console.
1034 More detailed debug information can be found from tempest.log file stored into
1035 related Rally deployment folder.
1036
1037
1038 Rally
1039 ^^^^^
1040
1041 Same error causes than for Tempest mentioned above may lead to error in Rally.
1042
1043 Controllers
1044 -----------
1045
1046 ODL
1047 ^^^
1048 2 versions are supported in Brahmaputra depending on the scenario:
1049  * Lithium
1050  * Berylium
1051
1052 The upstream test suites have not been adapted, so you may get 18 or 15 tests
1053 passed on 18 depending on your configuration. The 3 testcases are partly failed
1054 due to wrong return code.
1055
1056 ONOS
1057 ^^^^
1058
1059 TODO
1060
1061 OpenContrail
1062 ^^^^^^^^^^^^
1063
1064
1065 Feature
1066 -------
1067
1068 vIMS
1069 ^^^^
1070
1071 TODO
1072
1073
1074 Promise
1075 ^^^^^^^
1076
1077 TODO
1078
1079 References
1080 ==========
1081
1082 .. _`[1]`: Functest configuration guide URL
1083 .. _`[2]`: http://docs.openstack.org/developer/tempest/overview.html
1084 .. _`[3]`: https://rally.readthedocs.org/en/latest/index.html
1085 .. _`[4]`: http://events.linuxfoundation.org/sites/events/files/slides/Functest%20in%20Depth_0.pdf
1086 .. _`[5]`: https://github.com/Orange-OpenSource/opnfv-cloudify-clearwater/blob/master/openstack-blueprint.yaml
1087 .. _`[6]`: https://wiki.opnfv.org/opnfv_test_dashboard
1088 .. _`[7]`: http://testresults.opnfv.org/testapi/test_projects/functest/cases
1089 .. _`[8]`: https://wiki.openstack.org/wiki/Governance/DefCoreCommittee
1090 .. _`[9]`: https://git.opnfv.org/cgit/functest/tree/testcases/VIM/OpenStack/CI/libraries/os_defaults.yaml
1091 .. _`[10]`: https://git.opnfv.org/cgit/functest/tree/testcases/VIM/OpenStack/CI/rally_cert/task.yaml
1092
1093 OPNFV main site: opnfvmain_.
1094
1095 OPNFV functional test page: opnfvfunctest_.
1096
1097 IRC support chan: #opnfv-testperf
1098
1099 .. _opnfvmain: http://www.opnfv.org
1100 .. _opnfvfunctest: https://wiki.opnfv.org/opnfv_functional_testing
1101 .. _`OpenRC`: http://docs.openstack.org/user-guide/common/cli_set_environment_variables_using_openstack_rc.html
1102 .. _`Rally installation procedure`: https://rally.readthedocs.org/en/latest/tutorial/step_0_installation.html
1103 .. _`config_test.py` : https://git.opnfv.org/cgit/functest/tree/testcases/config_functest.py
1104 .. _`config_functest.yaml` : https://git.opnfv.org/cgit/functest/tree/testcases/config_functest.yaml