docs/userguide/index.rst

   1 =========================
   2 OPNFV FUNCTEST user guide
   3 =========================
   4
   5 .. toctree::
   6    :numbered:
   7    :maxdepth: 2
   8
   9
  10 Introduction
  11 ============
  12
  13 The goal of this documents is to describe the Functest test cases as well as
  14 provide a procedure about how to execute them.
  15
  16 A presentation has been created for the first OPNFV Summit `[4]`_.
  17
  18 It is assumed that Functest container has been properly installed `[1]`_.
  19
  20 .. include:: ./description.rst
  21
  22 The different scenarios are described in the section hereafter.
  23
  24 VIM (Virtualized Infrastructure Manager)
  25 ---
  26
  27 vPing
  28 ^^^^^
  29
  30 Given the script 'ping.sh'::
  31
  32     #!/bin/sh
  33     while true; do
  34         ping -c 1 $1 2>&1 >/dev/null
  35         RES=$?
  36         if [ "Z$RES" = "Z0" ] ; then
  37             echo 'vPing OK'
  38             break
  39         else
  40             echo 'vPing KO'
  41         fi
  42     sleep 1
  43     done
  44
  45 The goal of this test is described as follows::
  46
  47  vPing test case
  48  +-------------+                    +-------------+
  49  |             |                    |             |
  50  |             | Boot VM1 with IP1  |             |
  51  |             +------------------->|             |
  52  |   Tester    |                    |   System    |
  53  |             | Boot VM2           |    Under    |
  54  |             +------------------->|     Test    |
  55  |             |                    |             |
  56  |             | Create floating IP |             |
  57  |             +------------------->|             |
  58  |             |                    |             |
  59  |             | Assign floating IP |             |
  60  |             | to VM2             |             |
  61  |             +------------------->|             |
  62  |             |                    |             |
  63  |             | Stablish SSH       |             |
  64  |             | connection to VM2  |             |
  65  |             | through floating IP|             |
  66  |             +------------------->|             |
  67  |             |                    |             |
  68  |             | SCP ping.sh to VM2 |             |
  69  |             +------------------->|             |
  70  |             |                    |             |
  71  |             | VM2 executes       |             |
  72  |             | ping.sh to VM1     |             |
  73  |             +------------------->|             |
  74  |             |                    |             |
  75  |             |    If ping:        |             |
  76  |             |      exit OK       |             |
  77  |             |    else (timeout)  |             |
  78  |             |      exit Failed   |             |
  79  |             |                    |             |
  80  +-------------+                    +-------------+
  81
  82 This test can be considered as an "Hello World" example.
  83 It is the first basic use case which shall work on any deployment.
  84
  85 vPing_userdata
  86 ^^^^^^^^^^^^^^
  87
  88 The goal of this test can be described as follows::
  89
  90  vPing_userdata test case
  91  +-------------+                    +-------------+
  92  |             |                    |             |
  93  |             | Boot VM1 with IP1  |             |
  94  |             +------------------->|             |
  95  |             |                    |             |
  96  |             | Boot VM2 with      |             |
  97  |             | ping.sh as userdata|             |
  98  |             | with IP1 as $1.    |             |
  99  |             +------------------->|             |
 100  |   Tester    |                    |   System    |
 101  |             | VM2 exeutes ping.sh|    Under    |
 102  |             | (ping IP1)         |     Test    |
 103  |             +------------------->|             |
 104  |             |                    |             |
 105  |             | Monitor nova       |             |
 106  |             |  console-log VM 2  |             |
 107  |             |    If ping:        |             |
 108  |             |      exit OK       |             |
 109  |             |    else (timeout)  |             |
 110  |             |      exit Failed   |             |
 111  |             |                    |             |
 112  +-------------+                    +-------------+
 113
 114 This scenario is similar to the previous one but it uses cloud-init (nova
 115 metadata service) instead of floating IPs and SSH connection. When the second VM
 116 boots it will execute the script automatically and the ping will be detected
 117 capturing periodically the output in the console-log of the second VM.
 118
 119
 120 Tempest
 121 ^^^^^^^
 122
 123 Tempest `[2]`_ is the reference OpenStack Integration test suite.
 124 It is a set of integration tests to be run against a live OpenStack cluster.
 125 Tempest has batteries of tests for:
 126
 127   * OpenStack API validation
 128   * Scenarios
 129   * Other specific tests useful in validating an OpenStack deployment
 130
 131 Functest uses Rally `[3]`_ to run the Tempest suite.
 132 Rally generates automatically the Tempest configuration file (tempest.conf).
 133 Before running the actual test cases, Functest creates the needed resources and
 134 updates the appropriate parameters to the configuration file.
 135 When the Tempest suite is executed, each test duration is measured and the full
 136 console output is stored in the tempest.log file for further analysis.
 137
 138 As an addition of Arno, Brahmaputra runs a customized set of Tempest test cases.
 139 The list is specificed through *--tests-file* when running Rally.
 140 This option has been introduced in Rally in version 0.1.2.
 141
 142 The customized test list is available in the Functest repo `[4]`_.
 143 This list contains more than 200 Tempest test cases and can be divided
 144 into two main sections:
 145
 146   1) Set of tempest smoke test cases
 147   2) Set of test cases from DefCore list `[8]`_
 148
 149 The goal of the Tempest test suite is to check the basic functionalities of
 150 different OpenStack components on an OPNFV fresh installation using
 151 the corresponding REST API interfaces.
 152
 153
 154 Rally bench test suites
 155 ^^^^^^^^^^^^^^^^^^^^^^^
 156
 157 Rally `[3]`_ is a benchmarking tool that answers the question::
 158
 159  “How does OpenStack work at scale?”.
 160
 161 The goal of this test suite is to benchmark the different OpenStack modules and
 162 get significant figures that could help to define Telco Cloud KPIs.
 163
 164 The OPNFV scenarios are based on the collection of the existing Rally scenarios:
 165
 166  * authenticate
 167  * cinder
 168  * glance
 169  * heat
 170  * keystone
 171  * neutron
 172  * nova
 173  * quotas
 174  * requests
 175
 176 A basic SLA (stop test on errors) have been implemented.
 177
 178
 179 SDN Controllers
 180 ---------------
 181
 182 Brahmaputra introduces new SDN controllers.
 183 There are currently 3 possible controllers:
 184
 185  * OpenDaylight (ODL)
 186  * ONOS
 187  * OpenContrail (OCL)
 188
 189 OpenDaylight
 190 ^^^^^^^^^^^^
 191
 192 The OpenDaylight (ODL) test suite consists of a set of basic tests inherited
 193 from the ODL project using the Robot `[11]`_ framework.
 194 The suite verifies creation and deletion of networks, subnets and ports with
 195 OpenDaylight and Neutron.
 196
 197 The list of tests can be described as follows:
 198
 199  * Restconf.basic: Get the controller modules via Restconf
 200  * Neutron.Networks
 201
 202    * Check OpenStack Networks :: Checking OpenStack Neutron for known networks
 203    * Check OpenDaylight Networks :: Checking OpenDaylight Neutron API
 204    * Create Network :: Create new network in OpenStack
 205    * Check Network :: Check Network created in OpenDaylight
 206    * Neutron.Networks :: Checking Network created in OpenStack are pushed
 207
 208  * Neutron.Subnets
 209
 210    * Check OpenStack Subnets :: Checking OpenStack Neutron for known Subnets
 211    * Check OpenDaylight subnets :: Checking OpenDaylight Neutron API
 212    * Create New subnet :: Create new subnet in OpenStack
 213    * Check New subnet :: Check new subnet created in OpenDaylight
 214    * Neutron.Subnets :: Checking Subnets created in OpenStack are pushed
 215
 216  * Neutron.Ports
 217
 218    * Check OpenStack ports :: Checking OpenStack Neutron for known ports
 219    * Check OpenDaylight ports :: Checking OpenDaylight Neutron API
 220    * Create New Port :: Create new port in OpenStack
 221    * Check New Port :: Check new subnet created in OpenDaylight
 222    * Neutron.Ports :: Checking Port created in OpenStack are pushed
 223
 224  * Delete Ports
 225
 226    * Delete previously created subnet in OpenStack
 227    * Check subnet deleted in OpenDaylight
 228    * Check subnet deleted in OpenStack
 229
 230  * Delete network
 231
 232    * Delete previously created network in OpenStack
 233    * Check network deleted in OpenDaylight
 234    * Check network deleted in OpenStack
 235
 236
 237 ONOS
 238 ^^^^
 239
 240 TestON Framework is used to test the ONOS SDN controller functions.
 241 The test cases deal with L2 and L3 functions.
 242 The ONOS test suite can be run on any ONOS compliant scenario.
 243
 244 The test cases may be described as follows:
 245
 246  * onosfunctest: The main executable file contains the initialization of
 247    the docker environment and functions called by FUNCvirNetNB and
 248    FUNCvirNetNBL3
 249
 250  * FUNCvirNetNB
 251
 252    * Create Network: Post Network data and check it in ONOS
 253    * Update Network: Update the Network and compare it in ONOS
 254    * Delete Network: Delete the Network and check if it's NULL in ONOS or
 255      not
 256    * Create Subnet: Post Subnet data and check it in ONOS
 257    * Update Subnet: Update the Subnet and compare it in ONOS
 258    * Delete Subnet: Delete the Subnet and check if it's NULL in ONOS or not
 259    * Create Port: Post Port data and check it in ONOS
 260    * Update Port: Update the Port and compare it in ONOS
 261    * Delete Port: Delete the Port and check if it's NULL in ONOS or not
 262
 263  * FUNCvirNetNBL3
 264
 265    * Create Router: Post dataes for create Router and check it in ONOS
 266    * Update Router: Update the Router and compare it in ONOS
 267    * Delete Router: Delete the Router dataes and check it in ONOS
 268    * Create RouterInterface: Post RouterInterface data to an exist Router
 269      and check it in ONOS
 270    * Delete RouterInterface: Delete the RouterInterface and check the Router
 271    * Create FloatingIp: Post dataes for create FloatingIp and check it in
 272      ONOS
 273    * Update FloatingIp: Update the FloatingIp and compare it in ONOS
 274    * Delete FloatingIp: Delete the FloatingIp and check if it's NULL in
 275      ONOS  or not
 276    * Create External Gateway: Post dataes for create External Gateway to an
 277      exit Router and check it
 278    * Update External Gateway: Update the External Gateway and compare it
 279    * Delete External Gateway: Delete the External Gateway and check if it's
 280      NULL in ONOS or not
 281
 282
 283 OpenContrail
 284 ^^^^^^^^^^^^
 285 TODO OVNO
 286
 287
 288
 289 Features
 290 --------
 291
 292 vIMS
 293 ^^^^
 294 The goal of this test suite consists of:
 295
 296  * deploy a VNF orchestrator (Cloudify)
 297  * deploy a Clearwater vIMS (IP Multimedia Subsystem) VNF from this
 298    orchestrator based on a TOSCA blueprint defined in `[5]`_
 299  * run suite of signaling tests on top of this VNF
 300
 301 The Clearwater architecture is described as follows:
 302
 303 .. figure:: ../images/clearwater-architecture.png
 304    :align: center
 305    :alt: vIMS architecture
 306
 307 Two types of information are stored in the Test Database:
 308
 309  * the duration of each step (orchestion deployment, VNF deployment and test)
 310  * the test results
 311
 312 The deployment of a complete functional VNF allows the test of most of the
 313 essential functions needed for a NFV platform.
 314
 315 Promise
 316 ^^^^^^^
 317
 318 Promise provides a basic set of test cases as part of Brahmaputra.
 319
 320 The available 33 test cases can be grouped into 7 test suites:
 321
 322     #. Add a new OpenStack provider into resource pool: Registers
 323        OpenStack into a new resource pool and adds more capacity associated
 324        with this pool.
 325
 326     #. Allocation without reservation: Creates a new server in OpenStack
 327        and adds a new allocation record in Promise shim-layer.
 328
 329     #. Allocation using reservation for immediate use: Creates a resource
 330        reservation record with no start/end time and immediately creates a new
 331        server in OpenStack and add a new allocation record in Promise
 332        shim-layer.
 333
 334     #. Reservation for future use: Creates a resource reservation record
 335        for a future start time, queries, modifies and cancels the newly created
 336        reservation.
 337
 338     #. Capacity planning: Decreases and increases the available capacity
 339        from a provider in the future and queries the available collections and
 340        utilizations.
 341
 342     #. Reservation with conflict: Tries to create reservations for
 343        immediate and future use with conflict.
 344
 345     #. Cleanup test allocations: Destroys all allocations in OpenStack.
 346
 347
 348 The specific parameters for Promise can be found in config_functest.yaml and
 349 include::
 350
 351    promise:
 352      general:
 353          tenant_name: Name of the OpenStack tenant/project (e.g. promise)
 354          tenant_description: Description of the OpenStack tenant (e.g. promise Functionality Testing)
 355          user_name: Name of the user tenant (e.g. promiser)
 356          user_pwd: Password of the user tenant (e.g. test)
 357          image_name: Name of the software image (e.g. promise-img)
 358          flavor_name: Name of the flavor (e.g. promise-flavor with 1 vCPU and 512 MB RAM)
 359          flavor_vcpus: 1
 360          flavor_ram: 512
 361          flavor_disk: 0
 362
 363 However, these parameters must not be changed, as they are the values expected
 364 by the Promise test suite.
 365
 366 .. include:: ./runfunctest.rst
 367
 368 Test results
 369 ============
 370
 371 VIM
 372 ---
 373
 374 vPing
 375 ^^^^^
 376
 377 vPing test case output is displayed in the console::
 378
 379   FUNCTEST.info: Running vPing test...
 380   2016-01-23 03:18:20,153 - vPing- INFO - Creating neutron network vping-net...
 381   2016-01-23 03:18:35,476 - vPing- INFO - Flavor found 'm1.small'
 382   2016-01-23 03:18:36,350 - vPing- INFO - vPing Start Time:'2016-01-23 03:18:36'
 383   2016-01-23 03:18:38,571 - vPing- INFO - Creating instance 'opnfv-vping-1' with IP 192.168.130.30...
 384   2016-01-23 03:18:53,716 - vPing- INFO - Instance 'opnfv-vping-1' is ACTIVE.
 385   2016-01-23 03:18:55,239 - vPing- INFO - Creating instance 'opnfv-vping-2' with IP 192.168.130.40...
 386   2016-01-23 03:19:15,593 - vPing- INFO - Instance 'opnfv-vping-2' is ACTIVE.
 387   2016-01-23 03:19:15,593 - vPing- INFO - Creating floating IP for the second VM...
 388   2016-01-23 03:19:18,017 - vPing- INFO - Floating IP created: '10.2.65.6'
 389   2016-01-23 03:19:18,017 - vPing- INFO - Associating floating ip: '10.2.65.6' to VM2
 390   2016-01-23 03:19:37,839 - vPing- INFO - SCP ping script to VM2...
 391   2016-01-23 03:19:37,839 - vPing- INFO - Waiting for ping...
 392   2016-01-23 03:19:40,130 - vPing- INFO - vPing detected!
 393   2016-01-23 03:19:40,130 - vPing- INFO - vPing duration:'63.8'
 394   2016-01-23 03:19:40,130 - vPing- INFO - Cleaning up...
 395   2016-01-23 03:20:06,574 - vPing- INFO - Deleting network 'vping-net'...
 396   2016-01-23 03:20:13,587 - vPing- INFO - vPing OK
 397
 398
 399
 400
 401 vPing_userdata
 402 ^^^^^^^^^^^^^^
 403
 404 vPing_userdata results are displayed in the console::
 405
 406     2016-01-06 16:06:20,550 - vPing- INFO - Creating neutron network vping-net...
 407     2016-01-06 16:06:23,867 - vPing- INFO - Flavor found 'm1.small'
 408     2016-01-06 16:06:24,457 - vPing- INFO - vPing Start Time:'2016-01-06 16:06:24'
 409     2016-01-06 16:06:24,626 - vPing- INFO - Creating instance 'opnfv-vping-1' with IP 192.168.130.30...
 410     2016-01-06 16:06:39,351 - vPing- INFO - Instance 'opnfv-vping-1' is ACTIVE.
 411     2016-01-06 16:06:39,650 - vPing- INFO - Creating instance 'opnfv-vping-2' with IP 192.168.130.40...
 412     2016-01-06 16:06:53,330 - vPing- INFO - Instance 'opnfv-vping-2' is ACTIVE.
 413     2016-01-06 16:06:53,330 - vPing- INFO - Waiting for ping...
 414     2016-01-06 16:06:58,669 - vPing- INFO - vPing detected!
 415     2016-01-06 16:06:58,669 - vPing- INFO - vPing duration:'34.2'
 416     2016-01-06 16:06:58,670 - vPing- INFO - Cleaning up...
 417     2016-01-06 16:07:12,661 - vPing- INFO - Deleting network 'vping-net'...
 418     2016-01-06 16:07:14,748 - vPing- INFO - vPing OK
 419
 420 Tempest
 421 ^^^^^^^
 422
 423 The Tempest results are displayed in the console::
 424
 425   FUNCTEST.info: Running Tempest tests...
 426   2016-01-28 07:56:55,380 - run_tempest - INFO - Creating tenant and user for Tempest suite
 427   2016-01-28 07:56:56.127 23795 INFO rally.verification.tempest.tempest [-] Starting: Creating configuration file for Tempest.
 428   2016-01-28 07:56:59.512 23795 INFO rally.verification.tempest.tempest [-] Completed: Creating configuration file for Tempest.
 429   16-01-28 07:57:00,597 - run_tempest - INFO - Starting Tempest test suite: '--tests-file /home/opnfv/repos/functest/testcases/VIM/OpenStack/CI/custom_tests/test_list.txt'.
 430   Total results of verification:
 431   .
 432   +--------------------------------------+--------------------------------------+----------+-------+----------+----------------------------+----------+
 433   | UUID                                 | Deployment UUID                      | Set name | Tests | Failures | Created at                 | Status   |
 434   +--------------------------------------+--------------------------------------+----------+-------+----------+----------------------------+----------+
 435   | e0bf7770-2c0f-4c63-913c-cd51a6edd96d | 16582e1e-7b01-4d5d-9c13-a26db8567b7b |          | 144   | 30       | 2016-01-28 07:57:01.044856 | finished |
 436   +--------------------------------------+--------------------------------------+----------+-------+----------+----------------------------+----------+
 437   .
 438   Tests:
 439   .
 440   +------------------------------------------------------------------------------------------------------------------------------------------+-----------+---------+
 441   | name                                                                                                                                     | time      | status  |
 442   +------------------------------------------------------------------------------------------------------------------------------------------+-----------+---------+
 443   | tempest.api.compute.flavors.test_flavors.FlavorsV2TestJSON.test_get_flavor                                                               | 0.29804   | success |
 444   | tempest.api.compute.flavors.test_flavors.FlavorsV2TestJSON.test_list_flavors                                                             | 0.06289   | success |
 445   | tempest.api.compute.images.test_images.ImagesTestJSON.test_delete_saving_image                                                           | 9.21756   | success |
 446   | tempest.api.compute.images.test_images_oneserver.ImagesOneServerTestJSON.test_create_delete_image                                        | 8.65376   | success |
 447   | tempest.api.compute.images.test_images_oneserver.ImagesOneServerTestJSON.test_create_image_specify_multibyte_character_image_name        | 9.10993   | success |
 448   | tempest.api.compute.images.test_list_image_filters.ListImageFiltersTestJSON.test_list_images_filter_by_changes_since                     | 0.19585   | success |
 449   ...........................................
 450   2016-01-28 08:19:32,132 - run_tempest - INFO - Results: {'timestart': '2016-01-2807:57:01.044856', 'duration': 1350, 'tests': 144, 'failures': 30}
 451   2016-01-28 08:19:32,133 - run_tempest - INFO - Pushing results to DB: 'http://testresults.opnfv.org/testapi/results'.
 452   2016-01-28 08:19:32,278 - run_tempest - INFO - Deleting tenant and user for Tempest suite)
 453
 454 In order to check all the available test cases related debug information, inspect
 455 tempest.log file stored under */home/opnfv/functest/results/tempest/*.
 456
 457
 458 Rally
 459 ^^^^^
 460
 461 The Rally results are displayed in the console, each module is run one after the
 462 other. Tables are displayed::
 463
 464   +-------------------------------------------------------------------------------------------+
 465   |                                   Response Times (sec)                                    |
 466   +----------------------+-------+--------+--------+--------+-------+-------+---------+-------+
 467   | action               | min   | median | 90%ile | 95%ile | max   | avg   | success | count |
 468   +----------------------+-------+--------+--------+--------+-------+-------+---------+-------+
 469   | keystone.create_role | 0.358 | 0.572  | 0.772  | 0.811  | 1.106 | 0.603 | 100.0%  | 20    |
 470   | keystone.add_role    | 0.32  | 0.436  | 0.846  | 0.903  | 1.018 | 0.51  | 100.0%  | 20    |
 471   | keystone.list_roles  | 0.102 | 0.185  | 0.253  | 0.275  | 0.347 | 0.188 | 100.0%  | 20    |
 472   | total                | 0.845 | 1.223  | 1.821  | 1.822  | 1.823 | 1.302 | 100.0%  | 20    |
 473   +----------------------+-------+--------+--------+--------+-------+-------+---------+-------+
 474   Load duration: 7.13633608818
 475   Full duration: 36.7863121033
 476   ..............
 477   +------------------------------------------------------------------------------------------+
 478   |                                   Response Times (sec)                                   |
 479   +---------------------+-------+--------+--------+--------+-------+-------+---------+-------+
 480   | action              | min   | median | 90%ile | 95%ile | max   | avg   | success | count |
 481   +---------------------+-------+--------+--------+--------+-------+-------+---------+-------+
 482   | nova.create_keypair | 1.005 | 1.784  | 3.025  | 3.636  | 4.373 | 2.004 | 100.0%  | 20    |
 483   | nova.delete_keypair | 0.199 | 0.699  | 1.007  | 1.244  | 3.014 | 0.79  | 100.0%  | 20    |
 484   | total               | 1.249 | 2.625  | 4.259  | 4.845  | 5.131 | 2.794 | 100.0%  | 20    |
 485   +---------------------+-------+--------+--------+--------+-------+-------+---------+-------+
 486   Load duration: 14.9231169224
 487   Full duration: 71.4614388943
 488
 489
 490 At the end of the module test, a message is displayed to provide a global
 491 summary::
 492
 493   2016-02-04 12:50:18,382 - run_rally - INFO - Test scenario: "requests" OK.
 494
 495
 496 Controllers
 497 -----------
 498
 499 OpenDaylight
 500 ^^^^^^^^^^^^
 501
 502 The results of ODL tests can be seen in the console::
 503
 504  ==============================================================================
 505  Basic
 506  ==============================================================================
 507  Basic.010 Restconf OK :: Test suite to verify Restconf is OK
 508  ==============================================================================
 509  Get Controller Modules :: Get the controller modules via Restconf     | PASS |
 510  ------------------------------------------------------------------------------
 511  Basic.010 Restconf OK :: Test suite to verify Restconf is OK          | PASS |
 512  1 critical test, 1 passed, 0 failed
 513  1 test total, 1 passed, 0 failed
 514  ==============================================================================
 515  Basic                                                                 | PASS |
 516  1 critical test, 1 passed, 0 failed
 517  1 test total, 1 passed, 0 failed
 518  ==============================================================================
 519  Output:  /home/opnfv/repos/functest/output.xml
 520  Log:     /home/opnfv/repos/functest/log.html
 521  Report:  /home/opnfv/repos/functest/report.html
 522
 523  ..............................................................................
 524
 525  Neutron.Delete Networks :: Checking Network deleted in OpenStack a... | PASS |
 526  2 critical tests, 2 passed, 0 failed
 527  2 tests total, 2 passed, 0 failed
 528  ==============================================================================
 529  Neutron :: Test suite for Neutron Plugin                              | PASS |
 530  18 critical tests, 18 passed, 0 failed
 531  18 tests total, 18 passed, 0 failed
 532  ==============================================================================
 533  Output:  /home/opnfv/repos/functest/output.xml
 534  Log:     /home/opnfv/repos/functest/log.html
 535  Report:  /home/opnfv/repos/functest/report.html
 536
 537 3 result files are generated:
 538  * output.xml
 539  * log.html
 540  * report.html
 541
 542 **ODL result page**
 543
 544 .. figure:: ../images/functestODL.png
 545    :width: 170mm
 546    :align: center
 547    :alt: ODL suite result page
 548
 549
 550 ONOS
 551 ^^^^
 552
 553 The ONOS test logs can be found in OnosSystemTest/, and TestON/, and logs/
 554 (ONOSCI_PATH to be added), and can also be seen in the console::
 555
 556  ******************************
 557  Result summary for Testcase4
 558  ******************************
 559
 560  2016-01-14 05:25:40,529 - FUNCvirNetNBL3 - INFO - ONOS Router Delete test Start
 561
 562  [2016-01-14 05:25:40.529644] [FUNCvirNetNBL3] [CASE]  Virtual Network NBI Test - Router
 563  2016-01-14 05:25:40,530 - FUNCvirNetNBL3 - INFO - Generate Post Data
 564
 565  [2016-01-14 05:25:40.530825] [FUNCvirNetNBL3] [STEP]  4.1: Post Network Data via HTTP(Post Router need post network)
 566  2016-01-14 05:25:40,531 - FUNCvirNetNBL3 - INFO - Sending request http://192.168.122.56:8181/onos/vtn/networks/ using POST method.
 567  2016-01-14 05:25:40,539 - FUNCvirNetNBL3 - INFO - Verifying the Expected is equal to the actual or not using assert_equal
 568  2016-01-14 05:25:40,539 - FUNCvirNetNBL3 - INFO - Post Network Success
 569  2016-01-14 05:25:40,539 - FUNCvirNetNBL3 - INFO - Assertion Passed
 570
 571  [2016-01-14 05:25:40.539687] [FUNCvirNetNBL3] [STEP]  4.2: Post Router Data via HTTP
 572  2016-01-14 05:25:40,540 - FUNCvirNetNBL3 - INFO - Sending request http://192.168.122.56:8181/onos/vtn/routers/ using POST method.
 573  2016-01-14 05:25:40,543 - FUNCvirNetNBL3 - INFO - Verifying the Expected is equal to the actual or not using assert_equal
 574  2016-01-14 05:25:40,543 - FUNCvirNetNBL3 - INFO - Post Router Success
 575  2016-01-14 05:25:40,543 - FUNCvirNetNBL3 - INFO - Assertion Passed
 576
 577  [2016-01-14 05:25:40.543489] [FUNCvirNetNBL3] [STEP]  4.3: Delete Router Data via HTTP
 578  2016-01-14 05:25:40,543 - FUNCvirNetNBL3 - INFO - Sending request http://192.168.122.56:8181/onos/vtn/routers/e44bd655-e22c-4aeb-b1e9-ea1606875178 using DELETE method.
 579  2016-01-14 05:25:40,546 - FUNCvirNetNBL3 - INFO - Verifying the Expected is equal to the actual or not using assert_equal
 580  2016-01-14 05:25:40,546 - FUNCvirNetNBL3 - INFO - Delete Router Success
 581  2016-01-14 05:25:40,546 - FUNCvirNetNBL3 - INFO - Assertion Passed
 582
 583  [2016-01-14 05:25:40.546774] [FUNCvirNetNBL3] [STEP]  4.4: Get Router Data is NULL
 584  2016-01-14 05:25:40,547 - FUNCvirNetNBL3 - INFO - Sending request http://192.168.122.56:8181/onos/vtn/routers/e44bd655-e22c-4aeb-b1e9-ea1606875178 using GET method.
 585  2016-01-14 05:25:40,550 - FUNCvirNetNBL3 - INFO - Verifying the Expected is equal to the actual or not using assert_equal
 586  2016-01-14 05:25:40,550 - FUNCvirNetNBL3 - INFO - Get Router Success
 587  2016-01-14 05:25:40,550 - FUNCvirNetNBL3 - INFO - Assertion Passed
 588
 589
 590  *****************************
 591   Result: Pass
 592  *****************************
 593
 594  .......................................................................................
 595
 596  ******************************
 597   Result summary for Testcase9
 598  ******************************
 599  .......................................................................................
 600
 601
 602  [2016-01-14 05:26:42.543489] [FUNCvirNetNBL3] [STEP]  9.6: FloatingIp Clean Data via HTTP
 603  2016-01-14 05:26:42,543 - FUNCvirNetNBL3 - INFO - Sending request http://192.168.122.56:8181/onos/vtn/floatingips/e44bd655-e22c-4aeb-b1e9-ea1606875178 using DELETE method.
 604  2016-01-14 05:26:42,546 - FUNCvirNetNBL3 - INFO - Verifying the Expected is equal to the actual or not using assert_equal
 605  2016-01-14 05:26:42,546 - FUNCvirNetNBL3 - ERROR - Delete Floatingip failed
 606
 607  .......................................................................................
 608
 609  *****************************
 610   Result: Failed
 611  *****************************
 612
 613 There is a result summary for each testcase, and a global summary for the whole test.
 614 If any problem occurs during the test, a ERROR message will be provided in the test and the the global summary::
 615
 616  *************************************
 617          Test Execution Summary
 618  *************************************
 619
 620   Test Start           : 14 Jan 2016 05:25:37
 621   Test End             : 14 Jan 2016 05:25:41
 622   Execution Time       : 0:00:03.349087
 623   Total tests planned  : 11
 624   Total tests RUN      : 11
 625   Total Pass           : 8
 626   Total Fail           : 3
 627   Total No Result      : 0
 628   Success Percentage   : 72%
 629   Execution Result     : 100%
 630
 631
 632 OpenContrail
 633 ^^^^^^^^^^^^
 634
 635 TODO OVNO
 636
 637
 638 Feature
 639 -------
 640
 641 vIMS
 642 ^^^^
 643
 644 The results in the console can be described as follows::
 645
 646     FUNCTEST.info: Running vIMS test...
 647     2016-02-04 13:46:25,025 - vIMS - INFO - Prepare OpenStack plateform (create tenant and user)
 648     2016-02-04 13:46:25,312 - vIMS - INFO - Update OpenStack creds informations
 649     2016-02-04 13:46:25,312 - vIMS - INFO - Upload some OS images if it doesn't exist
 650     2016-02-04 13:46:25,566 - vIMS - INFO - centos_7 image doesn't exist on glance repository.
 651                                 Try downloading this image and upload on glance !
 652     2016-02-04 13:47:06,167 - vIMS - INFO - ubuntu_14.04 image doesn't exist on glance repository.
 653                                 Try downloading this image and upload on glance !
 654     2016-02-04 13:47:26,987 - vIMS - INFO - Update security group quota for this tenant
 655     2016-02-04 13:47:27,193 - vIMS - INFO - Update cinder quota for this tenant
 656     2016-02-04 13:47:27,746 - vIMS - INFO - Collect flavor id for cloudify manager server
 657     2016-02-04 13:47:28,326 - vIMS - INFO - Prepare virtualenv for cloudify-cli
 658     2016-02-04 13:48:00,657 - vIMS - INFO - Downloading the cloudify manager server blueprint
 659     2016-02-04 13:48:03,391 - vIMS - INFO - Cloudify deployment Start Time:'2016-02-04 13:48:03'
 660     2016-02-04 13:48:03,391 - vIMS - INFO - Writing the inputs file
 661     2016-02-04 13:48:03,395 - vIMS - INFO - Launching the cloudify-manager deployment
 662     2016-02-04 13:56:03,501 - vIMS - INFO - Cloudify-manager server is UP !
 663     2016-02-04 13:56:03,502 - vIMS - INFO - Cloudify deployment duration:'480.1'
 664     2016-02-04 13:56:03,502 - vIMS - INFO - Collect flavor id for all clearwater vm
 665     2016-02-04 13:56:04,093 - vIMS - INFO - vIMS VNF deployment Start Time:'2016-02-04 13:56:04'
 666     2016-02-04 13:56:04,093 - vIMS - INFO - Downloading the openstack-blueprint.yaml blueprint
 667     2016-02-04 13:56:06,265 - vIMS - INFO - Writing the inputs file
 668     2016-02-04 13:56:06,268 - vIMS - INFO - Launching the clearwater deployment
 669     2016-02-04 14:11:27,101 - vIMS - INFO - The deployment of clearwater-opnfv is ended
 670     2016-02-04 14:11:27,103 - vIMS - INFO - vIMS VNF deployment duration:'923.0'
 671     2016-02-04 14:14:31,976 - vIMS - INFO - vIMS functional test Start Time:'2016-02-04 14:14:31'
 672     2016-02-04 14:15:45,880 - vIMS - INFO - vIMS functional test duration:'73.9'
 673     2016-02-04 14:15:46,113 - vIMS - INFO - Launching the clearwater-opnfv undeployment
 674     2016-02-04 14:18:12,604 - vIMS - INFO - Launching the cloudify-manager undeployment
 675     2016-02-04 14:18:51,808 - vIMS - INFO - Cloudify-manager server has been successfully removed!
 676     2016-02-04 14:18:51,870 - vIMS - INFO - Removing vIMS tenant ..
 677     2016-02-04 14:18:52,131 - vIMS - INFO - Removing vIMS user ..
 678
 679 Please note that vIMS traces can bee summarized in several steps:
 680
 681  * INFO: environment prepared successfully => environment OK
 682  * INFO - Cloudify-manager server is UP ! => orchestrator deployed
 683  * INFO - The deployment of clearwater-opnfv is ended => VNF deployed
 684  * Multiple Identities (UDP) - (6505550771, 6505550675) Passed => tests run
 685
 686
 687 Promise
 688 ^^^^^^^
 689
 690 The results can be observed in the console::
 691
 692     Running test case: promise
 693     ----------------------------------------------
 694     FUNCTEST.info: Running PROMISE test case...
 695     2016-02-04 07:10:37,735 - Promise- INFO - Creating tenant 'promise'...
 696     2016-02-04 07:10:37,893 - Promise- INFO - Adding role '59828986a9a94dfaa852548599fde628' to tenant 'promise'...
 697     2016-02-04 07:10:38,005 - Promise- INFO - Creating user 'promiser'...
 698     2016-02-04 07:10:38,128 - Promise- INFO - Updating OpenStack credentials...
 699     2016-02-04 07:10:38,157 - Promise- INFO - Creating image 'promise-img' from '/home/opnfv/functest/data/cirros-0.3.4-x86_64-disk.img'...
 700     2016-02-04 07:10:42,016 - Promise- INFO - Creating flavor 'promise-flavor'...
 701     2016-02-04 07:10:42,836 - Promise- INFO - Exporting environment variables...
 702     2016-02-04 07:10:42,836 - Promise- INFO - Running command: DEBUG=1 npm run -s test -- --reporter json
 703     2016-02-04 07:10:51,505 - Promise- INFO - The test succeeded.
 704     ....
 705     **********************************
 706         Promise test summary
 707     **********************************
 708     Test start: Thu Feb 04 07:10:42 UTC 2016
 709     Test end: Thu Feb 04 07:10:51 UTC 2016
 710     Execution time: 8.7
 711     Total tests executed: 33
 712     Total tests failed: 0
 713     **********************************
 714
 715
 716 Test Dashboard
 717 ==============
 718
 719 Based on results collected in CI, a test dashboard is dynamically generated.
 720 The URL of this dashboard is TODO LF
 721
 722
 723 Troubleshooting
 724 ===============
 725
 726 VIM
 727 ---
 728
 729 vPing
 730 ^^^^^
 731
 732 vPing should work on all the scenarios. In case of timeout, check your network
 733 connectivity. The test case creates its own security group to allow SSH access,
 734 check your network settings and your security rules.
 735
 736
 737 vPing_userdata
 738 ^^^^^^^^^^^^^^
 739
 740 Cloud-init in not supported on scenario dealing with ONOS.
 741
 742 Tempest
 743 ^^^^^^^
 744
 745 In the upstream OpenStack CI all the Tempest test cases are supposed to pass.
 746 If some test cases fail in an OPNFV deployment, the reason is very probably one
 747 of the following::
 748
 749  +-----------------------------+------------------------------------------------+
 750  | Error                       | Details                                        |
 751  +=============================+================================================+
 752  | Resources required for test | Such resources could be e.g. an external       |
 753  | case execution are missing  | network and access to the management subnet    |
 754  |                             | (adminURL) from the Functest docker container. |
 755  +-----------------------------+------------------------------------------------+
 756  | OpenStack components or     | Check running services in the controller and   |
 757  | services are missing or not | compute nodes (e.g. with "systemctl" or        |
 758  | configured properly         | "service" commands). Configuration parameters  |
 759  |                             | can be verified from related .conf files       |
 760  |                             | located under /etc/<component> directories.    |
 761  +-----------------------------+------------------------------------------------+
 762  | Some resources required for | The tempest.conf file, automatically generated |
 763  | execution test cases are    | by Rally in Functest, does not contain all the |
 764  | missing                     | needed parameters or some parameters are not   |
 765  |                             | set properly.                                  |
 766  |                             | The tempest.conf file is located in /home/opnfv|
 767  |                             | /.rally/tempest/for-deployment-<UUID> in       |
 768  |                             | Functest container                             |
 769  |                             | Use "rally deployment list" command in order to|
 770  |                             | check UUID of current deployment.              |
 771  +-----------------------------+------------------------------------------------+
 772
 773
 774 When some Tempest test case fails, captured traceback and possibly also related
 775 REST API requests/responses are output to the console.
 776 More detailed debug information can be found from tempest.log file stored into
 777 related Rally deployment folder.
 778
 779
 780 Rally
 781 ^^^^^
 782
 783 Same error causes than for Tempest mentioned above may lead to error in Rally.
 784
 785 Controllers
 786 -----------
 787
 788 ODL
 789 ^^^
 790 2 versions are supported in Brahmaputra depending on the scenario:
 791  * Lithium
 792  * Berylium
 793
 794 The upstream test suites have not been adapted, so you may get 18 or 15 tests
 795 passed on 18 depending on your configuration. The 3 testcases are partly failed
 796 due to wrong return code.
 797
 798 ONOS
 799 ^^^^
 800
 801 TODO
 802
 803 OpenContrail
 804 ^^^^^^^^^^^^
 805
 806
 807 Feature
 808 -------
 809
 810 vIMS
 811 ^^^^
 812 vIMS deployment may fail for several reasons, the most frequent ones are
 813 described in the following table:
 814
 815 +===================================+====================================+
 816 | Error                             |  Comments                          |
 817 +-----------------------------------+------------------------------------+
 818 | Keystone admin API  not reachable | Impossible to create vIMS user and |
 819 |                                   | tenant                             |
 820 +-----------------------------------+------------------------------------+
 821 | Impossible to retrieve admin role | Impossible to create vIMS user and |
 822 | id                                | tenant                             |
 823 +-----------------------------------+------------------------------------+
 824 | Error when uploading image from   | impossible to deploy VNF           |
 825 | OpenStack to glance               |                                    |
 826 +-----------------------------------+------------------------------------+
 827 | Cinder quota cannot be updated    | Default quotas not sufficient, they|
 828 |                                   | are adapted in the script          |
 829 +-----------------------------------+------------------------------------+
 830 | Impossible to create a volume     | VNF cannot be deployed             |
 831 +-----------------------------------+------------------------------------+
 832 | SSH connection issue between the  | if vPing test fails, vIMS test will|
 833 | Test container and the VM         | fail...                            |
 834 +-----------------------------------+------------------------------------+
 835 | No Internet access from a VM      | the VMs of the VNF must have an    |
 836 |                                   | external access to Internet        |
 837 +-----------------------------------+------------------------------------+
 838
 839
 840 Promise
 841 ^^^^^^^
 842
 843 TODO
 844
 845 References
 846 ==========
 847
 848 .. _`[1]`: Functest configuration guide URL
 849 .. _`[2]`: http://docs.openstack.org/developer/tempest/overview.html
 850 .. _`[3]`: https://rally.readthedocs.org/en/latest/index.html
 851 .. _`[4]`: http://events.linuxfoundation.org/sites/events/files/slides/Functest%20in%20Depth_0.pdf
 852 .. _`[5]`: https://github.com/Orange-OpenSource/opnfv-cloudify-clearwater/blob/master/openstack-blueprint.yaml
 853 .. _`[6]`: https://wiki.opnfv.org/opnfv_test_dashboard
 854 .. _`[7]`: http://testresults.opnfv.org/testapi/test_projects/functest/cases
 855 .. _`[8]`: https://wiki.openstack.org/wiki/Governance/DefCoreCommittee
 856 .. _`[9]`: https://git.opnfv.org/cgit/functest/tree/testcases/VIM/OpenStack/CI/libraries/os_defaults.yaml
 857 .. _`[10]`: https://git.opnfv.org/cgit/functest/tree/testcases/VIM/OpenStack/CI/rally_cert/task.yaml
 858 .. _`[11]`: http://robotframework.org/
 859
 860 OPNFV main site: opnfvmain_.
 861
 862 OPNFV functional test page: opnfvfunctest_.
 863
 864 IRC support chan: #opnfv-testperf
 865
 866 .. _opnfvmain: http://www.opnfv.org
 867 .. _opnfvfunctest: https://wiki.opnfv.org/opnfv_functional_testing
 868 .. _`OpenRC`: http://docs.openstack.org/user-guide/common/cli_set_environment_variables_using_openstack_rc.html
 869 .. _`Rally installation procedure`: https://rally.readthedocs.org/en/latest/tutorial/step_0_installation.html
 870 .. _`config_test.py` : https://git.opnfv.org/cgit/functest/tree/testcases/config_functest.py
 871 .. _`config_functest.yaml` : https://git.opnfv.org/cgit/functest/tree/testcases/config_functest.yaml