functest/ci/testcases.yaml

   1 tiers:
   2     -
   3         name: healthcheck
   4         order: 0
   5         ci_loop: '(daily)|(weekly)'
   6         description : >-
   7             First tier to be executed to verify the basic
   8             operations in the VIM.
   9         testcases:
  10             -
  11                 name: snaps_health_check
  12                 criteria: 'status == "PASS"'
  13                 blocking: true
  14                 clean_flag: false
  15                 description: >-
  16                     This test case creates executes the SimpleHealthCheck
  17                     Python test class which creates an, image, flavor, network,
  18                     and Cirros VM instance and observes the console output to
  19                     validate the single port obtains the correct IP address.
  20                 dependencies:
  21                     installer: ''
  22                     scenario: '^((?!lxd).)*$'
  23                 run:
  24                     module: 'functest.opnfv_tests.openstack.snaps.health_check'
  25                     class: 'HealthCheck'
  26             -
  27                 name: connection_check
  28                 criteria: 'status == "PASS"'
  29                 blocking: true
  30                 clean_flag: false
  31                 description: >-
  32                     This test case verifies the retrieval of OpenStack clients:
  33                     Keystone, Glance, Neutron and Nova and may perform some
  34                     simple queries. When the config value of
  35                     snaps.use_keystone is True, functest must have access to
  36                     the cloud's private network.
  37
  38                 dependencies:
  39                     installer: '^((?!netvirt).)*$'
  40                     scenario: ''
  41                 run:
  42                     module: 'functest.opnfv_tests.openstack.snaps.connection_check'
  43                     class: 'ConnectionCheck'
  44
  45             -
  46                 name: api_check
  47                 criteria: 'status == "PASS"'
  48                 blocking: true
  49                 clean_flag: false
  50                 description: >-
  51                     This test case verifies the retrieval of OpenStack clients:
  52                     Keystone, Glance, Neutron and Nova and may perform some
  53                     simple queries. When the config value of
  54                     snaps.use_keystone is True, functest must have access to
  55                     the cloud's private network.
  56
  57                 dependencies:
  58                     installer: '^((?!netvirt).)*$'
  59                     scenario: ''
  60                 run:
  61                     module: 'functest.opnfv_tests.openstack.snaps.api_check'
  62                     class: 'ApiCheck'
  63     -
  64         name: smoke
  65         order: 1
  66         ci_loop: '(daily)|(weekly)'
  67         description : >-
  68             Set of basic Functional tests to validate the OPNFV scenarios.
  69         testcases:
  70             -
  71                 name: vping_ssh
  72                 criteria: 'status == "PASS"'
  73                 blocking: true
  74                 clean_flag: true
  75                 description: >-
  76                     This test case verifies: 1) SSH to an instance using floating
  77                     IPs over the public network. 2) Connectivity between 2 instances
  78                     over a private network.
  79                 dependencies:
  80                     installer: ''
  81                     scenario: '^((?!odl_l3).)*$'
  82                 run:
  83                     module: 'functest.opnfv_tests.openstack.vping.vping_ssh'
  84                     class: 'VPingSSH'
  85
  86             -
  87                 name: vping_userdata
  88                 criteria: 'status == "PASS"'
  89                 blocking: true
  90                 clean_flag: true
  91                 description: >-
  92                     This test case verifies:  1) Boot a VM with given userdata.
  93                     2) Connectivity between 2 instances over a private network.
  94                 dependencies:
  95                     installer: ''
  96                     scenario: '^((?!lxd).)*$'
  97                 run:
  98                     module: 'functest.opnfv_tests.openstack.vping.vping_userdata'
  99                     class: 'VPingUserdata'
 100
 101             -
 102                 name: tempest_smoke_serial
 103                 criteria: 'success_rate == 100%'
 104                 blocking: false
 105                 clean_flag: false
 106                 description: >-
 107                     This test case runs the smoke subset of the OpenStack
 108                     Tempest suite. The list of test cases is generated by
 109                     Tempest automatically and depends on the parameters of
 110                     the OpenStack deplopyment.
 111                 dependencies:
 112                     installer: '^((?!netvirt).)*$'
 113                     scenario: ''
 114                 run:
 115                     module: 'functest.opnfv_tests.openstack.tempest.tempest'
 116                     class: 'TempestSmokeSerial'
 117
 118             -
 119                 name: rally_sanity
 120                 criteria: 'success_rate == 100%'
 121                 blocking: false
 122                 clean_flag: false
 123                 description: >-
 124                     This test case runs a sub group of tests of the OpenStack
 125                     Rally suite in smoke mode.
 126                 dependencies:
 127                     installer: ''
 128                     scenario: ''
 129                 run:
 130                     module: 'functest.opnfv_tests.openstack.rally.rally'
 131                     class: 'RallySanity'
 132
 133             -
 134                 name: odl
 135                 criteria: 'success_rate == 100%'
 136                 blocking: true
 137                 clean_flag: false
 138                 description: >-
 139                     Test Suite for the OpenDaylight SDN Controller. It
 140                     integrates some test suites from upstream using
 141                     Robot as the test framework.
 142                 dependencies:
 143                     installer: ''
 144                     scenario: 'odl'
 145                 run:
 146                     module: 'functest.opnfv_tests.sdn.odl.odl'
 147                     class: 'ODLTests'
 148                     args:
 149                         suites:
 150                             -  /home/opnfv/repos/odl_test/csit/suites/integration/basic
 151                             -  /home/opnfv/repos/odl_test/csit/suites/openstack/neutron
 152
 153             -
 154                 name: odl_netvirt
 155                 criteria: 'success_rate == 100%'
 156                 blocking: true
 157                 clean_flag: false
 158                 description: >-
 159                     Test Suite for the OpenDaylight SDN Controller when
 160                     the NetVirt features are installed. It integrates
 161                     some test suites from upstream using Robot as the
 162                     test framework.
 163                 dependencies:
 164                     installer: ''
 165                     scenario: 'netvirt'
 166                 run:
 167                     module: 'functest.opnfv_tests.sdn.odl.odl'
 168                     class: 'ODLTests'
 169                     args:
 170                         suites:
 171                             -  /home/opnfv/repos/odl_test/csit/suites/integration/basic
 172                             -  /home/opnfv/repos/odl_test/csit/suites/openstack/neutron
 173                             -  /home/opnfv/repos/odl_test/csit/suites/openstack/connectivity
 174
 175             -
 176                 name: onos
 177                 criteria: 'status == "PASS"'
 178                 blocking: true
 179                 clean_flag: true
 180                 description: >-
 181                     Test Suite for the ONOS SDN Controller. It integrates
 182                     some test suites from upstream using TestON as the test
 183                     framework.
 184                 dependencies:
 185                     installer: ''
 186                     scenario: 'onos'
 187                 run:
 188                     module: 'functest.opnfv_tests.sdn.onos.onos'
 189                     class: 'Onos'
 190
 191             -
 192                 name: snaps_smoke
 193                 criteria: 'status == "PASS"'
 194                 blocking: false
 195                 clean_flag: false
 196                 description: >-
 197                     This test case contains tests that setup and destroy
 198                     environments with VMs with and without Floating IPs
 199                     with a newly created user and project. Set the config
 200                     value snaps.use_floating_ips (True|False) to toggle
 201                     this functionality. When the config value of
 202                     snaps.use_keystone is True, functest must have access to
 203                     the cloud's private network.
 204
 205                 dependencies:
 206                     installer: '^((?!netvirt).)*$'
 207                     scenario: '^((?!lxd).)*$'
 208                 run:
 209                     module: 'functest.opnfv_tests.openstack.snaps.smoke'
 210                     class: 'SnapsSmoke'
 211
 212     -
 213         name: features
 214         order: 2
 215         ci_loop: '(daily)|(weekly)'
 216         description : >-
 217             Test suites from feature projects
 218             integrated in functest
 219         testcases:
 220             -
 221                 name: promise
 222                 criteria: 'success_rate == 100%'
 223                 blocking: false
 224                 clean_flag: true
 225                 description: >-
 226                     Test suite from Promise project.
 227                 dependencies:
 228                     installer: '(fuel)|(joid)'
 229                     scenario: ''
 230                 run:
 231                      module: 'functest.opnfv_tests.features.promise'
 232                      class: 'Promise'
 233
 234             -
 235                 name: doctor
 236                 criteria: 'status == "PASS"'
 237                 blocking: false
 238                 clean_flag: true
 239                 description: >-
 240                     Test suite from Doctor project.
 241                 dependencies:
 242                     installer: '(apex)|(fuel)|(joid)'
 243                     scenario: '^((?!fdio).)*$'
 244                 run:
 245                     module: 'functest.opnfv_tests.features.doctor'
 246                     class: 'Doctor'
 247
 248             -
 249                 name: bgpvpn
 250                 criteria: 'status == "PASS"'
 251                 blocking: false
 252                 clean_flag: true
 253                 description: >-
 254                     Test suite from SDNVPN project.
 255                 dependencies:
 256                     installer: '(fuel)|(apex)|(netvirt)'
 257                     scenario: 'bgpvpn'
 258                 run:
 259                     module: 'functest.opnfv_tests.features.sdnvpn'
 260                     class: 'SdnVpnTests'
 261
 262             -
 263                 name: security_scan
 264                 criteria: 'status == "PASS"'
 265                 blocking: false
 266                 clean_flag: true
 267                 description: >-
 268                     Simple Security Scan
 269                 dependencies:
 270                     installer: 'apex'
 271                     scenario: '^((?!fdio).)*$'
 272                 run:
 273                     module: 'functest.opnfv_tests.features.security_scan'
 274                     class: 'SecurityScan'
 275 #            -
 276 #                name: copper
 277 #                criteria: 'status == "PASS"'
 278 #                blocking: false
 279 #                clean_flag: true
 280 #                description: >-
 281 #                    Test suite for policy management based on OpenStack Congress
 282 #                dependencies:
 283 #                    installer: '(apex)|(joid)'
 284 #                    scenario: '^((?!fdio|lxd).)*$'
 285 #                run:
 286 #                    module: 'functest.opnfv_tests.features.copper'
 287 #                    class: 'Copper'
 288             -
 289                 name: multisite
 290                 criteria: 'success_rate == 100%'
 291                 blocking: false
 292                 clean_flag: false
 293                 description: >-
 294                     Test suite from kingbird
 295                 dependencies:
 296                     installer: '(fuel)|(compass)'
 297                     scenario: 'multisite'
 298                 run:
 299                     module: 'functest.opnfv_tests.openstack.tempest.tempest'
 300                     class: 'TempestMultisite'
 301             -
 302                 name: odl-sfc
 303                 criteria: 'status == "PASS"'
 304                 blocking: false
 305                 clean_flag: true
 306                 description: >-
 307                     Test suite for odl-sfc to test two chains and two SFs
 308                 dependencies:
 309                     installer: '(apex)|(fuel)'
 310                     scenario: 'odl_l2-sfc'
 311                 run:
 312                     module: 'functest.opnfv_tests.features.odl_sfc'
 313                     class: 'OpenDaylightSFC'
 314             -
 315                 name: onos_sfc
 316                 criteria: 'status == "PASS"'
 317                 blocking: true
 318                 clean_flag: true
 319                 description: >-
 320                     Test Suite for onos-sfc to test sfc function.
 321                 dependencies:
 322                     installer: ''
 323                     scenario: 'onos-sfc'
 324                 run:
 325                     module: 'functest.opnfv_tests.sdn.onos.onos'
 326                     class: 'OnosSfc'
 327             -
 328                 name: parser
 329                 criteria: 'ret == 0'
 330                 blocking: false
 331                 clean_flag: true
 332                 description: >-
 333                     Test suite from Parser project.
 334                 dependencies:
 335                     installer: 'fuel'
 336                     scenario: '^((?!bgpvpn|noha).)*$'
 337                 run:
 338                     module: 'functest.opnfv_tests.vnf.rnc.parser'
 339                     class: 'Parser'
 340             -
 341                 name: domino
 342                 criteria: 'status == "PASS"'
 343                 blocking: false
 344                 clean_flag: true
 345                 description: >-
 346                     Test suite from Domino project.
 347                 dependencies:
 348                     installer: ''
 349                     scenario: ''
 350                 run:
 351                     module: 'functest.opnfv_tests.features.domino'
 352                     class: 'Domino'
 353             -
 354                 name: netready
 355                 criteria: 'status == "PASS"'
 356                 blocking: false
 357                 clean_flag: true
 358                 description: >-
 359                     Test suite from Netready project.
 360                 dependencies:
 361                     installer: 'apex'
 362                     scenario: 'gluon'
 363                 run:
 364                      module: 'functest.opnfv_tests.features.netready'
 365                      class: 'GluonVping'
 366             -
 367                 name: barometer
 368                 criteria: 'status == "PASS"'
 369                 blocking: false
 370                 clean_flag: true
 371                 description: >-
 372                     Test suite for the Barometer project. Separate tests verify the
 373                     proper configuration and functionality of the following
 374                     collectd plugins Ceilometer, Hugepages, Memory RAS (mcelog),
 375                     and OVS Events
 376                 dependencies:
 377                     installer: 'fuel'
 378                     scenario: 'kvm_ovs_dpdk_bar'
 379                 run:
 380                      module: 'functest.opnfv_tests.features.barometer'
 381                      class: 'BarometerCollectd'
 382     -
 383         name: components
 384         order: 3
 385         ci_loop: 'daily'
 386         description : >-
 387             Extensive testing of OpenStack API.
 388         testcases:
 389 #            -
 390 #                name: tempest_full_parallel
 391 #                criteria: 'success_rate >= 80%'
 392 #                blocking: false
 393 #                clean_flag: false
 394 #                description: >-
 395 #                    The list of test cases is generated by
 396 #                    Tempest automatically and depends on the parameters of
 397 #                    the OpenStack deplopyment.
 398 #                dependencies:
 399 #                    installer: '^((?!netvirt).)*$'
 400 #                    scenario: ''
 401 #                run:
 402 #                    module: 'functest.opnfv_tests.openstack.tempest.tempest'
 403 #                    class: 'TempestFullParallel'
 404             -
 405                 name: tempest_defcore
 406                 criteria: 'success_rate == 100%'
 407                 blocking: false
 408                 clean_flag: false
 409                 description: >-
 410                     This is the set of Tempest test cases created by OpenStack
 411                     Interop Working Group for certification purposes.
 412                 dependencies:
 413                     installer: ''
 414                     scenario: 'nosdn-nofeature-ha'
 415                 run:
 416                     module: 'functest.opnfv_tests.openstack.tempest.tempest'
 417                     class: 'TempestDefcore'
 418             -
 419                 name: tempest_custom
 420                 criteria: 'success_rate == 100%'
 421                 blocking: false
 422                 clean_flag: false
 423                 description: >-
 424                     The test case allows running a customized list of tempest
 425                     test cases defined in a file under
 426                     <dir_functest_repo>/functest/opnfv_tests/openstack/
 427                       /tempest/custom_tests/test_list.txt
 428                     The file is empty and can be customized with the desired tests.
 429                 dependencies:
 430                     installer: 'unknown'
 431                     scenario: 'unknown'
 432                 run:
 433                     module: 'functest.opnfv_tests.openstack.tempest.tempest'
 434                     class: 'TempestCustom'
 435 #            -
 436 #                name: rally_full
 437 #                criteria: 'success_rate >= 90%'
 438 #                blocking: false
 439 #                clean_flag: false
 440 #                description: >-
 441 #                    This test case runs the full suite of scenarios of the OpenStack
 442 #                    Rally suite using several threads and iterations.
 443 #                dependencies:
 444 #                    installer: '^((?!netvirt).)*$'
 445 #                    scenario: ''
 446 #                run:
 447 #                    module: 'functest.opnfv_tests.openstack.rally.rally'
 448 #                    class: 'RallyFull'
 449
 450     -
 451         name: vnf
 452         order: 4
 453         ci_loop: 'weekly'
 454         description : >-
 455             Collection of VNF test cases.
 456         testcases:
 457             -
 458                 name: cloudify_ims
 459                 criteria: 'status == "PASS"'
 460                 blocking: false
 461                 clean_flag: true
 462                 description: >-
 463                     This test case deploys an OpenSource vIMS solution from Clearwater
 464                     using the Cloudify orchestrator. It also runs some signaling traffic.
 465                 dependencies:
 466                     installer: ''
 467                     scenario: '(ocl)|(nosdn)|^(os-odl)((?!bgpvpn).)*$'
 468                 run:
 469                     module: 'functest.opnfv_tests.vnf.ims.cloudify_ims'
 470                     class: 'ImsVnf'
 471 #          -
 472 #               name: aaa
 473 #               criteria: 'ret == 0'
 474 #               blocking: false
 475 #               clean_flag: true
 476 #               description: >-
 477 #                   Test suite from Parser project.
 478 #               dependencies:
 479 #                   installer: ''
 480 #                   scenario: ''
 481 #               run:
 482 #                   module: 'functest.opnfv_tests.vnf.aaa.aaa'
 483 #                   class: 'AaaVnf'
 484             -
 485                 name: orchestra_ims
 486                 criteria: 'ret == 0'
 487                 blocking: false
 488                 clean_flag: true
 489                 description: >-
 490                     VNF deployment with OpenBaton (Orchestra)
 491                 dependencies:
 492                     installer: ''
 493                     scenario: ''
 494                 run:
 495                     module: 'functest.opnfv_tests.vnf.ims.orchestra_ims'
 496                     class: 'ImsVnf'
 497
 498             -
 499                 name: opera_ims
 500                 criteria: 'ret == 0'
 501                 blocking: false
 502                 clean_flag: true
 503                 description: >-
 504                     Evolution of vIMS
 505                 dependencies:
 506                     installer: 'unknown'
 507                     scenario: 'unknown'
 508                 run:
 509                     module: 'functest.opnfv_tests.vnf.ims.opera_ims'
 510                     class: 'ImsVnf'
 511
 512             -
 513                 name: vyos_vrouter
 514                 criteria: 'status == "PASS"'
 515                 blocking: false
 516                 clean_flag: true
 517                 description: >-
 518                     This test case is vRouter testing.
 519                 dependencies:
 520                     installer: 'fuel'
 521                     scenario: 'nosdn-nofeature'
 522                 run:
 523                     module: 'functest.opnfv_tests.vnf.router.vyos_vrouter'
 524                     class: 'VrouterVnf'