functest/ci/testcases.yaml

   1 tiers:
   2     -
   3         name: healthcheck
   4         order: 0
   5         ci_loop: '(daily)|(weekly)'
   6         description : >-
   7             First tier to be executed to verify the basic
   8             operations in the VIM.
   9         testcases:
  10             -
  11                 name: connection_check
  12                 criteria: 'status == "PASS"'
  13                 blocking: true
  14                 clean_flag: false
  15                 description: >-
  16                     This test case verifies the retrieval of OpenStack clients:
  17                     Keystone, Glance, Neutron and Nova and may perform some
  18                     simple queries. When the config value of
  19                     snaps.use_keystone is True, functest must have access to
  20                     the cloud's private network.
  21
  22                 dependencies:
  23                     installer: '^((?!netvirt).)*$'
  24                     scenario: ''
  25                 run:
  26                     module: 'functest.opnfv_tests.openstack.snaps.connection_check'
  27                     class: 'ConnectionCheck'
  28
  29             -
  30                 name: api_check
  31                 criteria: 'status == "PASS"'
  32                 blocking: true
  33                 clean_flag: false
  34                 description: >-
  35                     This test case verifies the retrieval of OpenStack clients:
  36                     Keystone, Glance, Neutron and Nova and may perform some
  37                     simple queries. When the config value of
  38                     snaps.use_keystone is True, functest must have access to
  39                     the cloud's private network.
  40
  41                 dependencies:
  42                     installer: '^((?!netvirt).)*$'
  43                     scenario: ''
  44                 run:
  45                     module: 'functest.opnfv_tests.openstack.snaps.api_check'
  46                     class: 'ApiCheck'
  47             -
  48                 name: snaps_health_check
  49                 criteria: 'status == "PASS"'
  50                 blocking: true
  51                 clean_flag: false
  52                 description: >-
  53                     This test case creates executes the SimpleHealthCheck
  54                     Python test class which creates an, image, flavor, network,
  55                     and Cirros VM instance and observes the console output to
  56                     validate the single port obtains the correct IP address.
  57                 dependencies:
  58                     installer: ''
  59                     scenario: '^((?!lxd).)*$'
  60                 run:
  61                     module: 'functest.opnfv_tests.openstack.snaps.health_check'
  62                     class: 'HealthCheck'
  63     -
  64         name: smoke
  65         order: 1
  66         ci_loop: '(daily)|(weekly)'
  67         description : >-
  68             Set of basic Functional tests to validate the OPNFV scenarios.
  69         testcases:
  70             -
  71                 name: vping_ssh
  72                 criteria: 'status == "PASS"'
  73                 blocking: true
  74                 clean_flag: true
  75                 description: >-
  76                     This test case verifies: 1) SSH to an instance using floating
  77                     IPs over the public network. 2) Connectivity between 2 instances
  78                     over a private network.
  79                 dependencies:
  80                     installer: ''
  81                     scenario: '^((?!odl_l3|odl-bgpvpn|gluon).)*$'
  82                 run:
  83                     module: 'functest.opnfv_tests.openstack.vping.vping_ssh'
  84                     class: 'VPingSSH'
  85
  86             -
  87                 name: vping_userdata
  88                 criteria: 'status == "PASS"'
  89                 blocking: true
  90                 clean_flag: true
  91                 description: >-
  92                     This test case verifies:  1) Boot a VM with given userdata.
  93                     2) Connectivity between 2 instances over a private network.
  94                 dependencies:
  95                     installer: ''
  96                     scenario: '^((?!lxd).)*$'
  97                 run:
  98                     module: 'functest.opnfv_tests.openstack.vping.vping_userdata'
  99                     class: 'VPingUserdata'
 100
 101             -
 102                 name: tempest_smoke_serial
 103                 criteria: 'success_rate == 100%'
 104                 blocking: false
 105                 clean_flag: false
 106                 description: >-
 107                     This test case runs the smoke subset of the OpenStack
 108                     Tempest suite. The list of test cases is generated by
 109                     Tempest automatically and depends on the parameters of
 110                     the OpenStack deplopyment.
 111                 dependencies:
 112                     installer: '^((?!netvirt).)*$'
 113                     scenario: ''
 114                 run:
 115                     module: 'functest.opnfv_tests.openstack.tempest.tempest'
 116                     class: 'TempestSmokeSerial'
 117
 118             -
 119                 name: rally_sanity
 120                 criteria: 'success_rate == 100%'
 121                 blocking: false
 122                 clean_flag: false
 123                 description: >-
 124                     This test case runs a sub group of tests of the OpenStack
 125                     Rally suite in smoke mode.
 126                 dependencies:
 127                     installer: ''
 128                     scenario: ''
 129                 run:
 130                     module: 'functest.opnfv_tests.openstack.rally.rally'
 131                     class: 'RallySanity'
 132
 133             -
 134                 name: refstack_defcore
 135                 criteria: 'success_rate == 100%'
 136                 blocking: false
 137                 clean_flag: false
 138                 description: >-
 139                     This test case runs a sub group of tests of the OpenStack
 140                     Defcore testcases by using refstack client.
 141                 dependencies:
 142                     installer: ''
 143                     scenario: ''
 144                 run:
 145                     module: 'functest.opnfv_tests.openstack.refstack_client.refstack_client'
 146                     class: 'RefstackClient'
 147
 148             -
 149                 name: odl
 150                 criteria: 'success_rate == 100%'
 151                 blocking: true
 152                 clean_flag: false
 153                 description: >-
 154                     Test Suite for the OpenDaylight SDN Controller. It
 155                     integrates some test suites from upstream using
 156                     Robot as the test framework.
 157                 dependencies:
 158                     installer: ''
 159                     scenario: 'odl'
 160                 run:
 161                     module: 'functest.opnfv_tests.sdn.odl.odl'
 162                     class: 'ODLTests'
 163                     args:
 164                         suites:
 165                             -  /home/opnfv/repos/odl_test/csit/suites/integration/basic
 166                             -  /home/opnfv/repos/odl_test/csit/suites/openstack/neutron
 167
 168             -
 169                 name: odl_netvirt
 170                 criteria: 'success_rate == 100%'
 171                 blocking: false
 172                 clean_flag: false
 173                 description: >-
 174                     Test Suite for the OpenDaylight SDN Controller when
 175                     the NetVirt features are installed. It integrates
 176                     some test suites from upstream using Robot as the
 177                     test framework.
 178                 dependencies:
 179                     installer: 'apex'
 180                     scenario: 'os-odl_l3-nofeature'
 181                 run:
 182                     module: 'functest.opnfv_tests.sdn.odl.odl'
 183                     class: 'ODLTests'
 184                     args:
 185                         suites:
 186                             -  /home/opnfv/repos/odl_test/csit/suites/integration/basic
 187                             -  /home/opnfv/repos/odl_test/csit/suites/openstack/neutron
 188                             -  /home/opnfv/repos/odl_test/csit/suites/openstack/connectivity
 189
 190             -
 191                 name: fds
 192                 criteria: 'success_rate == 100%'
 193                 blocking: false
 194                 clean_flag: false
 195                 description: >-
 196                     Test Suite for the OpenDaylight SDN Controller when GBP features are
 197                     installed. It integrates some test suites from upstream using
 198                     Robot as the test framework.
 199                 dependencies:
 200                     installer: 'apex'
 201                     scenario: 'odl_l2-fdio'
 202                 run:
 203                     module: 'functest.opnfv_tests.sdn.odl.odl'
 204                     class: 'ODLTests'
 205                     args:
 206                         suites:
 207                             -  /home/opnfv/repos/fds/testing/robot
 208
 209             -
 210                 name: onos
 211                 criteria: 'status == "PASS"'
 212                 blocking: true
 213                 clean_flag: true
 214                 description: >-
 215                     Test Suite for the ONOS SDN Controller. It integrates
 216                     some test suites from upstream using TestON as the test
 217                     framework.
 218                 dependencies:
 219                     installer: ''
 220                     scenario: 'onos'
 221                 run:
 222                     module: 'functest.opnfv_tests.sdn.onos.onos'
 223                     class: 'Onos'
 224
 225             -
 226                 name: snaps_smoke
 227                 criteria: 'status == "PASS"'
 228                 blocking: false
 229                 clean_flag: false
 230                 description: >-
 231                     This test case contains tests that setup and destroy
 232                     environments with VMs with and without Floating IPs
 233                     with a newly created user and project. Set the config
 234                     value snaps.use_floating_ips (True|False) to toggle
 235                     this functionality. When the config value of
 236                     snaps.use_keystone is True, functest must have access to
 237                     the cloud's private network.
 238
 239                 dependencies:
 240                     installer: '^((?!netvirt).)*$'
 241                     scenario: '^((?!lxd).)*$'
 242                 run:
 243                     module: 'functest.opnfv_tests.openstack.snaps.smoke'
 244                     class: 'SnapsSmoke'
 245
 246     -
 247         name: features
 248         order: 2
 249         ci_loop: '(daily)|(weekly)'
 250         description : >-
 251             Test suites from feature projects
 252             integrated in functest
 253         testcases:
 254             -
 255                 name: promise
 256                 criteria: 'success_rate == 100%'
 257                 blocking: false
 258                 clean_flag: true
 259                 description: >-
 260                     Test suite from Promise project.
 261                 dependencies:
 262                     installer: '(fuel)|(joid)'
 263                     scenario: ''
 264                 run:
 265                      module: 'functest.opnfv_tests.features.promise'
 266                      class: 'Promise'
 267
 268             -
 269                 name: doctor
 270                 criteria: 'status == "PASS"'
 271                 blocking: false
 272                 clean_flag: true
 273                 description: >-
 274                     Test suite from Doctor project.
 275                 dependencies:
 276                     installer: '(apex)|(fuel)'
 277                     scenario: '^((?!fdio).)*$'
 278                 run:
 279                     module: 'functest.opnfv_tests.features.doctor'
 280                     class: 'Doctor'
 281
 282             -
 283                 name: bgpvpn
 284                 criteria: 'status == "PASS"'
 285                 blocking: false
 286                 clean_flag: true
 287                 description: >-
 288                     Test suite from SDNVPN project.
 289                 dependencies:
 290                     installer: '(fuel)|(apex)|(netvirt)'
 291                     scenario: 'bgpvpn'
 292                 run:
 293                     module: 'functest.opnfv_tests.features.sdnvpn'
 294                     class: 'SdnVpnTests'
 295
 296             -
 297                 name: security_scan
 298                 criteria: 'status == "PASS"'
 299                 blocking: false
 300                 clean_flag: true
 301                 description: >-
 302                     Simple Security Scan
 303                 dependencies:
 304                     installer: 'apex'
 305                     scenario: '^((?!fdio).)*$'
 306                 run:
 307                     module: 'functest.opnfv_tests.features.security_scan'
 308                     class: 'SecurityScan'
 309 #            -
 310 #                name: copper
 311 #                criteria: 'status == "PASS"'
 312 #                blocking: false
 313 #                clean_flag: true
 314 #                description: >-
 315 #                    Test suite for policy management based on OpenStack Congress
 316 #                dependencies:
 317 #                    installer: '(apex)|(joid)'
 318 #                    scenario: '^((?!fdio|lxd).)*$'
 319 #                run:
 320 #                    module: 'functest.opnfv_tests.features.copper'
 321 #                    class: 'Copper'
 322             -
 323                 name: multisite
 324                 criteria: 'success_rate == 100%'
 325                 blocking: false
 326                 clean_flag: false
 327                 description: >-
 328                     Test suite from kingbird
 329                 dependencies:
 330                     installer: '(fuel)|(compass)'
 331                     scenario: 'multisite'
 332                 run:
 333                     module: 'functest.opnfv_tests.openstack.tempest.tempest'
 334                     class: 'TempestMultisite'
 335             -
 336                 name: odl-sfc
 337                 criteria: 'status == "PASS"'
 338                 blocking: false
 339                 clean_flag: true
 340                 description: >-
 341                     Test suite for odl-sfc to test two chains and two SFs
 342                 dependencies:
 343                     installer: '(apex)|(fuel)'
 344                     scenario: 'odl_l2-sfc'
 345                 run:
 346                     module: 'functest.opnfv_tests.features.odl_sfc'
 347                     class: 'OpenDaylightSFC'
 348             -
 349                 name: onos_sfc
 350                 criteria: 'status == "PASS"'
 351                 blocking: true
 352                 clean_flag: true
 353                 description: >-
 354                     Test Suite for onos-sfc to test sfc function.
 355                 dependencies:
 356                     installer: ''
 357                     scenario: 'onos-sfc'
 358                 run:
 359                     module: 'functest.opnfv_tests.sdn.onos.onos'
 360                     class: 'OnosSfc'
 361             -
 362                 name: parser
 363                 criteria: 'ret == 0'
 364                 blocking: false
 365                 clean_flag: true
 366                 description: >-
 367                     Test suite from Parser project.
 368                 dependencies:
 369                     installer: 'fuel'
 370                     scenario: '^((?!bgpvpn|noha).)*$'
 371                 run:
 372                     module: 'functest.opnfv_tests.vnf.rnc.parser'
 373                     class: 'Parser'
 374             -
 375                 name: domino
 376                 criteria: 'status == "PASS"'
 377                 blocking: false
 378                 clean_flag: true
 379                 description: >-
 380                     Test suite from Domino project.
 381                 dependencies:
 382                     installer: ''
 383                     scenario: ''
 384                 run:
 385                     module: 'functest.opnfv_tests.features.domino'
 386                     class: 'Domino'
 387             -
 388                 name: netready
 389                 criteria: 'status == "PASS"'
 390                 blocking: false
 391                 clean_flag: true
 392                 description: >-
 393                     Test suite from Netready project.
 394                 dependencies:
 395                     installer: 'apex'
 396                     scenario: 'gluon'
 397                 run:
 398                      module: 'functest.opnfv_tests.features.netready'
 399                      class: 'GluonVping'
 400             -
 401                 name: barometer
 402                 criteria: 'status == "PASS"'
 403                 blocking: false
 404                 clean_flag: true
 405                 description: >-
 406                     Test suite for the Barometer project. Separate tests verify the
 407                     proper configuration and functionality of the following
 408                     collectd plugins Ceilometer, Hugepages, Memory RAS (mcelog),
 409                     and OVS Events
 410                 dependencies:
 411                     installer: 'fuel'
 412                     scenario: 'kvm_ovs_dpdk_bar'
 413                 run:
 414                      module: 'functest.opnfv_tests.features.barometer'
 415                      class: 'BarometerCollectd'
 416     -
 417         name: components
 418         order: 3
 419         ci_loop: 'daily'
 420         description : >-
 421             Extensive testing of OpenStack API.
 422         testcases:
 423 #            -
 424 #                name: tempest_full_parallel
 425 #                criteria: 'success_rate >= 80%'
 426 #                blocking: false
 427 #                clean_flag: false
 428 #                description: >-
 429 #                    The list of test cases is generated by
 430 #                    Tempest automatically and depends on the parameters of
 431 #                    the OpenStack deplopyment.
 432 #                dependencies:
 433 #                    installer: '^((?!netvirt).)*$'
 434 #                    scenario: ''
 435 #                run:
 436 #                    module: 'functest.opnfv_tests.openstack.tempest.tempest'
 437 #                    class: 'TempestFullParallel'
 438             -
 439                 name: tempest_custom
 440                 criteria: 'success_rate == 100%'
 441                 blocking: false
 442                 clean_flag: false
 443                 description: >-
 444                     The test case allows running a customized list of tempest
 445                     test cases defined in a file under
 446                     <dir_functest_repo>/functest/opnfv_tests/openstack/
 447                       /tempest/custom_tests/test_list.txt
 448                     The file is empty and can be customized with the desired tests.
 449                 dependencies:
 450                     installer: 'unknown'
 451                     scenario: 'unknown'
 452                 run:
 453                     module: 'functest.opnfv_tests.openstack.tempest.tempest'
 454                     class: 'TempestCustom'
 455 #            -
 456 #                name: rally_full
 457 #                criteria: 'success_rate >= 90%'
 458 #                blocking: false
 459 #                clean_flag: false
 460 #                description: >-
 461 #                    This test case runs the full suite of scenarios of the OpenStack
 462 #                    Rally suite using several threads and iterations.
 463 #                dependencies:
 464 #                    installer: '^((?!netvirt).)*$'
 465 #                    scenario: ''
 466 #                run:
 467 #                    module: 'functest.opnfv_tests.openstack.rally.rally'
 468 #                    class: 'RallyFull'
 469
 470     -
 471         name: vnf
 472         order: 4
 473         ci_loop: 'weekly'
 474         description : >-
 475             Collection of VNF test cases.
 476         testcases:
 477             -
 478                 name: cloudify_ims
 479                 criteria: 'status == "PASS"'
 480                 blocking: false
 481                 clean_flag: true
 482                 description: >-
 483                     This test case deploys an OpenSource vIMS solution from Clearwater
 484                     using the Cloudify orchestrator. It also runs some signaling traffic.
 485                 dependencies:
 486                     installer: ''
 487                     scenario: '(ocl)|(nosdn)|^(os-odl)((?!bgpvpn).)*$'
 488                 run:
 489                     module: 'functest.opnfv_tests.vnf.ims.cloudify_ims'
 490                     class: 'ImsVnf'
 491 #          -
 492 #               name: aaa
 493 #               criteria: 'ret == 0'
 494 #               blocking: false
 495 #               clean_flag: true
 496 #               description: >-
 497 #                   Test suite from Parser project.
 498 #               dependencies:
 499 #                   installer: ''
 500 #                   scenario: ''
 501 #               run:
 502 #                   module: 'functest.opnfv_tests.vnf.aaa.aaa'
 503 #                   class: 'AaaVnf'
 504             -
 505                 name: orchestra_ims
 506                 criteria: 'ret == 0'
 507                 blocking: false
 508                 clean_flag: true
 509                 description: >-
 510                     VNF deployment with OpenBaton (Orchestra)
 511                 dependencies:
 512                     installer: ''
 513                     scenario: ''
 514                 run:
 515                     module: 'functest.opnfv_tests.vnf.ims.orchestra_ims'
 516                     class: 'ImsVnf'
 517
 518             -
 519                 name: opera_ims
 520                 criteria: 'ret == 0'
 521                 blocking: false
 522                 clean_flag: true
 523                 description: >-
 524                     Evolution of vIMS
 525                 dependencies:
 526                     installer: 'unknown'
 527                     scenario: 'unknown'
 528                 run:
 529                     module: 'functest.opnfv_tests.vnf.ims.opera_ims'
 530                     class: 'ImsVnf'
 531
 532             -
 533                 name: vyos_vrouter
 534                 criteria: 'status == "PASS"'
 535                 blocking: false
 536                 clean_flag: true
 537                 description: >-
 538                     This test case is vRouter testing.
 539                 dependencies:
 540                     installer: 'fuel'
 541                     scenario: 'nosdn-nofeature'
 542                 run:
 543                     module: 'functest.opnfv_tests.vnf.router.vyos_vrouter'
 544                     class: 'VrouterVnf'