functest/ci/testcases.yaml

   1 tiers:
   2     -
   3         name: healthcheck
   4         order: 0
   5         ci_loop: '(daily)|(weekly)'
   6         description : >-
   7             First tier to be executed to verify the basic
   8             operations in the VIM.
   9         testcases:
  10             -
  11                 name: snaps_health_check
  12                 criteria: 'status == "PASS"'
  13                 blocking: true
  14                 clean_flag: false
  15                 description: >-
  16                     This test case creates executes the SimpleHealthCheck
  17                     Python test class which creates an, image, flavor, network,
  18                     and Cirros VM instance and observes the console output to
  19                     validate the single port obtains the correct IP address.
  20                 dependencies:
  21                     installer: ''
  22                     scenario: '^((?!lxd).)*$'
  23                 run:
  24                     module: 'functest.opnfv_tests.openstack.snaps.health_check'
  25                     class: 'HealthCheck'
  26             -
  27                 name: connection_check
  28                 criteria: 'status == "PASS"'
  29                 blocking: true
  30                 clean_flag: false
  31                 description: >-
  32                     This test case verifies the retrieval of OpenStack clients:
  33                     Keystone, Glance, Neutron and Nova and may perform some
  34                     simple queries. When the config value of
  35                     snaps.use_keystone is True, functest must have access to
  36                     the cloud's private network.
  37
  38                 dependencies:
  39                     installer: '^((?!netvirt).)*$'
  40                     scenario: ''
  41                 run:
  42                     module: 'functest.opnfv_tests.openstack.snaps.connection_check'
  43                     class: 'ConnectionCheck'
  44
  45             -
  46                 name: api_check
  47                 criteria: 'status == "PASS"'
  48                 blocking: true
  49                 clean_flag: false
  50                 description: >-
  51                     This test case verifies the retrieval of OpenStack clients:
  52                     Keystone, Glance, Neutron and Nova and may perform some
  53                     simple queries. When the config value of
  54                     snaps.use_keystone is True, functest must have access to
  55                     the cloud's private network.
  56
  57                 dependencies:
  58                     installer: '^((?!netvirt).)*$'
  59                     scenario: ''
  60                 run:
  61                     module: 'functest.opnfv_tests.openstack.snaps.api_check'
  62                     class: 'ApiCheck'
  63     -
  64         name: smoke
  65         order: 1
  66         ci_loop: '(daily)|(weekly)'
  67         description : >-
  68             Set of basic Functional tests to validate the OPNFV scenarios.
  69         testcases:
  70             -
  71                 name: vping_ssh
  72                 criteria: 'status == "PASS"'
  73                 blocking: true
  74                 clean_flag: true
  75                 description: >-
  76                     This test case verifies: 1) SSH to an instance using floating
  77                     IPs over the public network. 2) Connectivity between 2 instances
  78                     over a private network.
  79                 dependencies:
  80                     installer: ''
  81                     scenario: '^((?!odl_l3).)*$'
  82                 run:
  83                     module: 'functest.opnfv_tests.openstack.vping.vping_ssh'
  84                     class: 'VPingSSH'
  85
  86             -
  87                 name: vping_userdata
  88                 criteria: 'status == "PASS"'
  89                 blocking: true
  90                 clean_flag: true
  91                 description: >-
  92                     This test case verifies:  1) Boot a VM with given userdata.
  93                     2) Connectivity between 2 instances over a private network.
  94                 dependencies:
  95                     installer: ''
  96                     scenario: '^((?!lxd).)*$'
  97                 run:
  98                     module: 'functest.opnfv_tests.openstack.vping.vping_userdata'
  99                     class: 'VPingUserdata'
 100
 101             -
 102                 name: tempest_smoke_serial
 103                 criteria: 'success_rate == 100%'
 104                 blocking: false
 105                 clean_flag: false
 106                 description: >-
 107                     This test case runs the smoke subset of the OpenStack
 108                     Tempest suite. The list of test cases is generated by
 109                     Tempest automatically and depends on the parameters of
 110                     the OpenStack deplopyment.
 111                 dependencies:
 112                     installer: '^((?!netvirt).)*$'
 113                     scenario: ''
 114                 run:
 115                     module: 'functest.opnfv_tests.openstack.tempest.tempest'
 116                     class: 'TempestSmokeSerial'
 117
 118             -
 119                 name: rally_sanity
 120                 criteria: 'success_rate == 100%'
 121                 blocking: false
 122                 clean_flag: false
 123                 description: >-
 124                     This test case runs a sub group of tests of the OpenStack
 125                     Rally suite in smoke mode.
 126                 dependencies:
 127                     installer: ''
 128                     scenario: ''
 129                 run:
 130                     module: 'functest.opnfv_tests.openstack.rally.rally'
 131                     class: 'RallySanity'
 132
 133             -
 134                 name: odl
 135                 criteria: 'success_rate == 100%'
 136                 blocking: true
 137                 clean_flag: false
 138                 description: >-
 139                     Test Suite for the OpenDaylight SDN Controller. It
 140                     integrates some test suites from upstream using
 141                     Robot as the test framework.
 142                 dependencies:
 143                     installer: ''
 144                     scenario: 'odl'
 145                 run:
 146                     module: 'functest.opnfv_tests.sdn.odl.odl'
 147                     class: 'ODLTests'
 148                     args:
 149                         suites:
 150                             -  /home/opnfv/repos/odl_test/csit/suites/integration/basic
 151                             -  /home/opnfv/repos/odl_test/csit/suites/openstack/neutron
 152
 153             -
 154                 name: odl_netvirt
 155                 criteria: 'success_rate == 100%'
 156                 blocking: true
 157                 clean_flag: false
 158                 description: >-
 159                     Test Suite for the OpenDaylight SDN Controller when
 160                     the NetVirt features are installed. It integrates
 161                     some test suites from upstream using Robot as the
 162                     test framework.
 163                 dependencies:
 164                     installer: ''
 165                     scenario: 'netvirt'
 166                 run:
 167                     module: 'functest.opnfv_tests.sdn.odl.odl'
 168                     class: 'ODLTests'
 169                     args:
 170                         suites:
 171                             -  /home/opnfv/repos/odl_test/csit/suites/integration/basic
 172                             -  /home/opnfv/repos/odl_test/csit/suites/openstack/neutron
 173                             -  /home/opnfv/repos/odl_test/csit/suites/openstack/connectivity
 174
 175             -
 176                 name: onos
 177                 criteria: 'status == "PASS"'
 178                 blocking: true
 179                 clean_flag: true
 180                 description: >-
 181                     Test Suite for the ONOS SDN Controller. It integrates
 182                     some test suites from upstream using TestON as the test
 183                     framework.
 184                 dependencies:
 185                     installer: ''
 186                     scenario: 'onos'
 187                 run:
 188                     module: 'functest.opnfv_tests.sdn.onos.onos'
 189                     class: 'Onos'
 190
 191             -
 192                 name: snaps_smoke
 193                 criteria: 'status == "PASS"'
 194                 blocking: false
 195                 clean_flag: false
 196                 description: >-
 197                     This test case contains tests that setup and destroy
 198                     environments with VMs with and without Floating IPs
 199                     with a newly created user and project. Set the config
 200                     value snaps.use_floating_ips (True|False) to toggle
 201                     this functionality. When the config value of
 202                     snaps.use_keystone is True, functest must have access to
 203                     the cloud's private network.
 204
 205                 dependencies:
 206                     installer: '^((?!netvirt).)*$'
 207                     scenario: ''
 208                 run:
 209                     module: 'functest.opnfv_tests.openstack.snaps.smoke'
 210                     class: 'SnapsSmoke'
 211
 212     -
 213         name: features
 214         order: 2
 215         ci_loop: '(daily)|(weekly)'
 216         description : >-
 217             Test suites from feature projects
 218             integrated in functest
 219         testcases:
 220             -
 221                 name: promise
 222                 criteria: 'success_rate == 100%'
 223                 blocking: false
 224                 clean_flag: true
 225                 description: >-
 226                     Test suite from Promise project.
 227                 dependencies:
 228                     installer: '(fuel)|(joid)'
 229                     scenario: ''
 230                 run:
 231                      module: 'functest.opnfv_tests.features.promise'
 232                      class: 'Promise'
 233
 234             -
 235                 name: doctor
 236                 criteria: 'status == "PASS"'
 237                 blocking: false
 238                 clean_flag: true
 239                 description: >-
 240                     Test suite from Doctor project.
 241                 dependencies:
 242                     installer: '(apex)|(fuel)|(joid)'
 243                     scenario: '^((?!fdio).)*$'
 244                 run:
 245                     module: 'functest.opnfv_tests.features.doctor'
 246                     class: 'Doctor'
 247
 248             -
 249                 name: bgpvpn
 250                 criteria: 'status == "PASS"'
 251                 blocking: false
 252                 clean_flag: true
 253                 description: >-
 254                     Test suite from SDNVPN project.
 255                 dependencies:
 256                     installer: '(fuel)|(apex)|(netvirt)'
 257                     scenario: 'bgpvpn'
 258                 run:
 259                     module: 'functest.opnfv_tests.features.sdnvpn'
 260                     class: 'SdnVpnTests'
 261
 262             -
 263                 name: security_scan
 264                 criteria: 'status == "PASS"'
 265                 blocking: false
 266                 clean_flag: true
 267                 description: >-
 268                     Simple Security Scan
 269                 dependencies:
 270                     installer: 'apex'
 271                     scenario: '^((?!fdio).)*$'
 272                 run:
 273                     module: 'functest.opnfv_tests.features.security_scan'
 274                     class: 'SecurityScan'
 275 #            -
 276 #                name: copper
 277 #                criteria: 'status == "PASS"'
 278 #                blocking: false
 279 #                clean_flag: true
 280 #                description: >-
 281 #                    Test suite for policy management based on OpenStack Congress
 282 #                dependencies:
 283 #                    installer: '(apex)|(joid)'
 284 #                    scenario: '^((?!fdio|lxd).)*$'
 285 #                run:
 286 #                    module: 'functest.opnfv_tests.features.copper'
 287 #                    class: 'Copper'
 288             -
 289                 name: multisite
 290                 criteria: 'success_rate == 100%'
 291                 blocking: false
 292                 clean_flag: false
 293                 description: >-
 294                     Test suite from kingbird
 295                 dependencies:
 296                     installer: '(fuel)|(compass)'
 297                     scenario: 'multisite'
 298                 run:
 299                     module: 'functest.opnfv_tests.openstack.tempest.tempest'
 300                     class: 'TempestMultisite'
 301             -
 302                 name: odl-sfc
 303                 criteria: 'status == "PASS"'
 304                 blocking: false
 305                 clean_flag: true
 306                 description: >-
 307                     Test suite for odl-sfc to test two chains and two SFs
 308                 dependencies:
 309                     installer: '(apex)|(fuel)'
 310                     scenario: 'odl_l2-sfc'
 311                 run:
 312                     module: 'functest.opnfv_tests.features.odl_sfc'
 313                     class: 'OpenDaylightSFC'
 314             -
 315                 name: onos_sfc
 316                 criteria: 'status == "PASS"'
 317                 blocking: true
 318                 clean_flag: true
 319                 description: >-
 320                     Test Suite for onos-sfc to test sfc function.
 321                 dependencies:
 322                     installer: ''
 323                     scenario: 'onos-sfc'
 324                 run:
 325                     module: 'functest.opnfv_tests.sdn.onos.onos'
 326                     class: 'OnosSfc'
 327             -
 328                 name: parser
 329                 criteria: 'ret == 0'
 330                 blocking: false
 331                 clean_flag: true
 332                 description: >-
 333                     Test suite from Parser project.
 334                 dependencies:
 335                     installer: 'fuel'
 336                     scenario: '^((?!bgpvpn|noha).)*$'
 337                 run:
 338                     module: 'functest.opnfv_tests.vnf.rnc.parser'
 339                     class: 'Parser'
 340             -
 341                 name: domino
 342                 criteria: 'status == "PASS"'
 343                 blocking: false
 344                 clean_flag: true
 345                 description: >-
 346                     Test suite from Domino project.
 347                 dependencies:
 348                     installer: ''
 349                     scenario: ''
 350                 run:
 351                     module: 'functest.opnfv_tests.features.domino'
 352                     class: 'Domino'
 353             -
 354                 name: orchestra
 355                 criteria: 'ret == 0'
 356                 blocking: false
 357                 clean_flag: true
 358                 description: >-
 359                     Test OpenBaton (Orchestra) stack
 360                 dependencies:
 361                     installer: 'joid'
 362                     scenario: 'unknown'
 363                 run:
 364                     module: 'functest.opnfv_tests.features.orchestrator.orchestra'
 365                     class: 'OpenbatonOrchestrator'
 366             -
 367                 name: netready
 368                 criteria: 'status == "PASS"'
 369                 blocking: false
 370                 clean_flag: true
 371                 description: >-
 372                     Test suite from Netready project.
 373                 dependencies:
 374                     installer: 'apex'
 375                     scenario: 'gluon'
 376                 run:
 377                      module: 'functest.opnfv_tests.features.netready'
 378                      class: 'GluonVping'
 379             -
 380                 name: barometer
 381                 criteria: 'status == "PASS"'
 382                 blocking: false
 383                 clean_flag: true
 384                 description: >-
 385                     Test suite for the Barometer project. Separate tests verify the
 386                     proper configuration and functionality of the following
 387                     collectd plugins Ceilometer, Hugepages, Memory RAS (mcelog),
 388                     and OVS Events
 389                 dependencies:
 390                     installer: 'fuel'
 391                     scenario: 'kvm_ovs_dpdk_bar'
 392                 run:
 393                      module: 'functest.opnfv_tests.features.barometer'
 394                      class: 'BarometerCollectd'
 395     -
 396         name: components
 397         order: 3
 398         ci_loop: 'daily'
 399         description : >-
 400             Extensive testing of OpenStack API.
 401         testcases:
 402 #            -
 403 #                name: tempest_full_parallel
 404 #                criteria: 'success_rate >= 80%'
 405 #                blocking: false
 406 #                clean_flag: false
 407 #                description: >-
 408 #                    The list of test cases is generated by
 409 #                    Tempest automatically and depends on the parameters of
 410 #                    the OpenStack deplopyment.
 411 #                dependencies:
 412 #                    installer: '^((?!netvirt).)*$'
 413 #                    scenario: ''
 414 #                run:
 415 #                    module: 'functest.opnfv_tests.openstack.tempest.tempest'
 416 #                    class: 'TempestFullParallel'
 417             -
 418                 name: tempest_defcore
 419                 criteria: 'success_rate == 100%'
 420                 blocking: false
 421                 clean_flag: false
 422                 description: >-
 423                     This is the set of Tempest test cases created by OpenStack
 424                     Interop Working Group for certification purposes.
 425                 dependencies:
 426                     installer: ''
 427                     scenario: 'nosdn-nofeature-ha'
 428                 run:
 429                     module: 'functest.opnfv_tests.openstack.tempest.tempest'
 430                     class: 'TempestDefcore'
 431             -
 432                 name: tempest_custom
 433                 criteria: 'success_rate == 100%'
 434                 blocking: false
 435                 clean_flag: false
 436                 description: >-
 437                     The test case allows running a customized list of tempest
 438                     test cases defined in a file under
 439                     <dir_functest_repo>/functest/opnfv_tests/openstack/
 440                       /tempest/custom_tests/test_list.txt
 441                     The file is empty and can be customized with the desired tests.
 442                 dependencies:
 443                     installer: 'unknown'
 444                     scenario: 'unknown'
 445                 run:
 446                     module: 'functest.opnfv_tests.openstack.tempest.tempest'
 447                     class: 'TempestCustom'
 448 #            -
 449 #                name: rally_full
 450 #                criteria: 'success_rate >= 90%'
 451 #                blocking: false
 452 #                clean_flag: false
 453 #                description: >-
 454 #                    This test case runs the full suite of scenarios of the OpenStack
 455 #                    Rally suite using several threads and iterations.
 456 #                dependencies:
 457 #                    installer: '^((?!netvirt).)*$'
 458 #                    scenario: ''
 459 #                run:
 460 #                    module: 'functest.opnfv_tests.openstack.rally.rally'
 461 #                    class: 'RallyFull'
 462
 463     -
 464         name: vnf
 465         order: 4
 466         ci_loop: 'weekly'
 467         description : >-
 468             Collection of VNF test cases.
 469         testcases:
 470             -
 471                 name: cloudify_ims
 472                 criteria: 'status == "PASS"'
 473                 blocking: false
 474                 clean_flag: true
 475                 description: >-
 476                     This test case deploys an OpenSource vIMS solution from Clearwater
 477                     using the Cloudify orchestrator. It also runs some signaling traffic.
 478                 dependencies:
 479                     installer: ''
 480                     scenario: '(ocl)|(nosdn)|^(os-odl)((?!bgpvpn).)*$'
 481                 run:
 482                     module: 'functest.opnfv_tests.vnf.ims.cloudify_ims'
 483                     class: 'ImsVnf'
 484             -
 485                 name: aaa
 486                 criteria: 'ret == 0'
 487                 blocking: false
 488                 clean_flag: true
 489                 description: >-
 490                     Test suite from Parser project.
 491                 dependencies:
 492                     installer: ''
 493                     scenario: ''
 494                 run:
 495                     module: 'functest.opnfv_tests.vnf.aaa.aaa'
 496                     class: 'AaaVnf'
 497
 498             -
 499                 name: juju_epc
 500                 criteria: 'ret == 0'
 501                 blocking: false
 502                 clean_flag: true
 503                 description: >-
 504                     Test suite from OAI project, vEPC deployed with Juju.
 505                 dependencies:
 506                     installer: 'unknown'
 507                     scenario: 'unknown'
 508                 run:
 509                     module: 'functest.opnfv_tests.vnf.epc.epc'
 510                     class: 'EpcVnf'
 511
 512             -
 513                 name: orchestra_ims
 514                 criteria: 'ret == 0'
 515                 blocking: false
 516                 clean_flag: true
 517                 description: >-
 518                     VNF deployment with OpenBaton (Orchestra)
 519                 dependencies:
 520                     installer: ''
 521                     scenario: ''
 522                 run:
 523                     module: 'functest.opnfv_tests.vnf.ims.orchestra_ims'
 524                     class: 'ImsVnf'
 525
 526             -
 527                 name: opera_ims
 528                 criteria: 'ret == 0'
 529                 blocking: false
 530                 clean_flag: true
 531                 description: >-
 532                     Evolution of vIMS
 533                 dependencies:
 534                     installer: 'unknown'
 535                     scenario: 'unknown'
 536                 run:
 537                     module: 'functest.opnfv_tests.vnf.ims.opera_ims'
 538                     class: 'ImsVnf'
 539
 540             -
 541                 name: vyos_vrouter
 542                 criteria: 'status == "PASS"'
 543                 blocking: false
 544                 clean_flag: true
 545                 description: >-
 546                     This test case is vRouter testing.
 547                 dependencies:
 548                     installer: 'fuel'
 549                     scenario: 'nosdn-nofeature'
 550                 run:
 551                     module: 'functest.opnfv_tests.vnf.router.vyos_vrouter'
 552                     class: 'VrouterVnf'