functest/ci/testcases.yaml

   1 tiers:
   2     -
   3         name: healthcheck
   4         order: 0
   5         ci_loop: '(daily)|(weekly)'
   6         description : >-
   7             First tier to be executed to verify the basic
   8             operations in the VIM.
   9         testcases:
  10             -
  11                 name: healthcheck
  12                 criteria: 'status == "PASS"'
  13                 blocking: true
  14                 description: >-
  15                     This test case verifies the basic OpenStack services like
  16                     Keystone, Glance, Cinder, Neutron and Nova.
  17
  18                 dependencies:
  19                     installer: ''
  20                     scenario: '^((?!lxd).)*$'
  21             -
  22                 name: snaps_health_check
  23                 criteria: 'status == "PASS"'
  24                 blocking: false
  25                 description: >-
  26                     This test case creates executes the SimpleHealthCheck
  27                     Python test class which creates an, image, flavor, network,
  28                     and Cirros VM instance and observes the console output to
  29                     validate the single port obtains the correct IP address.
  30
  31                 dependencies:
  32                     installer: ''
  33                     scenario: '^((?!lxd).)*$'
  34                 run:
  35                     module: 'functest.opnfv_tests.openstack.snaps.health_check'
  36                     class: 'HealthCheck'
  37             -
  38                 name: connection_check
  39                 criteria: 'status == "PASS"'
  40                 blocking: true
  41                 description: >-
  42                     This test case verifies the retrieval of OpenStack clients:
  43                     Keystone, Glance, Neutron and Nova and may perform some
  44                     simple queries. When the config value of
  45                     snaps.use_keystone is True, functest must have access to
  46                     the cloud's private network.
  47
  48                 dependencies:
  49                     installer: '^((?!netvirt).)*$'
  50                     scenario: ''
  51                 run:
  52                     module: 'functest.opnfv_tests.openstack.snaps.connection_check'
  53                     class: 'ConnectionCheck'
  54
  55             -
  56                 name: api_check
  57                 criteria: 'status == "PASS"'
  58                 blocking: true
  59                 description: >-
  60                     This test case verifies the retrieval of OpenStack clients:
  61                     Keystone, Glance, Neutron and Nova and may perform some
  62                     simple queries. When the config value of
  63                     snaps.use_keystone is True, functest must have access to
  64                     the cloud's private network.
  65
  66                 dependencies:
  67                     installer: '^((?!netvirt).)*$'
  68                     scenario: ''
  69                 run:
  70                     module: 'functest.opnfv_tests.openstack.snaps.api_check'
  71                     class: 'ApiCheck'
  72     -
  73         name: smoke
  74         order: 1
  75         ci_loop: '(daily)|(weekly)'
  76         description : >-
  77             Set of basic Functional tests to validate the OPNFV scenarios.
  78         testcases:
  79             -
  80                 name: vping_ssh
  81                 criteria: 'status == "PASS"'
  82                 blocking: true
  83                 description: >-
  84                     This test case verifies: 1) SSH to an instance using floating
  85                     IPs over the public network. 2) Connectivity between 2 instances
  86                     over a private network.
  87                 dependencies:
  88                     installer: ''
  89                     scenario: '^((?!bgpvpn|odl_l3).)*$'
  90                 run:
  91                     module: 'functest.opnfv_tests.openstack.vping.vping_ssh'
  92                     class: 'VPingSSH'
  93
  94             -
  95                 name: vping_userdata
  96                 criteria: 'status == "PASS"'
  97                 blocking: true
  98                 description: >-
  99                     This test case verifies:  1) Boot a VM with given userdata.
 100                     2) Connectivity between 2 instances over a private network.
 101                 dependencies:
 102                     installer: ''
 103                     scenario: '^((?!lxd).)*$'
 104                 run:
 105                     module: 'functest.opnfv_tests.openstack.vping.vping_userdata'
 106                     class: 'VPingUserdata'
 107
 108             -
 109                 name: tempest_smoke_serial
 110                 criteria: 'success_rate == 100%'
 111                 blocking: false
 112                 description: >-
 113                     This test case runs the smoke subset of the OpenStack
 114                     Tempest suite. The list of test cases is generated by
 115                     Tempest automatically and depends on the parameters of
 116                     the OpenStack deplopyment.
 117                 dependencies:
 118                     installer: '^((?!netvirt).)*$'
 119                     scenario: ''
 120                 run:
 121                     module: 'functest.opnfv_tests.openstack.tempest.tempest'
 122                     class: 'TempestSmokeSerial'
 123
 124             -
 125                 name: rally_sanity
 126                 criteria: 'success_rate == 100%'
 127                 blocking: false
 128                 description: >-
 129                     This test case runs a sub group of tests of the OpenStack
 130                     Rally suite in smoke mode.
 131                 dependencies:
 132                     installer: ''
 133                     scenario: '^((?!bgpvpn).)*$'
 134                 run:
 135                     module: 'functest.opnfv_tests.openstack.rally.rally'
 136                     class: 'RallySanity'
 137
 138             -
 139                 name: odl
 140                 criteria: 'success_rate == 100%'
 141                 blocking: true
 142                 description: >-
 143                     Test Suite for the OpenDaylight SDN Controller. It
 144                     integrates some test suites from upstream using
 145                     Robot as the test framework.
 146                 dependencies:
 147                     installer: ''
 148                     scenario: 'odl'
 149                 run:
 150                     module: 'functest.opnfv_tests.sdn.odl.odl'
 151                     class: 'ODLTests'
 152                     args:
 153                         suites:
 154                             -  /home/opnfv/repos/odl_test/csit/suites/integration/basic
 155                             -  /home/opnfv/repos/odl_test/csit/suites/openstack/neutron
 156
 157             -
 158                 name: odl_netvirt
 159                 criteria: 'success_rate == 100%'
 160                 blocking: true
 161                 description: >-
 162                     Test Suite for the OpenDaylight SDN Controller when
 163                     the NetVirt features are installed. It integrates
 164                     some test suites from upstream using Robot as the
 165                     test framework.
 166                 dependencies:
 167                     installer: ''
 168                     scenario: 'netvirt'
 169                 run:
 170                     module: 'functest.opnfv_tests.sdn.odl.odl'
 171                     class: 'ODLTests'
 172                     args:
 173                         suites:
 174                             -  /home/opnfv/repos/odl_test/csit/suites/integration/basic
 175                             -  /home/opnfv/repos/odl_test/csit/suites/openstack/neutron
 176                             -  /home/opnfv/repos/odl_test/csit/suites/openstack/connectivity
 177
 178             -
 179                 name: onos
 180                 criteria: 'status == "PASS"'
 181                 blocking: true
 182                 description: >-
 183                     Test Suite for the ONOS SDN Controller. It integrates
 184                     some test suites from upstream using TestON as the test
 185                     framework.
 186                 dependencies:
 187                     installer: ''
 188                     scenario: 'onos'
 189
 190
 191             -
 192                 name: snaps_smoke
 193                 criteria: 'status == "PASS"'
 194                 blocking: false
 195                 description: >-
 196                     This test case contains tests that setup and destroy
 197                     environments with VMs with and without Floating IPs
 198                     with a newly created user and project. Set the config
 199                     value snaps.use_floating_ips (True|False) to toggle
 200                     this functionality. When the config value of
 201                     snaps.use_keystone is True, functest must have access to
 202                     the cloud's private network.
 203
 204                 dependencies:
 205                     installer: '^((?!netvirt).)*$'
 206                     scenario: ''
 207                 run:
 208                     module: 'functest.opnfv_tests.openstack.snaps.smoke'
 209                     class: 'SnapsSmoke'
 210
 211     -
 212         name: features
 213         order: 2
 214         ci_loop: '(daily)|(weekly)'
 215         description : >-
 216             Test suites from feature projects
 217             integrated in functest
 218         testcases:
 219             -
 220                 name: promise
 221                 criteria: 'success_rate == 100%'
 222                 blocking: false
 223                 description: >-
 224                     Test suite from Promise project.
 225                 dependencies:
 226                     installer: '(fuel)|(joid)'
 227                     scenario: ''
 228                 run:
 229                      module: 'functest.opnfv_tests.features.promise'
 230                      class: 'Promise'
 231
 232             -
 233                 name: doctor
 234                 criteria: 'status == "PASS"'
 235                 blocking: false
 236                 description: >-
 237                     Test suite from Doctor project.
 238                 dependencies:
 239                     installer: '(apex)|(fuel)|(joid)'
 240                     scenario: '^((?!fdio).)*$'
 241                 run:
 242                     module: 'functest.opnfv_tests.features.doctor'
 243                     class: 'Doctor'
 244
 245             -
 246                 name: bgpvpn
 247                 criteria: 'status == "PASS"'
 248                 blocking: false
 249                 description: >-
 250                     Test suite from SDNVPN project.
 251                 dependencies:
 252                     installer: '(fuel)|(apex)|(netvirt)'
 253                     scenario: 'bgpvpn'
 254                 run:
 255                     module: 'functest.opnfv_tests.features.sdnvpn'
 256                     class: 'SdnVpnTests'
 257
 258             -
 259                 name: security_scan
 260                 criteria: 'status == "PASS"'
 261                 blocking: false
 262                 description: >-
 263                     Simple Security Scan
 264                 dependencies:
 265                     installer: 'apex'
 266                     scenario: '^((?!fdio).)*$'
 267                 run:
 268                     module: 'functest.opnfv_tests.features.security_scan'
 269                     class: 'SecurityScan'
 270 #            -
 271 #                name: copper
 272 #                criteria: 'status == "PASS"'
 273 #                blocking: false
 274 #                description: >-
 275 #                    Test suite for policy management based on OpenStack Congress
 276 #                dependencies:
 277 #                    installer: '(apex)|(joid)'
 278 #                    scenario: '^((?!fdio|lxd).)*$'
 279 #                run:
 280 #                    module: 'functest.opnfv_tests.features.copper'
 281 #                    class: 'Copper'
 282             -
 283                 name: multisite
 284                 criteria: 'success_rate == 100%'
 285                 blocking: false
 286                 description: >-
 287                     Test suite from kingbird
 288                 dependencies:
 289                     installer: '(fuel)|(compass)'
 290                     scenario: 'multisite'
 291                 run:
 292                     module: 'functest.opnfv_tests.openstack.tempest.tempest'
 293                     class: 'TempestMultisite'
 294             -
 295                 name: odl-sfc
 296                 criteria: 'status == "PASS"'
 297                 blocking: false
 298                 description: >-
 299                     Test suite for odl-sfc to test two chains and two SFs
 300                 dependencies:
 301                     installer: '(apex)|(fuel)'
 302                     scenario: 'odl_l2-sfc'
 303                 run:
 304                     module: 'functest.opnfv_tests.features.odl_sfc'
 305                     class: 'OpenDaylightSFC'
 306             -
 307                 name: onos_sfc
 308                 criteria: 'status == "PASS"'
 309                 blocking: true
 310                 description: >-
 311                     Test Suite for onos-sfc to test sfc function.
 312                 dependencies:
 313                     installer: ''
 314                     scenario: 'onos-sfc'
 315             -
 316                 name: parser
 317                 criteria: 'ret == 0'
 318                 blocking: false
 319                 description: >-
 320                     Test suite from Parser project.
 321                 dependencies:
 322                     installer: 'fuel'
 323                     scenario: '^((?!bgpvpn|noha).)*$'
 324                 run:
 325                     module: 'functest.opnfv_tests.vnf.rnc.parser'
 326                     class: 'Parser'
 327             -
 328                 name: orchestra
 329                 criteria: 'ret == 0'
 330                 blocking: false
 331                 description: >-
 332                     Test OpenBaton (Orchestra) stack
 333                 dependencies:
 334                     installer: 'joid'
 335                     scenario: 'unknown'
 336                 run:
 337                     module: 'functest.opnfv_tests.features.orchestrator.orchestra'
 338                     class: 'OpenbatonOrchestrator'
 339             -
 340                 name: netready
 341                 criteria: 'status == "PASS"'
 342                 blocking: false
 343                 description: >-
 344                     Test suite from Netready project.
 345                 dependencies:
 346                     installer: 'apex'
 347                     scenario: 'gluon'
 348                 run:
 349                      module: 'functest.opnfv_tests.features.netready'
 350                      class: 'GluonVping'
 351             -
 352                 name: barometer
 353                 criteria: 'status == "PASS"'
 354                 blocking: false
 355                 description: >-
 356                     Test suite for the Barometer project. Separate tests verify the
 357                     proper configuration and functionality of the following
 358                     collectd plugins Ceilometer, Hugepages, Memory RAS (mcelog),
 359                     and OVS Events
 360                 dependencies:
 361                     installer: 'fuel'
 362                     scenario: 'kvm_ovs_dpdk_bar'
 363                 run:
 364                      module: 'functest.opnfv_tests.features.barometer'
 365                      class: 'BarometerCollectd'
 366     -
 367         name: components
 368         order: 3
 369         ci_loop: 'daily'
 370         description : >-
 371             Extensive testing of OpenStack API.
 372         testcases:
 373 #            -
 374 #                name: tempest_full_parallel
 375 #                criteria: 'success_rate >= 80%'
 376 #                blocking: false
 377 #                description: >-
 378 #                    The list of test cases is generated by
 379 #                    Tempest automatically and depends on the parameters of
 380 #                    the OpenStack deplopyment.
 381 #                dependencies:
 382 #                    installer: '^((?!netvirt).)*$'
 383 #                    scenario: ''
 384 #                run:
 385 #                    module: 'functest.opnfv_tests.openstack.tempest.tempest'
 386 #                    class: 'TempestFullParallel'
 387             -
 388                 name: tempest_defcore
 389                 criteria: 'success_rate == 100%'
 390                 blocking: false
 391                 description: >-
 392                     This is the set of Tempest test cases created by OpenStack
 393                     Interop Working Group for certification purposes.
 394                 dependencies:
 395                     installer: ''
 396                     scenario: 'nosdn-nofeature-ha'
 397                 run:
 398                     module: 'functest.opnfv_tests.openstack.tempest.tempest'
 399                     class: 'TempestDefcore'
 400             -
 401                 name: tempest_custom
 402                 criteria: 'success_rate == 100%'
 403                 blocking: false
 404                 description: >-
 405                     The test case allows running a customized list of tempest
 406                     test cases defined in a file under
 407                     <dir_functest_repo>/functest/opnfv_tests/openstack/
 408                       /tempest/custom_tests/test_list.txt
 409                     The file is empty and can be customized with the desired tests.
 410                 dependencies:
 411                     installer: 'unknown'
 412                     scenario: 'unknown'
 413                 run:
 414                     module: 'functest.opnfv_tests.openstack.tempest.tempest'
 415                     class: 'TempestCustom'
 416 #            -
 417 #                name: rally_full
 418 #                criteria: 'success_rate >= 90%'
 419 #                blocking: false
 420 #                description: >-
 421 #                    This test case runs the full suite of scenarios of the OpenStack
 422 #                    Rally suite using several threads and iterations.
 423 #                dependencies:
 424 #                    installer: '^((?!netvirt).)*$'
 425 #                    scenario: ''
 426 #                run:
 427 #                    module: 'functest.opnfv_tests.openstack.rally.rally'
 428 #                    class: 'RallyFull'
 429
 430     -
 431         name: vnf
 432         order: 4
 433         ci_loop: 'weekly'
 434         description : >-
 435             Collection of VNF test cases.
 436         testcases:
 437             -
 438                 name: cloudify_ims
 439                 criteria: 'status == "PASS"'
 440                 blocking: false
 441                 description: >-
 442                     This test case deploys an OpenSource vIMS solution from Clearwater
 443                     using the Cloudify orchestrator. It also runs some signaling traffic.
 444                 dependencies:
 445                     installer: ''
 446                     scenario: '(ocl)|(nosdn)|^(os-odl)((?!bgpvpn).)*$'
 447                 run:
 448                     module: 'functest.opnfv_tests.vnf.ims.cloudify_ims'
 449                     class: 'ImsVnf'
 450             -
 451                 name: aaa
 452                 criteria: 'ret == 0'
 453                 blocking: false
 454                 description: >-
 455                     Test suite from Parser project.
 456                 dependencies:
 457                     installer: ''
 458                     scenario: ''
 459                 run:
 460                     module: 'functest.opnfv_tests.vnf.aaa.aaa'
 461                     class: 'AaaVnf'
 462
 463             -
 464                 name: juju_epc
 465                 criteria: 'ret == 0'
 466                 blocking: false
 467                 description: >-
 468                     Test suite from OAI project, vEPC deployed with Juju.
 469                 dependencies:
 470                     installer: 'unknown'
 471                     scenario: 'unknown'
 472                 run:
 473                     module: 'functest.opnfv_tests.vnf.epc.epc'
 474                     class: 'EpcVnf'
 475
 476             -
 477                 name: orchestra_ims
 478                 criteria: 'ret == 0'
 479                 blocking: false
 480                 description: >-
 481                     VNF deployment with OpenBaton (Orchestra)
 482                 dependencies:
 483                     installer: ''
 484                     scenario: ''
 485                 run:
 486                     module: 'functest.opnfv_tests.vnf.ims.orchestra_ims'
 487                     class: 'ImsVnf'
 488
 489             -
 490                 name: opera_ims
 491                 criteria: 'ret == 0'
 492                 blocking: false
 493                 description: >-
 494                     Evolution of vIMS
 495                 dependencies:
 496                     installer: 'unknown'
 497                     scenario: 'unknown'
 498                 run:
 499                     module: 'functest.opnfv_tests.vnf.ims.opera_ims'
 500                     class: 'ImsVnf'