functest/ci/testcases.yaml

   1 tiers:
   2     -
   3         name: healthcheck
   4         order: 0
   5         ci_loop: '(daily)|(weekly)'
   6         description : >-
   7             First tier to be executed to verify the basic
   8             operations in the VIM.
   9         testcases:
  10             -
  11                 name: snaps_health_check
  12                 criteria: 'status == "PASS"'
  13                 blocking: true
  14                 description: >-
  15                     This test case creates executes the SimpleHealthCheck
  16                     Python test class which creates an, image, flavor, network,
  17                     and Cirros VM instance and observes the console output to
  18                     validate the single port obtains the correct IP address.
  19                 dependencies:
  20                     installer: ''
  21                     scenario: '^((?!lxd).)*$'
  22                 run:
  23                     module: 'functest.opnfv_tests.openstack.snaps.health_check'
  24                     class: 'HealthCheck'
  25             -
  26                 name: connection_check
  27                 criteria: 'status == "PASS"'
  28                 blocking: true
  29                 description: >-
  30                     This test case verifies the retrieval of OpenStack clients:
  31                     Keystone, Glance, Neutron and Nova and may perform some
  32                     simple queries. When the config value of
  33                     snaps.use_keystone is True, functest must have access to
  34                     the cloud's private network.
  35
  36                 dependencies:
  37                     installer: '^((?!netvirt).)*$'
  38                     scenario: ''
  39                 run:
  40                     module: 'functest.opnfv_tests.openstack.snaps.connection_check'
  41                     class: 'ConnectionCheck'
  42
  43             -
  44                 name: api_check
  45                 criteria: 'status == "PASS"'
  46                 blocking: true
  47                 description: >-
  48                     This test case verifies the retrieval of OpenStack clients:
  49                     Keystone, Glance, Neutron and Nova and may perform some
  50                     simple queries. When the config value of
  51                     snaps.use_keystone is True, functest must have access to
  52                     the cloud's private network.
  53
  54                 dependencies:
  55                     installer: '^((?!netvirt).)*$'
  56                     scenario: ''
  57                 run:
  58                     module: 'functest.opnfv_tests.openstack.snaps.api_check'
  59                     class: 'ApiCheck'
  60     -
  61         name: smoke
  62         order: 1
  63         ci_loop: '(daily)|(weekly)'
  64         description : >-
  65             Set of basic Functional tests to validate the OPNFV scenarios.
  66         testcases:
  67             -
  68                 name: vping_ssh
  69                 criteria: 'status == "PASS"'
  70                 blocking: true
  71                 description: >-
  72                     This test case verifies: 1) SSH to an instance using floating
  73                     IPs over the public network. 2) Connectivity between 2 instances
  74                     over a private network.
  75                 dependencies:
  76                     installer: ''
  77                     scenario: '^((?!bgpvpn|odl_l3).)*$'
  78                 run:
  79                     module: 'functest.opnfv_tests.openstack.vping.vping_ssh'
  80                     class: 'VPingSSH'
  81
  82             -
  83                 name: vping_userdata
  84                 criteria: 'status == "PASS"'
  85                 blocking: true
  86                 description: >-
  87                     This test case verifies:  1) Boot a VM with given userdata.
  88                     2) Connectivity between 2 instances over a private network.
  89                 dependencies:
  90                     installer: ''
  91                     scenario: '^((?!lxd).)*$'
  92                 run:
  93                     module: 'functest.opnfv_tests.openstack.vping.vping_userdata'
  94                     class: 'VPingUserdata'
  95
  96             -
  97                 name: tempest_smoke_serial
  98                 criteria: 'success_rate == 100%'
  99                 blocking: false
 100                 description: >-
 101                     This test case runs the smoke subset of the OpenStack
 102                     Tempest suite. The list of test cases is generated by
 103                     Tempest automatically and depends on the parameters of
 104                     the OpenStack deplopyment.
 105                 dependencies:
 106                     installer: '^((?!netvirt).)*$'
 107                     scenario: ''
 108                 run:
 109                     module: 'functest.opnfv_tests.openstack.tempest.tempest'
 110                     class: 'TempestSmokeSerial'
 111
 112             -
 113                 name: rally_sanity
 114                 criteria: 'success_rate == 100%'
 115                 blocking: false
 116                 description: >-
 117                     This test case runs a sub group of tests of the OpenStack
 118                     Rally suite in smoke mode.
 119                 dependencies:
 120                     installer: ''
 121                     scenario: '^((?!bgpvpn).)*$'
 122                 run:
 123                     module: 'functest.opnfv_tests.openstack.rally.rally'
 124                     class: 'RallySanity'
 125
 126             -
 127                 name: odl
 128                 criteria: 'success_rate == 100%'
 129                 blocking: true
 130                 description: >-
 131                     Test Suite for the OpenDaylight SDN Controller. It
 132                     integrates some test suites from upstream using
 133                     Robot as the test framework.
 134                 dependencies:
 135                     installer: ''
 136                     scenario: 'odl'
 137                 run:
 138                     module: 'functest.opnfv_tests.sdn.odl.odl'
 139                     class: 'ODLTests'
 140                     args:
 141                         suites:
 142                             -  /home/opnfv/repos/odl_test/csit/suites/integration/basic
 143                             -  /home/opnfv/repos/odl_test/csit/suites/openstack/neutron
 144
 145             -
 146                 name: odl_netvirt
 147                 criteria: 'success_rate == 100%'
 148                 blocking: true
 149                 description: >-
 150                     Test Suite for the OpenDaylight SDN Controller when
 151                     the NetVirt features are installed. It integrates
 152                     some test suites from upstream using Robot as the
 153                     test framework.
 154                 dependencies:
 155                     installer: ''
 156                     scenario: 'netvirt'
 157                 run:
 158                     module: 'functest.opnfv_tests.sdn.odl.odl'
 159                     class: 'ODLTests'
 160                     args:
 161                         suites:
 162                             -  /home/opnfv/repos/odl_test/csit/suites/integration/basic
 163                             -  /home/opnfv/repos/odl_test/csit/suites/openstack/neutron
 164                             -  /home/opnfv/repos/odl_test/csit/suites/openstack/connectivity
 165
 166             -
 167                 name: onos
 168                 criteria: 'status == "PASS"'
 169                 blocking: true
 170                 description: >-
 171                     Test Suite for the ONOS SDN Controller. It integrates
 172                     some test suites from upstream using TestON as the test
 173                     framework.
 174                 dependencies:
 175                     installer: ''
 176                     scenario: 'onos'
 177
 178
 179             -
 180                 name: snaps_smoke
 181                 criteria: 'status == "PASS"'
 182                 blocking: false
 183                 description: >-
 184                     This test case contains tests that setup and destroy
 185                     environments with VMs with and without Floating IPs
 186                     with a newly created user and project. Set the config
 187                     value snaps.use_floating_ips (True|False) to toggle
 188                     this functionality. When the config value of
 189                     snaps.use_keystone is True, functest must have access to
 190                     the cloud's private network.
 191
 192                 dependencies:
 193                     installer: '^((?!netvirt).)*$'
 194                     scenario: ''
 195                 run:
 196                     module: 'functest.opnfv_tests.openstack.snaps.smoke'
 197                     class: 'SnapsSmoke'
 198
 199     -
 200         name: features
 201         order: 2
 202         ci_loop: '(daily)|(weekly)'
 203         description : >-
 204             Test suites from feature projects
 205             integrated in functest
 206         testcases:
 207             -
 208                 name: promise
 209                 criteria: 'success_rate == 100%'
 210                 blocking: false
 211                 description: >-
 212                     Test suite from Promise project.
 213                 dependencies:
 214                     installer: '(fuel)|(joid)'
 215                     scenario: ''
 216                 run:
 217                      module: 'functest.opnfv_tests.features.promise'
 218                      class: 'Promise'
 219
 220             -
 221                 name: doctor
 222                 criteria: 'status == "PASS"'
 223                 blocking: false
 224                 description: >-
 225                     Test suite from Doctor project.
 226                 dependencies:
 227                     installer: '(apex)|(fuel)|(joid)'
 228                     scenario: '^((?!fdio).)*$'
 229                 run:
 230                     module: 'functest.opnfv_tests.features.doctor'
 231                     class: 'Doctor'
 232
 233             -
 234                 name: bgpvpn
 235                 criteria: 'status == "PASS"'
 236                 blocking: false
 237                 description: >-
 238                     Test suite from SDNVPN project.
 239                 dependencies:
 240                     installer: '(fuel)|(apex)|(netvirt)'
 241                     scenario: 'bgpvpn'
 242                 run:
 243                     module: 'functest.opnfv_tests.features.sdnvpn'
 244                     class: 'SdnVpnTests'
 245
 246             -
 247                 name: security_scan
 248                 criteria: 'status == "PASS"'
 249                 blocking: false
 250                 description: >-
 251                     Simple Security Scan
 252                 dependencies:
 253                     installer: 'apex'
 254                     scenario: '^((?!fdio).)*$'
 255                 run:
 256                     module: 'functest.opnfv_tests.features.security_scan'
 257                     class: 'SecurityScan'
 258 #            -
 259 #                name: copper
 260 #                criteria: 'status == "PASS"'
 261 #                blocking: false
 262 #                description: >-
 263 #                    Test suite for policy management based on OpenStack Congress
 264 #                dependencies:
 265 #                    installer: '(apex)|(joid)'
 266 #                    scenario: '^((?!fdio|lxd).)*$'
 267 #                run:
 268 #                    module: 'functest.opnfv_tests.features.copper'
 269 #                    class: 'Copper'
 270             -
 271                 name: multisite
 272                 criteria: 'success_rate == 100%'
 273                 blocking: false
 274                 description: >-
 275                     Test suite from kingbird
 276                 dependencies:
 277                     installer: '(fuel)|(compass)'
 278                     scenario: 'multisite'
 279                 run:
 280                     module: 'functest.opnfv_tests.openstack.tempest.tempest'
 281                     class: 'TempestMultisite'
 282             -
 283                 name: odl-sfc
 284                 criteria: 'status == "PASS"'
 285                 blocking: false
 286                 description: >-
 287                     Test suite for odl-sfc to test two chains and two SFs
 288                 dependencies:
 289                     installer: '(apex)|(fuel)'
 290                     scenario: 'odl_l2-sfc'
 291                 run:
 292                     module: 'functest.opnfv_tests.features.odl_sfc'
 293                     class: 'OpenDaylightSFC'
 294             -
 295                 name: onos_sfc
 296                 criteria: 'status == "PASS"'
 297                 blocking: true
 298                 description: >-
 299                     Test Suite for onos-sfc to test sfc function.
 300                 dependencies:
 301                     installer: ''
 302                     scenario: 'onos-sfc'
 303             -
 304                 name: parser
 305                 criteria: 'ret == 0'
 306                 blocking: false
 307                 description: >-
 308                     Test suite from Parser project.
 309                 dependencies:
 310                     installer: 'fuel'
 311                     scenario: '^((?!bgpvpn|noha).)*$'
 312                 run:
 313                     module: 'functest.opnfv_tests.vnf.rnc.parser'
 314                     class: 'Parser'
 315             -
 316                 name: domino
 317                 criteria: 'status == "PASS"'
 318                 blocking: false
 319                 description: >-
 320                     Test suite from Domino project.
 321                 dependencies:
 322                     installer: ''
 323                     scenario: ''
 324                 run:
 325                     module: 'functest.opnfv_tests.features.domino'
 326                     class: 'Domino'
 327             -
 328                 name: orchestra
 329                 criteria: 'ret == 0'
 330                 blocking: false
 331                 description: >-
 332                     Test OpenBaton (Orchestra) stack
 333                 dependencies:
 334                     installer: 'joid'
 335                     scenario: 'unknown'
 336                 run:
 337                     module: 'functest.opnfv_tests.features.orchestrator.orchestra'
 338                     class: 'OpenbatonOrchestrator'
 339             -
 340                 name: netready
 341                 criteria: 'status == "PASS"'
 342                 blocking: false
 343                 description: >-
 344                     Test suite from Netready project.
 345                 dependencies:
 346                     installer: 'apex'
 347                     scenario: 'gluon'
 348                 run:
 349                      module: 'functest.opnfv_tests.features.netready'
 350                      class: 'GluonVping'
 351             -
 352                 name: barometer
 353                 criteria: 'status == "PASS"'
 354                 blocking: false
 355                 description: >-
 356                     Test suite for the Barometer project. Separate tests verify the
 357                     proper configuration and functionality of the following
 358                     collectd plugins Ceilometer, Hugepages, Memory RAS (mcelog),
 359                     and OVS Events
 360                 dependencies:
 361                     installer: 'fuel'
 362                     scenario: 'kvm_ovs_dpdk_bar'
 363                 run:
 364                      module: 'functest.opnfv_tests.features.barometer'
 365                      class: 'BarometerCollectd'
 366     -
 367         name: components
 368         order: 3
 369         ci_loop: 'daily'
 370         description : >-
 371             Extensive testing of OpenStack API.
 372         testcases:
 373 #            -
 374 #                name: tempest_full_parallel
 375 #                criteria: 'success_rate >= 80%'
 376 #                blocking: false
 377 #                description: >-
 378 #                    The list of test cases is generated by
 379 #                    Tempest automatically and depends on the parameters of
 380 #                    the OpenStack deplopyment.
 381 #                dependencies:
 382 #                    installer: '^((?!netvirt).)*$'
 383 #                    scenario: ''
 384 #                run:
 385 #                    module: 'functest.opnfv_tests.openstack.tempest.tempest'
 386 #                    class: 'TempestFullParallel'
 387             -
 388                 name: tempest_defcore
 389                 criteria: 'success_rate == 100%'
 390                 blocking: false
 391                 description: >-
 392                     This is the set of Tempest test cases created by OpenStack
 393                     Interop Working Group for certification purposes.
 394                 dependencies:
 395                     installer: ''
 396                     scenario: 'nosdn-nofeature-ha'
 397                 run:
 398                     module: 'functest.opnfv_tests.openstack.tempest.tempest'
 399                     class: 'TempestDefcore'
 400             -
 401                 name: tempest_custom
 402                 criteria: 'success_rate == 100%'
 403                 blocking: false
 404                 description: >-
 405                     The test case allows running a customized list of tempest
 406                     test cases defined in a file under
 407                     <dir_functest_repo>/functest/opnfv_tests/openstack/
 408                       /tempest/custom_tests/test_list.txt
 409                     The file is empty and can be customized with the desired tests.
 410                 dependencies:
 411                     installer: 'unknown'
 412                     scenario: 'unknown'
 413                 run:
 414                     module: 'functest.opnfv_tests.openstack.tempest.tempest'
 415                     class: 'TempestCustom'
 416 #            -
 417 #                name: rally_full
 418 #                criteria: 'success_rate >= 90%'
 419 #                blocking: false
 420 #                description: >-
 421 #                    This test case runs the full suite of scenarios of the OpenStack
 422 #                    Rally suite using several threads and iterations.
 423 #                dependencies:
 424 #                    installer: '^((?!netvirt).)*$'
 425 #                    scenario: ''
 426 #                run:
 427 #                    module: 'functest.opnfv_tests.openstack.rally.rally'
 428 #                    class: 'RallyFull'
 429
 430     -
 431         name: vnf
 432         order: 4
 433         ci_loop: 'weekly'
 434         description : >-
 435             Collection of VNF test cases.
 436         testcases:
 437             -
 438                 name: cloudify_ims
 439                 criteria: 'status == "PASS"'
 440                 blocking: false
 441                 description: >-
 442                     This test case deploys an OpenSource vIMS solution from Clearwater
 443                     using the Cloudify orchestrator. It also runs some signaling traffic.
 444                 dependencies:
 445                     installer: ''
 446                     scenario: '(ocl)|(nosdn)|^(os-odl)((?!bgpvpn).)*$'
 447                 run:
 448                     module: 'functest.opnfv_tests.vnf.ims.cloudify_ims'
 449                     class: 'ImsVnf'
 450             -
 451                 name: aaa
 452                 criteria: 'ret == 0'
 453                 blocking: false
 454                 description: >-
 455                     Test suite from Parser project.
 456                 dependencies:
 457                     installer: ''
 458                     scenario: ''
 459                 run:
 460                     module: 'functest.opnfv_tests.vnf.aaa.aaa'
 461                     class: 'AaaVnf'
 462
 463             -
 464                 name: juju_epc
 465                 criteria: 'ret == 0'
 466                 blocking: false
 467                 description: >-
 468                     Test suite from OAI project, vEPC deployed with Juju.
 469                 dependencies:
 470                     installer: 'unknown'
 471                     scenario: 'unknown'
 472                 run:
 473                     module: 'functest.opnfv_tests.vnf.epc.epc'
 474                     class: 'EpcVnf'
 475
 476             -
 477                 name: orchestra_ims
 478                 criteria: 'ret == 0'
 479                 blocking: false
 480                 description: >-
 481                     VNF deployment with OpenBaton (Orchestra)
 482                 dependencies:
 483                     installer: ''
 484                     scenario: ''
 485                 run:
 486                     module: 'functest.opnfv_tests.vnf.ims.orchestra_ims'
 487                     class: 'ImsVnf'
 488
 489             -
 490                 name: opera_ims
 491                 criteria: 'ret == 0'
 492                 blocking: false
 493                 description: >-
 494                     Evolution of vIMS
 495                 dependencies:
 496                     installer: 'unknown'
 497                     scenario: 'unknown'
 498                 run:
 499                     module: 'functest.opnfv_tests.vnf.ims.opera_ims'
 500                     class: 'ImsVnf'
 501
 502             -
 503                 name: vyos_vrouter
 504                 criteria: 'status == "PASS"'
 505                 blocking: false
 506                 description: >-
 507                     This test case is vRouter testing.
 508                 dependencies:
 509                     installer: 'fuel'
 510                     scenario: 'nosdn-nofeature'
 511                 run:
 512                     module: 'functest.opnfv_tests.vnf.router.vyos_vrouter'
 513                     class: 'VrouterVnf'