functest/ci/testcases.yaml

   1 tiers:
   2     -
   3         name: healthcheck
   4         order: 0
   5         ci_loop: '(daily)|(weekly)'
   6         description : >-
   7             First tier to be executed to verify the basic
   8             operations in the VIM.
   9         testcases:
  10             -
  11                 name: snaps_health_check
  12                 criteria: 'status == "PASS"'
  13                 blocking: true
  14                 description: >-
  15                     This test case creates executes the SimpleHealthCheck
  16                     Python test class which creates an, image, flavor, network,
  17                     and Cirros VM instance and observes the console output to
  18                     validate the single port obtains the correct IP address.
  19                 dependencies:
  20                     installer: ''
  21                     scenario: '^((?!lxd).)*$'
  22                 run:
  23                     module: 'functest.opnfv_tests.openstack.snaps.health_check'
  24                     class: 'HealthCheck'
  25             -
  26                 name: connection_check
  27                 criteria: 'status == "PASS"'
  28                 blocking: true
  29                 description: >-
  30                     This test case verifies the retrieval of OpenStack clients:
  31                     Keystone, Glance, Neutron and Nova and may perform some
  32                     simple queries. When the config value of
  33                     snaps.use_keystone is True, functest must have access to
  34                     the cloud's private network.
  35
  36                 dependencies:
  37                     installer: '^((?!netvirt).)*$'
  38                     scenario: ''
  39                 run:
  40                     module: 'functest.opnfv_tests.openstack.snaps.connection_check'
  41                     class: 'ConnectionCheck'
  42
  43             -
  44                 name: api_check
  45                 criteria: 'status == "PASS"'
  46                 blocking: true
  47                 description: >-
  48                     This test case verifies the retrieval of OpenStack clients:
  49                     Keystone, Glance, Neutron and Nova and may perform some
  50                     simple queries. When the config value of
  51                     snaps.use_keystone is True, functest must have access to
  52                     the cloud's private network.
  53
  54                 dependencies:
  55                     installer: '^((?!netvirt).)*$'
  56                     scenario: ''
  57                 run:
  58                     module: 'functest.opnfv_tests.openstack.snaps.api_check'
  59                     class: 'ApiCheck'
  60     -
  61         name: smoke
  62         order: 1
  63         ci_loop: '(daily)|(weekly)'
  64         description : >-
  65             Set of basic Functional tests to validate the OPNFV scenarios.
  66         testcases:
  67             -
  68                 name: vping_ssh
  69                 criteria: 'status == "PASS"'
  70                 blocking: true
  71                 description: >-
  72                     This test case verifies: 1) SSH to an instance using floating
  73                     IPs over the public network. 2) Connectivity between 2 instances
  74                     over a private network.
  75                 dependencies:
  76                     installer: ''
  77                     scenario: '^((?!odl_l3).)*$'
  78                 run:
  79                     module: 'functest.opnfv_tests.openstack.vping.vping_ssh'
  80                     class: 'VPingSSH'
  81
  82             -
  83                 name: vping_userdata
  84                 criteria: 'status == "PASS"'
  85                 blocking: true
  86                 description: >-
  87                     This test case verifies:  1) Boot a VM with given userdata.
  88                     2) Connectivity between 2 instances over a private network.
  89                 dependencies:
  90                     installer: ''
  91                     scenario: '^((?!lxd).)*$'
  92                 run:
  93                     module: 'functest.opnfv_tests.openstack.vping.vping_userdata'
  94                     class: 'VPingUserdata'
  95
  96             -
  97                 name: tempest_smoke_serial
  98                 criteria: 'success_rate == 100%'
  99                 blocking: false
 100                 description: >-
 101                     This test case runs the smoke subset of the OpenStack
 102                     Tempest suite. The list of test cases is generated by
 103                     Tempest automatically and depends on the parameters of
 104                     the OpenStack deplopyment.
 105                 dependencies:
 106                     installer: '^((?!netvirt).)*$'
 107                     scenario: ''
 108                 run:
 109                     module: 'functest.opnfv_tests.openstack.tempest.tempest'
 110                     class: 'TempestSmokeSerial'
 111
 112             -
 113                 name: rally_sanity
 114                 criteria: 'success_rate == 100%'
 115                 blocking: false
 116                 description: >-
 117                     This test case runs a sub group of tests of the OpenStack
 118                     Rally suite in smoke mode.
 119                 dependencies:
 120                     installer: ''
 121                     scenario: ''
 122                 run:
 123                     module: 'functest.opnfv_tests.openstack.rally.rally'
 124                     class: 'RallySanity'
 125
 126             -
 127                 name: odl
 128                 criteria: 'success_rate == 100%'
 129                 blocking: true
 130                 description: >-
 131                     Test Suite for the OpenDaylight SDN Controller. It
 132                     integrates some test suites from upstream using
 133                     Robot as the test framework.
 134                 dependencies:
 135                     installer: ''
 136                     scenario: 'odl'
 137                 run:
 138                     module: 'functest.opnfv_tests.sdn.odl.odl'
 139                     class: 'ODLTests'
 140                     args:
 141                         suites:
 142                             -  /home/opnfv/repos/odl_test/csit/suites/integration/basic
 143                             -  /home/opnfv/repos/odl_test/csit/suites/openstack/neutron
 144
 145             -
 146                 name: odl_netvirt
 147                 criteria: 'success_rate == 100%'
 148                 blocking: true
 149                 description: >-
 150                     Test Suite for the OpenDaylight SDN Controller when
 151                     the NetVirt features are installed. It integrates
 152                     some test suites from upstream using Robot as the
 153                     test framework.
 154                 dependencies:
 155                     installer: ''
 156                     scenario: 'netvirt'
 157                 run:
 158                     module: 'functest.opnfv_tests.sdn.odl.odl'
 159                     class: 'ODLTests'
 160                     args:
 161                         suites:
 162                             -  /home/opnfv/repos/odl_test/csit/suites/integration/basic
 163                             -  /home/opnfv/repos/odl_test/csit/suites/openstack/neutron
 164                             -  /home/opnfv/repos/odl_test/csit/suites/openstack/connectivity
 165
 166             -
 167                 name: onos
 168                 criteria: 'status == "PASS"'
 169                 blocking: true
 170                 description: >-
 171                     Test Suite for the ONOS SDN Controller. It integrates
 172                     some test suites from upstream using TestON as the test
 173                     framework.
 174                 dependencies:
 175                     installer: ''
 176                     scenario: 'onos'
 177                 run:
 178                     module: 'functest.opnfv_tests.sdn.onos.onos'
 179                     class: 'Onos'
 180
 181             -
 182                 name: snaps_smoke
 183                 criteria: 'status == "PASS"'
 184                 blocking: false
 185                 description: >-
 186                     This test case contains tests that setup and destroy
 187                     environments with VMs with and without Floating IPs
 188                     with a newly created user and project. Set the config
 189                     value snaps.use_floating_ips (True|False) to toggle
 190                     this functionality. When the config value of
 191                     snaps.use_keystone is True, functest must have access to
 192                     the cloud's private network.
 193
 194                 dependencies:
 195                     installer: '^((?!netvirt).)*$'
 196                     scenario: ''
 197                 run:
 198                     module: 'functest.opnfv_tests.openstack.snaps.smoke'
 199                     class: 'SnapsSmoke'
 200
 201     -
 202         name: features
 203         order: 2
 204         ci_loop: '(daily)|(weekly)'
 205         description : >-
 206             Test suites from feature projects
 207             integrated in functest
 208         testcases:
 209             -
 210                 name: promise
 211                 criteria: 'success_rate == 100%'
 212                 blocking: false
 213                 description: >-
 214                     Test suite from Promise project.
 215                 dependencies:
 216                     installer: '(fuel)|(joid)'
 217                     scenario: ''
 218                 run:
 219                      module: 'functest.opnfv_tests.features.promise'
 220                      class: 'Promise'
 221
 222             -
 223                 name: doctor
 224                 criteria: 'status == "PASS"'
 225                 blocking: false
 226                 description: >-
 227                     Test suite from Doctor project.
 228                 dependencies:
 229                     installer: '(apex)|(fuel)|(joid)'
 230                     scenario: '^((?!fdio).)*$'
 231                 run:
 232                     module: 'functest.opnfv_tests.features.doctor'
 233                     class: 'Doctor'
 234
 235             -
 236                 name: bgpvpn
 237                 criteria: 'status == "PASS"'
 238                 blocking: false
 239                 description: >-
 240                     Test suite from SDNVPN project.
 241                 dependencies:
 242                     installer: '(fuel)|(apex)|(netvirt)'
 243                     scenario: 'bgpvpn'
 244                 run:
 245                     module: 'functest.opnfv_tests.features.sdnvpn'
 246                     class: 'SdnVpnTests'
 247
 248             -
 249                 name: security_scan
 250                 criteria: 'status == "PASS"'
 251                 blocking: false
 252                 description: >-
 253                     Simple Security Scan
 254                 dependencies:
 255                     installer: 'apex'
 256                     scenario: '^((?!fdio).)*$'
 257                 run:
 258                     module: 'functest.opnfv_tests.features.security_scan'
 259                     class: 'SecurityScan'
 260 #            -
 261 #                name: copper
 262 #                criteria: 'status == "PASS"'
 263 #                blocking: false
 264 #                description: >-
 265 #                    Test suite for policy management based on OpenStack Congress
 266 #                dependencies:
 267 #                    installer: '(apex)|(joid)'
 268 #                    scenario: '^((?!fdio|lxd).)*$'
 269 #                run:
 270 #                    module: 'functest.opnfv_tests.features.copper'
 271 #                    class: 'Copper'
 272             -
 273                 name: multisite
 274                 criteria: 'success_rate == 100%'
 275                 blocking: false
 276                 description: >-
 277                     Test suite from kingbird
 278                 dependencies:
 279                     installer: '(fuel)|(compass)'
 280                     scenario: 'multisite'
 281                 run:
 282                     module: 'functest.opnfv_tests.openstack.tempest.tempest'
 283                     class: 'TempestMultisite'
 284             -
 285                 name: odl-sfc
 286                 criteria: 'status == "PASS"'
 287                 blocking: false
 288                 description: >-
 289                     Test suite for odl-sfc to test two chains and two SFs
 290                 dependencies:
 291                     installer: '(apex)|(fuel)'
 292                     scenario: 'odl_l2-sfc'
 293                 run:
 294                     module: 'functest.opnfv_tests.features.odl_sfc'
 295                     class: 'OpenDaylightSFC'
 296             -
 297                 name: onos_sfc
 298                 criteria: 'status == "PASS"'
 299                 blocking: true
 300                 description: >-
 301                     Test Suite for onos-sfc to test sfc function.
 302                 dependencies:
 303                     installer: ''
 304                     scenario: 'onos-sfc'
 305                 run:
 306                     module: 'functest.opnfv_tests.sdn.onos.onos'
 307                     class: 'OnosSfc'
 308             -
 309                 name: parser
 310                 criteria: 'ret == 0'
 311                 blocking: false
 312                 description: >-
 313                     Test suite from Parser project.
 314                 dependencies:
 315                     installer: 'fuel'
 316                     scenario: '^((?!bgpvpn|noha).)*$'
 317                 run:
 318                     module: 'functest.opnfv_tests.vnf.rnc.parser'
 319                     class: 'Parser'
 320             -
 321                 name: domino
 322                 criteria: 'status == "PASS"'
 323                 blocking: false
 324                 description: >-
 325                     Test suite from Domino project.
 326                 dependencies:
 327                     installer: ''
 328                     scenario: ''
 329                 run:
 330                     module: 'functest.opnfv_tests.features.domino'
 331                     class: 'Domino'
 332             -
 333                 name: orchestra
 334                 criteria: 'ret == 0'
 335                 blocking: false
 336                 description: >-
 337                     Test OpenBaton (Orchestra) stack
 338                 dependencies:
 339                     installer: 'joid'
 340                     scenario: 'unknown'
 341                 run:
 342                     module: 'functest.opnfv_tests.features.orchestrator.orchestra'
 343                     class: 'OpenbatonOrchestrator'
 344             -
 345                 name: netready
 346                 criteria: 'status == "PASS"'
 347                 blocking: false
 348                 description: >-
 349                     Test suite from Netready project.
 350                 dependencies:
 351                     installer: 'apex'
 352                     scenario: 'gluon'
 353                 run:
 354                      module: 'functest.opnfv_tests.features.netready'
 355                      class: 'GluonVping'
 356             -
 357                 name: barometer
 358                 criteria: 'status == "PASS"'
 359                 blocking: false
 360                 description: >-
 361                     Test suite for the Barometer project. Separate tests verify the
 362                     proper configuration and functionality of the following
 363                     collectd plugins Ceilometer, Hugepages, Memory RAS (mcelog),
 364                     and OVS Events
 365                 dependencies:
 366                     installer: 'fuel'
 367                     scenario: 'kvm_ovs_dpdk_bar'
 368                 run:
 369                      module: 'functest.opnfv_tests.features.barometer'
 370                      class: 'BarometerCollectd'
 371     -
 372         name: components
 373         order: 3
 374         ci_loop: 'daily'
 375         description : >-
 376             Extensive testing of OpenStack API.
 377         testcases:
 378 #            -
 379 #                name: tempest_full_parallel
 380 #                criteria: 'success_rate >= 80%'
 381 #                blocking: false
 382 #                description: >-
 383 #                    The list of test cases is generated by
 384 #                    Tempest automatically and depends on the parameters of
 385 #                    the OpenStack deplopyment.
 386 #                dependencies:
 387 #                    installer: '^((?!netvirt).)*$'
 388 #                    scenario: ''
 389 #                run:
 390 #                    module: 'functest.opnfv_tests.openstack.tempest.tempest'
 391 #                    class: 'TempestFullParallel'
 392             -
 393                 name: tempest_defcore
 394                 criteria: 'success_rate == 100%'
 395                 blocking: false
 396                 description: >-
 397                     This is the set of Tempest test cases created by OpenStack
 398                     Interop Working Group for certification purposes.
 399                 dependencies:
 400                     installer: ''
 401                     scenario: 'nosdn-nofeature-ha'
 402                 run:
 403                     module: 'functest.opnfv_tests.openstack.tempest.tempest'
 404                     class: 'TempestDefcore'
 405             -
 406                 name: tempest_custom
 407                 criteria: 'success_rate == 100%'
 408                 blocking: false
 409                 description: >-
 410                     The test case allows running a customized list of tempest
 411                     test cases defined in a file under
 412                     <dir_functest_repo>/functest/opnfv_tests/openstack/
 413                       /tempest/custom_tests/test_list.txt
 414                     The file is empty and can be customized with the desired tests.
 415                 dependencies:
 416                     installer: 'unknown'
 417                     scenario: 'unknown'
 418                 run:
 419                     module: 'functest.opnfv_tests.openstack.tempest.tempest'
 420                     class: 'TempestCustom'
 421 #            -
 422 #                name: rally_full
 423 #                criteria: 'success_rate >= 90%'
 424 #                blocking: false
 425 #                description: >-
 426 #                    This test case runs the full suite of scenarios of the OpenStack
 427 #                    Rally suite using several threads and iterations.
 428 #                dependencies:
 429 #                    installer: '^((?!netvirt).)*$'
 430 #                    scenario: ''
 431 #                run:
 432 #                    module: 'functest.opnfv_tests.openstack.rally.rally'
 433 #                    class: 'RallyFull'
 434
 435     -
 436         name: vnf
 437         order: 4
 438         ci_loop: 'weekly'
 439         description : >-
 440             Collection of VNF test cases.
 441         testcases:
 442             -
 443                 name: cloudify_ims
 444                 criteria: 'status == "PASS"'
 445                 blocking: false
 446                 description: >-
 447                     This test case deploys an OpenSource vIMS solution from Clearwater
 448                     using the Cloudify orchestrator. It also runs some signaling traffic.
 449                 dependencies:
 450                     installer: ''
 451                     scenario: '(ocl)|(nosdn)|^(os-odl)((?!bgpvpn).)*$'
 452                 run:
 453                     module: 'functest.opnfv_tests.vnf.ims.cloudify_ims'
 454                     class: 'ImsVnf'
 455             -
 456                 name: aaa
 457                 criteria: 'ret == 0'
 458                 blocking: false
 459                 description: >-
 460                     Test suite from Parser project.
 461                 dependencies:
 462                     installer: ''
 463                     scenario: ''
 464                 run:
 465                     module: 'functest.opnfv_tests.vnf.aaa.aaa'
 466                     class: 'AaaVnf'
 467
 468             -
 469                 name: juju_epc
 470                 criteria: 'ret == 0'
 471                 blocking: false
 472                 description: >-
 473                     Test suite from OAI project, vEPC deployed with Juju.
 474                 dependencies:
 475                     installer: 'unknown'
 476                     scenario: 'unknown'
 477                 run:
 478                     module: 'functest.opnfv_tests.vnf.epc.epc'
 479                     class: 'EpcVnf'
 480
 481             -
 482                 name: orchestra_ims
 483                 criteria: 'ret == 0'
 484                 blocking: false
 485                 description: >-
 486                     VNF deployment with OpenBaton (Orchestra)
 487                 dependencies:
 488                     installer: ''
 489                     scenario: ''
 490                 run:
 491                     module: 'functest.opnfv_tests.vnf.ims.orchestra_ims'
 492                     class: 'ImsVnf'
 493
 494             -
 495                 name: opera_ims
 496                 criteria: 'ret == 0'
 497                 blocking: false
 498                 description: >-
 499                     Evolution of vIMS
 500                 dependencies:
 501                     installer: 'unknown'
 502                     scenario: 'unknown'
 503                 run:
 504                     module: 'functest.opnfv_tests.vnf.ims.opera_ims'
 505                     class: 'ImsVnf'
 506
 507             -
 508                 name: vyos_vrouter
 509                 criteria: 'status == "PASS"'
 510                 blocking: false
 511                 description: >-
 512                     This test case is vRouter testing.
 513                 dependencies:
 514                     installer: 'fuel'
 515                     scenario: 'nosdn-nofeature'
 516                 run:
 517                     module: 'functest.opnfv_tests.vnf.router.vyos_vrouter'
 518                     class: 'VrouterVnf'