functest/ci/testcases.yaml

   1 tiers:
   2     -
   3         name: healthcheck
   4         order: 0
   5         ci_loop: '(daily)|(weekly)'
   6         description : >-
   7             First tier to be executed to verify the basic
   8             operations in the VIM.
   9         testcases:
  10             -
  11                 name: snaps_health_check
  12                 criteria: 'status == "PASS"'
  13                 blocking: true
  14                 clean_flag: false
  15                 description: >-
  16                     This test case creates executes the SimpleHealthCheck
  17                     Python test class which creates an, image, flavor, network,
  18                     and Cirros VM instance and observes the console output to
  19                     validate the single port obtains the correct IP address.
  20                 dependencies:
  21                     installer: ''
  22                     scenario: '^((?!lxd).)*$'
  23                 run:
  24                     module: 'functest.opnfv_tests.openstack.snaps.health_check'
  25                     class: 'HealthCheck'
  26             -
  27                 name: connection_check
  28                 criteria: 'status == "PASS"'
  29                 blocking: true
  30                 clean_flag: false
  31                 description: >-
  32                     This test case verifies the retrieval of OpenStack clients:
  33                     Keystone, Glance, Neutron and Nova and may perform some
  34                     simple queries. When the config value of
  35                     snaps.use_keystone is True, functest must have access to
  36                     the cloud's private network.
  37
  38                 dependencies:
  39                     installer: '^((?!netvirt).)*$'
  40                     scenario: ''
  41                 run:
  42                     module: 'functest.opnfv_tests.openstack.snaps.connection_check'
  43                     class: 'ConnectionCheck'
  44
  45             -
  46                 name: api_check
  47                 criteria: 'status == "PASS"'
  48                 blocking: true
  49                 clean_flag: false
  50                 description: >-
  51                     This test case verifies the retrieval of OpenStack clients:
  52                     Keystone, Glance, Neutron and Nova and may perform some
  53                     simple queries. When the config value of
  54                     snaps.use_keystone is True, functest must have access to
  55                     the cloud's private network.
  56
  57                 dependencies:
  58                     installer: '^((?!netvirt).)*$'
  59                     scenario: ''
  60                 run:
  61                     module: 'functest.opnfv_tests.openstack.snaps.api_check'
  62                     class: 'ApiCheck'
  63     -
  64         name: smoke
  65         order: 1
  66         ci_loop: '(daily)|(weekly)'
  67         description : >-
  68             Set of basic Functional tests to validate the OPNFV scenarios.
  69         testcases:
  70             -
  71                 name: vping_ssh
  72                 criteria: 'status == "PASS"'
  73                 blocking: true
  74                 clean_flag: true
  75                 description: >-
  76                     This test case verifies: 1) SSH to an instance using floating
  77                     IPs over the public network. 2) Connectivity between 2 instances
  78                     over a private network.
  79                 dependencies:
  80                     installer: ''
  81                     scenario: '^((?!bgpvpn|odl_l3).)*$'
  82                 run:
  83                     module: 'functest.opnfv_tests.openstack.vping.vping_ssh'
  84                     class: 'VPingSSH'
  85
  86             -
  87                 name: vping_userdata
  88                 criteria: 'status == "PASS"'
  89                 blocking: true
  90                 clean_flag: true
  91                 description: >-
  92                     This test case verifies:  1) Boot a VM with given userdata.
  93                     2) Connectivity between 2 instances over a private network.
  94                 dependencies:
  95                     installer: ''
  96                     scenario: '^((?!lxd).)*$'
  97                 run:
  98                     module: 'functest.opnfv_tests.openstack.vping.vping_userdata'
  99                     class: 'VPingUserdata'
 100
 101             -
 102                 name: tempest_smoke_serial
 103                 criteria: 'success_rate == 100%'
 104                 blocking: false
 105                 clean_flag: false
 106                 description: >-
 107                     This test case runs the smoke subset of the OpenStack
 108                     Tempest suite. The list of test cases is generated by
 109                     Tempest automatically and depends on the parameters of
 110                     the OpenStack deplopyment.
 111                 dependencies:
 112                     installer: '^((?!netvirt).)*$'
 113                     scenario: ''
 114                 run:
 115                     module: 'functest.opnfv_tests.openstack.tempest.tempest'
 116                     class: 'TempestSmokeSerial'
 117
 118             -
 119                 name: rally_sanity
 120                 criteria: 'success_rate == 100%'
 121                 blocking: false
 122                 clean_flag: false
 123                 description: >-
 124                     This test case runs a sub group of tests of the OpenStack
 125                     Rally suite in smoke mode.
 126                 dependencies:
 127                     installer: ''
 128                     scenario: '^((?!bgpvpn).)*$'
 129                 run:
 130                     module: 'functest.opnfv_tests.openstack.rally.rally'
 131                     class: 'RallySanity'
 132
 133             -
 134                 name: odl
 135                 criteria: 'success_rate == 100%'
 136                 blocking: true
 137                 clean_flag: false
 138                 description: >-
 139                     Test Suite for the OpenDaylight SDN Controller. It
 140                     integrates some test suites from upstream using
 141                     Robot as the test framework.
 142                 dependencies:
 143                     installer: ''
 144                     scenario: 'odl'
 145                 run:
 146                     module: 'functest.opnfv_tests.sdn.odl.odl'
 147                     class: 'ODLTests'
 148                     args:
 149                         suites:
 150                             -  /home/opnfv/repos/odl_test/csit/suites/integration/basic
 151                             -  /home/opnfv/repos/odl_test/csit/suites/openstack/neutron
 152
 153             -
 154                 name: odl_netvirt
 155                 criteria: 'success_rate == 100%'
 156                 blocking: true
 157                 clean_flag: false
 158                 description: >-
 159                     Test Suite for the OpenDaylight SDN Controller when
 160                     the NetVirt features are installed. It integrates
 161                     some test suites from upstream using Robot as the
 162                     test framework.
 163                 dependencies:
 164                     installer: ''
 165                     scenario: 'netvirt'
 166                 run:
 167                     module: 'functest.opnfv_tests.sdn.odl.odl'
 168                     class: 'ODLTests'
 169                     args:
 170                         suites:
 171                             -  /home/opnfv/repos/odl_test/csit/suites/integration/basic
 172                             -  /home/opnfv/repos/odl_test/csit/suites/openstack/neutron
 173                             -  /home/opnfv/repos/odl_test/csit/suites/openstack/connectivity
 174
 175             -
 176                 name: onos
 177                 criteria: 'status == "PASS"'
 178                 blocking: true
 179                 clean_flag: true
 180                 description: >-
 181                     Test Suite for the ONOS SDN Controller. It integrates
 182                     some test suites from upstream using TestON as the test
 183                     framework.
 184                 dependencies:
 185                     installer: ''
 186                     scenario: 'onos'
 187
 188
 189             -
 190                 name: snaps_smoke
 191                 criteria: 'status == "PASS"'
 192                 blocking: false
 193                 clean_flag: false
 194                 description: >-
 195                     This test case contains tests that setup and destroy
 196                     environments with VMs with and without Floating IPs
 197                     with a newly created user and project. Set the config
 198                     value snaps.use_floating_ips (True|False) to toggle
 199                     this functionality. When the config value of
 200                     snaps.use_keystone is True, functest must have access to
 201                     the cloud's private network.
 202
 203                 dependencies:
 204                     installer: '^((?!netvirt).)*$'
 205                     scenario: ''
 206                 run:
 207                     module: 'functest.opnfv_tests.openstack.snaps.smoke'
 208                     class: 'SnapsSmoke'
 209
 210     -
 211         name: features
 212         order: 2
 213         ci_loop: '(daily)|(weekly)'
 214         description : >-
 215             Test suites from feature projects
 216             integrated in functest
 217         testcases:
 218             -
 219                 name: promise
 220                 criteria: 'success_rate == 100%'
 221                 blocking: false
 222                 clean_flag: true
 223                 description: >-
 224                     Test suite from Promise project.
 225                 dependencies:
 226                     installer: '(fuel)|(joid)'
 227                     scenario: ''
 228                 run:
 229                      module: 'functest.opnfv_tests.features.promise'
 230                      class: 'Promise'
 231
 232             -
 233                 name: doctor
 234                 criteria: 'status == "PASS"'
 235                 blocking: false
 236                 clean_flag: true
 237                 description: >-
 238                     Test suite from Doctor project.
 239                 dependencies:
 240                     installer: '(apex)|(fuel)|(joid)'
 241                     scenario: '^((?!fdio).)*$'
 242                 run:
 243                     module: 'functest.opnfv_tests.features.doctor'
 244                     class: 'Doctor'
 245
 246             -
 247                 name: bgpvpn
 248                 criteria: 'status == "PASS"'
 249                 blocking: false
 250                 clean_flag: true
 251                 description: >-
 252                     Test suite from SDNVPN project.
 253                 dependencies:
 254                     installer: '(fuel)|(apex)|(netvirt)'
 255                     scenario: 'bgpvpn'
 256                 run:
 257                     module: 'functest.opnfv_tests.features.sdnvpn'
 258                     class: 'SdnVpnTests'
 259
 260             -
 261                 name: security_scan
 262                 criteria: 'status == "PASS"'
 263                 blocking: false
 264                 clean_flag: true
 265                 description: >-
 266                     Simple Security Scan
 267                 dependencies:
 268                     installer: 'apex'
 269                     scenario: '^((?!fdio).)*$'
 270                 run:
 271                     module: 'functest.opnfv_tests.features.security_scan'
 272                     class: 'SecurityScan'
 273 #            -
 274 #                name: copper
 275 #                criteria: 'status == "PASS"'
 276 #                blocking: false
 277 #                clean_flag: true
 278 #                description: >-
 279 #                    Test suite for policy management based on OpenStack Congress
 280 #                dependencies:
 281 #                    installer: '(apex)|(joid)'
 282 #                    scenario: '^((?!fdio|lxd).)*$'
 283 #                run:
 284 #                    module: 'functest.opnfv_tests.features.copper'
 285 #                    class: 'Copper'
 286             -
 287                 name: multisite
 288                 criteria: 'success_rate == 100%'
 289                 blocking: false
 290                 clean_flag: false
 291                 description: >-
 292                     Test suite from kingbird
 293                 dependencies:
 294                     installer: '(fuel)|(compass)'
 295                     scenario: 'multisite'
 296                 run:
 297                     module: 'functest.opnfv_tests.openstack.tempest.tempest'
 298                     class: 'TempestMultisite'
 299             -
 300                 name: odl-sfc
 301                 criteria: 'status == "PASS"'
 302                 blocking: false
 303                 clean_flag: true
 304                 description: >-
 305                     Test suite for odl-sfc to test two chains and two SFs
 306                 dependencies:
 307                     installer: '(apex)|(fuel)'
 308                     scenario: 'odl_l2-sfc'
 309                 run:
 310                     module: 'functest.opnfv_tests.features.odl_sfc'
 311                     class: 'OpenDaylightSFC'
 312             -
 313                 name: onos_sfc
 314                 criteria: 'status == "PASS"'
 315                 blocking: true
 316                 clean_flag: true
 317                 description: >-
 318                     Test Suite for onos-sfc to test sfc function.
 319                 dependencies:
 320                     installer: ''
 321                     scenario: 'onos-sfc'
 322             -
 323                 name: parser
 324                 criteria: 'ret == 0'
 325                 blocking: false
 326                 clean_flag: true
 327                 description: >-
 328                     Test suite from Parser project.
 329                 dependencies:
 330                     installer: 'fuel'
 331                     scenario: '^((?!bgpvpn|noha).)*$'
 332                 run:
 333                     module: 'functest.opnfv_tests.vnf.rnc.parser'
 334                     class: 'Parser'
 335             -
 336                 name: domino
 337                 criteria: 'status == "PASS"'
 338                 blocking: false
 339                 clean_flag: true
 340                 description: >-
 341                     Test suite from Domino project.
 342                 dependencies:
 343                     installer: ''
 344                     scenario: ''
 345                 run:
 346                     module: 'functest.opnfv_tests.features.domino'
 347                     class: 'Domino'
 348             -
 349                 name: orchestra
 350                 criteria: 'ret == 0'
 351                 blocking: false
 352                 clean_flag: true
 353                 description: >-
 354                     Test OpenBaton (Orchestra) stack
 355                 dependencies:
 356                     installer: 'joid'
 357                     scenario: 'unknown'
 358                 run:
 359                     module: 'functest.opnfv_tests.features.orchestrator.orchestra'
 360                     class: 'OpenbatonOrchestrator'
 361             -
 362                 name: netready
 363                 criteria: 'status == "PASS"'
 364                 blocking: false
 365                 clean_flag: true
 366                 description: >-
 367                     Test suite from Netready project.
 368                 dependencies:
 369                     installer: 'apex'
 370                     scenario: 'gluon'
 371                 run:
 372                      module: 'functest.opnfv_tests.features.netready'
 373                      class: 'GluonVping'
 374             -
 375                 name: barometer
 376                 criteria: 'status == "PASS"'
 377                 blocking: false
 378                 clean_flag: true
 379                 description: >-
 380                     Test suite for the Barometer project. Separate tests verify the
 381                     proper configuration and functionality of the following
 382                     collectd plugins Ceilometer, Hugepages, Memory RAS (mcelog),
 383                     and OVS Events
 384                 dependencies:
 385                     installer: 'fuel'
 386                     scenario: 'kvm_ovs_dpdk_bar'
 387                 run:
 388                      module: 'functest.opnfv_tests.features.barometer'
 389                      class: 'BarometerCollectd'
 390     -
 391         name: components
 392         order: 3
 393         ci_loop: 'daily'
 394         description : >-
 395             Extensive testing of OpenStack API.
 396         testcases:
 397 #            -
 398 #                name: tempest_full_parallel
 399 #                criteria: 'success_rate >= 80%'
 400 #                blocking: false
 401 #                clean_flag: false
 402 #                description: >-
 403 #                    The list of test cases is generated by
 404 #                    Tempest automatically and depends on the parameters of
 405 #                    the OpenStack deplopyment.
 406 #                dependencies:
 407 #                    installer: '^((?!netvirt).)*$'
 408 #                    scenario: ''
 409 #                run:
 410 #                    module: 'functest.opnfv_tests.openstack.tempest.tempest'
 411 #                    class: 'TempestFullParallel'
 412             -
 413                 name: tempest_defcore
 414                 criteria: 'success_rate == 100%'
 415                 blocking: false
 416                 clean_flag: false
 417                 description: >-
 418                     This is the set of Tempest test cases created by OpenStack
 419                     Interop Working Group for certification purposes.
 420                 dependencies:
 421                     installer: ''
 422                     scenario: 'nosdn-nofeature-ha'
 423                 run:
 424                     module: 'functest.opnfv_tests.openstack.tempest.tempest'
 425                     class: 'TempestDefcore'
 426 #            -
 427 #                name: rally_full
 428 #                criteria: 'success_rate >= 90%'
 429 #                blocking: false
 430 #                clean_flag: false
 431 #                description: >-
 432 #                    This test case runs the full suite of scenarios of the OpenStack
 433 #                    Rally suite using several threads and iterations.
 434 #                dependencies:
 435 #                    installer: '^((?!netvirt).)*$'
 436 #                    scenario: ''
 437 #                run:
 438 #                    module: 'functest.opnfv_tests.openstack.rally.rally'
 439 #                    class: 'RallyFull'
 440
 441     -
 442         name: vnf
 443         order: 4
 444         ci_loop: 'weekly'
 445         description : >-
 446             Collection of VNF test cases.
 447         testcases:
 448             -
 449                 name: cloudify_ims
 450                 criteria: 'status == "PASS"'
 451                 blocking: false
 452                 clean_flag: true
 453                 description: >-
 454                     This test case deploys an OpenSource vIMS solution from Clearwater
 455                     using the Cloudify orchestrator. It also runs some signaling traffic.
 456                 dependencies:
 457                     installer: ''
 458                     scenario: '(ocl)|(nosdn)|^(os-odl)((?!bgpvpn).)*$'
 459                 run:
 460                     module: 'functest.opnfv_tests.vnf.ims.cloudify_ims'
 461                     class: 'ImsVnf'
 462             -
 463                 name: aaa
 464                 criteria: 'ret == 0'
 465                 blocking: false
 466                 clean_flag: true
 467                 description: >-
 468                     Test suite from Parser project.
 469                 dependencies:
 470                     installer: ''
 471                     scenario: ''
 472                 run:
 473                     module: 'functest.opnfv_tests.vnf.aaa.aaa'
 474                     class: 'AaaVnf'
 475
 476             -
 477                 name: juju_epc
 478                 criteria: 'ret == 0'
 479                 blocking: false
 480                 clean_flag: true
 481                 description: >-
 482                     Test suite from OAI project, vEPC deployed with Juju.
 483                 dependencies:
 484                     installer: 'unknown'
 485                     scenario: 'unknown'
 486                 run:
 487                     module: 'functest.opnfv_tests.vnf.epc.epc'
 488                     class: 'EpcVnf'
 489
 490             -
 491                 name: orchestra_ims
 492                 criteria: 'ret == 0'
 493                 blocking: false
 494                 clean_flag: true
 495                 description: >-
 496                     VNF deployment with OpenBaton (Orchestra)
 497                 dependencies:
 498                     installer: ''
 499                     scenario: ''
 500                 run:
 501                     module: 'functest.opnfv_tests.vnf.ims.orchestra_ims'
 502                     class: 'ImsVnf'
 503
 504             -
 505                 name: opera_ims
 506                 criteria: 'ret == 0'
 507                 blocking: false
 508                 clean_flag: true
 509                 description: >-
 510                     Evolution of vIMS
 511                 dependencies:
 512                     installer: 'unknown'
 513                     scenario: 'unknown'
 514                 run:
 515                     module: 'functest.opnfv_tests.vnf.ims.opera_ims'
 516                     class: 'ImsVnf'
 517
 518             -
 519                 name: vyos_vrouter
 520                 criteria: 'status == "PASS"'
 521                 blocking: false
 522                 clean_flag: true
 523                 description: >-
 524                     This test case is vRouter testing.
 525                 dependencies:
 526                     installer: 'fuel'
 527                     scenario: 'nosdn-nofeature'
 528                 run:
 529                     module: 'functest.opnfv_tests.vnf.router.vyos_vrouter'
 530                     class: 'VrouterVnf'