functest/ci/testcases.yaml

   1 tiers:
   2     -
   3         name: healthcheck
   4         order: 0
   5         ci_loop: '(daily)|(weekly)'
   6         description : >-
   7             First tier to be executed to verify the basic
   8             operations in the VIM.
   9         testcases:
  10             -
  11                 name: snaps_health_check
  12                 criteria: 'status == "PASS"'
  13                 blocking: true
  14                 clean_flag: false
  15                 description: >-
  16                     This test case creates executes the SimpleHealthCheck
  17                     Python test class which creates an, image, flavor, network,
  18                     and Cirros VM instance and observes the console output to
  19                     validate the single port obtains the correct IP address.
  20                 dependencies:
  21                     installer: ''
  22                     scenario: '^((?!lxd).)*$'
  23                 run:
  24                     module: 'functest.opnfv_tests.openstack.snaps.health_check'
  25                     class: 'HealthCheck'
  26             -
  27                 name: connection_check
  28                 criteria: 'status == "PASS"'
  29                 blocking: true
  30                 clean_flag: false
  31                 description: >-
  32                     This test case verifies the retrieval of OpenStack clients:
  33                     Keystone, Glance, Neutron and Nova and may perform some
  34                     simple queries. When the config value of
  35                     snaps.use_keystone is True, functest must have access to
  36                     the cloud's private network.
  37
  38                 dependencies:
  39                     installer: '^((?!netvirt).)*$'
  40                     scenario: ''
  41                 run:
  42                     module: 'functest.opnfv_tests.openstack.snaps.connection_check'
  43                     class: 'ConnectionCheck'
  44
  45             -
  46                 name: api_check
  47                 criteria: 'status == "PASS"'
  48                 blocking: true
  49                 clean_flag: false
  50                 description: >-
  51                     This test case verifies the retrieval of OpenStack clients:
  52                     Keystone, Glance, Neutron and Nova and may perform some
  53                     simple queries. When the config value of
  54                     snaps.use_keystone is True, functest must have access to
  55                     the cloud's private network.
  56
  57                 dependencies:
  58                     installer: '^((?!netvirt).)*$'
  59                     scenario: ''
  60                 run:
  61                     module: 'functest.opnfv_tests.openstack.snaps.api_check'
  62                     class: 'ApiCheck'
  63     -
  64         name: smoke
  65         order: 1
  66         ci_loop: '(daily)|(weekly)'
  67         description : >-
  68             Set of basic Functional tests to validate the OPNFV scenarios.
  69         testcases:
  70             -
  71                 name: vping_ssh
  72                 criteria: 'status == "PASS"'
  73                 blocking: true
  74                 clean_flag: true
  75                 description: >-
  76                     This test case verifies: 1) SSH to an instance using floating
  77                     IPs over the public network. 2) Connectivity between 2 instances
  78                     over a private network.
  79                 dependencies:
  80                     installer: ''
  81                     scenario: '^((?!odl_l3).)*$'
  82                 run:
  83                     module: 'functest.opnfv_tests.openstack.vping.vping_ssh'
  84                     class: 'VPingSSH'
  85
  86             -
  87                 name: vping_userdata
  88                 criteria: 'status == "PASS"'
  89                 blocking: true
  90                 clean_flag: true
  91                 description: >-
  92                     This test case verifies:  1) Boot a VM with given userdata.
  93                     2) Connectivity between 2 instances over a private network.
  94                 dependencies:
  95                     installer: ''
  96                     scenario: '^((?!lxd).)*$'
  97                 run:
  98                     module: 'functest.opnfv_tests.openstack.vping.vping_userdata'
  99                     class: 'VPingUserdata'
 100
 101             -
 102                 name: tempest_smoke_serial
 103                 criteria: 'success_rate == 100%'
 104                 blocking: false
 105                 clean_flag: false
 106                 description: >-
 107                     This test case runs the smoke subset of the OpenStack
 108                     Tempest suite. The list of test cases is generated by
 109                     Tempest automatically and depends on the parameters of
 110                     the OpenStack deplopyment.
 111                 dependencies:
 112                     installer: '^((?!netvirt).)*$'
 113                     scenario: ''
 114                 run:
 115                     module: 'functest.opnfv_tests.openstack.tempest.tempest'
 116                     class: 'TempestSmokeSerial'
 117
 118             -
 119                 name: rally_sanity
 120                 criteria: 'success_rate == 100%'
 121                 blocking: false
 122                 clean_flag: false
 123                 description: >-
 124                     This test case runs a sub group of tests of the OpenStack
 125                     Rally suite in smoke mode.
 126                 dependencies:
 127                     installer: ''
 128                     scenario: ''
 129                 run:
 130                     module: 'functest.opnfv_tests.openstack.rally.rally'
 131                     class: 'RallySanity'
 132
 133             -
 134                 name: odl
 135                 criteria: 'success_rate == 100%'
 136                 blocking: true
 137                 clean_flag: false
 138                 description: >-
 139                     Test Suite for the OpenDaylight SDN Controller. It
 140                     integrates some test suites from upstream using
 141                     Robot as the test framework.
 142                 dependencies:
 143                     installer: ''
 144                     scenario: 'odl'
 145                 run:
 146                     module: 'functest.opnfv_tests.sdn.odl.odl'
 147                     class: 'ODLTests'
 148                     args:
 149                         suites:
 150                             -  /home/opnfv/repos/odl_test/csit/suites/integration/basic
 151                             -  /home/opnfv/repos/odl_test/csit/suites/openstack/neutron
 152
 153             -
 154                 name: odl_netvirt
 155                 criteria: 'success_rate == 100%'
 156                 blocking: true
 157                 clean_flag: false
 158                 description: >-
 159                     Test Suite for the OpenDaylight SDN Controller when
 160                     the NetVirt features are installed. It integrates
 161                     some test suites from upstream using Robot as the
 162                     test framework.
 163                 dependencies:
 164                     installer: ''
 165                     scenario: 'netvirt'
 166                 run:
 167                     module: 'functest.opnfv_tests.sdn.odl.odl'
 168                     class: 'ODLTests'
 169                     args:
 170                         suites:
 171                             -  /home/opnfv/repos/odl_test/csit/suites/integration/basic
 172                             -  /home/opnfv/repos/odl_test/csit/suites/openstack/neutron
 173                             -  /home/opnfv/repos/odl_test/csit/suites/openstack/connectivity
 174
 175             -
 176                 name: fds
 177                 criteria: 'success_rate == 100%'
 178                 blocking: false
 179                 clean_flag: false
 180                 description: >-
 181                     Test Suite for the OpenDaylight SDN Controller when GBP features are
 182                     installed. It integrates some test suites from upstream using
 183                     Robot as the test framework.
 184                 dependencies:
 185                     installer: 'apex'
 186                     scenario: 'odl_l2-fdio'
 187                 run:
 188                     module: 'functest.opnfv_tests.sdn.odl.odl'
 189                     class: 'ODLTests'
 190                     args:
 191                         suites:
 192                             -  /home/opnfv/repos/fds/testing/robot
 193
 194             -
 195                 name: onos
 196                 criteria: 'status == "PASS"'
 197                 blocking: true
 198                 clean_flag: true
 199                 description: >-
 200                     Test Suite for the ONOS SDN Controller. It integrates
 201                     some test suites from upstream using TestON as the test
 202                     framework.
 203                 dependencies:
 204                     installer: ''
 205                     scenario: 'onos'
 206                 run:
 207                     module: 'functest.opnfv_tests.sdn.onos.onos'
 208                     class: 'Onos'
 209
 210             -
 211                 name: snaps_smoke
 212                 criteria: 'status == "PASS"'
 213                 blocking: false
 214                 clean_flag: false
 215                 description: >-
 216                     This test case contains tests that setup and destroy
 217                     environments with VMs with and without Floating IPs
 218                     with a newly created user and project. Set the config
 219                     value snaps.use_floating_ips (True|False) to toggle
 220                     this functionality. When the config value of
 221                     snaps.use_keystone is True, functest must have access to
 222                     the cloud's private network.
 223
 224                 dependencies:
 225                     installer: '^((?!netvirt).)*$'
 226                     scenario: '^((?!lxd).)*$'
 227                 run:
 228                     module: 'functest.opnfv_tests.openstack.snaps.smoke'
 229                     class: 'SnapsSmoke'
 230
 231     -
 232         name: features
 233         order: 2
 234         ci_loop: '(daily)|(weekly)'
 235         description : >-
 236             Test suites from feature projects
 237             integrated in functest
 238         testcases:
 239             -
 240                 name: promise
 241                 criteria: 'success_rate == 100%'
 242                 blocking: false
 243                 clean_flag: true
 244                 description: >-
 245                     Test suite from Promise project.
 246                 dependencies:
 247                     installer: '(fuel)|(joid)'
 248                     scenario: ''
 249                 run:
 250                      module: 'functest.opnfv_tests.features.promise'
 251                      class: 'Promise'
 252
 253             -
 254                 name: doctor
 255                 criteria: 'status == "PASS"'
 256                 blocking: false
 257                 clean_flag: true
 258                 description: >-
 259                     Test suite from Doctor project.
 260                 dependencies:
 261                     installer: '(apex)|(fuel)|(joid)'
 262                     scenario: '^((?!fdio).)*$'
 263                 run:
 264                     module: 'functest.opnfv_tests.features.doctor'
 265                     class: 'Doctor'
 266
 267             -
 268                 name: bgpvpn
 269                 criteria: 'status == "PASS"'
 270                 blocking: false
 271                 clean_flag: true
 272                 description: >-
 273                     Test suite from SDNVPN project.
 274                 dependencies:
 275                     installer: '(fuel)|(apex)|(netvirt)'
 276                     scenario: 'bgpvpn'
 277                 run:
 278                     module: 'functest.opnfv_tests.features.sdnvpn'
 279                     class: 'SdnVpnTests'
 280
 281             -
 282                 name: security_scan
 283                 criteria: 'status == "PASS"'
 284                 blocking: false
 285                 clean_flag: true
 286                 description: >-
 287                     Simple Security Scan
 288                 dependencies:
 289                     installer: 'apex'
 290                     scenario: '^((?!fdio).)*$'
 291                 run:
 292                     module: 'functest.opnfv_tests.features.security_scan'
 293                     class: 'SecurityScan'
 294 #            -
 295 #                name: copper
 296 #                criteria: 'status == "PASS"'
 297 #                blocking: false
 298 #                clean_flag: true
 299 #                description: >-
 300 #                    Test suite for policy management based on OpenStack Congress
 301 #                dependencies:
 302 #                    installer: '(apex)|(joid)'
 303 #                    scenario: '^((?!fdio|lxd).)*$'
 304 #                run:
 305 #                    module: 'functest.opnfv_tests.features.copper'
 306 #                    class: 'Copper'
 307             -
 308                 name: multisite
 309                 criteria: 'success_rate == 100%'
 310                 blocking: false
 311                 clean_flag: false
 312                 description: >-
 313                     Test suite from kingbird
 314                 dependencies:
 315                     installer: '(fuel)|(compass)'
 316                     scenario: 'multisite'
 317                 run:
 318                     module: 'functest.opnfv_tests.openstack.tempest.tempest'
 319                     class: 'TempestMultisite'
 320             -
 321                 name: odl-sfc
 322                 criteria: 'status == "PASS"'
 323                 blocking: false
 324                 clean_flag: true
 325                 description: >-
 326                     Test suite for odl-sfc to test two chains and two SFs
 327                 dependencies:
 328                     installer: '(apex)|(fuel)'
 329                     scenario: 'odl_l2-sfc'
 330                 run:
 331                     module: 'functest.opnfv_tests.features.odl_sfc'
 332                     class: 'OpenDaylightSFC'
 333             -
 334                 name: onos_sfc
 335                 criteria: 'status == "PASS"'
 336                 blocking: true
 337                 clean_flag: true
 338                 description: >-
 339                     Test Suite for onos-sfc to test sfc function.
 340                 dependencies:
 341                     installer: ''
 342                     scenario: 'onos-sfc'
 343                 run:
 344                     module: 'functest.opnfv_tests.sdn.onos.onos'
 345                     class: 'OnosSfc'
 346             -
 347                 name: parser
 348                 criteria: 'ret == 0'
 349                 blocking: false
 350                 clean_flag: true
 351                 description: >-
 352                     Test suite from Parser project.
 353                 dependencies:
 354                     installer: 'fuel'
 355                     scenario: '^((?!bgpvpn|noha).)*$'
 356                 run:
 357                     module: 'functest.opnfv_tests.vnf.rnc.parser'
 358                     class: 'Parser'
 359             -
 360                 name: domino
 361                 criteria: 'status == "PASS"'
 362                 blocking: false
 363                 clean_flag: true
 364                 description: >-
 365                     Test suite from Domino project.
 366                 dependencies:
 367                     installer: ''
 368                     scenario: ''
 369                 run:
 370                     module: 'functest.opnfv_tests.features.domino'
 371                     class: 'Domino'
 372             -
 373                 name: netready
 374                 criteria: 'status == "PASS"'
 375                 blocking: false
 376                 clean_flag: true
 377                 description: >-
 378                     Test suite from Netready project.
 379                 dependencies:
 380                     installer: 'apex'
 381                     scenario: 'gluon'
 382                 run:
 383                      module: 'functest.opnfv_tests.features.netready'
 384                      class: 'GluonVping'
 385             -
 386                 name: barometer
 387                 criteria: 'status == "PASS"'
 388                 blocking: false
 389                 clean_flag: true
 390                 description: >-
 391                     Test suite for the Barometer project. Separate tests verify the
 392                     proper configuration and functionality of the following
 393                     collectd plugins Ceilometer, Hugepages, Memory RAS (mcelog),
 394                     and OVS Events
 395                 dependencies:
 396                     installer: 'fuel'
 397                     scenario: 'kvm_ovs_dpdk_bar'
 398                 run:
 399                      module: 'functest.opnfv_tests.features.barometer'
 400                      class: 'BarometerCollectd'
 401     -
 402         name: components
 403         order: 3
 404         ci_loop: 'daily'
 405         description : >-
 406             Extensive testing of OpenStack API.
 407         testcases:
 408 #            -
 409 #                name: tempest_full_parallel
 410 #                criteria: 'success_rate >= 80%'
 411 #                blocking: false
 412 #                clean_flag: false
 413 #                description: >-
 414 #                    The list of test cases is generated by
 415 #                    Tempest automatically and depends on the parameters of
 416 #                    the OpenStack deplopyment.
 417 #                dependencies:
 418 #                    installer: '^((?!netvirt).)*$'
 419 #                    scenario: ''
 420 #                run:
 421 #                    module: 'functest.opnfv_tests.openstack.tempest.tempest'
 422 #                    class: 'TempestFullParallel'
 423             -
 424                 name: tempest_defcore
 425                 criteria: 'success_rate == 100%'
 426                 blocking: false
 427                 clean_flag: false
 428                 description: >-
 429                     This is the set of Tempest test cases created by OpenStack
 430                     Interop Working Group for certification purposes.
 431                 dependencies:
 432                     installer: ''
 433                     scenario: 'nosdn-nofeature-ha'
 434                 run:
 435                     module: 'functest.opnfv_tests.openstack.tempest.tempest'
 436                     class: 'TempestDefcore'
 437             -
 438                 name: tempest_custom
 439                 criteria: 'success_rate == 100%'
 440                 blocking: false
 441                 clean_flag: false
 442                 description: >-
 443                     The test case allows running a customized list of tempest
 444                     test cases defined in a file under
 445                     <dir_functest_repo>/functest/opnfv_tests/openstack/
 446                       /tempest/custom_tests/test_list.txt
 447                     The file is empty and can be customized with the desired tests.
 448                 dependencies:
 449                     installer: 'unknown'
 450                     scenario: 'unknown'
 451                 run:
 452                     module: 'functest.opnfv_tests.openstack.tempest.tempest'
 453                     class: 'TempestCustom'
 454 #            -
 455 #                name: rally_full
 456 #                criteria: 'success_rate >= 90%'
 457 #                blocking: false
 458 #                clean_flag: false
 459 #                description: >-
 460 #                    This test case runs the full suite of scenarios of the OpenStack
 461 #                    Rally suite using several threads and iterations.
 462 #                dependencies:
 463 #                    installer: '^((?!netvirt).)*$'
 464 #                    scenario: ''
 465 #                run:
 466 #                    module: 'functest.opnfv_tests.openstack.rally.rally'
 467 #                    class: 'RallyFull'
 468
 469     -
 470         name: vnf
 471         order: 4
 472         ci_loop: 'weekly'
 473         description : >-
 474             Collection of VNF test cases.
 475         testcases:
 476             -
 477                 name: cloudify_ims
 478                 criteria: 'status == "PASS"'
 479                 blocking: false
 480                 clean_flag: true
 481                 description: >-
 482                     This test case deploys an OpenSource vIMS solution from Clearwater
 483                     using the Cloudify orchestrator. It also runs some signaling traffic.
 484                 dependencies:
 485                     installer: ''
 486                     scenario: '(ocl)|(nosdn)|^(os-odl)((?!bgpvpn).)*$'
 487                 run:
 488                     module: 'functest.opnfv_tests.vnf.ims.cloudify_ims'
 489                     class: 'ImsVnf'
 490 #          -
 491 #               name: aaa
 492 #               criteria: 'ret == 0'
 493 #               blocking: false
 494 #               clean_flag: true
 495 #               description: >-
 496 #                   Test suite from Parser project.
 497 #               dependencies:
 498 #                   installer: ''
 499 #                   scenario: ''
 500 #               run:
 501 #                   module: 'functest.opnfv_tests.vnf.aaa.aaa'
 502 #                   class: 'AaaVnf'
 503             -
 504                 name: orchestra_ims
 505                 criteria: 'ret == 0'
 506                 blocking: false
 507                 clean_flag: true
 508                 description: >-
 509                     VNF deployment with OpenBaton (Orchestra)
 510                 dependencies:
 511                     installer: ''
 512                     scenario: ''
 513                 run:
 514                     module: 'functest.opnfv_tests.vnf.ims.orchestra_ims'
 515                     class: 'ImsVnf'
 516
 517             -
 518                 name: opera_ims
 519                 criteria: 'ret == 0'
 520                 blocking: false
 521                 clean_flag: true
 522                 description: >-
 523                     Evolution of vIMS
 524                 dependencies:
 525                     installer: 'unknown'
 526                     scenario: 'unknown'
 527                 run:
 528                     module: 'functest.opnfv_tests.vnf.ims.opera_ims'
 529                     class: 'ImsVnf'
 530
 531             -
 532                 name: vyos_vrouter
 533                 criteria: 'status == "PASS"'
 534                 blocking: false
 535                 clean_flag: true
 536                 description: >-
 537                     This test case is vRouter testing.
 538                 dependencies:
 539                     installer: 'fuel'
 540                     scenario: 'nosdn-nofeature'
 541                 run:
 542                     module: 'functest.opnfv_tests.vnf.router.vyos_vrouter'
 543                     class: 'VrouterVnf'