functest/ci/testcases.yaml

   1 tiers:
   2     -
   3         name: healthcheck
   4         order: 0
   5         ci_loop: '(daily)|(weekly)'
   6         description : >-
   7             First tier to be executed to verify the basic
   8             operations in the VIM.
   9         testcases:
  10             -
  11                 name: snaps_health_check
  12                 criteria: 'status == "PASS"'
  13                 blocking: true
  14                 description: >-
  15                     This test case creates executes the SimpleHealthCheck
  16                     Python test class which creates an, image, flavor, network,
  17                     and Cirros VM instance and observes the console output to
  18                     validate the single port obtains the correct IP address.
  19                 dependencies:
  20                     installer: ''
  21                     scenario: '^((?!lxd).)*$'
  22                 run:
  23                     module: 'functest.opnfv_tests.openstack.snaps.health_check'
  24                     class: 'HealthCheck'
  25             -
  26                 name: connection_check
  27                 criteria: 'status == "PASS"'
  28                 blocking: true
  29                 description: >-
  30                     This test case verifies the retrieval of OpenStack clients:
  31                     Keystone, Glance, Neutron and Nova and may perform some
  32                     simple queries. When the config value of
  33                     snaps.use_keystone is True, functest must have access to
  34                     the cloud's private network.
  35
  36                 dependencies:
  37                     installer: '^((?!netvirt).)*$'
  38                     scenario: ''
  39                 run:
  40                     module: 'functest.opnfv_tests.openstack.snaps.connection_check'
  41                     class: 'ConnectionCheck'
  42
  43             -
  44                 name: api_check
  45                 criteria: 'status == "PASS"'
  46                 blocking: true
  47                 description: >-
  48                     This test case verifies the retrieval of OpenStack clients:
  49                     Keystone, Glance, Neutron and Nova and may perform some
  50                     simple queries. When the config value of
  51                     snaps.use_keystone is True, functest must have access to
  52                     the cloud's private network.
  53
  54                 dependencies:
  55                     installer: '^((?!netvirt).)*$'
  56                     scenario: ''
  57                 run:
  58                     module: 'functest.opnfv_tests.openstack.snaps.api_check'
  59                     class: 'ApiCheck'
  60     -
  61         name: smoke
  62         order: 1
  63         ci_loop: '(daily)|(weekly)'
  64         description : >-
  65             Set of basic Functional tests to validate the OPNFV scenarios.
  66         testcases:
  67             -
  68                 name: vping_ssh
  69                 criteria: 'status == "PASS"'
  70                 blocking: true
  71                 description: >-
  72                     This test case verifies: 1) SSH to an instance using floating
  73                     IPs over the public network. 2) Connectivity between 2 instances
  74                     over a private network.
  75                 dependencies:
  76                     installer: ''
  77                     scenario: '^((?!bgpvpn|odl_l3).)*$'
  78                 run:
  79                     module: 'functest.opnfv_tests.openstack.vping.vping_ssh'
  80                     class: 'VPingSSH'
  81
  82             -
  83                 name: vping_userdata
  84                 criteria: 'status == "PASS"'
  85                 blocking: true
  86                 description: >-
  87                     This test case verifies:  1) Boot a VM with given userdata.
  88                     2) Connectivity between 2 instances over a private network.
  89                 dependencies:
  90                     installer: ''
  91                     scenario: '^((?!lxd).)*$'
  92                 run:
  93                     module: 'functest.opnfv_tests.openstack.vping.vping_userdata'
  94                     class: 'VPingUserdata'
  95
  96             -
  97                 name: tempest_smoke_serial
  98                 criteria: 'success_rate == 100%'
  99                 blocking: false
 100                 description: >-
 101                     This test case runs the smoke subset of the OpenStack
 102                     Tempest suite. The list of test cases is generated by
 103                     Tempest automatically and depends on the parameters of
 104                     the OpenStack deplopyment.
 105                 dependencies:
 106                     installer: '^((?!netvirt).)*$'
 107                     scenario: ''
 108                 run:
 109                     module: 'functest.opnfv_tests.openstack.tempest.tempest'
 110                     class: 'TempestSmokeSerial'
 111
 112             -
 113                 name: rally_sanity
 114                 criteria: 'success_rate == 100%'
 115                 blocking: false
 116                 description: >-
 117                     This test case runs a sub group of tests of the OpenStack
 118                     Rally suite in smoke mode.
 119                 dependencies:
 120                     installer: ''
 121                     scenario: '^((?!bgpvpn).)*$'
 122                 run:
 123                     module: 'functest.opnfv_tests.openstack.rally.rally'
 124                     class: 'RallySanity'
 125
 126             -
 127                 name: odl
 128                 criteria: 'success_rate == 100%'
 129                 blocking: true
 130                 description: >-
 131                     Test Suite for the OpenDaylight SDN Controller. It
 132                     integrates some test suites from upstream using
 133                     Robot as the test framework.
 134                 dependencies:
 135                     installer: ''
 136                     scenario: 'odl'
 137                 run:
 138                     module: 'functest.opnfv_tests.sdn.odl.odl'
 139                     class: 'ODLTests'
 140                     args:
 141                         suites:
 142                             -  /home/opnfv/repos/odl_test/csit/suites/integration/basic
 143                             -  /home/opnfv/repos/odl_test/csit/suites/openstack/neutron
 144
 145             -
 146                 name: odl_netvirt
 147                 criteria: 'success_rate == 100%'
 148                 blocking: true
 149                 description: >-
 150                     Test Suite for the OpenDaylight SDN Controller when
 151                     the NetVirt features are installed. It integrates
 152                     some test suites from upstream using Robot as the
 153                     test framework.
 154                 dependencies:
 155                     installer: ''
 156                     scenario: 'netvirt'
 157                 run:
 158                     module: 'functest.opnfv_tests.sdn.odl.odl'
 159                     class: 'ODLTests'
 160                     args:
 161                         suites:
 162                             -  /home/opnfv/repos/odl_test/csit/suites/integration/basic
 163                             -  /home/opnfv/repos/odl_test/csit/suites/openstack/neutron
 164                             -  /home/opnfv/repos/odl_test/csit/suites/openstack/connectivity
 165
 166             -
 167                 name: onos
 168                 criteria: 'status == "PASS"'
 169                 blocking: true
 170                 description: >-
 171                     Test Suite for the ONOS SDN Controller. It integrates
 172                     some test suites from upstream using TestON as the test
 173                     framework.
 174                 dependencies:
 175                     installer: ''
 176                     scenario: 'onos'
 177
 178
 179             -
 180                 name: snaps_smoke
 181                 criteria: 'status == "PASS"'
 182                 blocking: false
 183                 description: >-
 184                     This test case contains tests that setup and destroy
 185                     environments with VMs with and without Floating IPs
 186                     with a newly created user and project. Set the config
 187                     value snaps.use_floating_ips (True|False) to toggle
 188                     this functionality. When the config value of
 189                     snaps.use_keystone is True, functest must have access to
 190                     the cloud's private network.
 191
 192                 dependencies:
 193                     installer: '^((?!netvirt).)*$'
 194                     scenario: ''
 195                 run:
 196                     module: 'functest.opnfv_tests.openstack.snaps.smoke'
 197                     class: 'SnapsSmoke'
 198
 199     -
 200         name: features
 201         order: 2
 202         ci_loop: '(daily)|(weekly)'
 203         description : >-
 204             Test suites from feature projects
 205             integrated in functest
 206         testcases:
 207             -
 208                 name: promise
 209                 criteria: 'success_rate == 100%'
 210                 blocking: false
 211                 description: >-
 212                     Test suite from Promise project.
 213                 dependencies:
 214                     installer: '(fuel)|(joid)'
 215                     scenario: ''
 216                 run:
 217                      module: 'functest.opnfv_tests.features.promise'
 218                      class: 'Promise'
 219
 220             -
 221                 name: doctor
 222                 criteria: 'status == "PASS"'
 223                 blocking: false
 224                 description: >-
 225                     Test suite from Doctor project.
 226                 dependencies:
 227                     installer: '(apex)|(fuel)|(joid)'
 228                     scenario: '^((?!fdio).)*$'
 229                 run:
 230                     module: 'functest.opnfv_tests.features.doctor'
 231                     class: 'Doctor'
 232
 233             -
 234                 name: bgpvpn
 235                 criteria: 'status == "PASS"'
 236                 blocking: false
 237                 description: >-
 238                     Test suite from SDNVPN project.
 239                 dependencies:
 240                     installer: '(fuel)|(apex)|(netvirt)'
 241                     scenario: 'bgpvpn'
 242                 run:
 243                     module: 'functest.opnfv_tests.features.sdnvpn'
 244                     class: 'SdnVpnTests'
 245
 246             -
 247                 name: security_scan
 248                 criteria: 'status == "PASS"'
 249                 blocking: false
 250                 description: >-
 251                     Simple Security Scan
 252                 dependencies:
 253                     installer: 'apex'
 254                     scenario: '^((?!fdio).)*$'
 255                 run:
 256                     module: 'functest.opnfv_tests.features.security_scan'
 257                     class: 'SecurityScan'
 258 #            -
 259 #                name: copper
 260 #                criteria: 'status == "PASS"'
 261 #                blocking: false
 262 #                description: >-
 263 #                    Test suite for policy management based on OpenStack Congress
 264 #                dependencies:
 265 #                    installer: '(apex)|(joid)'
 266 #                    scenario: '^((?!fdio|lxd).)*$'
 267 #                run:
 268 #                    module: 'functest.opnfv_tests.features.copper'
 269 #                    class: 'Copper'
 270             -
 271                 name: multisite
 272                 criteria: 'success_rate == 100%'
 273                 blocking: false
 274                 description: >-
 275                     Test suite from kingbird
 276                 dependencies:
 277                     installer: '(fuel)|(compass)'
 278                     scenario: 'multisite'
 279                 run:
 280                     module: 'functest.opnfv_tests.openstack.tempest.tempest'
 281                     class: 'TempestMultisite'
 282             -
 283                 name: odl-sfc
 284                 criteria: 'status == "PASS"'
 285                 blocking: false
 286                 description: >-
 287                     Test suite for odl-sfc to test two chains and two SFs
 288                 dependencies:
 289                     installer: '(apex)|(fuel)'
 290                     scenario: 'odl_l2-sfc'
 291                 run:
 292                     module: 'functest.opnfv_tests.features.odl_sfc'
 293                     class: 'OpenDaylightSFC'
 294             -
 295                 name: onos_sfc
 296                 criteria: 'status == "PASS"'
 297                 blocking: true
 298                 description: >-
 299                     Test Suite for onos-sfc to test sfc function.
 300                 dependencies:
 301                     installer: ''
 302                     scenario: 'onos-sfc'
 303             -
 304                 name: parser
 305                 criteria: 'ret == 0'
 306                 blocking: false
 307                 description: >-
 308                     Test suite from Parser project.
 309                 dependencies:
 310                     installer: 'fuel'
 311                     scenario: '^((?!bgpvpn|noha).)*$'
 312                 run:
 313                     module: 'functest.opnfv_tests.vnf.rnc.parser'
 314                     class: 'Parser'
 315             -
 316                 name: domino
 317                 criteria: 'status == "PASS"'
 318                 blocking: false
 319                 description: >-
 320                     Test suite from Domino project.
 321                 dependencies:
 322                     installer: ''
 323                     scenario: ''
 324                 run:
 325                     module: 'functest.opnfv_tests.features.domino'
 326                     class: 'Domino'
 327             -
 328                 name: orchestra
 329                 criteria: 'ret == 0'
 330                 blocking: false
 331                 description: >-
 332                     Test OpenBaton (Orchestra) stack
 333                 dependencies:
 334                     installer: 'joid'
 335                     scenario: 'unknown'
 336                 run:
 337                     module: 'functest.opnfv_tests.features.orchestrator.orchestra'
 338                     class: 'OpenbatonOrchestrator'
 339             -
 340                 name: netready
 341                 criteria: 'status == "PASS"'
 342                 blocking: false
 343                 description: >-
 344                     Test suite from Netready project.
 345                 dependencies:
 346                     installer: 'apex'
 347                     scenario: 'gluon'
 348                 run:
 349                      module: 'functest.opnfv_tests.features.netready'
 350                      class: 'GluonVping'
 351             -
 352                 name: barometer
 353                 criteria: 'status == "PASS"'
 354                 blocking: false
 355                 description: >-
 356                     Test suite for the Barometer project. Separate tests verify the
 357                     proper configuration and functionality of the following
 358                     collectd plugins Ceilometer, Hugepages, Memory RAS (mcelog),
 359                     and OVS Events
 360                 dependencies:
 361                     installer: 'fuel'
 362                     scenario: 'kvm_ovs_dpdk_bar'
 363                 run:
 364                      module: 'functest.opnfv_tests.features.barometer'
 365                      class: 'BarometerCollectd'
 366     -
 367         name: components
 368         order: 3
 369         ci_loop: 'daily'
 370         description : >-
 371             Extensive testing of OpenStack API.
 372         testcases:
 373 #            -
 374 #                name: tempest_full_parallel
 375 #                criteria: 'success_rate >= 80%'
 376 #                blocking: false
 377 #                description: >-
 378 #                    The list of test cases is generated by
 379 #                    Tempest automatically and depends on the parameters of
 380 #                    the OpenStack deplopyment.
 381 #                dependencies:
 382 #                    installer: '^((?!netvirt).)*$'
 383 #                    scenario: ''
 384 #                run:
 385 #                    module: 'functest.opnfv_tests.openstack.tempest.tempest'
 386 #                    class: 'TempestFullParallel'
 387             -
 388                 name: tempest_defcore
 389                 criteria: 'success_rate == 100%'
 390                 blocking: false
 391                 description: >-
 392                     This is the set of Tempest test cases created by OpenStack
 393                     Interop Working Group for certification purposes.
 394                 dependencies:
 395                     installer: ''
 396                     scenario: 'nosdn-nofeature-ha'
 397                 run:
 398                     module: 'functest.opnfv_tests.openstack.tempest.tempest'
 399                     class: 'TempestDefcore'
 400 #            -
 401 #                name: rally_full
 402 #                criteria: 'success_rate >= 90%'
 403 #                blocking: false
 404 #                description: >-
 405 #                    This test case runs the full suite of scenarios of the OpenStack
 406 #                    Rally suite using several threads and iterations.
 407 #                dependencies:
 408 #                    installer: '^((?!netvirt).)*$'
 409 #                    scenario: ''
 410 #                run:
 411 #                    module: 'functest.opnfv_tests.openstack.rally.rally'
 412 #                    class: 'RallyFull'
 413
 414     -
 415         name: vnf
 416         order: 4
 417         ci_loop: 'weekly'
 418         description : >-
 419             Collection of VNF test cases.
 420         testcases:
 421             -
 422                 name: cloudify_ims
 423                 criteria: 'status == "PASS"'
 424                 blocking: false
 425                 description: >-
 426                     This test case deploys an OpenSource vIMS solution from Clearwater
 427                     using the Cloudify orchestrator. It also runs some signaling traffic.
 428                 dependencies:
 429                     installer: ''
 430                     scenario: '(ocl)|(nosdn)|^(os-odl)((?!bgpvpn).)*$'
 431                 run:
 432                     module: 'functest.opnfv_tests.vnf.ims.cloudify_ims'
 433                     class: 'ImsVnf'
 434             -
 435                 name: aaa
 436                 criteria: 'ret == 0'
 437                 blocking: false
 438                 description: >-
 439                     Test suite from Parser project.
 440                 dependencies:
 441                     installer: ''
 442                     scenario: ''
 443                 run:
 444                     module: 'functest.opnfv_tests.vnf.aaa.aaa'
 445                     class: 'AaaVnf'
 446
 447             -
 448                 name: juju_epc
 449                 criteria: 'ret == 0'
 450                 blocking: false
 451                 description: >-
 452                     Test suite from OAI project, vEPC deployed with Juju.
 453                 dependencies:
 454                     installer: 'unknown'
 455                     scenario: 'unknown'
 456                 run:
 457                     module: 'functest.opnfv_tests.vnf.epc.epc'
 458                     class: 'EpcVnf'
 459
 460             -
 461                 name: orchestra_ims
 462                 criteria: 'ret == 0'
 463                 blocking: false
 464                 description: >-
 465                     VNF deployment with OpenBaton (Orchestra)
 466                 dependencies:
 467                     installer: ''
 468                     scenario: ''
 469                 run:
 470                     module: 'functest.opnfv_tests.vnf.ims.orchestra_ims'
 471                     class: 'ImsVnf'
 472
 473             -
 474                 name: opera_ims
 475                 criteria: 'ret == 0'
 476                 blocking: false
 477                 description: >-
 478                     Evolution of vIMS
 479                 dependencies:
 480                     installer: 'unknown'
 481                     scenario: 'unknown'
 482                 run:
 483                     module: 'functest.opnfv_tests.vnf.ims.opera_ims'
 484                     class: 'ImsVnf'
 485
 486             -
 487                 name: vyos_vrouter
 488                 criteria: 'status == "PASS"'
 489                 blocking: false
 490                 description: >-
 491                     This test case is vRouter testing.
 492                 dependencies:
 493                     installer: 'fuel'
 494                     scenario: 'nosdn-nofeature'
 495                 run:
 496                     module: 'functest.opnfv_tests.vnf.router.vyos_vrouter'
 497                     class: 'VrouterVnf'