functest/ci/testcases.yaml

   1 tiers:
   2     -
   3         name: healthcheck
   4         order: 0
   5         ci_loop: '(daily)|(weekly)'
   6         description : >-
   7             First tier to be executed to verify the basic
   8             operations in the VIM.
   9         testcases:
  10             -
  11                 name: snaps_health_check
  12                 criteria: 'status == "PASS"'
  13                 blocking: true
  14                 description: >-
  15                     This test case creates executes the SimpleHealthCheck
  16                     Python test class which creates an, image, flavor, network,
  17                     and Cirros VM instance and observes the console output to
  18                     validate the single port obtains the correct IP address.
  19                 dependencies:
  20                     installer: ''
  21                     scenario: '^((?!lxd).)*$'
  22                 run:
  23                     module: 'functest.opnfv_tests.openstack.snaps.health_check'
  24                     class: 'HealthCheck'
  25             -
  26                 name: connection_check
  27                 criteria: 'status == "PASS"'
  28                 blocking: true
  29                 description: >-
  30                     This test case verifies the retrieval of OpenStack clients:
  31                     Keystone, Glance, Neutron and Nova and may perform some
  32                     simple queries. When the config value of
  33                     snaps.use_keystone is True, functest must have access to
  34                     the cloud's private network.
  35
  36                 dependencies:
  37                     installer: '^((?!netvirt).)*$'
  38                     scenario: ''
  39                 run:
  40                     module: 'functest.opnfv_tests.openstack.snaps.connection_check'
  41                     class: 'ConnectionCheck'
  42
  43             -
  44                 name: api_check
  45                 criteria: 'status == "PASS"'
  46                 blocking: true
  47                 description: >-
  48                     This test case verifies the retrieval of OpenStack clients:
  49                     Keystone, Glance, Neutron and Nova and may perform some
  50                     simple queries. When the config value of
  51                     snaps.use_keystone is True, functest must have access to
  52                     the cloud's private network.
  53
  54                 dependencies:
  55                     installer: '^((?!netvirt).)*$'
  56                     scenario: ''
  57                 run:
  58                     module: 'functest.opnfv_tests.openstack.snaps.api_check'
  59                     class: 'ApiCheck'
  60     -
  61         name: smoke
  62         order: 1
  63         ci_loop: '(daily)|(weekly)'
  64         description : >-
  65             Set of basic Functional tests to validate the OPNFV scenarios.
  66         testcases:
  67             -
  68                 name: vping_ssh
  69                 criteria: 'status == "PASS"'
  70                 blocking: true
  71                 description: >-
  72                     This test case verifies: 1) SSH to an instance using floating
  73                     IPs over the public network. 2) Connectivity between 2 instances
  74                     over a private network.
  75                 dependencies:
  76                     installer: ''
  77                     scenario: '^((?!bgpvpn|odl_l3).)*$'
  78                 run:
  79                     module: 'functest.opnfv_tests.openstack.vping.vping_ssh'
  80                     class: 'VPingSSH'
  81
  82             -
  83                 name: vping_userdata
  84                 criteria: 'status == "PASS"'
  85                 blocking: true
  86                 description: >-
  87                     This test case verifies:  1) Boot a VM with given userdata.
  88                     2) Connectivity between 2 instances over a private network.
  89                 dependencies:
  90                     installer: ''
  91                     scenario: '^((?!lxd).)*$'
  92                 run:
  93                     module: 'functest.opnfv_tests.openstack.vping.vping_userdata'
  94                     class: 'VPingUserdata'
  95
  96             -
  97                 name: tempest_smoke_serial
  98                 criteria: 'success_rate == 100%'
  99                 blocking: false
 100                 description: >-
 101                     This test case runs the smoke subset of the OpenStack
 102                     Tempest suite. The list of test cases is generated by
 103                     Tempest automatically and depends on the parameters of
 104                     the OpenStack deplopyment.
 105                 dependencies:
 106                     installer: '^((?!netvirt).)*$'
 107                     scenario: ''
 108                 run:
 109                     module: 'functest.opnfv_tests.openstack.tempest.tempest'
 110                     class: 'TempestSmokeSerial'
 111
 112             -
 113                 name: rally_sanity
 114                 criteria: 'success_rate == 100%'
 115                 blocking: false
 116                 description: >-
 117                     This test case runs a sub group of tests of the OpenStack
 118                     Rally suite in smoke mode.
 119                 dependencies:
 120                     installer: ''
 121                     scenario: '^((?!bgpvpn).)*$'
 122                 run:
 123                     module: 'functest.opnfv_tests.openstack.rally.rally'
 124                     class: 'RallySanity'
 125
 126             -
 127                 name: odl
 128                 criteria: 'success_rate == 100%'
 129                 blocking: true
 130                 description: >-
 131                     Test Suite for the OpenDaylight SDN Controller. It
 132                     integrates some test suites from upstream using
 133                     Robot as the test framework.
 134                 dependencies:
 135                     installer: ''
 136                     scenario: 'odl'
 137                 run:
 138                     module: 'functest.opnfv_tests.sdn.odl.odl'
 139                     class: 'ODLTests'
 140                     args:
 141                         suites:
 142                             -  /home/opnfv/repos/odl_test/csit/suites/integration/basic
 143                             -  /home/opnfv/repos/odl_test/csit/suites/openstack/neutron
 144
 145             -
 146                 name: odl_netvirt
 147                 criteria: 'success_rate == 100%'
 148                 blocking: true
 149                 description: >-
 150                     Test Suite for the OpenDaylight SDN Controller when
 151                     the NetVirt features are installed. It integrates
 152                     some test suites from upstream using Robot as the
 153                     test framework.
 154                 dependencies:
 155                     installer: ''
 156                     scenario: 'netvirt'
 157                 run:
 158                     module: 'functest.opnfv_tests.sdn.odl.odl'
 159                     class: 'ODLTests'
 160                     args:
 161                         suites:
 162                             -  /home/opnfv/repos/odl_test/csit/suites/integration/basic
 163                             -  /home/opnfv/repos/odl_test/csit/suites/openstack/neutron
 164                             -  /home/opnfv/repos/odl_test/csit/suites/openstack/connectivity
 165
 166             -
 167                 name: onos
 168                 criteria: 'status == "PASS"'
 169                 blocking: true
 170                 description: >-
 171                     Test Suite for the ONOS SDN Controller. It integrates
 172                     some test suites from upstream using TestON as the test
 173                     framework.
 174                 dependencies:
 175                     installer: ''
 176                     scenario: 'onos'
 177
 178
 179             -
 180                 name: snaps_smoke
 181                 criteria: 'status == "PASS"'
 182                 blocking: false
 183                 description: >-
 184                     This test case contains tests that setup and destroy
 185                     environments with VMs with and without Floating IPs
 186                     with a newly created user and project. Set the config
 187                     value snaps.use_floating_ips (True|False) to toggle
 188                     this functionality. When the config value of
 189                     snaps.use_keystone is True, functest must have access to
 190                     the cloud's private network.
 191
 192                 dependencies:
 193                     installer: '^((?!netvirt).)*$'
 194                     scenario: ''
 195                 run:
 196                     module: 'functest.opnfv_tests.openstack.snaps.smoke'
 197                     class: 'SnapsSmoke'
 198
 199     -
 200         name: features
 201         order: 2
 202         ci_loop: '(daily)|(weekly)'
 203         description : >-
 204             Test suites from feature projects
 205             integrated in functest
 206         testcases:
 207             -
 208                 name: promise
 209                 criteria: 'success_rate == 100%'
 210                 blocking: false
 211                 description: >-
 212                     Test suite from Promise project.
 213                 dependencies:
 214                     installer: '(fuel)|(joid)'
 215                     scenario: ''
 216                 run:
 217                      module: 'functest.opnfv_tests.features.promise'
 218                      class: 'Promise'
 219
 220             -
 221                 name: doctor
 222                 criteria: 'status == "PASS"'
 223                 blocking: false
 224                 description: >-
 225                     Test suite from Doctor project.
 226                 dependencies:
 227                     installer: '(apex)|(fuel)|(joid)'
 228                     scenario: '^((?!fdio).)*$'
 229                 run:
 230                     module: 'functest.opnfv_tests.features.doctor'
 231                     class: 'Doctor'
 232
 233             -
 234                 name: bgpvpn
 235                 criteria: 'status == "PASS"'
 236                 blocking: false
 237                 description: >-
 238                     Test suite from SDNVPN project.
 239                 dependencies:
 240                     installer: '(fuel)|(apex)|(netvirt)'
 241                     scenario: 'bgpvpn'
 242                 run:
 243                     module: 'functest.opnfv_tests.features.sdnvpn'
 244                     class: 'SdnVpnTests'
 245
 246             -
 247                 name: security_scan
 248                 criteria: 'status == "PASS"'
 249                 blocking: false
 250                 description: >-
 251                     Simple Security Scan
 252                 dependencies:
 253                     installer: 'apex'
 254                     scenario: '^((?!fdio).)*$'
 255                 run:
 256                     module: 'functest.opnfv_tests.features.security_scan'
 257                     class: 'SecurityScan'
 258 #            -
 259 #                name: copper
 260 #                criteria: 'status == "PASS"'
 261 #                blocking: false
 262 #                description: >-
 263 #                    Test suite for policy management based on OpenStack Congress
 264 #                dependencies:
 265 #                    installer: '(apex)|(joid)'
 266 #                    scenario: '^((?!fdio|lxd).)*$'
 267 #                run:
 268 #                    module: 'functest.opnfv_tests.features.copper'
 269 #                    class: 'Copper'
 270             -
 271                 name: multisite
 272                 criteria: 'success_rate == 100%'
 273                 blocking: false
 274                 description: >-
 275                     Test suite from kingbird
 276                 dependencies:
 277                     installer: '(fuel)|(compass)'
 278                     scenario: 'multisite'
 279                 run:
 280                     module: 'functest.opnfv_tests.openstack.tempest.tempest'
 281                     class: 'TempestMultisite'
 282             -
 283                 name: odl-sfc
 284                 criteria: 'status == "PASS"'
 285                 blocking: false
 286                 description: >-
 287                     Test suite for odl-sfc to test two chains and two SFs
 288                 dependencies:
 289                     installer: '(apex)|(fuel)'
 290                     scenario: 'odl_l2-sfc'
 291                 run:
 292                     module: 'functest.opnfv_tests.features.odl_sfc'
 293                     class: 'OpenDaylightSFC'
 294             -
 295                 name: onos_sfc
 296                 criteria: 'status == "PASS"'
 297                 blocking: true
 298                 description: >-
 299                     Test Suite for onos-sfc to test sfc function.
 300                 dependencies:
 301                     installer: ''
 302                     scenario: 'onos-sfc'
 303             -
 304                 name: parser
 305                 criteria: 'ret == 0'
 306                 blocking: false
 307                 description: >-
 308                     Test suite from Parser project.
 309                 dependencies:
 310                     installer: 'fuel'
 311                     scenario: '^((?!bgpvpn|noha).)*$'
 312                 run:
 313                     module: 'functest.opnfv_tests.vnf.rnc.parser'
 314                     class: 'Parser'
 315             -
 316                 name: orchestra
 317                 criteria: 'ret == 0'
 318                 blocking: false
 319                 description: >-
 320                     Test OpenBaton (Orchestra) stack
 321                 dependencies:
 322                     installer: 'joid'
 323                     scenario: 'unknown'
 324                 run:
 325                     module: 'functest.opnfv_tests.features.orchestrator.orchestra'
 326                     class: 'OpenbatonOrchestrator'
 327             -
 328                 name: netready
 329                 criteria: 'status == "PASS"'
 330                 blocking: false
 331                 description: >-
 332                     Test suite from Netready project.
 333                 dependencies:
 334                     installer: 'apex'
 335                     scenario: 'gluon'
 336                 run:
 337                      module: 'functest.opnfv_tests.features.netready'
 338                      class: 'GluonVping'
 339             -
 340                 name: barometer
 341                 criteria: 'status == "PASS"'
 342                 blocking: false
 343                 description: >-
 344                     Test suite for the Barometer project. Separate tests verify the
 345                     proper configuration and functionality of the following
 346                     collectd plugins Ceilometer, Hugepages, Memory RAS (mcelog),
 347                     and OVS Events
 348                 dependencies:
 349                     installer: 'fuel'
 350                     scenario: 'kvm_ovs_dpdk_bar'
 351                 run:
 352                      module: 'functest.opnfv_tests.features.barometer'
 353                      class: 'BarometerCollectd'
 354     -
 355         name: components
 356         order: 3
 357         ci_loop: 'daily'
 358         description : >-
 359             Extensive testing of OpenStack API.
 360         testcases:
 361 #            -
 362 #                name: tempest_full_parallel
 363 #                criteria: 'success_rate >= 80%'
 364 #                blocking: false
 365 #                description: >-
 366 #                    The list of test cases is generated by
 367 #                    Tempest automatically and depends on the parameters of
 368 #                    the OpenStack deplopyment.
 369 #                dependencies:
 370 #                    installer: '^((?!netvirt).)*$'
 371 #                    scenario: ''
 372 #                run:
 373 #                    module: 'functest.opnfv_tests.openstack.tempest.tempest'
 374 #                    class: 'TempestFullParallel'
 375             -
 376                 name: tempest_defcore
 377                 criteria: 'success_rate == 100%'
 378                 blocking: false
 379                 description: >-
 380                     This is the set of Tempest test cases created by OpenStack
 381                     Interop Working Group for certification purposes.
 382                 dependencies:
 383                     installer: ''
 384                     scenario: 'nosdn-nofeature-ha'
 385                 run:
 386                     module: 'functest.opnfv_tests.openstack.tempest.tempest'
 387                     class: 'TempestDefcore'
 388 #            -
 389 #                name: rally_full
 390 #                criteria: 'success_rate >= 90%'
 391 #                blocking: false
 392 #                description: >-
 393 #                    This test case runs the full suite of scenarios of the OpenStack
 394 #                    Rally suite using several threads and iterations.
 395 #                dependencies:
 396 #                    installer: '^((?!netvirt).)*$'
 397 #                    scenario: ''
 398 #                run:
 399 #                    module: 'functest.opnfv_tests.openstack.rally.rally'
 400 #                    class: 'RallyFull'
 401
 402     -
 403         name: vnf
 404         order: 4
 405         ci_loop: 'weekly'
 406         description : >-
 407             Collection of VNF test cases.
 408         testcases:
 409             -
 410                 name: cloudify_ims
 411                 criteria: 'status == "PASS"'
 412                 blocking: false
 413                 description: >-
 414                     This test case deploys an OpenSource vIMS solution from Clearwater
 415                     using the Cloudify orchestrator. It also runs some signaling traffic.
 416                 dependencies:
 417                     installer: ''
 418                     scenario: '(ocl)|(nosdn)|^(os-odl)((?!bgpvpn).)*$'
 419                 run:
 420                     module: 'functest.opnfv_tests.vnf.ims.cloudify_ims'
 421                     class: 'ImsVnf'
 422             -
 423                 name: aaa
 424                 criteria: 'ret == 0'
 425                 blocking: false
 426                 description: >-
 427                     Test suite from Parser project.
 428                 dependencies:
 429                     installer: ''
 430                     scenario: ''
 431                 run:
 432                     module: 'functest.opnfv_tests.vnf.aaa.aaa'
 433                     class: 'AaaVnf'
 434
 435             -
 436                 name: juju_epc
 437                 criteria: 'ret == 0'
 438                 blocking: false
 439                 description: >-
 440                     Test suite from OAI project, vEPC deployed with Juju.
 441                 dependencies:
 442                     installer: 'unknown'
 443                     scenario: 'unknown'
 444                 run:
 445                     module: 'functest.opnfv_tests.vnf.epc.epc'
 446                     class: 'EpcVnf'
 447
 448             -
 449                 name: orchestra_ims
 450                 criteria: 'ret == 0'
 451                 blocking: false
 452                 description: >-
 453                     VNF deployment with OpenBaton (Orchestra)
 454                 dependencies:
 455                     installer: ''
 456                     scenario: ''
 457                 run:
 458                     module: 'functest.opnfv_tests.vnf.ims.orchestra_ims'
 459                     class: 'ImsVnf'
 460
 461             -
 462                 name: opera_ims
 463                 criteria: 'ret == 0'
 464                 blocking: false
 465                 description: >-
 466                     Evolution of vIMS
 467                 dependencies:
 468                     installer: 'unknown'
 469                     scenario: 'unknown'
 470                 run:
 471                     module: 'functest.opnfv_tests.vnf.ims.opera_ims'
 472                     class: 'ImsVnf'
 473
 474             -
 475                 name: vyos_vrouter
 476                 criteria: 'status == "PASS"'
 477                 blocking: false
 478                 description: >-
 479                     This test case is vRouter testing.
 480                 dependencies:
 481                     installer: 'fuel'
 482                     scenario: 'nosdn-nofeature'
 483                 run:
 484                     module: 'functest.opnfv_tests.vnf.router.vyos_vrouter'
 485                     class: 'VrouterVnf'