functest/ci/testcases.yaml

   1 tiers:
   2     -
   3         name: healthcheck
   4         order: 0
   5         ci_loop: '(daily)|(weekly)'
   6         description : >-
   7             First tier to be executed to verify the basic
   8             operations in the VIM.
   9         testcases:
  10             -
  11                 name: healthcheck
  12                 criteria: 'status == "PASS"'
  13                 blocking: true
  14                 description: >-
  15                     This test case verifies the basic OpenStack services like
  16                     Keystone, Glance, Cinder, Neutron and Nova.
  17
  18                 dependencies:
  19                     installer: ''
  20                     scenario: '^((?!lxd).)*$'
  21             -
  22                 name: snaps_health_check
  23                 criteria: 'status == "PASS"'
  24                 blocking: false
  25                 description: >-
  26                     This test case creates executes the SimpleHealthCheck
  27                     Python test class which creates an, image, flavor, network,
  28                     and Cirros VM instance and observes the console output to
  29                     validate the single port obtains the correct IP address.
  30
  31                 dependencies:
  32                     installer: ''
  33                     scenario: '^((?!lxd).)*$'
  34                 run:
  35                     module: 'functest.opnfv_tests.openstack.snaps.health_check'
  36                     class: 'HealthCheck'
  37             -
  38                 name: connection_check
  39                 criteria: 'status == "PASS"'
  40                 blocking: true
  41                 description: >-
  42                     This test case verifies the retrieval of OpenStack clients:
  43                     Keystone, Glance, Neutron and Nova and may perform some
  44                     simple queries. When the config value of
  45                     snaps.use_keystone is True, functest must have access to
  46                     the cloud's private network.
  47
  48                 dependencies:
  49                     installer: '^((?!netvirt).)*$'
  50                     scenario: ''
  51                 run:
  52                     module: 'functest.opnfv_tests.openstack.snaps.connection_check'
  53                     class: 'ConnectionCheck'
  54
  55             -
  56                 name: api_check
  57                 criteria: 'status == "PASS"'
  58                 blocking: true
  59                 description: >-
  60                     This test case verifies the retrieval of OpenStack clients:
  61                     Keystone, Glance, Neutron and Nova and may perform some
  62                     simple queries. When the config value of
  63                     snaps.use_keystone is True, functest must have access to
  64                     the cloud's private network.
  65
  66                 dependencies:
  67                     installer: '^((?!netvirt).)*$'
  68                     scenario: ''
  69                 run:
  70                     module: 'functest.opnfv_tests.openstack.snaps.api_check'
  71                     class: 'ApiCheck'
  72     -
  73         name: smoke
  74         order: 1
  75         ci_loop: '(daily)|(weekly)'
  76         description : >-
  77             Set of basic Functional tests to validate the OPNFV scenarios.
  78         testcases:
  79             -
  80                 name: vping_ssh
  81                 criteria: 'status == "PASS"'
  82                 blocking: true
  83                 description: >-
  84                     This test case verifies: 1) SSH to an instance using floating
  85                     IPs over the public network. 2) Connectivity between 2 instances
  86                     over a private network.
  87                 dependencies:
  88                     installer: ''
  89                     scenario: '^((?!bgpvpn|odl_l3).)*$'
  90                 run:
  91                     module: 'functest.opnfv_tests.openstack.vping.vping_ssh'
  92                     class: 'VPingSSH'
  93
  94             -
  95                 name: vping_userdata
  96                 criteria: 'status == "PASS"'
  97                 blocking: true
  98                 description: >-
  99                     This test case verifies:  1) Boot a VM with given userdata.
 100                     2) Connectivity between 2 instances over a private network.
 101                 dependencies:
 102                     installer: ''
 103                     scenario: '^((?!lxd).)*$'
 104                 run:
 105                     module: 'functest.opnfv_tests.openstack.vping.vping_userdata'
 106                     class: 'VPingUserdata'
 107
 108             -
 109                 name: tempest_smoke_serial
 110                 criteria: 'success_rate == 100%'
 111                 blocking: false
 112                 description: >-
 113                     This test case runs the smoke subset of the OpenStack
 114                     Tempest suite. The list of test cases is generated by
 115                     Tempest automatically and depends on the parameters of
 116                     the OpenStack deplopyment.
 117                 dependencies:
 118                     installer: '^((?!netvirt).)*$'
 119                     scenario: ''
 120                 run:
 121                     module: 'functest.opnfv_tests.openstack.tempest.tempest'
 122                     class: 'TempestSmokeSerial'
 123
 124             -
 125                 name: rally_sanity
 126                 criteria: 'success_rate == 100%'
 127                 blocking: false
 128                 description: >-
 129                     This test case runs a sub group of tests of the OpenStack
 130                     Rally suite in smoke mode.
 131                 dependencies:
 132                     installer: ''
 133                     scenario: '^((?!bgpvpn).)*$'
 134                 run:
 135                     module: 'functest.opnfv_tests.openstack.rally.rally'
 136                     class: 'RallySanity'
 137
 138             -
 139                 name: odl
 140                 criteria: 'success_rate == 100%'
 141                 blocking: true
 142                 description: >-
 143                     Test Suite for the OpenDaylight SDN Controller. It
 144                     integrates some test suites from upstream using
 145                     Robot as the test framework.
 146                 dependencies:
 147                     installer: ''
 148                     scenario: 'odl'
 149                 run:
 150                     module: 'functest.opnfv_tests.sdn.odl.odl'
 151                     class: 'ODLTests'
 152                     args:
 153                         suites:
 154                             -  /home/opnfv/repos/odl_test/csit/suites/integration/basic
 155                             -  /home/opnfv/repos/odl_test/csit/suites/openstack/neutron
 156
 157             -
 158                 name: odl_netvirt
 159                 criteria: 'success_rate == 100%'
 160                 blocking: true
 161                 description: >-
 162                     Test Suite for the OpenDaylight SDN Controller when
 163                     the NetVirt features are installed. It integrates
 164                     some test suites from upstream using Robot as the
 165                     test framework.
 166                 dependencies:
 167                     installer: ''
 168                     scenario: 'netvirt'
 169                 run:
 170                     module: 'functest.opnfv_tests.sdn.odl.odl'
 171                     class: 'ODLTests'
 172                     args:
 173                         suites:
 174                             -  /home/opnfv/repos/odl_test/csit/suites/integration/basic
 175                             -  /home/opnfv/repos/odl_test/csit/suites/openstack/neutron
 176                             -  /home/opnfv/repos/odl_test/csit/suites/openstack/connectivity
 177
 178             -
 179                 name: onos
 180                 criteria: 'status == "PASS"'
 181                 blocking: true
 182                 description: >-
 183                     Test Suite for the ONOS SDN Controller. It integrates
 184                     some test suites from upstream using TestON as the test
 185                     framework.
 186                 dependencies:
 187                     installer: ''
 188                     scenario: 'onos'
 189
 190
 191             -
 192                 name: snaps_smoke
 193                 criteria: 'status == "PASS"'
 194                 blocking: false
 195                 description: >-
 196                     This test case contains tests that setup and destroy
 197                     environments with VMs with and without Floating IPs
 198                     with a newly created user and project. Set the config
 199                     value snaps.use_floating_ips (True|False) to toggle
 200                     this functionality. When the config value of
 201                     snaps.use_keystone is True, functest must have access to
 202                     the cloud's private network.
 203
 204                 dependencies:
 205                     installer: '^((?!netvirt).)*$'
 206                     scenario: ''
 207                 run:
 208                     module: 'functest.opnfv_tests.openstack.snaps.smoke'
 209                     class: 'SnapsSmoke'
 210
 211     -
 212         name: features
 213         order: 2
 214         ci_loop: '(daily)|(weekly)'
 215         description : >-
 216             Test suites from feature projects
 217             integrated in functest
 218         testcases:
 219             -
 220                 name: promise
 221                 criteria: 'success_rate == 100%'
 222                 blocking: false
 223                 description: >-
 224                     Test suite from Promise project.
 225                 dependencies:
 226                     installer: '(fuel)|(joid)'
 227                     scenario: ''
 228                 run:
 229                      module: 'functest.opnfv_tests.features.promise'
 230                      class: 'Promise'
 231
 232             -
 233                 name: doctor
 234                 criteria: 'status == "PASS"'
 235                 blocking: false
 236                 description: >-
 237                     Test suite from Doctor project.
 238                 dependencies:
 239                     installer: '(apex)|(fuel)|(joid)'
 240                     scenario: '^((?!fdio).)*$'
 241                 run:
 242                     module: 'functest.opnfv_tests.features.doctor'
 243                     class: 'Doctor'
 244
 245             -
 246                 name: bgpvpn
 247                 criteria: 'status == "PASS"'
 248                 blocking: false
 249                 description: >-
 250                     Test suite from SDNVPN project.
 251                 dependencies:
 252                     installer: '(fuel)|(apex)|(netvirt)'
 253                     scenario: 'bgpvpn'
 254                 run:
 255                     module: 'functest.opnfv_tests.features.sdnvpn'
 256                     class: 'SdnVpnTests'
 257
 258             -
 259                 name: security_scan
 260                 criteria: 'status == "PASS"'
 261                 blocking: false
 262                 description: >-
 263                     Simple Security Scan
 264                 dependencies:
 265                     installer: 'apex'
 266                     scenario: '^((?!fdio).)*$'
 267                 run:
 268                     module: 'functest.opnfv_tests.features.security_scan'
 269                     class: 'SecurityScan'
 270 #            -
 271 #                name: copper
 272 #                criteria: 'status == "PASS"'
 273 #                blocking: false
 274 #                description: >-
 275 #                    Test suite for policy management based on OpenStack Congress
 276 #                dependencies:
 277 #                    installer: '(apex)|(joid)'
 278 #                    scenario: '^((?!fdio|lxd).)*$'
 279 #                run:
 280 #                    module: 'functest.opnfv_tests.features.copper'
 281 #                    class: 'Copper'
 282             -
 283                 name: multisite
 284                 criteria: 'success_rate == 100%'
 285                 blocking: false
 286                 description: >-
 287                     Test suite from kingbird
 288                 dependencies:
 289                     installer: '(fuel)|(compass)'
 290                     scenario: 'multisite'
 291                 run:
 292                     module: 'functest.opnfv_tests.openstack.tempest.tempest'
 293                     class: 'TempestMultisite'
 294             -
 295                 name: odl-sfc
 296                 criteria: 'status == "PASS"'
 297                 blocking: false
 298                 description: >-
 299                     Test suite for odl-sfc to test two chains and two SFs
 300                 dependencies:
 301                     installer: '(apex)|(fuel)'
 302                     scenario: 'odl_l2-sfc'
 303                 run:
 304                     module: 'functest.opnfv_tests.features.odl_sfc'
 305                     class: 'OpenDaylightSFC'
 306             -
 307                 name: onos_sfc
 308                 criteria: 'status == "PASS"'
 309                 blocking: true
 310                 description: >-
 311                     Test Suite for onos-sfc to test sfc function.
 312                 dependencies:
 313                     installer: ''
 314                     scenario: 'onos-sfc'
 315             -
 316                 name: parser
 317                 criteria: 'ret == 0'
 318                 blocking: false
 319                 description: >-
 320                     Test suite from Parser project.
 321                 dependencies:
 322                     installer: 'fuel'
 323                     scenario: '^((?!bgpvpn|noha).)*$'
 324                 run:
 325                     module: 'functest.opnfv_tests.vnf.rnc.parser'
 326                     class: 'Parser'
 327             -
 328                 name: orchestra
 329                 criteria: 'ret == 0'
 330                 blocking: false
 331                 description: >-
 332                     Test OpenBaton (Orchestra) stack
 333                 dependencies:
 334                     installer: 'joid'
 335                     scenario: 'unknown'
 336                 run:
 337                     module: 'functest.opnfv_tests.features.orchestrator.orchestra'
 338                     class: 'OpenbatonOrchestrator'
 339             -
 340                 name: netready
 341                 criteria: 'status == "PASS"'
 342                 blocking: false
 343                 description: >-
 344                     Test suite from Netready project.
 345                 dependencies:
 346                     installer: 'apex'
 347                     scenario: 'gluon'
 348                 run:
 349                      module: 'functest.opnfv_tests.features.netready'
 350                      class: 'GluonVping'
 351     -
 352         name: components
 353         order: 3
 354         ci_loop: 'weekly'
 355         description : >-
 356             Extensive testing of OpenStack API.
 357         testcases:
 358             -
 359                 name: tempest_full_parallel
 360                 criteria: 'success_rate >= 80%'
 361                 blocking: false
 362                 description: >-
 363                     The list of test cases is generated by
 364                     Tempest automatically and depends on the parameters of
 365                     the OpenStack deplopyment.
 366                 dependencies:
 367                     installer: '^((?!netvirt).)*$'
 368                     scenario: ''
 369                 run:
 370                     module: 'functest.opnfv_tests.openstack.tempest.tempest'
 371                     class: 'TempestFullParallel'
 372
 373             -
 374                 name: rally_full
 375                 criteria: 'success_rate >= 90%'
 376                 blocking: false
 377                 description: >-
 378                     This test case runs the full suite of scenarios of the OpenStack
 379                     Rally suite using several threads and iterations.
 380                 dependencies:
 381                     installer: '^((?!netvirt).)*$'
 382                     scenario: ''
 383                 run:
 384                     module: 'functest.opnfv_tests.openstack.rally.rally'
 385                     class: 'RallyFull'
 386
 387     -
 388         name: vnf
 389         order: 4
 390         ci_loop: '(daily)|(weekly)'
 391         description : >-
 392             Collection of VNF test cases.
 393         testcases:
 394             -
 395                 name: cloudify_ims
 396                 criteria: 'status == "PASS"'
 397                 blocking: false
 398                 description: >-
 399                     This test case deploys an OpenSource vIMS solution from Clearwater
 400                     using the Cloudify orchestrator. It also runs some signaling traffic.
 401                 dependencies:
 402                     installer: ''
 403                     scenario: 'nosdn-nofeature'
 404                 run:
 405                     module: 'functest.opnfv_tests.vnf.ims.cloudify_ims'
 406                     class: 'ImsVnf'
 407             -
 408                 name: aaa
 409                 criteria: 'ret == 0'
 410                 blocking: false
 411                 description: >-
 412                     Test suite from Parser project.
 413                 dependencies:
 414                     installer: 'unknown'
 415                     scenario: 'unknown'
 416                 run:
 417                     module: 'functest.opnfv_tests.vnf.aaa.aaa'
 418                     class: 'AaaVnf'
 419
 420             -
 421                 name: juju_epc
 422                 criteria: 'ret == 0'
 423                 blocking: false
 424                 description: >-
 425                     Test suite from OAI project, vEPC deployed with Juju.
 426                 dependencies:
 427                     installer: 'unknown'
 428                     scenario: 'unknown'
 429                 run:
 430                     module: 'functest.opnfv_tests.vnf.epc.epc'
 431                     class: 'EpcVnf'
 432
 433             -
 434                 name: orchestra_ims
 435                 criteria: 'ret == 0'
 436                 blocking: false
 437                 description: >-
 438                     VNF deployment with OpenBaton (Orchestra)
 439                 dependencies:
 440                     installer: 'unknown'
 441                     scenario: 'unknown'
 442                 run:
 443                     module: 'functest.opnfv_tests.vnf.ims.orchestra_ims'
 444                     class: 'ImsVnf'
 445
 446             -
 447                 name: opera_ims
 448                 criteria: 'ret == 0'
 449                 blocking: false
 450                 description: >-
 451                     Evolution of vIMS
 452                 dependencies:
 453                     installer: 'unknown'
 454                     scenario: 'unknown'
 455                 run:
 456                     module: 'functest.opnfv_tests.vnf.ims.opera_ims'
 457                     class: 'ImsVnf'