functest/ci/testcases.yaml

   1 tiers:
   2     -
   3         name: healthcheck
   4         order: 0
   5         ci_loop: '(daily)|(weekly)'
   6         description : >-
   7             First tier to be executed to verify the basic
   8             operations in the VIM.
   9         testcases:
  10             -
  11                 name: healthcheck
  12                 criteria: 'status == "PASS"'
  13                 blocking: true
  14                 description: >-
  15                     This test case verifies the basic OpenStack services like
  16                     Keystone, Glance, Cinder, Neutron and Nova.
  17
  18                 dependencies:
  19                     installer: ''
  20                     scenario: '^((?!lxd).)*$'
  21             -
  22                 name: snaps_health_check
  23                 criteria: 'status == "PASS"'
  24                 blocking: false
  25                 description: >-
  26                     This test case creates executes the SimpleHealthCheck
  27                     Python test class which creates an, image, flavor, network,
  28                     and Cirros VM instance and observes the console output to
  29                     validate the single port obtains the correct IP address.
  30
  31                 dependencies:
  32                     installer: ''
  33                     scenario: '^((?!lxd).)*$'
  34                 run:
  35                     module: 'functest.opnfv_tests.openstack.snaps.health_check'
  36                     class: 'HealthCheck'
  37             -
  38                 name: connection_check
  39                 criteria: 'status == "PASS"'
  40                 blocking: true
  41                 description: >-
  42                     This test case verifies the retrieval of OpenStack clients:
  43                     Keystone, Glance, Neutron and Nova and may perform some
  44                     simple queries. When the config value of
  45                     snaps.use_keystone is True, functest must have access to
  46                     the cloud's private network.
  47
  48                 dependencies:
  49                     installer: '^((?!netvirt).)*$'
  50                     scenario: ''
  51                 run:
  52                     module: 'functest.opnfv_tests.openstack.snaps.connection_check'
  53                     class: 'ConnectionCheck'
  54
  55             -
  56                 name: api_check
  57                 criteria: 'status == "PASS"'
  58                 blocking: true
  59                 description: >-
  60                     This test case verifies the retrieval of OpenStack clients:
  61                     Keystone, Glance, Neutron and Nova and may perform some
  62                     simple queries. When the config value of
  63                     snaps.use_keystone is True, functest must have access to
  64                     the cloud's private network.
  65
  66                 dependencies:
  67                     installer: '^((?!netvirt).)*$'
  68                     scenario: ''
  69                 run:
  70                     module: 'functest.opnfv_tests.openstack.snaps.api_check'
  71                     class: 'ApiCheck'
  72     -
  73         name: smoke
  74         order: 1
  75         ci_loop: '(daily)|(weekly)'
  76         description : >-
  77             Set of basic Functional tests to validate the OPNFV scenarios.
  78         testcases:
  79             -
  80                 name: vping_ssh
  81                 criteria: 'status == "PASS"'
  82                 blocking: true
  83                 description: >-
  84                     This test case verifies: 1) SSH to an instance using floating
  85                     IPs over the public network. 2) Connectivity between 2 instances
  86                     over a private network.
  87                 dependencies:
  88                     installer: ''
  89                     scenario: '^((?!bgpvpn|odl_l3).)*$'
  90                 run:
  91                     module: 'functest.opnfv_tests.openstack.vping.vping_ssh'
  92                     class: 'VPingSSH'
  93
  94             -
  95                 name: vping_userdata
  96                 criteria: 'status == "PASS"'
  97                 blocking: true
  98                 description: >-
  99                     This test case verifies:  1) Boot a VM with given userdata.
 100                     2) Connectivity between 2 instances over a private network.
 101                 dependencies:
 102                     installer: ''
 103                     scenario: '^((?!lxd).)*$'
 104                 run:
 105                     module: 'functest.opnfv_tests.openstack.vping.vping_userdata'
 106                     class: 'VPingUserdata'
 107
 108             -
 109                 name: tempest_smoke_serial
 110                 criteria: 'success_rate == 100%'
 111                 blocking: false
 112                 description: >-
 113                     This test case runs the smoke subset of the OpenStack
 114                     Tempest suite. The list of test cases is generated by
 115                     Tempest automatically and depends on the parameters of
 116                     the OpenStack deplopyment.
 117                 dependencies:
 118                     installer: '^((?!netvirt).)*$'
 119                     scenario: ''
 120                 run:
 121                     module: 'functest.opnfv_tests.openstack.tempest.tempest'
 122                     class: 'TempestSmokeSerial'
 123
 124             -
 125                 name: rally_sanity
 126                 criteria: 'success_rate == 100%'
 127                 blocking: false
 128                 description: >-
 129                     This test case runs a sub group of tests of the OpenStack
 130                     Rally suite in smoke mode.
 131                 dependencies:
 132                     installer: ''
 133                     scenario: '^((?!bgpvpn).)*$'
 134                 run:
 135                     module: 'functest.opnfv_tests.openstack.rally.rally'
 136                     class: 'RallySanity'
 137
 138             -
 139                 name: odl
 140                 criteria: 'success_rate == 100%'
 141                 blocking: true
 142                 description: >-
 143                     Test Suite for the OpenDaylight SDN Controller. It integrates
 144                     some test suites from upstream using Robot as the test
 145                     framework.
 146                 dependencies:
 147                     installer: ''
 148                     scenario: 'odl'
 149                 run:
 150                     module: 'functest.opnfv_tests.sdn.odl.odl'
 151                     class: 'ODLTests'
 152                     args:
 153                         suites:
 154                             -  /home/opnfv/repos/odl_test/csit/suites/integration/basic
 155                             -  /home/opnfv/repos/odl_test/csit/suites/openstack/neutron
 156
 157             -
 158                 name: onos
 159                 criteria: 'status == "PASS"'
 160                 blocking: true
 161                 description: >-
 162                     Test Suite for the ONOS SDN Controller. It integrates
 163                     some test suites from upstream using TestON as the test
 164                     framework.
 165                 dependencies:
 166                     installer: ''
 167                     scenario: 'onos'
 168
 169
 170             -
 171                 name: snaps_smoke
 172                 criteria: 'status == "PASS"'
 173                 blocking: false
 174                 description: >-
 175                     This test case contains tests that setup and destroy
 176                     environments with VMs with and without Floating IPs
 177                     with a newly created user and project. Set the config
 178                     value snaps.use_floating_ips (True|False) to toggle
 179                     this functionality. When the config value of
 180                     snaps.use_keystone is True, functest must have access to
 181                     the cloud's private network.
 182
 183                 dependencies:
 184                     installer: '^((?!netvirt).)*$'
 185                     scenario: ''
 186                 run:
 187                     module: 'functest.opnfv_tests.openstack.snaps.smoke'
 188                     class: 'SnapsSmoke'
 189
 190     -
 191         name: features
 192         order: 2
 193         ci_loop: '(daily)|(weekly)'
 194         description : >-
 195             Test suites from feature projects
 196             integrated in functest
 197         testcases:
 198             -
 199                 name: promise
 200                 criteria: 'success_rate == 100%'
 201                 blocking: false
 202                 description: >-
 203                     Test suite from Promise project.
 204                 dependencies:
 205                     installer: '(fuel)|(joid)'
 206                     scenario: ''
 207                 run:
 208                      module: 'functest.opnfv_tests.features.promise'
 209                      class: 'Promise'
 210
 211             -
 212                 name: doctor
 213                 criteria: 'status == "PASS"'
 214                 blocking: false
 215                 description: >-
 216                     Test suite from Doctor project.
 217                 dependencies:
 218                     installer: '(apex)|(fuel)|(joid)'
 219                     scenario: '^((?!fdio).)*$'
 220                 run:
 221                     module: 'functest.opnfv_tests.features.doctor'
 222                     class: 'Doctor'
 223
 224             -
 225                 name: bgpvpn
 226                 criteria: 'status == "PASS"'
 227                 blocking: false
 228                 description: >-
 229                     Test suite from SDNVPN project.
 230                 dependencies:
 231                     installer: '(fuel)|(apex)|(netvirt)'
 232                     scenario: 'bgpvpn'
 233                 run:
 234                     module: 'functest.opnfv_tests.features.sdnvpn'
 235                     class: 'SdnVpnTests'
 236
 237             -
 238                 name: security_scan
 239                 criteria: 'status == "PASS"'
 240                 blocking: false
 241                 description: >-
 242                     Simple security Scan
 243                 dependencies:
 244                     installer: 'apex'
 245                     scenario: '^((?!fdio).)*$'
 246 #            -
 247 #                name: copper
 248 #                criteria: 'status == "PASS"'
 249 #                blocking: false
 250 #                description: >-
 251 #                    Test suite for policy management based on OpenStack Congress
 252 #                dependencies:
 253 #                    installer: '(apex)|(joid)'
 254 #                    scenario: '^((?!fdio|lxd).)*$'
 255 #                run:
 256 #                    module: 'functest.opnfv_tests.features.copper'
 257 #                    class: 'Copper'
 258             -
 259                 name: multisite
 260                 criteria: 'success_rate == 100%'
 261                 blocking: false
 262                 description: >-
 263                     Test suite from kingbird
 264                 dependencies:
 265                     installer: '(fuel)|(compass)'
 266                     scenario: 'multisite'
 267                 run:
 268                     module: 'functest.opnfv_tests.openstack.tempest.tempest'
 269                     class: 'TempestMultisite'
 270             -
 271                 name: odl-sfc
 272                 criteria: 'status == "PASS"'
 273                 blocking: false
 274                 description: >-
 275                     Test suite for odl-sfc to test two chains and two SFs
 276                 dependencies:
 277                     installer: '(apex)|(fuel)'
 278                     scenario: 'odl_l2-sfc'
 279                 run:
 280                     module: 'functest.opnfv_tests.features.odl_sfc'
 281                     class: 'OpenDaylightSFC'
 282             -
 283                 name: onos_sfc
 284                 criteria: 'status == "PASS"'
 285                 blocking: true
 286                 description: >-
 287                     Test Suite for onos-sfc to test sfc function.
 288                 dependencies:
 289                     installer: ''
 290                     scenario: 'onos-sfc'
 291             -
 292                 name: parser
 293                 criteria: 'ret == 0'
 294                 blocking: false
 295                 description: >-
 296                     Test suite from Parser project.
 297                 dependencies:
 298                     installer: 'fuel'
 299                     scenario: '^((?!bgpvpn|noha).)*$'
 300                 run:
 301                     module: 'functest.opnfv_tests.vnf.rnc.parser'
 302                     class: 'Parser'
 303             -
 304                 name: orchestra
 305                 criteria: 'ret == 0'
 306                 blocking: false
 307                 description: >-
 308                     Test OpenBaton (Orchestra) stack
 309                 dependencies:
 310                     installer: 'joid'
 311                     scenario: 'unknown'
 312                 run:
 313                     module: 'functest.opnfv_tests.features.orchestrator.orchestra'
 314                     class: 'OpenbatonOrchestrator'
 315     -
 316         name: components
 317         order: 3
 318         ci_loop: 'weekly'
 319         description : >-
 320             Extensive testing of OpenStack API.
 321         testcases:
 322             -
 323                 name: tempest_full_parallel
 324                 criteria: 'success_rate >= 80%'
 325                 blocking: false
 326                 description: >-
 327                     The list of test cases is generated by
 328                     Tempest automatically and depends on the parameters of
 329                     the OpenStack deplopyment.
 330                 dependencies:
 331                     installer: '^((?!netvirt).)*$'
 332                     scenario: ''
 333                 run:
 334                     module: 'functest.opnfv_tests.openstack.tempest.tempest'
 335                     class: 'TempestFullParallel'
 336
 337             -
 338                 name: rally_full
 339                 criteria: 'success_rate >= 90%'
 340                 blocking: false
 341                 description: >-
 342                     This test case runs the full suite of scenarios of the OpenStack
 343                     Rally suite using several threads and iterations.
 344                 dependencies:
 345                     installer: '^((?!netvirt).)*$'
 346                     scenario: ''
 347                 run:
 348                     module: 'functest.opnfv_tests.openstack.rally.rally'
 349                     class: 'RallyFull'
 350
 351     -
 352         name: vnf
 353         order: 4
 354         ci_loop: 'weekly'
 355         description : >-
 356             Collection of VNF test cases.
 357         testcases:
 358             -
 359                 name: cloudify_ims
 360                 criteria: 'status == "PASS"'
 361                 blocking: false
 362                 description: >-
 363                     This test case deploys an OpenSource vIMS solution from Clearwater
 364                     using the Cloudify orchestrator. It also runs some signaling traffic.
 365                 dependencies:
 366                     installer: ''
 367                     scenario: '(ocl)|(nosdn)|^(os-odl)((?!bgpvpn).)*$'
 368                 run:
 369                     module: 'functest.opnfv_tests.vnf.ims.cloudify_ims'
 370                     class: 'ImsVnf'
 371             -
 372                 name: aaa
 373                 criteria: 'ret == 0'
 374                 blocking: false
 375                 description: >-
 376                     Test suite from Parser project.
 377                 dependencies:
 378                     installer: ''
 379                     scenario: ''
 380                 run:
 381                     module: 'functest.opnfv_tests.vnf.aaa.aaa'
 382                     class: 'AaaVnf'
 383
 384             -
 385                 name: juju_epc
 386                 criteria: 'ret == 0'
 387                 blocking: false
 388                 description: >-
 389                     Test suite from OAI project, vEPC deployed with Juju.
 390                 dependencies:
 391                     installer: 'unknown'
 392                     scenario: 'unknown'
 393                 run:
 394                     module: 'functest.opnfv_tests.vnf.epc.epc'
 395                     class: 'EpcVnf'
 396
 397             -
 398                 name: orchestra_ims
 399                 criteria: 'ret == 0'
 400                 blocking: false
 401                 description: >-
 402                     VNF deployment with OpenBaton (Orchestra)
 403                 dependencies:
 404                     installer: 'unknown'
 405                     scenario: 'unknown'
 406                 run:
 407                     module: 'functest.opnfv_tests.vnf.ims.orchestra_ims'
 408                     class: 'ImsVnf'
 409
 410             -
 411                 name: opera_ims
 412                 criteria: 'ret == 0'
 413                 blocking: false
 414                 description: >-
 415                     Evolution of vIMS
 416                 dependencies:
 417                     installer: 'unknown'
 418                     scenario: 'unknown'
 419                 run:
 420                     module: 'functest.opnfv_tests.vnf.ims.opera_ims'
 421                     class: 'ImsVnf'