functest/ci/testcases.yaml

   1 tiers:
   2     -
   3         name: healthcheck
   4         order: 0
   5         ci_loop: '(daily)|(weekly)'
   6         description : >-
   7             First tier to be executed to verify the basic
   8             operations in the VIM.
   9         testcases:
  10             -
  11                 name: healthcheck
  12                 criteria: 'status == "PASS"'
  13                 blocking: true
  14                 description: >-
  15                     This test case verifies the basic OpenStack services like
  16                     Keystone, Glance, Cinder, Neutron and Nova.
  17
  18                 dependencies:
  19                     installer: ''
  20                     scenario: '^((?!lxd).)*$'
  21             -
  22                 name: connection_check
  23                 criteria: 'status == "PASS"'
  24                 blocking: true
  25                 description: >-
  26                     This test case verifies the retrieval of OpenStack clients:
  27                     Keystone, Glance, Neutron and Nova and may perform some
  28                     simple queries. When the config value of
  29                     snaps.use_keystone is True, functest must have access to
  30                     the cloud's private network.
  31
  32                 dependencies:
  33                     installer: '^((?!netvirt).)*$'
  34                     scenario: ''
  35                 run:
  36                     module: 'functest.opnfv_tests.openstack.snaps.connection_check'
  37                     class: 'ConnectionCheck'
  38
  39             -
  40                 name: api_check
  41                 criteria: 'status == "PASS"'
  42                 blocking: true
  43                 description: >-
  44                     This test case verifies the retrieval of OpenStack clients:
  45                     Keystone, Glance, Neutron and Nova and may perform some
  46                     simple queries. When the config value of
  47                     snaps.use_keystone is True, functest must have access to
  48                     the cloud's private network.
  49
  50                 dependencies:
  51                     installer: '^((?!netvirt).)*$'
  52                     scenario: ''
  53                 run:
  54                     module: 'functest.opnfv_tests.openstack.snaps.api_check'
  55                     class: 'ApiCheck'
  56     -
  57         name: smoke
  58         order: 1
  59         ci_loop: '(daily)|(weekly)'
  60         description : >-
  61             Set of basic Functional tests to validate the OPNFV scenarios.
  62         testcases:
  63             -
  64                 name: vping_ssh
  65                 criteria: 'status == "PASS"'
  66                 blocking: true
  67                 description: >-
  68                     This test case verifies: 1) SSH to an instance using floating
  69                     IPs over the public network. 2) Connectivity between 2 instances
  70                     over a private network.
  71                 dependencies:
  72                     installer: ''
  73                     scenario: '^((?!bgpvpn|odl_l3).)*$'
  74                 run:
  75                     module: 'functest.opnfv_tests.openstack.vping.vping_ssh'
  76                     class: 'VPingSSH'
  77
  78             -
  79                 name: vping_userdata
  80                 criteria: 'status == "PASS"'
  81                 blocking: true
  82                 description: >-
  83                     This test case verifies:  1) Boot a VM with given userdata.
  84                     2) Connectivity between 2 instances over a private network.
  85                 dependencies:
  86                     installer: ''
  87                     scenario: '^((?!lxd).)*$'
  88                 run:
  89                     module: 'functest.opnfv_tests.openstack.vping.vping_userdata'
  90                     class: 'VPingUserdata'
  91
  92             -
  93                 name: tempest_smoke_serial
  94                 criteria: 'success_rate == 100%'
  95                 blocking: false
  96                 description: >-
  97                     This test case runs the smoke subset of the OpenStack
  98                     Tempest suite. The list of test cases is generated by
  99                     Tempest automatically and depends on the parameters of
 100                     the OpenStack deplopyment.
 101                 dependencies:
 102                     installer: '^((?!netvirt).)*$'
 103                     scenario: ''
 104                 run:
 105                     module: 'functest.opnfv_tests.openstack.tempest.tempest'
 106                     class: 'TempestSmokeSerial'
 107
 108             -
 109                 name: rally_sanity
 110                 criteria: 'success_rate == 100%'
 111                 blocking: false
 112                 description: >-
 113                     This test case runs a sub group of tests of the OpenStack
 114                     Rally suite in smoke mode.
 115                 dependencies:
 116                     installer: ''
 117                     scenario: '^((?!bgpvpn).)*$'
 118                 run:
 119                     module: 'functest.opnfv_tests.openstack.rally.rally'
 120                     class: 'RallySanity'
 121
 122             -
 123                 name: odl
 124                 criteria: 'success_rate == 100%'
 125                 blocking: true
 126                 description: >-
 127                     Test Suite for the OpenDaylight SDN Controller. It integrates
 128                     some test suites from upstream using Robot as the test
 129                     framework.
 130                 dependencies:
 131                     installer: ''
 132                     scenario: 'odl'
 133                 run:
 134                     module: 'functest.opnfv_tests.sdn.odl.odl'
 135                     class: 'ODLTests'
 136
 137             -
 138                 name: onos
 139                 criteria: 'status == "PASS"'
 140                 blocking: true
 141                 description: >-
 142                     Test Suite for the ONOS SDN Controller. It integrates
 143                     some test suites from upstream using TestON as the test
 144                     framework.
 145                 dependencies:
 146                     installer: ''
 147                     scenario: 'onos'
 148
 149
 150             -
 151                 name: snaps_smoke
 152                 criteria: 'status == "PASS"'
 153                 blocking: false
 154                 description: >-
 155                     This test case contains tests that setup and destroy
 156                     environments with VMs with and without Floating IPs
 157                     with a newly created user and project. Set the config
 158                     value snaps.use_floating_ips (True|False) to toggle
 159                     this functionality. When the config value of
 160                     snaps.use_keystone is True, functest must have access to
 161                     the cloud's private network.
 162
 163                 dependencies:
 164                     installer: '^((?!netvirt).)*$'
 165                     scenario: ''
 166                 run:
 167                     module: 'functest.opnfv_tests.openstack.snaps.smoke'
 168                     class: 'SnapsSmoke'
 169
 170     -
 171         name: features
 172         order: 2
 173         ci_loop: '(daily)|(weekly)'
 174         description : >-
 175             Test suites from feature projects
 176             integrated in functest
 177         testcases:
 178             -
 179                 name: promise
 180                 criteria: 'success_rate == 100%'
 181                 blocking: false
 182                 description: >-
 183                     Test suite from Promise project.
 184                 dependencies:
 185                     installer: '(fuel)|(joid)'
 186                     scenario: ''
 187                 run:
 188                      module: 'functest.opnfv_tests.features.promise'
 189                      class: 'Promise'
 190
 191             -
 192                 name: doctor
 193                 criteria: 'status == "PASS"'
 194                 blocking: false
 195                 description: >-
 196                     Test suite from Doctor project.
 197                 dependencies:
 198                     installer: '(apex)|(fuel)|(joid)'
 199                     scenario: '^((?!fdio).)*$'
 200                 run:
 201                     module: 'functest.opnfv_tests.features.doctor'
 202                     class: 'Doctor'
 203
 204             -
 205                 name: bgpvpn
 206                 criteria: 'status == "PASS"'
 207                 blocking: false
 208                 description: >-
 209                     Test suite from SDNVPN project.
 210                 dependencies:
 211                     installer: '(fuel)|(apex)|(netvirt)'
 212                     scenario: 'bgpvpn'
 213                 run:
 214                     module: 'functest.opnfv_tests.features.sdnvpn'
 215                     class: 'SdnVpnTests'
 216
 217             -
 218                 name: security_scan
 219                 criteria: 'status == "PASS"'
 220                 blocking: false
 221                 description: >-
 222                     Simple security Scan
 223                 dependencies:
 224                     installer: 'apex'
 225                     scenario: '^((?!fdio).)*$'
 226 #            -
 227 #                name: copper
 228 #                criteria: 'status == "PASS"'
 229 #                blocking: false
 230 #                description: >-
 231 #                    Test suite for policy management based on OpenStack Congress
 232 #                dependencies:
 233 #                    installer: '(apex)|(joid)'
 234 #                    scenario: '^((?!fdio|lxd).)*$'
 235 #                run:
 236 #                    module: 'functest.opnfv_tests.features.copper'
 237 #                    class: 'Copper'
 238             -
 239                 name: moon
 240                 criteria: 'status == "PASS"'
 241                 blocking: false
 242                 description: >-
 243                     Security management system for OPNFV
 244                 dependencies:
 245                     installer: 'compass'
 246                     scenario: '(odl)*(moon)'
 247             -
 248                 name: multisite
 249                 criteria: 'success_rate == 100%'
 250                 blocking: false
 251                 description: >-
 252                     Test suite from kingbird
 253                 dependencies:
 254                     installer: '(fuel)|(compass)'
 255                     scenario: 'multisite'
 256                 run:
 257                     module: 'functest.opnfv_tests.openstack.tempest.tempest'
 258                     class: 'TempestMultisite'
 259             -
 260                 name: odl-sfc
 261                 criteria: 'status == "PASS"'
 262                 blocking: false
 263                 description: >-
 264                     Test suite for odl-sfc to test two chains and two SFs
 265                 dependencies:
 266                     installer: '(apex)|(fuel)'
 267                     scenario: 'odl_l2-sfc'
 268                 run:
 269                     module: 'functest.opnfv_tests.features.odl_sfc'
 270                     class: 'OpenDaylightSFC'
 271             -
 272                 name: onos_sfc
 273                 criteria: 'status == "PASS"'
 274                 blocking: true
 275                 description: >-
 276                     Test Suite for onos-sfc to test sfc function.
 277                 dependencies:
 278                     installer: ''
 279                     scenario: 'onos-sfc'
 280             -
 281                 name: parser
 282                 criteria: 'ret == 0'
 283                 blocking: false
 284                 description: >-
 285                     Test suite from Parser project.
 286                 dependencies:
 287                     installer: 'fuel'
 288                     scenario: '^((?!bgpvpn|noha).)*$'
 289                 run:
 290                     module: 'functest.opnfv_tests.vnf.rnc.parser'
 291                     class: 'Parser'
 292             -
 293                 name: orchestra
 294                 criteria: 'ret == 0'
 295                 blocking: false
 296                 description: >-
 297                     Test OpenBaton (Orchestra) stack
 298                 dependencies:
 299                     installer: 'joid'
 300                     scenario: 'unknown'
 301                 run:
 302                     module: 'functest.opnfv_tests.features.orchestrator.orchestra'
 303                     class: 'OpenbatonOrchestrator'
 304     -
 305         name: components
 306         order: 3
 307         ci_loop: 'weekly'
 308         description : >-
 309             Extensive testing of OpenStack API.
 310         testcases:
 311             -
 312                 name: tempest_full_parallel
 313                 criteria: 'success_rate >= 80%'
 314                 blocking: false
 315                 description: >-
 316                     The list of test cases is generated by
 317                     Tempest automatically and depends on the parameters of
 318                     the OpenStack deplopyment.
 319                 dependencies:
 320                     installer: '^((?!netvirt).)*$'
 321                     scenario: ''
 322                 run:
 323                     module: 'functest.opnfv_tests.openstack.tempest.tempest'
 324                     class: 'TempestFullParallel'
 325
 326             -
 327                 name: rally_full
 328                 criteria: 'success_rate >= 90%'
 329                 blocking: false
 330                 description: >-
 331                     This test case runs the full suite of scenarios of the OpenStack
 332                     Rally suite using several threads and iterations.
 333                 dependencies:
 334                     installer: '^((?!netvirt).)*$'
 335                     scenario: ''
 336                 run:
 337                     module: 'functest.opnfv_tests.openstack.rally.rally'
 338                     class: 'RallyFull'
 339
 340     -
 341         name: vnf
 342         order: 4
 343         ci_loop: 'weekly'
 344         description : >-
 345             Collection of VNF test cases.
 346         testcases:
 347             -
 348                 name: cloudify_ims
 349                 criteria: 'status == "PASS"'
 350                 blocking: false
 351                 description: >-
 352                     This test case deploys an OpenSource vIMS solution from Clearwater
 353                     using the Cloudify orchestrator. It also runs some signaling traffic.
 354                 dependencies:
 355                     installer: ''
 356                     scenario: '(ocl)|(nosdn)|^(os-odl)((?!bgpvpn).)*$'
 357                 run:
 358                     module: 'functest.opnfv_tests.vnf.ims.cloudify_ims'
 359                     class: 'ImsVnf'
 360             -
 361                 name: aaa
 362                 criteria: 'ret == 0'
 363                 blocking: false
 364                 description: >-
 365                     Test suite from Parser project.
 366                 dependencies:
 367                     installer: ''
 368                     scenario: ''
 369                 run:
 370                     module: 'functest.opnfv_tests.vnf.aaa.aaa'
 371                     class: 'AaaVnf'
 372
 373             -
 374                 name: juju_epc
 375                 criteria: 'ret == 0'
 376                 blocking: false
 377                 description: >-
 378                     Test suite from OAI project, vEPC deployed with Juju.
 379                 dependencies:
 380                     installer: 'unknown'
 381                     scenario: 'unknown'
 382                 run:
 383                     module: 'functest.opnfv_tests.vnf.epc.epc'
 384                     class: 'EpcVnf'
 385
 386             -
 387                 name: orchestra_ims
 388                 criteria: 'ret == 0'
 389                 blocking: false
 390                 description: >-
 391                     VNF deployment with OpenBaton (Orchestra)
 392                 dependencies:
 393                     installer: 'unknown'
 394                     scenario: 'unknown'
 395                 run:
 396                     module: 'functest.opnfv_tests.vnf.ims.orchestra_ims'
 397                     class: 'ImsVnf'
 398
 399             -
 400                 name: opera_ims
 401                 criteria: 'ret == 0'
 402                 blocking: false
 403                 description: >-
 404                     Evolution of vIMS
 405                 dependencies:
 406                     installer: 'unknown'
 407                     scenario: 'unknown'
 408                 run:
 409                     module: 'functest.opnfv_tests.vnf.ims.opera_ims'
 410                     class: 'ImsVnf'