functest/ci/testcases.yaml

   1 tiers:
   2     -
   3         name: healthcheck
   4         order: 0
   5         ci_loop: '(daily)|(weekly)'
   6         description : >-
   7             First tier to be executed to verify the basic
   8             operations in the VIM.
   9         testcases:
  10             -
  11                 name: healthcheck
  12                 criteria: 'status == "PASS"'
  13                 blocking: true
  14                 description: >-
  15                     This test case verifies the basic OpenStack services like
  16                     Keystone, Glance, Cinder, Neutron and Nova.
  17
  18                 dependencies:
  19                     installer: ''
  20                     scenario: '^((?!lxd).)*$'
  21
  22     -
  23         name: smoke
  24         order: 1
  25         ci_loop: '(daily)|(weekly)'
  26         description : >-
  27             Set of basic Functional tests to validate the OPNFV scenarios.
  28         testcases:
  29             -
  30                 name: vping_ssh
  31                 criteria: 'status == "PASS"'
  32                 blocking: true
  33                 description: >-
  34                     This test case verifies: 1) SSH to an instance using floating
  35                     IPs over the public network. 2) Connectivity between 2 instances
  36                     over a private network.
  37                 dependencies:
  38                     installer: ''
  39                     scenario: '^((?!bgpvpn|odl_l3).)*$'
  40                 run:
  41                     module: 'functest.opnfv_tests.openstack.vping.vping_ssh'
  42                     class: 'VPingSSH'
  43
  44             -
  45                 name: vping_userdata
  46                 criteria: 'status == "PASS"'
  47                 blocking: true
  48                 description: >-
  49                     This test case verifies:  1) Boot a VM with given userdata.
  50                     2) Connectivity between 2 instances over a private network.
  51                 dependencies:
  52                     installer: ''
  53                     scenario: '^((?!lxd).)*$'
  54                 run:
  55                     module: 'functest.opnfv_tests.openstack.vping.vping_userdata'
  56                     class: 'VPingUserdata'
  57
  58             -
  59                 name: tempest_smoke_serial
  60                 criteria: 'success_rate == 100%'
  61                 blocking: false
  62                 description: >-
  63                     This test case runs the smoke subset of the OpenStack
  64                     Tempest suite. The list of test cases is generated by
  65                     Tempest automatically and depends on the parameters of
  66                     the OpenStack deplopyment.
  67                 dependencies:
  68                     installer: '^((?!netvirt).)*$'
  69                     scenario: ''
  70                 run:
  71                     module: 'functest.opnfv_tests.openstack.tempest.tempest'
  72                     class: 'TempestSmokeSerial'
  73
  74             -
  75                 name: rally_sanity
  76                 criteria: 'success_rate == 100%'
  77                 blocking: false
  78                 description: >-
  79                     This test case runs a sub group of tests of the OpenStack
  80                     Rally suite in smoke mode.
  81                 dependencies:
  82                     installer: ''
  83                     scenario: '^((?!bgpvpn).)*$'
  84
  85             -
  86                 name: odl
  87                 criteria: 'success_rate == 100%'
  88                 blocking: true
  89                 description: >-
  90                     Test Suite for the OpenDaylight SDN Controller. It integrates
  91                     some test suites from upstream using Robot as the test
  92                     framework.
  93                 dependencies:
  94                     installer: ''
  95                     scenario: 'odl'
  96                 run:
  97                     module: 'functest.opnfv_tests.sdn.odl.odl'
  98                     class: 'ODLTests'
  99
 100             -
 101                 name: onos
 102                 criteria: 'status == "PASS"'
 103                 blocking: true
 104                 description: >-
 105                     Test Suite for the ONOS SDN Controller. It integrates
 106                     some test suites from upstream using TestON as the test
 107                     framework.
 108                 dependencies:
 109                     installer: ''
 110                     scenario: 'onos'
 111
 112             -
 113                 name: connection_check
 114                 criteria: 'status == "PASS"'
 115                 blocking: false
 116                 description: >-
 117                     This test case verifies the retrieval of OpenStack clients:
 118                     Keystone, Glance, Neutron and Nova and may perform some
 119                     simple queries. When the config value of
 120                     snaps.use_keystone is True, functest must have access to
 121                     the cloud's private network.
 122
 123                 dependencies:
 124                     installer: '^((?!netvirt).)*$'
 125                     scenario: ''
 126                 run:
 127                     module: 'functest.opnfv_tests.openstack.snaps.connection_check'
 128                     class: 'ConnectionCheck'
 129
 130             -
 131                 name: api_check
 132                 criteria: 'status == "PASS"'
 133                 blocking: false
 134                 description: >-
 135                     This test case verifies the retrieval of OpenStack clients:
 136                     Keystone, Glance, Neutron and Nova and may perform some
 137                     simple queries. When the config value of
 138                     snaps.use_keystone is True, functest must have access to
 139                     the cloud's private network.
 140
 141                 dependencies:
 142                     installer: '^((?!netvirt).)*$'
 143                     scenario: ''
 144                 run:
 145                     module: 'functest.opnfv_tests.openstack.snaps.api_check'
 146                     class: 'ApiCheck'
 147
 148             -
 149                 name: snaps_smoke
 150                 criteria: 'status == "PASS"'
 151                 blocking: false
 152                 description: >-
 153                     This test case contains tests that setup and destroy
 154                     environments with VMs with and without Floating IPs
 155                     with a newly created user and project. Set the config
 156                     value snaps.use_floating_ips (True|False) to toggle
 157                     this functionality. When the config value of
 158                     snaps.use_keystone is True, functest must have access to
 159                     the cloud's private network.
 160
 161                 dependencies:
 162                     installer: '^((?!netvirt).)*$'
 163                     scenario: ''
 164                 run:
 165                     module: 'functest.opnfv_tests.openstack.snaps.smoke'
 166                     class: 'SnapsSmoke'
 167
 168     -
 169         name: features
 170         order: 2
 171         ci_loop: '(daily)|(weekly)'
 172         description : >-
 173             Test suites from feature projects
 174             integrated in functest
 175         testcases:
 176             -
 177                 name: promise
 178                 criteria: 'success_rate == 100%'
 179                 blocking: false
 180                 description: >-
 181                     Test suite from Promise project.
 182                 dependencies:
 183                     installer: '(fuel)|(joid)'
 184                     scenario: ''
 185
 186             -
 187                 name: doctor
 188                 criteria: 'status == "PASS"'
 189                 blocking: false
 190                 description: >-
 191                     Test suite from Doctor project.
 192                 dependencies:
 193                     installer: 'apex'
 194                     scenario: '^((?!fdio).)*$'
 195
 196             -
 197                 name: bgpvpn
 198                 criteria: 'status == "PASS"'
 199                 blocking: false
 200                 description: >-
 201                     Test suite from SDNVPN project.
 202                 dependencies:
 203                     installer: '(fuel)|(apex)|(netvirt)'
 204                     scenario: 'bgpvpn'
 205                 run:
 206                     module: 'functest.opnfv_tests.features.sdnvpn'
 207                     class: 'SdnVpnTests'
 208
 209             -
 210                 name: security_scan
 211                 criteria: 'status == "PASS"'
 212                 blocking: false
 213                 description: >-
 214                     Simple security Scan
 215                 dependencies:
 216                     installer: 'apex'
 217                     scenario: '^((?!fdio).)*$'
 218             -
 219                 name: copper
 220                 criteria: 'status == "PASS"'
 221                 blocking: false
 222                 description: >-
 223                     Test suite for policy management based on OpenStack Congress
 224                 dependencies:
 225                     installer: '(apex)|(joid)'
 226                     scenario: '^((?!fdio|lxd).)*$'
 227                 run:
 228                     module: 'functest.opnfv_tests.features.copper'
 229                     class: 'Copper'
 230             -
 231                 name: moon
 232                 criteria: 'status == "PASS"'
 233                 blocking: false
 234                 description: >-
 235                     Security management system for OPNFV
 236                 dependencies:
 237                     installer: 'compass'
 238                     scenario: '(odl)*(moon)'
 239             -
 240                 name: multisite
 241                 criteria: 'success_rate == 100%'
 242                 blocking: false
 243                 description: >-
 244                     Test suite from kingbird
 245                 dependencies:
 246                     installer: '(fuel)|(compass)'
 247                     scenario: 'multisite'
 248                 run:
 249                     module: 'functest.opnfv_tests.openstack.tempest.tempest'
 250                     class: 'TempestMultisite'
 251             -
 252                 name: odl-sfc
 253                 criteria: 'status == "PASS"'
 254                 blocking: false
 255                 description: >-
 256                     Test suite for odl-sfc to test two chains and two SFs
 257                 dependencies:
 258                     installer: '(apex)|(fuel)'
 259                     scenario: 'odl_l2-sfc'
 260                 run:
 261                     module: 'functest.opnfv_tests.features.odl_sfc'
 262                     class: 'OpenDaylightSFC'
 263             -
 264                 name: onos_sfc
 265                 criteria: 'status == "PASS"'
 266                 blocking: true
 267                 description: >-
 268                     Test Suite for onos-sfc to test sfc function.
 269                 dependencies:
 270                     installer: ''
 271                     scenario: 'onos-sfc'
 272             -
 273                 name: parser
 274                 criteria: 'ret == 0'
 275                 blocking: false
 276                 description: >-
 277                     Test suite from Parser project.
 278                 dependencies:
 279                     installer: 'fuel'
 280                     scenario: '^((?!bgpvpn|noha).)*$'
 281                 run:
 282                     module: 'functest.opnfv_tests.vnf.rnc.parser'
 283                     class: 'Parser'
 284             -
 285                 name: orchestra
 286                 criteria: 'ret == 0'
 287                 blocking: false
 288                 description: >-
 289                     Test OpenBaton (Orchestra) stack
 290                 dependencies:
 291                     installer: 'joid'
 292                     scenario: 'unknown'
 293                 run:
 294                     module: 'functest.opnfv_tests.features.orchestrator.orchestra'
 295                     class: 'OpenbatonOrchestrator'
 296     -
 297         name: components
 298         order: 3
 299         ci_loop: 'weekly'
 300         description : >-
 301             Extensive testing of OpenStack API.
 302         testcases:
 303             -
 304                 name: tempest_full_parallel
 305                 criteria: 'success_rate >= 80%'
 306                 blocking: false
 307                 description: >-
 308                     The list of test cases is generated by
 309                     Tempest automatically and depends on the parameters of
 310                     the OpenStack deplopyment.
 311                 dependencies:
 312                     installer: '^((?!netvirt).)*$'
 313                     scenario: ''
 314                 run:
 315                     module: 'functest.opnfv_tests.openstack.tempest.tempest'
 316                     class: 'TempestFullParallel'
 317
 318             -
 319                 name: rally_full
 320                 criteria: 'success_rate >= 90%'
 321                 blocking: false
 322                 description: >-
 323                     This test case runs the full suite of scenarios of the OpenStack
 324                     Rally suite using several threads and iterations.
 325                 dependencies:
 326                     installer: '^((?!netvirt).)*$'
 327                     scenario: ''
 328
 329     -
 330         name: vnf
 331         order: 4
 332         ci_loop: 'weekly'
 333         description : >-
 334             Collection of VNF test cases.
 335         testcases:
 336             -
 337                 name: cloudify_ims
 338                 criteria: 'status == "PASS"'
 339                 blocking: false
 340                 description: >-
 341                     This test case deploys an OpenSource vIMS solution from Clearwater
 342                     using the Cloudify orchestrator. It also runs some signaling traffic.
 343                 dependencies:
 344                     installer: ''
 345                     scenario: '(ocl)|(nosdn)|^(os-odl)((?!bgpvpn).)*$'
 346                 run:
 347                     module: 'functest.opnfv_tests.vnf.ims.cloudify_ims'
 348                     class: 'ImsVnf'
 349             -
 350                 name: aaa
 351                 criteria: 'ret == 0'
 352                 blocking: false
 353                 description: >-
 354                     Test suite from Parser project.
 355                 dependencies:
 356                     installer: ''
 357                     scenario: ''
 358                 run:
 359                     module: 'functest.opnfv_tests.vnf.aaa.aaa'
 360                     class: 'AaaVnf'
 361
 362             -
 363                 name: juju_epc
 364                 criteria: 'ret == 0'
 365                 blocking: false
 366                 description: >-
 367                     Test suite from OAI project, vEPC deployed with Juju.
 368                 dependencies:
 369                     installer: 'unknown'
 370                     scenario: 'unknown'
 371                 run:
 372                     module: 'functest.opnfv_tests.vnf.epc.epc'
 373                     class: 'EpcVnf'
 374
 375             -
 376                 name: orchestra_ims
 377                 criteria: 'ret == 0'
 378                 blocking: false
 379                 description: >-
 380                     VNF deployment with OpenBaton (Orchestra)
 381                 dependencies:
 382                     installer: 'unknown'
 383                     scenario: 'unknown'
 384                 run:
 385                     module: 'functest.opnfv_tests.vnf.ims.orchestra_ims'
 386                     class: 'ImsVnf'
 387
 388             -
 389                 name: opera_ims
 390                 criteria: 'ret == 0'
 391                 blocking: false
 392                 description: >-
 393                     Evolution of vIMS
 394                 dependencies:
 395                     installer: 'unknown'
 396                     scenario: 'unknown'
 397                 run:
 398                     module: 'functest.opnfv_tests.vnf.ims.opera_ims'
 399                     class: 'ImsVnf'