functest/ci/testcases.yaml

   1 tiers:
   2     -
   3         name: healthcheck
   4         order: 0
   5         ci_loop: '(daily)|(weekly)'
   6         description : >-
   7             First tier to be executed to verify the basic
   8             operations in the VIM.
   9         testcases:
  10             -
  11                 name: healthcheck
  12                 criteria: 'status == "PASS"'
  13                 blocking: true
  14                 description: >-
  15                     This test case verifies the basic OpenStack services like
  16                     Keystone, Glance, Cinder, Neutron and Nova.
  17
  18                 dependencies:
  19                     installer: ''
  20                     scenario: '^((?!lxd).)*$'
  21
  22     -
  23         name: smoke
  24         order: 1
  25         ci_loop: '(daily)|(weekly)'
  26         description : >-
  27             Set of basic Functional tests to validate the OPNFV scenarios.
  28         testcases:
  29             -
  30                 name: vping_ssh
  31                 criteria: 'status == "PASS"'
  32                 blocking: true
  33                 description: >-
  34                     This test case verifies: 1) SSH to an instance using floating
  35                     IPs over the public network. 2) Connectivity between 2 instances
  36                     over a private network.
  37                 dependencies:
  38                     installer: ''
  39                     scenario: '^((?!bgpvpn|odl_l3).)*$'
  40                 run:
  41                     module: 'functest.opnfv_tests.openstack.vping.vping_ssh'
  42                     class: 'VPingSSH'
  43
  44             -
  45                 name: vping_userdata
  46                 criteria: 'status == "PASS"'
  47                 blocking: true
  48                 description: >-
  49                     This test case verifies:  1) Boot a VM with given userdata.
  50                     2) Connectivity between 2 instances over a private network.
  51                 dependencies:
  52                     installer: ''
  53                     scenario: '^((?!lxd).)*$'
  54                 run:
  55                     module: 'functest.opnfv_tests.openstack.vping.vping_userdata'
  56                     class: 'VPingUserdata'
  57
  58             -
  59                 name: tempest_smoke_serial
  60                 criteria: 'success_rate == 100%'
  61                 blocking: false
  62                 description: >-
  63                     This test case runs the smoke subset of the OpenStack
  64                     Tempest suite. The list of test cases is generated by
  65                     Tempest automatically and depends on the parameters of
  66                     the OpenStack deplopyment.
  67                 dependencies:
  68                     installer: '^((?!netvirt).)*$'
  69                     scenario: ''
  70                 run:
  71                     module: 'functest.opnfv_tests.openstack.tempest.tempest'
  72                     class: 'TempestSmokeSerial'
  73
  74             -
  75                 name: rally_sanity
  76                 criteria: 'success_rate == 100%'
  77                 blocking: false
  78                 description: >-
  79                     This test case runs a sub group of tests of the OpenStack
  80                     Rally suite in smoke mode.
  81                 dependencies:
  82                     installer: ''
  83                     scenario: '^((?!bgpvpn).)*$'
  84                 run:
  85                     module: 'functest.opnfv_tests.openstack.rally.rally'
  86                     class: 'RallySanity'
  87
  88             -
  89                 name: odl
  90                 criteria: 'success_rate == 100%'
  91                 blocking: true
  92                 description: >-
  93                     Test Suite for the OpenDaylight SDN Controller. It integrates
  94                     some test suites from upstream using Robot as the test
  95                     framework.
  96                 dependencies:
  97                     installer: ''
  98                     scenario: 'odl'
  99                 run:
 100                     module: 'functest.opnfv_tests.sdn.odl.odl'
 101                     class: 'ODLTests'
 102
 103             -
 104                 name: onos
 105                 criteria: 'status == "PASS"'
 106                 blocking: true
 107                 description: >-
 108                     Test Suite for the ONOS SDN Controller. It integrates
 109                     some test suites from upstream using TestON as the test
 110                     framework.
 111                 dependencies:
 112                     installer: ''
 113                     scenario: 'onos'
 114
 115             -
 116                 name: connection_check
 117                 criteria: 'status == "PASS"'
 118                 blocking: false
 119                 description: >-
 120                     This test case verifies the retrieval of OpenStack clients:
 121                     Keystone, Glance, Neutron and Nova and may perform some
 122                     simple queries. When the config value of
 123                     snaps.use_keystone is True, functest must have access to
 124                     the cloud's private network.
 125
 126                 dependencies:
 127                     installer: '^((?!netvirt).)*$'
 128                     scenario: ''
 129                 run:
 130                     module: 'functest.opnfv_tests.openstack.snaps.connection_check'
 131                     class: 'ConnectionCheck'
 132
 133             -
 134                 name: api_check
 135                 criteria: 'status == "PASS"'
 136                 blocking: false
 137                 description: >-
 138                     This test case verifies the retrieval of OpenStack clients:
 139                     Keystone, Glance, Neutron and Nova and may perform some
 140                     simple queries. When the config value of
 141                     snaps.use_keystone is True, functest must have access to
 142                     the cloud's private network.
 143
 144                 dependencies:
 145                     installer: '^((?!netvirt).)*$'
 146                     scenario: ''
 147                 run:
 148                     module: 'functest.opnfv_tests.openstack.snaps.api_check'
 149                     class: 'ApiCheck'
 150
 151             -
 152                 name: snaps_smoke
 153                 criteria: 'status == "PASS"'
 154                 blocking: false
 155                 description: >-
 156                     This test case contains tests that setup and destroy
 157                     environments with VMs with and without Floating IPs
 158                     with a newly created user and project. Set the config
 159                     value snaps.use_floating_ips (True|False) to toggle
 160                     this functionality. When the config value of
 161                     snaps.use_keystone is True, functest must have access to
 162                     the cloud's private network.
 163
 164                 dependencies:
 165                     installer: '^((?!netvirt).)*$'
 166                     scenario: ''
 167                 run:
 168                     module: 'functest.opnfv_tests.openstack.snaps.smoke'
 169                     class: 'SnapsSmoke'
 170
 171     -
 172         name: features
 173         order: 2
 174         ci_loop: '(daily)|(weekly)'
 175         description : >-
 176             Test suites from feature projects
 177             integrated in functest
 178         testcases:
 179             -
 180                 name: promise
 181                 criteria: 'success_rate == 100%'
 182                 blocking: false
 183                 description: >-
 184                     Test suite from Promise project.
 185                 dependencies:
 186                     installer: '(fuel)|(joid)'
 187                     scenario: ''
 188
 189             -
 190                 name: doctor
 191                 criteria: 'status == "PASS"'
 192                 blocking: false
 193                 description: >-
 194                     Test suite from Doctor project.
 195                 dependencies:
 196                     installer: '(apex)|(fuel)|(joid)'
 197                     scenario: '^((?!fdio).)*$'
 198                 run:
 199                     module: 'functest.opnfv_tests.features.doctor'
 200                     class: 'Doctor'
 201
 202             -
 203                 name: bgpvpn
 204                 criteria: 'status == "PASS"'
 205                 blocking: false
 206                 description: >-
 207                     Test suite from SDNVPN project.
 208                 dependencies:
 209                     installer: '(fuel)|(apex)|(netvirt)'
 210                     scenario: 'bgpvpn'
 211                 run:
 212                     module: 'functest.opnfv_tests.features.sdnvpn'
 213                     class: 'SdnVpnTests'
 214
 215             -
 216                 name: security_scan
 217                 criteria: 'status == "PASS"'
 218                 blocking: false
 219                 description: >-
 220                     Simple security Scan
 221                 dependencies:
 222                     installer: 'apex'
 223                     scenario: '^((?!fdio).)*$'
 224             -
 225                 name: copper
 226                 criteria: 'status == "PASS"'
 227                 blocking: false
 228                 description: >-
 229                     Test suite for policy management based on OpenStack Congress
 230                 dependencies:
 231                     installer: '(apex)|(joid)'
 232                     scenario: '^((?!fdio|lxd).)*$'
 233                 run:
 234                     module: 'functest.opnfv_tests.features.copper'
 235                     class: 'Copper'
 236             -
 237                 name: moon
 238                 criteria: 'status == "PASS"'
 239                 blocking: false
 240                 description: >-
 241                     Security management system for OPNFV
 242                 dependencies:
 243                     installer: 'compass'
 244                     scenario: '(odl)*(moon)'
 245             -
 246                 name: multisite
 247                 criteria: 'success_rate == 100%'
 248                 blocking: false
 249                 description: >-
 250                     Test suite from kingbird
 251                 dependencies:
 252                     installer: '(fuel)|(compass)'
 253                     scenario: 'multisite'
 254                 run:
 255                     module: 'functest.opnfv_tests.openstack.tempest.tempest'
 256                     class: 'TempestMultisite'
 257             -
 258                 name: odl-sfc
 259                 criteria: 'status == "PASS"'
 260                 blocking: false
 261                 description: >-
 262                     Test suite for odl-sfc to test two chains and two SFs
 263                 dependencies:
 264                     installer: '(apex)|(fuel)'
 265                     scenario: 'odl_l2-sfc'
 266                 run:
 267                     module: 'functest.opnfv_tests.features.odl_sfc'
 268                     class: 'OpenDaylightSFC'
 269             -
 270                 name: onos_sfc
 271                 criteria: 'status == "PASS"'
 272                 blocking: true
 273                 description: >-
 274                     Test Suite for onos-sfc to test sfc function.
 275                 dependencies:
 276                     installer: ''
 277                     scenario: 'onos-sfc'
 278             -
 279                 name: parser
 280                 criteria: 'ret == 0'
 281                 blocking: false
 282                 description: >-
 283                     Test suite from Parser project.
 284                 dependencies:
 285                     installer: 'fuel'
 286                     scenario: '^((?!bgpvpn|noha).)*$'
 287                 run:
 288                     module: 'functest.opnfv_tests.vnf.rnc.parser'
 289                     class: 'Parser'
 290             -
 291                 name: orchestra
 292                 criteria: 'ret == 0'
 293                 blocking: false
 294                 description: >-
 295                     Test OpenBaton (Orchestra) stack
 296                 dependencies:
 297                     installer: 'joid'
 298                     scenario: 'unknown'
 299                 run:
 300                     module: 'functest.opnfv_tests.features.orchestrator.orchestra'
 301                     class: 'OpenbatonOrchestrator'
 302     -
 303         name: components
 304         order: 3
 305         ci_loop: 'weekly'
 306         description : >-
 307             Extensive testing of OpenStack API.
 308         testcases:
 309             -
 310                 name: tempest_full_parallel
 311                 criteria: 'success_rate >= 80%'
 312                 blocking: false
 313                 description: >-
 314                     The list of test cases is generated by
 315                     Tempest automatically and depends on the parameters of
 316                     the OpenStack deplopyment.
 317                 dependencies:
 318                     installer: '^((?!netvirt).)*$'
 319                     scenario: ''
 320                 run:
 321                     module: 'functest.opnfv_tests.openstack.tempest.tempest'
 322                     class: 'TempestFullParallel'
 323
 324             -
 325                 name: rally_full
 326                 criteria: 'success_rate >= 90%'
 327                 blocking: false
 328                 description: >-
 329                     This test case runs the full suite of scenarios of the OpenStack
 330                     Rally suite using several threads and iterations.
 331                 dependencies:
 332                     installer: '^((?!netvirt).)*$'
 333                     scenario: ''
 334                 run:
 335                     module: 'functest.opnfv_tests.openstack.rally.rally'
 336                     class: 'RallyFull'
 337
 338     -
 339         name: vnf
 340         order: 4
 341         ci_loop: 'weekly'
 342         description : >-
 343             Collection of VNF test cases.
 344         testcases:
 345             -
 346                 name: cloudify_ims
 347                 criteria: 'status == "PASS"'
 348                 blocking: false
 349                 description: >-
 350                     This test case deploys an OpenSource vIMS solution from Clearwater
 351                     using the Cloudify orchestrator. It also runs some signaling traffic.
 352                 dependencies:
 353                     installer: ''
 354                     scenario: '(ocl)|(nosdn)|^(os-odl)((?!bgpvpn).)*$'
 355                 run:
 356                     module: 'functest.opnfv_tests.vnf.ims.cloudify_ims'
 357                     class: 'ImsVnf'
 358             -
 359                 name: aaa
 360                 criteria: 'ret == 0'
 361                 blocking: false
 362                 description: >-
 363                     Test suite from Parser project.
 364                 dependencies:
 365                     installer: ''
 366                     scenario: ''
 367                 run:
 368                     module: 'functest.opnfv_tests.vnf.aaa.aaa'
 369                     class: 'AaaVnf'
 370
 371             -
 372                 name: juju_epc
 373                 criteria: 'ret == 0'
 374                 blocking: false
 375                 description: >-
 376                     Test suite from OAI project, vEPC deployed with Juju.
 377                 dependencies:
 378                     installer: 'unknown'
 379                     scenario: 'unknown'
 380                 run:
 381                     module: 'functest.opnfv_tests.vnf.epc.epc'
 382                     class: 'EpcVnf'
 383
 384             -
 385                 name: orchestra_ims
 386                 criteria: 'ret == 0'
 387                 blocking: false
 388                 description: >-
 389                     VNF deployment with OpenBaton (Orchestra)
 390                 dependencies:
 391                     installer: 'unknown'
 392                     scenario: 'unknown'
 393                 run:
 394                     module: 'functest.opnfv_tests.vnf.ims.orchestra_ims'
 395                     class: 'ImsVnf'
 396
 397             -
 398                 name: opera_ims
 399                 criteria: 'ret == 0'
 400                 blocking: false
 401                 description: >-
 402                     Evolution of vIMS
 403                 dependencies:
 404                     installer: 'unknown'
 405                     scenario: 'unknown'
 406                 run:
 407                     module: 'functest.opnfv_tests.vnf.ims.opera_ims'
 408                     class: 'ImsVnf'