functest/ci/testcases.yaml

   1 tiers:
   2     -
   3         name: healthcheck
   4         order: 0
   5         ci_loop: '(daily)|(weekly)'
   6         description : >-
   7             First tier to be executed to verify the basic
   8             operations in the VIM.
   9         testcases:
  10             -
  11                 name: healthcheck
  12                 criteria: 'status == "PASS"'
  13                 blocking: true
  14                 description: >-
  15                     This test case verifies the basic OpenStack services like
  16                     Keystone, Glance, Cinder, Neutron and Nova.
  17
  18                 dependencies:
  19                     installer: ''
  20                     scenario: '^((?!lxd).)*$'
  21
  22     -
  23         name: smoke
  24         order: 1
  25         ci_loop: '(daily)|(weekly)'
  26         description : >-
  27             Set of basic Functional tests to validate the OPNFV scenarios.
  28         testcases:
  29             -
  30                 name: vping_ssh
  31                 criteria: 'status == "PASS"'
  32                 blocking: true
  33                 description: >-
  34                     This test case verifies: 1) SSH to an instance using floating
  35                     IPs over the public network. 2) Connectivity between 2 instances
  36                     over a private network.
  37                 dependencies:
  38                     installer: ''
  39                     scenario: '^((?!bgpvpn|odl_l3).)*$'
  40                 run:
  41                     module: 'functest.opnfv_tests.openstack.vping.vping_ssh'
  42                     class: 'VPingSSH'
  43
  44             -
  45                 name: vping_userdata
  46                 criteria: 'status == "PASS"'
  47                 blocking: true
  48                 description: >-
  49                     This test case verifies:  1) Boot a VM with given userdata.
  50                     2) Connectivity between 2 instances over a private network.
  51                 dependencies:
  52                     installer: ''
  53                     scenario: '^((?!lxd).)*$'
  54                 run:
  55                     module: 'functest.opnfv_tests.openstack.vping.vping_userdata'
  56                     class: 'VPingUserdata'
  57
  58             -
  59                 name: tempest_smoke_serial
  60                 criteria: 'success_rate == 100%'
  61                 blocking: false
  62                 description: >-
  63                     This test case runs the smoke subset of the OpenStack
  64                     Tempest suite. The list of test cases is generated by
  65                     Tempest automatically and depends on the parameters of
  66                     the OpenStack deplopyment.
  67                 dependencies:
  68                     installer: '^((?!netvirt).)*$'
  69                     scenario: ''
  70                 run:
  71                     module: 'functest.opnfv_tests.openstack.tempest.tempest'
  72                     class: 'TempestSmokeSerial'
  73
  74             -
  75                 name: rally_sanity
  76                 criteria: 'success_rate == 100%'
  77                 blocking: false
  78                 description: >-
  79                     This test case runs a sub group of tests of the OpenStack
  80                     Rally suite in smoke mode.
  81                 dependencies:
  82                     installer: ''
  83                     scenario: '^((?!bgpvpn).)*$'
  84                 run:
  85                     module: 'functest.opnfv_tests.openstack.rally.rally'
  86                     class: 'RallySanity'
  87
  88             -
  89                 name: odl
  90                 criteria: 'success_rate == 100%'
  91                 blocking: true
  92                 description: >-
  93                     Test Suite for the OpenDaylight SDN Controller. It integrates
  94                     some test suites from upstream using Robot as the test
  95                     framework.
  96                 dependencies:
  97                     installer: ''
  98                     scenario: 'odl'
  99                 run:
 100                     module: 'functest.opnfv_tests.sdn.odl.odl'
 101                     class: 'ODLTests'
 102
 103             -
 104                 name: onos
 105                 criteria: 'status == "PASS"'
 106                 blocking: true
 107                 description: >-
 108                     Test Suite for the ONOS SDN Controller. It integrates
 109                     some test suites from upstream using TestON as the test
 110                     framework.
 111                 dependencies:
 112                     installer: ''
 113                     scenario: 'onos'
 114
 115             -
 116                 name: connection_check
 117                 criteria: 'status == "PASS"'
 118                 blocking: false
 119                 description: >-
 120                     This test case verifies the retrieval of OpenStack clients:
 121                     Keystone, Glance, Neutron and Nova and may perform some
 122                     simple queries. When the config value of
 123                     snaps.use_keystone is True, functest must have access to
 124                     the cloud's private network.
 125
 126                 dependencies:
 127                     installer: '^((?!netvirt).)*$'
 128                     scenario: ''
 129                 run:
 130                     module: 'functest.opnfv_tests.openstack.snaps.connection_check'
 131                     class: 'ConnectionCheck'
 132
 133             -
 134                 name: api_check
 135                 criteria: 'status == "PASS"'
 136                 blocking: false
 137                 description: >-
 138                     This test case verifies the retrieval of OpenStack clients:
 139                     Keystone, Glance, Neutron and Nova and may perform some
 140                     simple queries. When the config value of
 141                     snaps.use_keystone is True, functest must have access to
 142                     the cloud's private network.
 143
 144                 dependencies:
 145                     installer: '^((?!netvirt).)*$'
 146                     scenario: ''
 147                 run:
 148                     module: 'functest.opnfv_tests.openstack.snaps.api_check'
 149                     class: 'ApiCheck'
 150
 151             -
 152                 name: snaps_smoke
 153                 criteria: 'status == "PASS"'
 154                 blocking: false
 155                 description: >-
 156                     This test case contains tests that setup and destroy
 157                     environments with VMs with and without Floating IPs
 158                     with a newly created user and project. Set the config
 159                     value snaps.use_floating_ips (True|False) to toggle
 160                     this functionality. When the config value of
 161                     snaps.use_keystone is True, functest must have access to
 162                     the cloud's private network.
 163
 164                 dependencies:
 165                     installer: '^((?!netvirt).)*$'
 166                     scenario: ''
 167                 run:
 168                     module: 'functest.opnfv_tests.openstack.snaps.smoke'
 169                     class: 'SnapsSmoke'
 170
 171     -
 172         name: features
 173         order: 2
 174         ci_loop: '(daily)|(weekly)'
 175         description : >-
 176             Test suites from feature projects
 177             integrated in functest
 178         testcases:
 179             -
 180                 name: promise
 181                 criteria: 'success_rate == 100%'
 182                 blocking: false
 183                 description: >-
 184                     Test suite from Promise project.
 185                 dependencies:
 186                     installer: '(fuel)|(joid)'
 187                     scenario: ''
 188
 189             -
 190                 name: doctor
 191                 criteria: 'status == "PASS"'
 192                 blocking: false
 193                 description: >-
 194                     Test suite from Doctor project.
 195                 dependencies:
 196                     installer: '(apex)|(fuel)|(joid)'
 197                     scenario: '^((?!fdio).)*$'
 198
 199             -
 200                 name: bgpvpn
 201                 criteria: 'status == "PASS"'
 202                 blocking: false
 203                 description: >-
 204                     Test suite from SDNVPN project.
 205                 dependencies:
 206                     installer: '(fuel)|(apex)|(netvirt)'
 207                     scenario: 'bgpvpn'
 208                 run:
 209                     module: 'functest.opnfv_tests.features.sdnvpn'
 210                     class: 'SdnVpnTests'
 211
 212             -
 213                 name: security_scan
 214                 criteria: 'status == "PASS"'
 215                 blocking: false
 216                 description: >-
 217                     Simple security Scan
 218                 dependencies:
 219                     installer: 'apex'
 220                     scenario: '^((?!fdio).)*$'
 221             -
 222                 name: copper
 223                 criteria: 'status == "PASS"'
 224                 blocking: false
 225                 description: >-
 226                     Test suite for policy management based on OpenStack Congress
 227                 dependencies:
 228                     installer: '(apex)|(joid)'
 229                     scenario: '^((?!fdio|lxd).)*$'
 230                 run:
 231                     module: 'functest.opnfv_tests.features.copper'
 232                     class: 'Copper'
 233             -
 234                 name: moon
 235                 criteria: 'status == "PASS"'
 236                 blocking: false
 237                 description: >-
 238                     Security management system for OPNFV
 239                 dependencies:
 240                     installer: 'compass'
 241                     scenario: '(odl)*(moon)'
 242             -
 243                 name: multisite
 244                 criteria: 'success_rate == 100%'
 245                 blocking: false
 246                 description: >-
 247                     Test suite from kingbird
 248                 dependencies:
 249                     installer: '(fuel)|(compass)'
 250                     scenario: 'multisite'
 251                 run:
 252                     module: 'functest.opnfv_tests.openstack.tempest.tempest'
 253                     class: 'TempestMultisite'
 254             -
 255                 name: odl-sfc
 256                 criteria: 'status == "PASS"'
 257                 blocking: false
 258                 description: >-
 259                     Test suite for odl-sfc to test two chains and two SFs
 260                 dependencies:
 261                     installer: '(apex)|(fuel)'
 262                     scenario: 'odl_l2-sfc'
 263                 run:
 264                     module: 'functest.opnfv_tests.features.odl_sfc'
 265                     class: 'OpenDaylightSFC'
 266             -
 267                 name: onos_sfc
 268                 criteria: 'status == "PASS"'
 269                 blocking: true
 270                 description: >-
 271                     Test Suite for onos-sfc to test sfc function.
 272                 dependencies:
 273                     installer: ''
 274                     scenario: 'onos-sfc'
 275             -
 276                 name: parser
 277                 criteria: 'ret == 0'
 278                 blocking: false
 279                 description: >-
 280                     Test suite from Parser project.
 281                 dependencies:
 282                     installer: 'fuel'
 283                     scenario: '^((?!bgpvpn|noha).)*$'
 284                 run:
 285                     module: 'functest.opnfv_tests.vnf.rnc.parser'
 286                     class: 'Parser'
 287             -
 288                 name: orchestra
 289                 criteria: 'ret == 0'
 290                 blocking: false
 291                 description: >-
 292                     Test OpenBaton (Orchestra) stack
 293                 dependencies:
 294                     installer: 'joid'
 295                     scenario: 'unknown'
 296                 run:
 297                     module: 'functest.opnfv_tests.features.orchestrator.orchestra'
 298                     class: 'OpenbatonOrchestrator'
 299     -
 300         name: components
 301         order: 3
 302         ci_loop: 'weekly'
 303         description : >-
 304             Extensive testing of OpenStack API.
 305         testcases:
 306             -
 307                 name: tempest_full_parallel
 308                 criteria: 'success_rate >= 80%'
 309                 blocking: false
 310                 description: >-
 311                     The list of test cases is generated by
 312                     Tempest automatically and depends on the parameters of
 313                     the OpenStack deplopyment.
 314                 dependencies:
 315                     installer: '^((?!netvirt).)*$'
 316                     scenario: ''
 317                 run:
 318                     module: 'functest.opnfv_tests.openstack.tempest.tempest'
 319                     class: 'TempestFullParallel'
 320
 321             -
 322                 name: rally_full
 323                 criteria: 'success_rate >= 90%'
 324                 blocking: false
 325                 description: >-
 326                     This test case runs the full suite of scenarios of the OpenStack
 327                     Rally suite using several threads and iterations.
 328                 dependencies:
 329                     installer: '^((?!netvirt).)*$'
 330                     scenario: ''
 331                 run:
 332                     module: 'functest.opnfv_tests.openstack.rally.rally'
 333                     class: 'RallyFull'
 334
 335     -
 336         name: vnf
 337         order: 4
 338         ci_loop: 'weekly'
 339         description : >-
 340             Collection of VNF test cases.
 341         testcases:
 342             -
 343                 name: cloudify_ims
 344                 criteria: 'status == "PASS"'
 345                 blocking: false
 346                 description: >-
 347                     This test case deploys an OpenSource vIMS solution from Clearwater
 348                     using the Cloudify orchestrator. It also runs some signaling traffic.
 349                 dependencies:
 350                     installer: ''
 351                     scenario: '(ocl)|(nosdn)|^(os-odl)((?!bgpvpn).)*$'
 352                 run:
 353                     module: 'functest.opnfv_tests.vnf.ims.cloudify_ims'
 354                     class: 'ImsVnf'
 355             -
 356                 name: aaa
 357                 criteria: 'ret == 0'
 358                 blocking: false
 359                 description: >-
 360                     Test suite from Parser project.
 361                 dependencies:
 362                     installer: ''
 363                     scenario: ''
 364                 run:
 365                     module: 'functest.opnfv_tests.vnf.aaa.aaa'
 366                     class: 'AaaVnf'
 367
 368             -
 369                 name: juju_epc
 370                 criteria: 'ret == 0'
 371                 blocking: false
 372                 description: >-
 373                     Test suite from OAI project, vEPC deployed with Juju.
 374                 dependencies:
 375                     installer: 'unknown'
 376                     scenario: 'unknown'
 377                 run:
 378                     module: 'functest.opnfv_tests.vnf.epc.epc'
 379                     class: 'EpcVnf'
 380
 381             -
 382                 name: orchestra_ims
 383                 criteria: 'ret == 0'
 384                 blocking: false
 385                 description: >-
 386                     VNF deployment with OpenBaton (Orchestra)
 387                 dependencies:
 388                     installer: 'unknown'
 389                     scenario: 'unknown'
 390                 run:
 391                     module: 'functest.opnfv_tests.vnf.ims.orchestra_ims'
 392                     class: 'ImsVnf'
 393
 394             -
 395                 name: opera_ims
 396                 criteria: 'ret == 0'
 397                 blocking: false
 398                 description: >-
 399                     Evolution of vIMS
 400                 dependencies:
 401                     installer: 'unknown'
 402                     scenario: 'unknown'
 403                 run:
 404                     module: 'functest.opnfv_tests.vnf.ims.opera_ims'
 405                     class: 'ImsVnf'