functest/ci/testcases.yaml

   1 tiers:
   2     -
   3         name: healthcheck
   4         order: 0
   5         ci_loop: '(daily)|(weekly)'
   6         description : >-
   7             First tier to be executed to verify the basic
   8             operations in the VIM.
   9         testcases:
  10             -
  11                 name: healthcheck
  12                 criteria: 'status == "PASS"'
  13                 blocking: true
  14                 description: >-
  15                     This test case verifies the basic OpenStack services like
  16                     Keystone, Glance, Cinder, Neutron and Nova.
  17
  18                 dependencies:
  19                     installer: ''
  20                     scenario: '^((?!lxd).)*$'
  21
  22     -
  23         name: smoke
  24         order: 1
  25         ci_loop: '(daily)|(weekly)'
  26         description : >-
  27             Set of basic Functional tests to validate the OPNFV scenarios.
  28         testcases:
  29             -
  30                 name: vping_ssh
  31                 criteria: 'status == "PASS"'
  32                 blocking: true
  33                 description: >-
  34                     This test case verifies: 1) SSH to an instance using floating
  35                     IPs over the public network. 2) Connectivity between 2 instances
  36                     over a private network.
  37                 dependencies:
  38                     installer: ''
  39                     scenario: '^((?!bgpvpn|odl_l3).)*$'
  40                 run:
  41                     module: 'functest.opnfv_tests.openstack.vping.vping_ssh'
  42                     class: 'VPingSSH'
  43
  44             -
  45                 name: vping_userdata
  46                 criteria: 'status == "PASS"'
  47                 blocking: true
  48                 description: >-
  49                     This test case verifies:  1) Boot a VM with given userdata.
  50                     2) Connectivity between 2 instances over a private network.
  51                 dependencies:
  52                     installer: ''
  53                     scenario: '^((?!lxd).)*$'
  54                 run:
  55                     module: 'functest.opnfv_tests.openstack.vping.vping_userdata'
  56                     class: 'VPingUserdata'
  57
  58             -
  59                 name: tempest_smoke_serial
  60                 criteria: 'success_rate == 100%'
  61                 blocking: false
  62                 description: >-
  63                     This test case runs the smoke subset of the OpenStack
  64                     Tempest suite. The list of test cases is generated by
  65                     Tempest automatically and depends on the parameters of
  66                     the OpenStack deplopyment.
  67                 dependencies:
  68                     installer: '^((?!netvirt).)*$'
  69                     scenario: ''
  70                 run:
  71                     module: 'functest.opnfv_tests.openstack.tempest.tempest'
  72                     class: 'TempestSmokeSerial'
  73
  74             -
  75                 name: rally_sanity
  76                 criteria: 'success_rate == 100%'
  77                 blocking: false
  78                 description: >-
  79                     This test case runs a sub group of tests of the OpenStack
  80                     Rally suite in smoke mode.
  81                 dependencies:
  82                     installer: ''
  83                     scenario: '^((?!bgpvpn).)*$'
  84                 run:
  85                     module: 'functest.opnfv_tests.openstack.rally.rally'
  86                     class: 'RallySanity'
  87
  88             -
  89                 name: odl
  90                 criteria: 'success_rate == 100%'
  91                 blocking: true
  92                 description: >-
  93                     Test Suite for the OpenDaylight SDN Controller. It integrates
  94                     some test suites from upstream using Robot as the test
  95                     framework.
  96                 dependencies:
  97                     installer: ''
  98                     scenario: 'odl'
  99                 run:
 100                     module: 'functest.opnfv_tests.sdn.odl.odl'
 101                     class: 'ODLTests'
 102
 103             -
 104                 name: onos
 105                 criteria: 'status == "PASS"'
 106                 blocking: true
 107                 description: >-
 108                     Test Suite for the ONOS SDN Controller. It integrates
 109                     some test suites from upstream using TestON as the test
 110                     framework.
 111                 dependencies:
 112                     installer: ''
 113                     scenario: 'onos'
 114
 115             -
 116                 name: connection_check
 117                 criteria: 'status == "PASS"'
 118                 blocking: false
 119                 description: >-
 120                     This test case verifies the retrieval of OpenStack clients:
 121                     Keystone, Glance, Neutron and Nova and may perform some
 122                     simple queries. When the config value of
 123                     snaps.use_keystone is True, functest must have access to
 124                     the cloud's private network.
 125
 126                 dependencies:
 127                     installer: '^((?!netvirt).)*$'
 128                     scenario: ''
 129                 run:
 130                     module: 'functest.opnfv_tests.openstack.snaps.connection_check'
 131                     class: 'ConnectionCheck'
 132
 133             -
 134                 name: api_check
 135                 criteria: 'status == "PASS"'
 136                 blocking: false
 137                 description: >-
 138                     This test case verifies the retrieval of OpenStack clients:
 139                     Keystone, Glance, Neutron and Nova and may perform some
 140                     simple queries. When the config value of
 141                     snaps.use_keystone is True, functest must have access to
 142                     the cloud's private network.
 143
 144                 dependencies:
 145                     installer: '^((?!netvirt).)*$'
 146                     scenario: ''
 147                 run:
 148                     module: 'functest.opnfv_tests.openstack.snaps.api_check'
 149                     class: 'ApiCheck'
 150
 151             -
 152                 name: snaps_smoke
 153                 criteria: 'status == "PASS"'
 154                 blocking: false
 155                 description: >-
 156                     This test case contains tests that setup and destroy
 157                     environments with VMs with and without Floating IPs
 158                     with a newly created user and project. Set the config
 159                     value snaps.use_floating_ips (True|False) to toggle
 160                     this functionality. When the config value of
 161                     snaps.use_keystone is True, functest must have access to
 162                     the cloud's private network.
 163
 164                 dependencies:
 165                     installer: '^((?!netvirt).)*$'
 166                     scenario: ''
 167                 run:
 168                     module: 'functest.opnfv_tests.openstack.snaps.smoke'
 169                     class: 'SnapsSmoke'
 170
 171     -
 172         name: features
 173         order: 2
 174         ci_loop: '(daily)|(weekly)'
 175         description : >-
 176             Test suites from feature projects
 177             integrated in functest
 178         testcases:
 179             -
 180                 name: promise
 181                 criteria: 'success_rate == 100%'
 182                 blocking: false
 183                 description: >-
 184                     Test suite from Promise project.
 185                 dependencies:
 186                     installer: '(fuel)|(joid)'
 187                     scenario: ''
 188                 run:
 189                      module: 'functest.opnfv_tests.features.promise'
 190                      class: 'Promise'
 191
 192             -
 193                 name: doctor
 194                 criteria: 'status == "PASS"'
 195                 blocking: false
 196                 description: >-
 197                     Test suite from Doctor project.
 198                 dependencies:
 199                     installer: '(apex)|(fuel)|(joid)'
 200                     scenario: '^((?!fdio).)*$'
 201                 run:
 202                     module: 'functest.opnfv_tests.features.doctor'
 203                     class: 'Doctor'
 204
 205             -
 206                 name: bgpvpn
 207                 criteria: 'status == "PASS"'
 208                 blocking: false
 209                 description: >-
 210                     Test suite from SDNVPN project.
 211                 dependencies:
 212                     installer: '(fuel)|(apex)|(netvirt)'
 213                     scenario: 'bgpvpn'
 214                 run:
 215                     module: 'functest.opnfv_tests.features.sdnvpn'
 216                     class: 'SdnVpnTests'
 217
 218             -
 219                 name: security_scan
 220                 criteria: 'status == "PASS"'
 221                 blocking: false
 222                 description: >-
 223                     Simple security Scan
 224                 dependencies:
 225                     installer: 'apex'
 226                     scenario: '^((?!fdio).)*$'
 227 #            -
 228 #                name: copper
 229 #                criteria: 'status == "PASS"'
 230 #                blocking: false
 231 #                description: >-
 232 #                    Test suite for policy management based on OpenStack Congress
 233 #                dependencies:
 234 #                    installer: '(apex)|(joid)'
 235 #                    scenario: '^((?!fdio|lxd).)*$'
 236 #                run:
 237 #                    module: 'functest.opnfv_tests.features.copper'
 238 #                    class: 'Copper'
 239             -
 240                 name: moon
 241                 criteria: 'status == "PASS"'
 242                 blocking: false
 243                 description: >-
 244                     Security management system for OPNFV
 245                 dependencies:
 246                     installer: 'compass'
 247                     scenario: '(odl)*(moon)'
 248             -
 249                 name: multisite
 250                 criteria: 'success_rate == 100%'
 251                 blocking: false
 252                 description: >-
 253                     Test suite from kingbird
 254                 dependencies:
 255                     installer: '(fuel)|(compass)'
 256                     scenario: 'multisite'
 257                 run:
 258                     module: 'functest.opnfv_tests.openstack.tempest.tempest'
 259                     class: 'TempestMultisite'
 260             -
 261                 name: odl-sfc
 262                 criteria: 'status == "PASS"'
 263                 blocking: false
 264                 description: >-
 265                     Test suite for odl-sfc to test two chains and two SFs
 266                 dependencies:
 267                     installer: '(apex)|(fuel)'
 268                     scenario: 'odl_l2-sfc'
 269                 run:
 270                     module: 'functest.opnfv_tests.features.odl_sfc'
 271                     class: 'OpenDaylightSFC'
 272             -
 273                 name: onos_sfc
 274                 criteria: 'status == "PASS"'
 275                 blocking: true
 276                 description: >-
 277                     Test Suite for onos-sfc to test sfc function.
 278                 dependencies:
 279                     installer: ''
 280                     scenario: 'onos-sfc'
 281             -
 282                 name: parser
 283                 criteria: 'ret == 0'
 284                 blocking: false
 285                 description: >-
 286                     Test suite from Parser project.
 287                 dependencies:
 288                     installer: 'fuel'
 289                     scenario: '^((?!bgpvpn|noha).)*$'
 290                 run:
 291                     module: 'functest.opnfv_tests.vnf.rnc.parser'
 292                     class: 'Parser'
 293             -
 294                 name: orchestra
 295                 criteria: 'ret == 0'
 296                 blocking: false
 297                 description: >-
 298                     Test OpenBaton (Orchestra) stack
 299                 dependencies:
 300                     installer: 'joid'
 301                     scenario: 'unknown'
 302                 run:
 303                     module: 'functest.opnfv_tests.features.orchestrator.orchestra'
 304                     class: 'OpenbatonOrchestrator'
 305     -
 306         name: components
 307         order: 3
 308         ci_loop: 'weekly'
 309         description : >-
 310             Extensive testing of OpenStack API.
 311         testcases:
 312             -
 313                 name: tempest_full_parallel
 314                 criteria: 'success_rate >= 80%'
 315                 blocking: false
 316                 description: >-
 317                     The list of test cases is generated by
 318                     Tempest automatically and depends on the parameters of
 319                     the OpenStack deplopyment.
 320                 dependencies:
 321                     installer: '^((?!netvirt).)*$'
 322                     scenario: ''
 323                 run:
 324                     module: 'functest.opnfv_tests.openstack.tempest.tempest'
 325                     class: 'TempestFullParallel'
 326
 327             -
 328                 name: rally_full
 329                 criteria: 'success_rate >= 90%'
 330                 blocking: false
 331                 description: >-
 332                     This test case runs the full suite of scenarios of the OpenStack
 333                     Rally suite using several threads and iterations.
 334                 dependencies:
 335                     installer: '^((?!netvirt).)*$'
 336                     scenario: ''
 337                 run:
 338                     module: 'functest.opnfv_tests.openstack.rally.rally'
 339                     class: 'RallyFull'
 340
 341     -
 342         name: vnf
 343         order: 4
 344         ci_loop: 'weekly'
 345         description : >-
 346             Collection of VNF test cases.
 347         testcases:
 348             -
 349                 name: cloudify_ims
 350                 criteria: 'status == "PASS"'
 351                 blocking: false
 352                 description: >-
 353                     This test case deploys an OpenSource vIMS solution from Clearwater
 354                     using the Cloudify orchestrator. It also runs some signaling traffic.
 355                 dependencies:
 356                     installer: ''
 357                     scenario: '(ocl)|(nosdn)|^(os-odl)((?!bgpvpn).)*$'
 358                 run:
 359                     module: 'functest.opnfv_tests.vnf.ims.cloudify_ims'
 360                     class: 'ImsVnf'
 361             -
 362                 name: aaa
 363                 criteria: 'ret == 0'
 364                 blocking: false
 365                 description: >-
 366                     Test suite from Parser project.
 367                 dependencies:
 368                     installer: ''
 369                     scenario: ''
 370                 run:
 371                     module: 'functest.opnfv_tests.vnf.aaa.aaa'
 372                     class: 'AaaVnf'
 373
 374             -
 375                 name: juju_epc
 376                 criteria: 'ret == 0'
 377                 blocking: false
 378                 description: >-
 379                     Test suite from OAI project, vEPC deployed with Juju.
 380                 dependencies:
 381                     installer: 'unknown'
 382                     scenario: 'unknown'
 383                 run:
 384                     module: 'functest.opnfv_tests.vnf.epc.epc'
 385                     class: 'EpcVnf'
 386
 387             -
 388                 name: orchestra_ims
 389                 criteria: 'ret == 0'
 390                 blocking: false
 391                 description: >-
 392                     VNF deployment with OpenBaton (Orchestra)
 393                 dependencies:
 394                     installer: 'unknown'
 395                     scenario: 'unknown'
 396                 run:
 397                     module: 'functest.opnfv_tests.vnf.ims.orchestra_ims'
 398                     class: 'ImsVnf'
 399
 400             -
 401                 name: opera_ims
 402                 criteria: 'ret == 0'
 403                 blocking: false
 404                 description: >-
 405                     Evolution of vIMS
 406                 dependencies:
 407                     installer: 'unknown'
 408                     scenario: 'unknown'
 409                 run:
 410                     module: 'functest.opnfv_tests.vnf.ims.opera_ims'
 411                     class: 'ImsVnf'