functest/ci/testcases.yaml

   1 tiers:
   2     -
   3         name: healthcheck
   4         order: 0
   5         ci_loop: '(daily)|(weekly)'
   6         description : >-
   7             First tier to be executed to verify the basic
   8             operations in the VIM.
   9         testcases:
  10             -
  11                 name: healthcheck
  12                 criteria: 'status == "PASS"'
  13                 blocking: true
  14                 description: >-
  15                     This test case verifies the basic OpenStack services like
  16                     Keystone, Glance, Cinder, Neutron and Nova.
  17
  18                 dependencies:
  19                     installer: ''
  20                     scenario: '^((?!lxd).)*$'
  21             -
  22                 name: connection_check
  23                 criteria: 'status == "PASS"'
  24                 blocking: true
  25                 description: >-
  26                     This test case verifies the retrieval of OpenStack clients:
  27                     Keystone, Glance, Neutron and Nova and may perform some
  28                     simple queries. When the config value of
  29                     snaps.use_keystone is True, functest must have access to
  30                     the cloud's private network.
  31
  32                 dependencies:
  33                     installer: '^((?!netvirt).)*$'
  34                     scenario: ''
  35                 run:
  36                     module: 'functest.opnfv_tests.openstack.snaps.connection_check'
  37                     class: 'ConnectionCheck'
  38
  39             -
  40                 name: api_check
  41                 criteria: 'status == "PASS"'
  42                 blocking: true
  43                 description: >-
  44                     This test case verifies the retrieval of OpenStack clients:
  45                     Keystone, Glance, Neutron and Nova and may perform some
  46                     simple queries. When the config value of
  47                     snaps.use_keystone is True, functest must have access to
  48                     the cloud's private network.
  49
  50                 dependencies:
  51                     installer: '^((?!netvirt).)*$'
  52                     scenario: ''
  53                 run:
  54                     module: 'functest.opnfv_tests.openstack.snaps.api_check'
  55                     class: 'ApiCheck'
  56     -
  57         name: smoke
  58         order: 1
  59         ci_loop: '(daily)|(weekly)'
  60         description : >-
  61             Set of basic Functional tests to validate the OPNFV scenarios.
  62         testcases:
  63             -
  64                 name: vping_ssh
  65                 criteria: 'status == "PASS"'
  66                 blocking: true
  67                 description: >-
  68                     This test case verifies: 1) SSH to an instance using floating
  69                     IPs over the public network. 2) Connectivity between 2 instances
  70                     over a private network.
  71                 dependencies:
  72                     installer: ''
  73                     scenario: '^((?!bgpvpn|odl_l3).)*$'
  74                 run:
  75                     module: 'functest.opnfv_tests.openstack.vping.vping_ssh'
  76                     class: 'VPingSSH'
  77
  78             -
  79                 name: vping_userdata
  80                 criteria: 'status == "PASS"'
  81                 blocking: true
  82                 description: >-
  83                     This test case verifies:  1) Boot a VM with given userdata.
  84                     2) Connectivity between 2 instances over a private network.
  85                 dependencies:
  86                     installer: ''
  87                     scenario: '^((?!lxd).)*$'
  88                 run:
  89                     module: 'functest.opnfv_tests.openstack.vping.vping_userdata'
  90                     class: 'VPingUserdata'
  91
  92             -
  93                 name: tempest_smoke_serial
  94                 criteria: 'success_rate == 100%'
  95                 blocking: false
  96                 description: >-
  97                     This test case runs the smoke subset of the OpenStack
  98                     Tempest suite. The list of test cases is generated by
  99                     Tempest automatically and depends on the parameters of
 100                     the OpenStack deplopyment.
 101                 dependencies:
 102                     installer: '^((?!netvirt).)*$'
 103                     scenario: ''
 104                 run:
 105                     module: 'functest.opnfv_tests.openstack.tempest.tempest'
 106                     class: 'TempestSmokeSerial'
 107
 108             -
 109                 name: rally_sanity
 110                 criteria: 'success_rate == 100%'
 111                 blocking: false
 112                 description: >-
 113                     This test case runs a sub group of tests of the OpenStack
 114                     Rally suite in smoke mode.
 115                 dependencies:
 116                     installer: ''
 117                     scenario: '^((?!bgpvpn).)*$'
 118                 run:
 119                     module: 'functest.opnfv_tests.openstack.rally.rally'
 120                     class: 'RallySanity'
 121
 122             -
 123                 name: odl
 124                 criteria: 'success_rate == 100%'
 125                 blocking: true
 126                 description: >-
 127                     Test Suite for the OpenDaylight SDN Controller. It integrates
 128                     some test suites from upstream using Robot as the test
 129                     framework.
 130                 dependencies:
 131                     installer: ''
 132                     scenario: 'odl'
 133                 run:
 134                     module: 'functest.opnfv_tests.sdn.odl.odl'
 135                     class: 'ODLTests'
 136                     args:
 137                         suites:
 138                             -  /home/opnfv/repos/odl_test/csit/suites/integration/basic
 139                             -  /home/opnfv/repos/odl_test/csit/suites/openstack/neutron
 140
 141             -
 142                 name: onos
 143                 criteria: 'status == "PASS"'
 144                 blocking: true
 145                 description: >-
 146                     Test Suite for the ONOS SDN Controller. It integrates
 147                     some test suites from upstream using TestON as the test
 148                     framework.
 149                 dependencies:
 150                     installer: ''
 151                     scenario: 'onos'
 152
 153
 154             -
 155                 name: snaps_smoke
 156                 criteria: 'status == "PASS"'
 157                 blocking: false
 158                 description: >-
 159                     This test case contains tests that setup and destroy
 160                     environments with VMs with and without Floating IPs
 161                     with a newly created user and project. Set the config
 162                     value snaps.use_floating_ips (True|False) to toggle
 163                     this functionality. When the config value of
 164                     snaps.use_keystone is True, functest must have access to
 165                     the cloud's private network.
 166
 167                 dependencies:
 168                     installer: '^((?!netvirt).)*$'
 169                     scenario: ''
 170                 run:
 171                     module: 'functest.opnfv_tests.openstack.snaps.smoke'
 172                     class: 'SnapsSmoke'
 173
 174     -
 175         name: features
 176         order: 2
 177         ci_loop: '(daily)|(weekly)'
 178         description : >-
 179             Test suites from feature projects
 180             integrated in functest
 181         testcases:
 182             -
 183                 name: promise
 184                 criteria: 'success_rate == 100%'
 185                 blocking: false
 186                 description: >-
 187                     Test suite from Promise project.
 188                 dependencies:
 189                     installer: '(fuel)|(joid)'
 190                     scenario: ''
 191                 run:
 192                      module: 'functest.opnfv_tests.features.promise'
 193                      class: 'Promise'
 194
 195             -
 196                 name: doctor
 197                 criteria: 'status == "PASS"'
 198                 blocking: false
 199                 description: >-
 200                     Test suite from Doctor project.
 201                 dependencies:
 202                     installer: '(apex)|(fuel)|(joid)'
 203                     scenario: '^((?!fdio).)*$'
 204                 run:
 205                     module: 'functest.opnfv_tests.features.doctor'
 206                     class: 'Doctor'
 207
 208             -
 209                 name: bgpvpn
 210                 criteria: 'status == "PASS"'
 211                 blocking: false
 212                 description: >-
 213                     Test suite from SDNVPN project.
 214                 dependencies:
 215                     installer: '(fuel)|(apex)|(netvirt)'
 216                     scenario: 'bgpvpn'
 217                 run:
 218                     module: 'functest.opnfv_tests.features.sdnvpn'
 219                     class: 'SdnVpnTests'
 220
 221             -
 222                 name: security_scan
 223                 criteria: 'status == "PASS"'
 224                 blocking: false
 225                 description: >-
 226                     Simple security Scan
 227                 dependencies:
 228                     installer: 'apex'
 229                     scenario: '^((?!fdio).)*$'
 230 #            -
 231 #                name: copper
 232 #                criteria: 'status == "PASS"'
 233 #                blocking: false
 234 #                description: >-
 235 #                    Test suite for policy management based on OpenStack Congress
 236 #                dependencies:
 237 #                    installer: '(apex)|(joid)'
 238 #                    scenario: '^((?!fdio|lxd).)*$'
 239 #                run:
 240 #                    module: 'functest.opnfv_tests.features.copper'
 241 #                    class: 'Copper'
 242             -
 243                 name: moon
 244                 criteria: 'status == "PASS"'
 245                 blocking: false
 246                 description: >-
 247                     Security management system for OPNFV
 248                 dependencies:
 249                     installer: 'compass'
 250                     scenario: '(odl)*(moon)'
 251             -
 252                 name: multisite
 253                 criteria: 'success_rate == 100%'
 254                 blocking: false
 255                 description: >-
 256                     Test suite from kingbird
 257                 dependencies:
 258                     installer: '(fuel)|(compass)'
 259                     scenario: 'multisite'
 260                 run:
 261                     module: 'functest.opnfv_tests.openstack.tempest.tempest'
 262                     class: 'TempestMultisite'
 263             -
 264                 name: odl-sfc
 265                 criteria: 'status == "PASS"'
 266                 blocking: false
 267                 description: >-
 268                     Test suite for odl-sfc to test two chains and two SFs
 269                 dependencies:
 270                     installer: '(apex)|(fuel)'
 271                     scenario: 'odl_l2-sfc'
 272                 run:
 273                     module: 'functest.opnfv_tests.features.odl_sfc'
 274                     class: 'OpenDaylightSFC'
 275             -
 276                 name: onos_sfc
 277                 criteria: 'status == "PASS"'
 278                 blocking: true
 279                 description: >-
 280                     Test Suite for onos-sfc to test sfc function.
 281                 dependencies:
 282                     installer: ''
 283                     scenario: 'onos-sfc'
 284             -
 285                 name: parser
 286                 criteria: 'ret == 0'
 287                 blocking: false
 288                 description: >-
 289                     Test suite from Parser project.
 290                 dependencies:
 291                     installer: 'fuel'
 292                     scenario: '^((?!bgpvpn|noha).)*$'
 293                 run:
 294                     module: 'functest.opnfv_tests.vnf.rnc.parser'
 295                     class: 'Parser'
 296             -
 297                 name: orchestra
 298                 criteria: 'ret == 0'
 299                 blocking: false
 300                 description: >-
 301                     Test OpenBaton (Orchestra) stack
 302                 dependencies:
 303                     installer: 'joid'
 304                     scenario: 'unknown'
 305                 run:
 306                     module: 'functest.opnfv_tests.features.orchestrator.orchestra'
 307                     class: 'OpenbatonOrchestrator'
 308     -
 309         name: components
 310         order: 3
 311         ci_loop: 'weekly'
 312         description : >-
 313             Extensive testing of OpenStack API.
 314         testcases:
 315             -
 316                 name: tempest_full_parallel
 317                 criteria: 'success_rate >= 80%'
 318                 blocking: false
 319                 description: >-
 320                     The list of test cases is generated by
 321                     Tempest automatically and depends on the parameters of
 322                     the OpenStack deplopyment.
 323                 dependencies:
 324                     installer: '^((?!netvirt).)*$'
 325                     scenario: ''
 326                 run:
 327                     module: 'functest.opnfv_tests.openstack.tempest.tempest'
 328                     class: 'TempestFullParallel'
 329
 330             -
 331                 name: rally_full
 332                 criteria: 'success_rate >= 90%'
 333                 blocking: false
 334                 description: >-
 335                     This test case runs the full suite of scenarios of the OpenStack
 336                     Rally suite using several threads and iterations.
 337                 dependencies:
 338                     installer: '^((?!netvirt).)*$'
 339                     scenario: ''
 340                 run:
 341                     module: 'functest.opnfv_tests.openstack.rally.rally'
 342                     class: 'RallyFull'
 343
 344     -
 345         name: vnf
 346         order: 4
 347         ci_loop: 'weekly'
 348         description : >-
 349             Collection of VNF test cases.
 350         testcases:
 351             -
 352                 name: cloudify_ims
 353                 criteria: 'status == "PASS"'
 354                 blocking: false
 355                 description: >-
 356                     This test case deploys an OpenSource vIMS solution from Clearwater
 357                     using the Cloudify orchestrator. It also runs some signaling traffic.
 358                 dependencies:
 359                     installer: ''
 360                     scenario: '(ocl)|(nosdn)|^(os-odl)((?!bgpvpn).)*$'
 361                 run:
 362                     module: 'functest.opnfv_tests.vnf.ims.cloudify_ims'
 363                     class: 'ImsVnf'
 364             -
 365                 name: aaa
 366                 criteria: 'ret == 0'
 367                 blocking: false
 368                 description: >-
 369                     Test suite from Parser project.
 370                 dependencies:
 371                     installer: ''
 372                     scenario: ''
 373                 run:
 374                     module: 'functest.opnfv_tests.vnf.aaa.aaa'
 375                     class: 'AaaVnf'
 376
 377             -
 378                 name: juju_epc
 379                 criteria: 'ret == 0'
 380                 blocking: false
 381                 description: >-
 382                     Test suite from OAI project, vEPC deployed with Juju.
 383                 dependencies:
 384                     installer: 'unknown'
 385                     scenario: 'unknown'
 386                 run:
 387                     module: 'functest.opnfv_tests.vnf.epc.epc'
 388                     class: 'EpcVnf'
 389
 390             -
 391                 name: orchestra_ims
 392                 criteria: 'ret == 0'
 393                 blocking: false
 394                 description: >-
 395                     VNF deployment with OpenBaton (Orchestra)
 396                 dependencies:
 397                     installer: 'unknown'
 398                     scenario: 'unknown'
 399                 run:
 400                     module: 'functest.opnfv_tests.vnf.ims.orchestra_ims'
 401                     class: 'ImsVnf'
 402
 403             -
 404                 name: opera_ims
 405                 criteria: 'ret == 0'
 406                 blocking: false
 407                 description: >-
 408                     Evolution of vIMS
 409                 dependencies:
 410                     installer: 'unknown'
 411                     scenario: 'unknown'
 412                 run:
 413                     module: 'functest.opnfv_tests.vnf.ims.opera_ims'
 414                     class: 'ImsVnf'