functest/ci/testcases.yaml

   1 tiers:
   2     -
   3         name: healthcheck
   4         order: 0
   5         ci_loop: '(daily)|(weekly)'
   6         description : >-
   7             First tier to be executed to verify the basic
   8             operations in the VIM.
   9         testcases:
  10             -
  11                 name: healthcheck
  12                 criteria: 'status == "PASS"'
  13                 blocking: true
  14                 description: >-
  15                     This test case verifies the basic OpenStack services like
  16                     Keystone, Glance, Cinder, Neutron and Nova.
  17
  18                 dependencies:
  19                     installer: ''
  20                     scenario: '^((?!lxd).)*$'
  21             -
  22                 name: connection_check
  23                 criteria: 'status == "PASS"'
  24                 blocking: true
  25                 description: >-
  26                     This test case verifies the retrieval of OpenStack clients:
  27                     Keystone, Glance, Neutron and Nova and may perform some
  28                     simple queries. When the config value of
  29                     snaps.use_keystone is True, functest must have access to
  30                     the cloud's private network.
  31
  32                 dependencies:
  33                     installer: '^((?!netvirt).)*$'
  34                     scenario: ''
  35                 run:
  36                     module: 'functest.opnfv_tests.openstack.snaps.connection_check'
  37                     class: 'ConnectionCheck'
  38
  39             -
  40                 name: api_check
  41                 criteria: 'status == "PASS"'
  42                 blocking: true
  43                 description: >-
  44                     This test case verifies the retrieval of OpenStack clients:
  45                     Keystone, Glance, Neutron and Nova and may perform some
  46                     simple queries. When the config value of
  47                     snaps.use_keystone is True, functest must have access to
  48                     the cloud's private network.
  49
  50                 dependencies:
  51                     installer: '^((?!netvirt).)*$'
  52                     scenario: ''
  53                 run:
  54                     module: 'functest.opnfv_tests.openstack.snaps.api_check'
  55                     class: 'ApiCheck'
  56     -
  57         name: smoke
  58         order: 1
  59         ci_loop: '(daily)|(weekly)'
  60         description : >-
  61             Set of basic Functional tests to validate the OPNFV scenarios.
  62         testcases:
  63             -
  64                 name: vping_ssh
  65                 criteria: 'status == "PASS"'
  66                 blocking: true
  67                 description: >-
  68                     This test case verifies: 1) SSH to an instance using floating
  69                     IPs over the public network. 2) Connectivity between 2 instances
  70                     over a private network.
  71                 dependencies:
  72                     installer: ''
  73                     scenario: '^((?!bgpvpn|odl_l3).)*$'
  74                 run:
  75                     module: 'functest.opnfv_tests.openstack.vping.vping_ssh'
  76                     class: 'VPingSSH'
  77
  78             -
  79                 name: vping_userdata
  80                 criteria: 'status == "PASS"'
  81                 blocking: true
  82                 description: >-
  83                     This test case verifies:  1) Boot a VM with given userdata.
  84                     2) Connectivity between 2 instances over a private network.
  85                 dependencies:
  86                     installer: ''
  87                     scenario: '^((?!lxd).)*$'
  88                 run:
  89                     module: 'functest.opnfv_tests.openstack.vping.vping_userdata'
  90                     class: 'VPingUserdata'
  91
  92             -
  93                 name: tempest_smoke_serial
  94                 criteria: 'success_rate == 100%'
  95                 blocking: false
  96                 description: >-
  97                     This test case runs the smoke subset of the OpenStack
  98                     Tempest suite. The list of test cases is generated by
  99                     Tempest automatically and depends on the parameters of
 100                     the OpenStack deplopyment.
 101                 dependencies:
 102                     installer: '^((?!netvirt).)*$'
 103                     scenario: ''
 104                 run:
 105                     module: 'functest.opnfv_tests.openstack.tempest.tempest'
 106                     class: 'TempestSmokeSerial'
 107
 108             -
 109                 name: rally_sanity
 110                 criteria: 'success_rate == 100%'
 111                 blocking: false
 112                 description: >-
 113                     This test case runs a sub group of tests of the OpenStack
 114                     Rally suite in smoke mode.
 115                 dependencies:
 116                     installer: ''
 117                     scenario: '^((?!bgpvpn).)*$'
 118                 run:
 119                     module: 'functest.opnfv_tests.openstack.rally.rally'
 120                     class: 'RallySanity'
 121
 122             -
 123                 name: odl
 124                 criteria: 'success_rate == 100%'
 125                 blocking: true
 126                 description: >-
 127                     Test Suite for the OpenDaylight SDN Controller. It integrates
 128                     some test suites from upstream using Robot as the test
 129                     framework.
 130                 dependencies:
 131                     installer: ''
 132                     scenario: 'odl'
 133                 run:
 134                     module: 'functest.opnfv_tests.sdn.odl.odl'
 135                     class: 'ODLTests'
 136                     args:
 137                         suites:
 138                             -  /home/opnfv/repos/odl_test/csit/suites/integration/basic
 139                             -  /home/opnfv/repos/odl_test/csit/suites/openstack/neutron
 140
 141             -
 142                 name: onos
 143                 criteria: 'status == "PASS"'
 144                 blocking: true
 145                 description: >-
 146                     Test Suite for the ONOS SDN Controller. It integrates
 147                     some test suites from upstream using TestON as the test
 148                     framework.
 149                 dependencies:
 150                     installer: ''
 151                     scenario: 'onos'
 152
 153
 154             -
 155                 name: snaps_smoke
 156                 criteria: 'status == "PASS"'
 157                 blocking: false
 158                 description: >-
 159                     This test case contains tests that setup and destroy
 160                     environments with VMs with and without Floating IPs
 161                     with a newly created user and project. Set the config
 162                     value snaps.use_floating_ips (True|False) to toggle
 163                     this functionality. When the config value of
 164                     snaps.use_keystone is True, functest must have access to
 165                     the cloud's private network.
 166
 167                 dependencies:
 168                     installer: '^((?!netvirt).)*$'
 169                     scenario: ''
 170                 run:
 171                     module: 'functest.opnfv_tests.openstack.snaps.smoke'
 172                     class: 'SnapsSmoke'
 173
 174     -
 175         name: features
 176         order: 2
 177         ci_loop: '(daily)|(weekly)'
 178         description : >-
 179             Test suites from feature projects
 180             integrated in functest
 181         testcases:
 182             -
 183                 name: promise
 184                 criteria: 'success_rate == 100%'
 185                 blocking: false
 186                 description: >-
 187                     Test suite from Promise project.
 188                 dependencies:
 189                     installer: '(fuel)|(joid)'
 190                     scenario: ''
 191                 run:
 192                      module: 'functest.opnfv_tests.features.promise'
 193                      class: 'Promise'
 194
 195             -
 196                 name: doctor
 197                 criteria: 'status == "PASS"'
 198                 blocking: false
 199                 description: >-
 200                     Test suite from Doctor project.
 201                 dependencies:
 202                     installer: '(apex)|(fuel)|(joid)'
 203                     scenario: '^((?!fdio).)*$'
 204                 run:
 205                     module: 'functest.opnfv_tests.features.doctor'
 206                     class: 'Doctor'
 207
 208             -
 209                 name: bgpvpn
 210                 criteria: 'status == "PASS"'
 211                 blocking: false
 212                 description: >-
 213                     Test suite from SDNVPN project.
 214                 dependencies:
 215                     installer: '(fuel)|(apex)|(netvirt)'
 216                     scenario: 'bgpvpn'
 217                 run:
 218                     module: 'functest.opnfv_tests.features.sdnvpn'
 219                     class: 'SdnVpnTests'
 220
 221             -
 222                 name: security_scan
 223                 criteria: 'status == "PASS"'
 224                 blocking: false
 225                 description: >-
 226                     Simple Security Scan
 227                 dependencies:
 228                     installer: 'apex'
 229                     scenario: '^((?!fdio).)*$'
 230                 run:
 231                     module: 'functest.opnfv_tests.features.security_scan'
 232                     class: 'SecurityScan'
 233 #            -
 234 #                name: copper
 235 #                criteria: 'status == "PASS"'
 236 #                blocking: false
 237 #                description: >-
 238 #                    Test suite for policy management based on OpenStack Congress
 239 #                dependencies:
 240 #                    installer: '(apex)|(joid)'
 241 #                    scenario: '^((?!fdio|lxd).)*$'
 242 #                run:
 243 #                    module: 'functest.opnfv_tests.features.copper'
 244 #                    class: 'Copper'
 245             -
 246                 name: multisite
 247                 criteria: 'success_rate == 100%'
 248                 blocking: false
 249                 description: >-
 250                     Test suite from kingbird
 251                 dependencies:
 252                     installer: '(fuel)|(compass)'
 253                     scenario: 'multisite'
 254                 run:
 255                     module: 'functest.opnfv_tests.openstack.tempest.tempest'
 256                     class: 'TempestMultisite'
 257             -
 258                 name: odl-sfc
 259                 criteria: 'status == "PASS"'
 260                 blocking: false
 261                 description: >-
 262                     Test suite for odl-sfc to test two chains and two SFs
 263                 dependencies:
 264                     installer: '(apex)|(fuel)'
 265                     scenario: 'odl_l2-sfc'
 266                 run:
 267                     module: 'functest.opnfv_tests.features.odl_sfc'
 268                     class: 'OpenDaylightSFC'
 269             -
 270                 name: onos_sfc
 271                 criteria: 'status == "PASS"'
 272                 blocking: true
 273                 description: >-
 274                     Test Suite for onos-sfc to test sfc function.
 275                 dependencies:
 276                     installer: ''
 277                     scenario: 'onos-sfc'
 278             -
 279                 name: parser
 280                 criteria: 'ret == 0'
 281                 blocking: false
 282                 description: >-
 283                     Test suite from Parser project.
 284                 dependencies:
 285                     installer: 'fuel'
 286                     scenario: '^((?!bgpvpn|noha).)*$'
 287                 run:
 288                     module: 'functest.opnfv_tests.vnf.rnc.parser'
 289                     class: 'Parser'
 290             -
 291                 name: orchestra
 292                 criteria: 'ret == 0'
 293                 blocking: false
 294                 description: >-
 295                     Test OpenBaton (Orchestra) stack
 296                 dependencies:
 297                     installer: 'joid'
 298                     scenario: 'unknown'
 299                 run:
 300                     module: 'functest.opnfv_tests.features.orchestrator.orchestra'
 301                     class: 'OpenbatonOrchestrator'
 302     -
 303         name: components
 304         order: 3
 305         ci_loop: 'weekly'
 306         description : >-
 307             Extensive testing of OpenStack API.
 308         testcases:
 309             -
 310                 name: tempest_full_parallel
 311                 criteria: 'success_rate >= 80%'
 312                 blocking: false
 313                 description: >-
 314                     The list of test cases is generated by
 315                     Tempest automatically and depends on the parameters of
 316                     the OpenStack deplopyment.
 317                 dependencies:
 318                     installer: '^((?!netvirt).)*$'
 319                     scenario: ''
 320                 run:
 321                     module: 'functest.opnfv_tests.openstack.tempest.tempest'
 322                     class: 'TempestFullParallel'
 323
 324             -
 325                 name: rally_full
 326                 criteria: 'success_rate >= 90%'
 327                 blocking: false
 328                 description: >-
 329                     This test case runs the full suite of scenarios of the OpenStack
 330                     Rally suite using several threads and iterations.
 331                 dependencies:
 332                     installer: '^((?!netvirt).)*$'
 333                     scenario: ''
 334                 run:
 335                     module: 'functest.opnfv_tests.openstack.rally.rally'
 336                     class: 'RallyFull'
 337
 338     -
 339         name: vnf
 340         order: 4
 341         ci_loop: 'weekly'
 342         description : >-
 343             Collection of VNF test cases.
 344         testcases:
 345             -
 346                 name: cloudify_ims
 347                 criteria: 'status == "PASS"'
 348                 blocking: false
 349                 description: >-
 350                     This test case deploys an OpenSource vIMS solution from Clearwater
 351                     using the Cloudify orchestrator. It also runs some signaling traffic.
 352                 dependencies:
 353                     installer: ''
 354                     scenario: '(ocl)|(nosdn)|^(os-odl)((?!bgpvpn).)*$'
 355                 run:
 356                     module: 'functest.opnfv_tests.vnf.ims.cloudify_ims'
 357                     class: 'ImsVnf'
 358             -
 359                 name: aaa
 360                 criteria: 'ret == 0'
 361                 blocking: false
 362                 description: >-
 363                     Test suite from Parser project.
 364                 dependencies:
 365                     installer: ''
 366                     scenario: ''
 367                 run:
 368                     module: 'functest.opnfv_tests.vnf.aaa.aaa'
 369                     class: 'AaaVnf'
 370
 371             -
 372                 name: juju_epc
 373                 criteria: 'ret == 0'
 374                 blocking: false
 375                 description: >-
 376                     Test suite from OAI project, vEPC deployed with Juju.
 377                 dependencies:
 378                     installer: 'unknown'
 379                     scenario: 'unknown'
 380                 run:
 381                     module: 'functest.opnfv_tests.vnf.epc.epc'
 382                     class: 'EpcVnf'
 383
 384             -
 385                 name: orchestra_ims
 386                 criteria: 'ret == 0'
 387                 blocking: false
 388                 description: >-
 389                     VNF deployment with OpenBaton (Orchestra)
 390                 dependencies:
 391                     installer: 'unknown'
 392                     scenario: 'unknown'
 393                 run:
 394                     module: 'functest.opnfv_tests.vnf.ims.orchestra_ims'
 395                     class: 'ImsVnf'
 396
 397             -
 398                 name: opera_ims
 399                 criteria: 'ret == 0'
 400                 blocking: false
 401                 description: >-
 402                     Evolution of vIMS
 403                 dependencies:
 404                     installer: 'unknown'
 405                     scenario: 'unknown'
 406                 run:
 407                     module: 'functest.opnfv_tests.vnf.ims.opera_ims'
 408                     class: 'ImsVnf'