functest/ci/testcases.yaml

   1 tiers:
   2     -
   3         name: healthcheck
   4         order: 0
   5         ci_loop: '(daily)|(weekly)'
   6         description : >-
   7             First tier to be executed to verify the basic
   8             operations in the VIM.
   9         testcases:
  10             -
  11                 name: healthcheck
  12                 criteria: 'status == "PASS"'
  13                 blocking: true
  14                 description: >-
  15                     This test case verifies the basic OpenStack services like
  16                     Keystone, Glance, Cinder, Neutron and Nova.
  17
  18                 dependencies:
  19                     installer: ''
  20                     scenario: '^((?!lxd).)*$'
  21             -
  22                 name: connection_check
  23                 criteria: 'status == "PASS"'
  24                 blocking: true
  25                 description: >-
  26                     This test case verifies the retrieval of OpenStack clients:
  27                     Keystone, Glance, Neutron and Nova and may perform some
  28                     simple queries. When the config value of
  29                     snaps.use_keystone is True, functest must have access to
  30                     the cloud's private network.
  31
  32                 dependencies:
  33                     installer: '^((?!netvirt).)*$'
  34                     scenario: ''
  35                 run:
  36                     module: 'functest.opnfv_tests.openstack.snaps.connection_check'
  37                     class: 'ConnectionCheck'
  38
  39             -
  40                 name: api_check
  41                 criteria: 'status == "PASS"'
  42                 blocking: true
  43                 description: >-
  44                     This test case verifies the retrieval of OpenStack clients:
  45                     Keystone, Glance, Neutron and Nova and may perform some
  46                     simple queries. When the config value of
  47                     snaps.use_keystone is True, functest must have access to
  48                     the cloud's private network.
  49
  50                 dependencies:
  51                     installer: '^((?!netvirt).)*$'
  52                     scenario: ''
  53                 run:
  54                     module: 'functest.opnfv_tests.openstack.snaps.api_check'
  55                     class: 'ApiCheck'
  56     -
  57         name: smoke
  58         order: 1
  59         ci_loop: '(daily)|(weekly)'
  60         description : >-
  61             Set of basic Functional tests to validate the OPNFV scenarios.
  62         testcases:
  63             -
  64                 name: vping_ssh
  65                 criteria: 'status == "PASS"'
  66                 blocking: true
  67                 description: >-
  68                     This test case verifies: 1) SSH to an instance using floating
  69                     IPs over the public network. 2) Connectivity between 2 instances
  70                     over a private network.
  71                 dependencies:
  72                     installer: ''
  73                     scenario: '^((?!bgpvpn|odl_l3).)*$'
  74                 run:
  75                     module: 'functest.opnfv_tests.openstack.vping.vping_ssh'
  76                     class: 'VPingSSH'
  77
  78             -
  79                 name: vping_userdata
  80                 criteria: 'status == "PASS"'
  81                 blocking: true
  82                 description: >-
  83                     This test case verifies:  1) Boot a VM with given userdata.
  84                     2) Connectivity between 2 instances over a private network.
  85                 dependencies:
  86                     installer: ''
  87                     scenario: '^((?!lxd).)*$'
  88                 run:
  89                     module: 'functest.opnfv_tests.openstack.vping.vping_userdata'
  90                     class: 'VPingUserdata'
  91
  92             -
  93                 name: tempest_smoke_serial
  94                 criteria: 'success_rate == 100%'
  95                 blocking: false
  96                 description: >-
  97                     This test case runs the smoke subset of the OpenStack
  98                     Tempest suite. The list of test cases is generated by
  99                     Tempest automatically and depends on the parameters of
 100                     the OpenStack deplopyment.
 101                 dependencies:
 102                     installer: '^((?!netvirt).)*$'
 103                     scenario: ''
 104                 run:
 105                     module: 'functest.opnfv_tests.openstack.tempest.tempest'
 106                     class: 'TempestSmokeSerial'
 107
 108             -
 109                 name: rally_sanity
 110                 criteria: 'success_rate == 100%'
 111                 blocking: false
 112                 description: >-
 113                     This test case runs a sub group of tests of the OpenStack
 114                     Rally suite in smoke mode.
 115                 dependencies:
 116                     installer: ''
 117                     scenario: '^((?!bgpvpn).)*$'
 118                 run:
 119                     module: 'functest.opnfv_tests.openstack.rally.rally'
 120                     class: 'RallySanity'
 121
 122             -
 123                 name: odl
 124                 criteria: 'success_rate == 100%'
 125                 blocking: true
 126                 description: >-
 127                     Test Suite for the OpenDaylight SDN Controller. It integrates
 128                     some test suites from upstream using Robot as the test
 129                     framework.
 130                 dependencies:
 131                     installer: ''
 132                     scenario: 'odl'
 133                 run:
 134                     module: 'functest.opnfv_tests.sdn.odl.odl'
 135                     class: 'ODLTests'
 136                     args:
 137                         suites:
 138                             -  /home/opnfv/repos/odl_test/csit/suites/integration/basic
 139                             -  /home/opnfv/repos/odl_test/csit/suites/openstack/neutron
 140
 141             -
 142                 name: onos
 143                 criteria: 'status == "PASS"'
 144                 blocking: true
 145                 description: >-
 146                     Test Suite for the ONOS SDN Controller. It integrates
 147                     some test suites from upstream using TestON as the test
 148                     framework.
 149                 dependencies:
 150                     installer: ''
 151                     scenario: 'onos'
 152
 153
 154             -
 155                 name: snaps_smoke
 156                 criteria: 'status == "PASS"'
 157                 blocking: false
 158                 description: >-
 159                     This test case contains tests that setup and destroy
 160                     environments with VMs with and without Floating IPs
 161                     with a newly created user and project. Set the config
 162                     value snaps.use_floating_ips (True|False) to toggle
 163                     this functionality. When the config value of
 164                     snaps.use_keystone is True, functest must have access to
 165                     the cloud's private network.
 166
 167                 dependencies:
 168                     installer: '^((?!netvirt).)*$'
 169                     scenario: ''
 170                 run:
 171                     module: 'functest.opnfv_tests.openstack.snaps.smoke'
 172                     class: 'SnapsSmoke'
 173
 174     -
 175         name: features
 176         order: 2
 177         ci_loop: '(daily)|(weekly)'
 178         description : >-
 179             Test suites from feature projects
 180             integrated in functest
 181         testcases:
 182             -
 183                 name: promise
 184                 criteria: 'success_rate == 100%'
 185                 blocking: false
 186                 description: >-
 187                     Test suite from Promise project.
 188                 dependencies:
 189                     installer: '(fuel)|(joid)'
 190                     scenario: ''
 191                 run:
 192                      module: 'functest.opnfv_tests.features.promise'
 193                      class: 'Promise'
 194
 195             -
 196                 name: doctor
 197                 criteria: 'status == "PASS"'
 198                 blocking: false
 199                 description: >-
 200                     Test suite from Doctor project.
 201                 dependencies:
 202                     installer: '(apex)|(fuel)|(joid)'
 203                     scenario: '^((?!fdio).)*$'
 204                 run:
 205                     module: 'functest.opnfv_tests.features.doctor'
 206                     class: 'Doctor'
 207
 208             -
 209                 name: bgpvpn
 210                 criteria: 'status == "PASS"'
 211                 blocking: false
 212                 description: >-
 213                     Test suite from SDNVPN project.
 214                 dependencies:
 215                     installer: '(fuel)|(apex)|(netvirt)'
 216                     scenario: 'bgpvpn'
 217                 run:
 218                     module: 'functest.opnfv_tests.features.sdnvpn'
 219                     class: 'SdnVpnTests'
 220
 221             -
 222                 name: security_scan
 223                 criteria: 'status == "PASS"'
 224                 blocking: false
 225                 description: >-
 226                     Simple security Scan
 227                 dependencies:
 228                     installer: 'apex'
 229                     scenario: '^((?!fdio).)*$'
 230 #            -
 231 #                name: copper
 232 #                criteria: 'status == "PASS"'
 233 #                blocking: false
 234 #                description: >-
 235 #                    Test suite for policy management based on OpenStack Congress
 236 #                dependencies:
 237 #                    installer: '(apex)|(joid)'
 238 #                    scenario: '^((?!fdio|lxd).)*$'
 239 #                run:
 240 #                    module: 'functest.opnfv_tests.features.copper'
 241 #                    class: 'Copper'
 242             -
 243                 name: multisite
 244                 criteria: 'success_rate == 100%'
 245                 blocking: false
 246                 description: >-
 247                     Test suite from kingbird
 248                 dependencies:
 249                     installer: '(fuel)|(compass)'
 250                     scenario: 'multisite'
 251                 run:
 252                     module: 'functest.opnfv_tests.openstack.tempest.tempest'
 253                     class: 'TempestMultisite'
 254             -
 255                 name: odl-sfc
 256                 criteria: 'status == "PASS"'
 257                 blocking: false
 258                 description: >-
 259                     Test suite for odl-sfc to test two chains and two SFs
 260                 dependencies:
 261                     installer: '(apex)|(fuel)'
 262                     scenario: 'odl_l2-sfc'
 263                 run:
 264                     module: 'functest.opnfv_tests.features.odl_sfc'
 265                     class: 'OpenDaylightSFC'
 266             -
 267                 name: onos_sfc
 268                 criteria: 'status == "PASS"'
 269                 blocking: true
 270                 description: >-
 271                     Test Suite for onos-sfc to test sfc function.
 272                 dependencies:
 273                     installer: ''
 274                     scenario: 'onos-sfc'
 275             -
 276                 name: parser
 277                 criteria: 'ret == 0'
 278                 blocking: false
 279                 description: >-
 280                     Test suite from Parser project.
 281                 dependencies:
 282                     installer: 'fuel'
 283                     scenario: '^((?!bgpvpn|noha).)*$'
 284                 run:
 285                     module: 'functest.opnfv_tests.vnf.rnc.parser'
 286                     class: 'Parser'
 287             -
 288                 name: orchestra
 289                 criteria: 'ret == 0'
 290                 blocking: false
 291                 description: >-
 292                     Test OpenBaton (Orchestra) stack
 293                 dependencies:
 294                     installer: 'joid'
 295                     scenario: 'unknown'
 296                 run:
 297                     module: 'functest.opnfv_tests.features.orchestrator.orchestra'
 298                     class: 'OpenbatonOrchestrator'
 299     -
 300         name: components
 301         order: 3
 302         ci_loop: 'weekly'
 303         description : >-
 304             Extensive testing of OpenStack API.
 305         testcases:
 306             -
 307                 name: tempest_full_parallel
 308                 criteria: 'success_rate >= 80%'
 309                 blocking: false
 310                 description: >-
 311                     The list of test cases is generated by
 312                     Tempest automatically and depends on the parameters of
 313                     the OpenStack deplopyment.
 314                 dependencies:
 315                     installer: '^((?!netvirt).)*$'
 316                     scenario: ''
 317                 run:
 318                     module: 'functest.opnfv_tests.openstack.tempest.tempest'
 319                     class: 'TempestFullParallel'
 320
 321             -
 322                 name: rally_full
 323                 criteria: 'success_rate >= 90%'
 324                 blocking: false
 325                 description: >-
 326                     This test case runs the full suite of scenarios of the OpenStack
 327                     Rally suite using several threads and iterations.
 328                 dependencies:
 329                     installer: '^((?!netvirt).)*$'
 330                     scenario: ''
 331                 run:
 332                     module: 'functest.opnfv_tests.openstack.rally.rally'
 333                     class: 'RallyFull'
 334
 335     -
 336         name: vnf
 337         order: 4
 338         ci_loop: 'weekly'
 339         description : >-
 340             Collection of VNF test cases.
 341         testcases:
 342             -
 343                 name: cloudify_ims
 344                 criteria: 'status == "PASS"'
 345                 blocking: false
 346                 description: >-
 347                     This test case deploys an OpenSource vIMS solution from Clearwater
 348                     using the Cloudify orchestrator. It also runs some signaling traffic.
 349                 dependencies:
 350                     installer: ''
 351                     scenario: '(ocl)|(nosdn)|^(os-odl)((?!bgpvpn).)*$'
 352                 run:
 353                     module: 'functest.opnfv_tests.vnf.ims.cloudify_ims'
 354                     class: 'ImsVnf'
 355             -
 356                 name: aaa
 357                 criteria: 'ret == 0'
 358                 blocking: false
 359                 description: >-
 360                     Test suite from Parser project.
 361                 dependencies:
 362                     installer: ''
 363                     scenario: ''
 364                 run:
 365                     module: 'functest.opnfv_tests.vnf.aaa.aaa'
 366                     class: 'AaaVnf'
 367
 368             -
 369                 name: juju_epc
 370                 criteria: 'ret == 0'
 371                 blocking: false
 372                 description: >-
 373                     Test suite from OAI project, vEPC deployed with Juju.
 374                 dependencies:
 375                     installer: 'unknown'
 376                     scenario: 'unknown'
 377                 run:
 378                     module: 'functest.opnfv_tests.vnf.epc.epc'
 379                     class: 'EpcVnf'
 380
 381             -
 382                 name: orchestra_ims
 383                 criteria: 'ret == 0'
 384                 blocking: false
 385                 description: >-
 386                     VNF deployment with OpenBaton (Orchestra)
 387                 dependencies:
 388                     installer: 'unknown'
 389                     scenario: 'unknown'
 390                 run:
 391                     module: 'functest.opnfv_tests.vnf.ims.orchestra_ims'
 392                     class: 'ImsVnf'
 393
 394             -
 395                 name: opera_ims
 396                 criteria: 'ret == 0'
 397                 blocking: false
 398                 description: >-
 399                     Evolution of vIMS
 400                 dependencies:
 401                     installer: 'unknown'
 402                     scenario: 'unknown'
 403                 run:
 404                     module: 'functest.opnfv_tests.vnf.ims.opera_ims'
 405                     class: 'ImsVnf'