functest/ci/testcases.yaml

   1 tiers:
   2     -
   3         name: healthcheck
   4         order: 0
   5         ci_loop: '(daily)|(weekly)'
   6         description : >-
   7             First tier to be executed to verify the basic
   8             operations in the VIM.
   9         testcases:
  10             -
  11                 name: healthcheck
  12                 criteria: 'status == "PASS"'
  13                 blocking: true
  14                 description: >-
  15                     This test case verifies the basic OpenStack services like
  16                     Keystone, Glance, Cinder, Neutron and Nova.
  17
  18                 dependencies:
  19                     installer: ''
  20                     scenario: '^((?!lxd).)*$'
  21             -
  22                 name: snaps_health_check
  23                 criteria: 'status == "PASS"'
  24                 blocking: false
  25                 description: >-
  26                     This test case creates executes the SimpleHealthCheck
  27                     Python test class which creates an, image, flavor, network,
  28                     and Cirros VM instance and observes the console output to
  29                     validate the single port obtains the correct IP address.
  30
  31                 dependencies:
  32                     installer: ''
  33                     scenario: '^((?!lxd).)*$'
  34                 run:
  35                     module: 'functest.opnfv_tests.openstack.snaps.health_check'
  36                     class: 'HealthCheck'
  37             -
  38                 name: connection_check
  39                 criteria: 'status == "PASS"'
  40                 blocking: true
  41                 description: >-
  42                     This test case verifies the retrieval of OpenStack clients:
  43                     Keystone, Glance, Neutron and Nova and may perform some
  44                     simple queries. When the config value of
  45                     snaps.use_keystone is True, functest must have access to
  46                     the cloud's private network.
  47
  48                 dependencies:
  49                     installer: '^((?!netvirt).)*$'
  50                     scenario: ''
  51                 run:
  52                     module: 'functest.opnfv_tests.openstack.snaps.connection_check'
  53                     class: 'ConnectionCheck'
  54
  55             -
  56                 name: api_check
  57                 criteria: 'status == "PASS"'
  58                 blocking: true
  59                 description: >-
  60                     This test case verifies the retrieval of OpenStack clients:
  61                     Keystone, Glance, Neutron and Nova and may perform some
  62                     simple queries. When the config value of
  63                     snaps.use_keystone is True, functest must have access to
  64                     the cloud's private network.
  65
  66                 dependencies:
  67                     installer: '^((?!netvirt).)*$'
  68                     scenario: ''
  69                 run:
  70                     module: 'functest.opnfv_tests.openstack.snaps.api_check'
  71                     class: 'ApiCheck'
  72     -
  73         name: smoke
  74         order: 1
  75         ci_loop: '(daily)|(weekly)'
  76         description : >-
  77             Set of basic Functional tests to validate the OPNFV scenarios.
  78         testcases:
  79             -
  80                 name: vping_ssh
  81                 criteria: 'status == "PASS"'
  82                 blocking: true
  83                 description: >-
  84                     This test case verifies: 1) SSH to an instance using floating
  85                     IPs over the public network. 2) Connectivity between 2 instances
  86                     over a private network.
  87                 dependencies:
  88                     installer: ''
  89                     scenario: '^((?!bgpvpn|odl_l3).)*$'
  90                 run:
  91                     module: 'functest.opnfv_tests.openstack.vping.vping_ssh'
  92                     class: 'VPingSSH'
  93
  94             -
  95                 name: vping_userdata
  96                 criteria: 'status == "PASS"'
  97                 blocking: true
  98                 description: >-
  99                     This test case verifies:  1) Boot a VM with given userdata.
 100                     2) Connectivity between 2 instances over a private network.
 101                 dependencies:
 102                     installer: ''
 103                     scenario: '^((?!lxd).)*$'
 104                 run:
 105                     module: 'functest.opnfv_tests.openstack.vping.vping_userdata'
 106                     class: 'VPingUserdata'
 107
 108             -
 109                 name: tempest_smoke_serial
 110                 criteria: 'success_rate == 100%'
 111                 blocking: false
 112                 description: >-
 113                     This test case runs the smoke subset of the OpenStack
 114                     Tempest suite. The list of test cases is generated by
 115                     Tempest automatically and depends on the parameters of
 116                     the OpenStack deplopyment.
 117                 dependencies:
 118                     installer: '^((?!netvirt).)*$'
 119                     scenario: ''
 120                 run:
 121                     module: 'functest.opnfv_tests.openstack.tempest.tempest'
 122                     class: 'TempestSmokeSerial'
 123
 124             -
 125                 name: rally_sanity
 126                 criteria: 'success_rate == 100%'
 127                 blocking: false
 128                 description: >-
 129                     This test case runs a sub group of tests of the OpenStack
 130                     Rally suite in smoke mode.
 131                 dependencies:
 132                     installer: ''
 133                     scenario: '^((?!bgpvpn).)*$'
 134                 run:
 135                     module: 'functest.opnfv_tests.openstack.rally.rally'
 136                     class: 'RallySanity'
 137
 138             -
 139                 name: odl
 140                 criteria: 'success_rate == 100%'
 141                 blocking: true
 142                 description: >-
 143                     Test Suite for the OpenDaylight SDN Controller. It integrates
 144                     some test suites from upstream using Robot as the test
 145                     framework.
 146                 dependencies:
 147                     installer: ''
 148                     scenario: 'odl'
 149                 run:
 150                     module: 'functest.opnfv_tests.sdn.odl.odl'
 151                     class: 'ODLTests'
 152                     args:
 153                         suites:
 154                             -  /home/opnfv/repos/odl_test/csit/suites/integration/basic
 155                             -  /home/opnfv/repos/odl_test/csit/suites/openstack/neutron
 156
 157             -
 158                 name: onos
 159                 criteria: 'status == "PASS"'
 160                 blocking: true
 161                 description: >-
 162                     Test Suite for the ONOS SDN Controller. It integrates
 163                     some test suites from upstream using TestON as the test
 164                     framework.
 165                 dependencies:
 166                     installer: ''
 167                     scenario: 'onos'
 168
 169
 170             -
 171                 name: snaps_smoke
 172                 criteria: 'status == "PASS"'
 173                 blocking: false
 174                 description: >-
 175                     This test case contains tests that setup and destroy
 176                     environments with VMs with and without Floating IPs
 177                     with a newly created user and project. Set the config
 178                     value snaps.use_floating_ips (True|False) to toggle
 179                     this functionality. When the config value of
 180                     snaps.use_keystone is True, functest must have access to
 181                     the cloud's private network.
 182
 183                 dependencies:
 184                     installer: '^((?!netvirt).)*$'
 185                     scenario: ''
 186                 run:
 187                     module: 'functest.opnfv_tests.openstack.snaps.smoke'
 188                     class: 'SnapsSmoke'
 189
 190     -
 191         name: features
 192         order: 2
 193         ci_loop: '(daily)|(weekly)'
 194         description : >-
 195             Test suites from feature projects
 196             integrated in functest
 197         testcases:
 198             -
 199                 name: promise
 200                 criteria: 'success_rate == 100%'
 201                 blocking: false
 202                 description: >-
 203                     Test suite from Promise project.
 204                 dependencies:
 205                     installer: '(fuel)|(joid)'
 206                     scenario: ''
 207                 run:
 208                      module: 'functest.opnfv_tests.features.promise'
 209                      class: 'Promise'
 210
 211             -
 212                 name: doctor
 213                 criteria: 'status == "PASS"'
 214                 blocking: false
 215                 description: >-
 216                     Test suite from Doctor project.
 217                 dependencies:
 218                     installer: '(apex)|(fuel)|(joid)'
 219                     scenario: '^((?!fdio).)*$'
 220                 run:
 221                     module: 'functest.opnfv_tests.features.doctor'
 222                     class: 'Doctor'
 223
 224             -
 225                 name: bgpvpn
 226                 criteria: 'status == "PASS"'
 227                 blocking: false
 228                 description: >-
 229                     Test suite from SDNVPN project.
 230                 dependencies:
 231                     installer: '(fuel)|(apex)|(netvirt)'
 232                     scenario: 'bgpvpn'
 233                 run:
 234                     module: 'functest.opnfv_tests.features.sdnvpn'
 235                     class: 'SdnVpnTests'
 236
 237             -
 238                 name: security_scan
 239                 criteria: 'status == "PASS"'
 240                 blocking: false
 241                 description: >-
 242                     Simple Security Scan
 243                 dependencies:
 244                     installer: 'apex'
 245                     scenario: '^((?!fdio).)*$'
 246                 run:
 247                     module: 'functest.opnfv_tests.features.security_scan'
 248                     class: 'SecurityScan'
 249 #            -
 250 #                name: copper
 251 #                criteria: 'status == "PASS"'
 252 #                blocking: false
 253 #                description: >-
 254 #                    Test suite for policy management based on OpenStack Congress
 255 #                dependencies:
 256 #                    installer: '(apex)|(joid)'
 257 #                    scenario: '^((?!fdio|lxd).)*$'
 258 #                run:
 259 #                    module: 'functest.opnfv_tests.features.copper'
 260 #                    class: 'Copper'
 261             -
 262                 name: multisite
 263                 criteria: 'success_rate == 100%'
 264                 blocking: false
 265                 description: >-
 266                     Test suite from kingbird
 267                 dependencies:
 268                     installer: '(fuel)|(compass)'
 269                     scenario: 'multisite'
 270                 run:
 271                     module: 'functest.opnfv_tests.openstack.tempest.tempest'
 272                     class: 'TempestMultisite'
 273             -
 274                 name: odl-sfc
 275                 criteria: 'status == "PASS"'
 276                 blocking: false
 277                 description: >-
 278                     Test suite for odl-sfc to test two chains and two SFs
 279                 dependencies:
 280                     installer: '(apex)|(fuel)'
 281                     scenario: 'odl_l2-sfc'
 282                 run:
 283                     module: 'functest.opnfv_tests.features.odl_sfc'
 284                     class: 'OpenDaylightSFC'
 285             -
 286                 name: onos_sfc
 287                 criteria: 'status == "PASS"'
 288                 blocking: true
 289                 description: >-
 290                     Test Suite for onos-sfc to test sfc function.
 291                 dependencies:
 292                     installer: ''
 293                     scenario: 'onos-sfc'
 294             -
 295                 name: parser
 296                 criteria: 'ret == 0'
 297                 blocking: false
 298                 description: >-
 299                     Test suite from Parser project.
 300                 dependencies:
 301                     installer: 'fuel'
 302                     scenario: '^((?!bgpvpn|noha).)*$'
 303                 run:
 304                     module: 'functest.opnfv_tests.vnf.rnc.parser'
 305                     class: 'Parser'
 306             -
 307                 name: orchestra
 308                 criteria: 'ret == 0'
 309                 blocking: false
 310                 description: >-
 311                     Test OpenBaton (Orchestra) stack
 312                 dependencies:
 313                     installer: 'joid'
 314                     scenario: 'unknown'
 315                 run:
 316                     module: 'functest.opnfv_tests.features.orchestrator.orchestra'
 317                     class: 'OpenbatonOrchestrator'
 318     -
 319         name: components
 320         order: 3
 321         ci_loop: 'weekly'
 322         description : >-
 323             Extensive testing of OpenStack API.
 324         testcases:
 325             -
 326                 name: tempest_full_parallel
 327                 criteria: 'success_rate >= 80%'
 328                 blocking: false
 329                 description: >-
 330                     The list of test cases is generated by
 331                     Tempest automatically and depends on the parameters of
 332                     the OpenStack deplopyment.
 333                 dependencies:
 334                     installer: '^((?!netvirt).)*$'
 335                     scenario: ''
 336                 run:
 337                     module: 'functest.opnfv_tests.openstack.tempest.tempest'
 338                     class: 'TempestFullParallel'
 339
 340             -
 341                 name: rally_full
 342                 criteria: 'success_rate >= 90%'
 343                 blocking: false
 344                 description: >-
 345                     This test case runs the full suite of scenarios of the OpenStack
 346                     Rally suite using several threads and iterations.
 347                 dependencies:
 348                     installer: '^((?!netvirt).)*$'
 349                     scenario: ''
 350                 run:
 351                     module: 'functest.opnfv_tests.openstack.rally.rally'
 352                     class: 'RallyFull'
 353
 354     -
 355         name: vnf
 356         order: 4
 357         ci_loop: 'weekly'
 358         description : >-
 359             Collection of VNF test cases.
 360         testcases:
 361             -
 362                 name: cloudify_ims
 363                 criteria: 'status == "PASS"'
 364                 blocking: false
 365                 description: >-
 366                     This test case deploys an OpenSource vIMS solution from Clearwater
 367                     using the Cloudify orchestrator. It also runs some signaling traffic.
 368                 dependencies:
 369                     installer: ''
 370                     scenario: '(ocl)|(nosdn)|^(os-odl)((?!bgpvpn).)*$'
 371                 run:
 372                     module: 'functest.opnfv_tests.vnf.ims.cloudify_ims'
 373                     class: 'ImsVnf'
 374             -
 375                 name: aaa
 376                 criteria: 'ret == 0'
 377                 blocking: false
 378                 description: >-
 379                     Test suite from Parser project.
 380                 dependencies:
 381                     installer: ''
 382                     scenario: ''
 383                 run:
 384                     module: 'functest.opnfv_tests.vnf.aaa.aaa'
 385                     class: 'AaaVnf'
 386
 387             -
 388                 name: juju_epc
 389                 criteria: 'ret == 0'
 390                 blocking: false
 391                 description: >-
 392                     Test suite from OAI project, vEPC deployed with Juju.
 393                 dependencies:
 394                     installer: 'unknown'
 395                     scenario: 'unknown'
 396                 run:
 397                     module: 'functest.opnfv_tests.vnf.epc.epc'
 398                     class: 'EpcVnf'
 399
 400             -
 401                 name: orchestra_ims
 402                 criteria: 'ret == 0'
 403                 blocking: false
 404                 description: >-
 405                     VNF deployment with OpenBaton (Orchestra)
 406                 dependencies:
 407                     installer: 'unknown'
 408                     scenario: 'unknown'
 409                 run:
 410                     module: 'functest.opnfv_tests.vnf.ims.orchestra_ims'
 411                     class: 'ImsVnf'
 412
 413             -
 414                 name: opera_ims
 415                 criteria: 'ret == 0'
 416                 blocking: false
 417                 description: >-
 418                     Evolution of vIMS
 419                 dependencies:
 420                     installer: 'unknown'
 421                     scenario: 'unknown'
 422                 run:
 423                     module: 'functest.opnfv_tests.vnf.ims.opera_ims'
 424                     class: 'ImsVnf'