functest/ci/testcases.yaml

   1 tiers:
   2     -
   3         name: healthcheck
   4         order: 0
   5         ci_loop: '(daily)|(weekly)'
   6         description : >-
   7             First tier to be executed to verify the basic
   8             operations in the VIM.
   9         testcases:
  10             -
  11                 name: healthcheck
  12                 criteria: 'status == "PASS"'
  13                 blocking: true
  14                 description: >-
  15                     This test case verifies the basic OpenStack services like
  16                     Keystone, Glance, Cinder, Neutron and Nova.
  17
  18                 dependencies:
  19                     installer: ''
  20                     scenario: '^((?!lxd).)*$'
  21             -
  22                 name: snaps_health_check
  23                 criteria: 'status == "PASS"'
  24                 blocking: false
  25                 description: >-
  26                     This test case creates executes the SimpleHealthCheck
  27                     Python test class which creates an, image, flavor, network,
  28                     and Cirros VM instance and observes the console output to
  29                     validate the single port obtains the correct IP address.
  30
  31                 dependencies:
  32                     installer: ''
  33                     scenario: '^((?!lxd).)*$'
  34                 run:
  35                     module: 'functest.opnfv_tests.openstack.snaps.health_check'
  36                     class: 'HealthCheck'
  37             -
  38                 name: connection_check
  39                 criteria: 'status == "PASS"'
  40                 blocking: true
  41                 description: >-
  42                     This test case verifies the retrieval of OpenStack clients:
  43                     Keystone, Glance, Neutron and Nova and may perform some
  44                     simple queries. When the config value of
  45                     snaps.use_keystone is True, functest must have access to
  46                     the cloud's private network.
  47
  48                 dependencies:
  49                     installer: '^((?!netvirt).)*$'
  50                     scenario: ''
  51                 run:
  52                     module: 'functest.opnfv_tests.openstack.snaps.connection_check'
  53                     class: 'ConnectionCheck'
  54
  55             -
  56                 name: api_check
  57                 criteria: 'status == "PASS"'
  58                 blocking: true
  59                 description: >-
  60                     This test case verifies the retrieval of OpenStack clients:
  61                     Keystone, Glance, Neutron and Nova and may perform some
  62                     simple queries. When the config value of
  63                     snaps.use_keystone is True, functest must have access to
  64                     the cloud's private network.
  65
  66                 dependencies:
  67                     installer: '^((?!netvirt).)*$'
  68                     scenario: ''
  69                 run:
  70                     module: 'functest.opnfv_tests.openstack.snaps.api_check'
  71                     class: 'ApiCheck'
  72     -
  73         name: smoke
  74         order: 1
  75         ci_loop: '(daily)|(weekly)'
  76         description : >-
  77             Set of basic Functional tests to validate the OPNFV scenarios.
  78         testcases:
  79             -
  80                 name: vping_ssh
  81                 criteria: 'status == "PASS"'
  82                 blocking: true
  83                 description: >-
  84                     This test case verifies: 1) SSH to an instance using floating
  85                     IPs over the public network. 2) Connectivity between 2 instances
  86                     over a private network.
  87                 dependencies:
  88                     installer: ''
  89                     scenario: '^((?!bgpvpn|odl_l3).)*$'
  90                 run:
  91                     module: 'functest.opnfv_tests.openstack.vping.vping_ssh'
  92                     class: 'VPingSSH'
  93
  94             -
  95                 name: vping_userdata
  96                 criteria: 'status == "PASS"'
  97                 blocking: true
  98                 description: >-
  99                     This test case verifies:  1) Boot a VM with given userdata.
 100                     2) Connectivity between 2 instances over a private network.
 101                 dependencies:
 102                     installer: ''
 103                     scenario: '^((?!lxd).)*$'
 104                 run:
 105                     module: 'functest.opnfv_tests.openstack.vping.vping_userdata'
 106                     class: 'VPingUserdata'
 107
 108             -
 109                 name: tempest_smoke_serial
 110                 criteria: 'success_rate == 100%'
 111                 blocking: false
 112                 description: >-
 113                     This test case runs the smoke subset of the OpenStack
 114                     Tempest suite. The list of test cases is generated by
 115                     Tempest automatically and depends on the parameters of
 116                     the OpenStack deplopyment.
 117                 dependencies:
 118                     installer: '^((?!netvirt).)*$'
 119                     scenario: ''
 120                 run:
 121                     module: 'functest.opnfv_tests.openstack.tempest.tempest'
 122                     class: 'TempestSmokeSerial'
 123
 124             -
 125                 name: rally_sanity
 126                 criteria: 'success_rate == 100%'
 127                 blocking: false
 128                 description: >-
 129                     This test case runs a sub group of tests of the OpenStack
 130                     Rally suite in smoke mode.
 131                 dependencies:
 132                     installer: ''
 133                     scenario: '^((?!bgpvpn).)*$'
 134                 run:
 135                     module: 'functest.opnfv_tests.openstack.rally.rally'
 136                     class: 'RallySanity'
 137
 138             -
 139                 name: odl
 140                 criteria: 'success_rate == 100%'
 141                 blocking: true
 142                 description: >-
 143                     Test Suite for the OpenDaylight SDN Controller. It integrates
 144                     some test suites from upstream using Robot as the test
 145                     framework.
 146                 dependencies:
 147                     installer: ''
 148                     scenario: 'odl'
 149                 run:
 150                     module: 'functest.opnfv_tests.sdn.odl.odl'
 151                     class: 'ODLTests'
 152                     args:
 153                         suites:
 154                             -  /home/opnfv/repos/odl_test/csit/suites/integration/basic
 155                             -  /home/opnfv/repos/odl_test/csit/suites/openstack/neutron
 156
 157             -
 158                 name: onos
 159                 criteria: 'status == "PASS"'
 160                 blocking: true
 161                 description: >-
 162                     Test Suite for the ONOS SDN Controller. It integrates
 163                     some test suites from upstream using TestON as the test
 164                     framework.
 165                 dependencies:
 166                     installer: ''
 167                     scenario: 'onos'
 168
 169
 170             -
 171                 name: snaps_smoke
 172                 criteria: 'status == "PASS"'
 173                 blocking: false
 174                 description: >-
 175                     This test case contains tests that setup and destroy
 176                     environments with VMs with and without Floating IPs
 177                     with a newly created user and project. Set the config
 178                     value snaps.use_floating_ips (True|False) to toggle
 179                     this functionality. When the config value of
 180                     snaps.use_keystone is True, functest must have access to
 181                     the cloud's private network.
 182
 183                 dependencies:
 184                     installer: '^((?!netvirt).)*$'
 185                     scenario: ''
 186                 run:
 187                     module: 'functest.opnfv_tests.openstack.snaps.smoke'
 188                     class: 'SnapsSmoke'
 189
 190     -
 191         name: features
 192         order: 2
 193         ci_loop: '(daily)|(weekly)'
 194         description : >-
 195             Test suites from feature projects
 196             integrated in functest
 197         testcases:
 198             -
 199                 name: promise
 200                 criteria: 'success_rate == 100%'
 201                 blocking: false
 202                 description: >-
 203                     Test suite from Promise project.
 204                 dependencies:
 205                     installer: '(fuel)|(joid)'
 206                     scenario: ''
 207                 run:
 208                      module: 'functest.opnfv_tests.features.promise'
 209                      class: 'Promise'
 210
 211             -
 212                 name: doctor
 213                 criteria: 'status == "PASS"'
 214                 blocking: false
 215                 description: >-
 216                     Test suite from Doctor project.
 217                 dependencies:
 218                     installer: '(apex)|(fuel)|(joid)'
 219                     scenario: '^((?!fdio).)*$'
 220                 run:
 221                     module: 'functest.opnfv_tests.features.doctor'
 222                     class: 'Doctor'
 223
 224             -
 225                 name: bgpvpn
 226                 criteria: 'status == "PASS"'
 227                 blocking: false
 228                 description: >-
 229                     Test suite from SDNVPN project.
 230                 dependencies:
 231                     installer: '(fuel)|(apex)|(netvirt)'
 232                     scenario: 'bgpvpn'
 233                 run:
 234                     module: 'functest.opnfv_tests.features.sdnvpn'
 235                     class: 'SdnVpnTests'
 236
 237             -
 238                 name: security_scan
 239                 criteria: 'status == "PASS"'
 240                 blocking: false
 241                 description: >-
 242                     Simple security Scan
 243                 dependencies:
 244                     installer: 'apex'
 245                     scenario: '^((?!fdio).)*$'
 246 #            -
 247 #                name: copper
 248 #                criteria: 'status == "PASS"'
 249 #                blocking: false
 250 #                description: >-
 251 #                    Test suite for policy management based on OpenStack Congress
 252 #                dependencies:
 253 #                    installer: '(apex)|(joid)'
 254 #                    scenario: '^((?!fdio|lxd).)*$'
 255 #                run:
 256 #                    module: 'functest.opnfv_tests.features.copper'
 257 #                    class: 'Copper'
 258             -
 259                 name: moon
 260                 criteria: 'status == "PASS"'
 261                 blocking: false
 262                 description: >-
 263                     Security management system for OPNFV
 264                 dependencies:
 265                     installer: 'compass'
 266                     scenario: '(odl)*(moon)'
 267             -
 268                 name: multisite
 269                 criteria: 'success_rate == 100%'
 270                 blocking: false
 271                 description: >-
 272                     Test suite from kingbird
 273                 dependencies:
 274                     installer: '(fuel)|(compass)'
 275                     scenario: 'multisite'
 276                 run:
 277                     module: 'functest.opnfv_tests.openstack.tempest.tempest'
 278                     class: 'TempestMultisite'
 279             -
 280                 name: odl-sfc
 281                 criteria: 'status == "PASS"'
 282                 blocking: false
 283                 description: >-
 284                     Test suite for odl-sfc to test two chains and two SFs
 285                 dependencies:
 286                     installer: '(apex)|(fuel)'
 287                     scenario: 'odl_l2-sfc'
 288                 run:
 289                     module: 'functest.opnfv_tests.features.odl_sfc'
 290                     class: 'OpenDaylightSFC'
 291             -
 292                 name: onos_sfc
 293                 criteria: 'status == "PASS"'
 294                 blocking: true
 295                 description: >-
 296                     Test Suite for onos-sfc to test sfc function.
 297                 dependencies:
 298                     installer: ''
 299                     scenario: 'onos-sfc'
 300             -
 301                 name: parser
 302                 criteria: 'ret == 0'
 303                 blocking: false
 304                 description: >-
 305                     Test suite from Parser project.
 306                 dependencies:
 307                     installer: 'fuel'
 308                     scenario: '^((?!bgpvpn|noha).)*$'
 309                 run:
 310                     module: 'functest.opnfv_tests.vnf.rnc.parser'
 311                     class: 'Parser'
 312             -
 313                 name: orchestra
 314                 criteria: 'ret == 0'
 315                 blocking: false
 316                 description: >-
 317                     Test OpenBaton (Orchestra) stack
 318                 dependencies:
 319                     installer: 'joid'
 320                     scenario: 'unknown'
 321                 run:
 322                     module: 'functest.opnfv_tests.features.orchestrator.orchestra'
 323                     class: 'OpenbatonOrchestrator'
 324     -
 325         name: components
 326         order: 3
 327         ci_loop: 'weekly'
 328         description : >-
 329             Extensive testing of OpenStack API.
 330         testcases:
 331             -
 332                 name: tempest_full_parallel
 333                 criteria: 'success_rate >= 80%'
 334                 blocking: false
 335                 description: >-
 336                     The list of test cases is generated by
 337                     Tempest automatically and depends on the parameters of
 338                     the OpenStack deplopyment.
 339                 dependencies:
 340                     installer: '^((?!netvirt).)*$'
 341                     scenario: ''
 342                 run:
 343                     module: 'functest.opnfv_tests.openstack.tempest.tempest'
 344                     class: 'TempestFullParallel'
 345
 346             -
 347                 name: rally_full
 348                 criteria: 'success_rate >= 90%'
 349                 blocking: false
 350                 description: >-
 351                     This test case runs the full suite of scenarios of the OpenStack
 352                     Rally suite using several threads and iterations.
 353                 dependencies:
 354                     installer: '^((?!netvirt).)*$'
 355                     scenario: ''
 356                 run:
 357                     module: 'functest.opnfv_tests.openstack.rally.rally'
 358                     class: 'RallyFull'
 359
 360     -
 361         name: vnf
 362         order: 4
 363         ci_loop: 'weekly'
 364         description : >-
 365             Collection of VNF test cases.
 366         testcases:
 367             -
 368                 name: cloudify_ims
 369                 criteria: 'status == "PASS"'
 370                 blocking: false
 371                 description: >-
 372                     This test case deploys an OpenSource vIMS solution from Clearwater
 373                     using the Cloudify orchestrator. It also runs some signaling traffic.
 374                 dependencies:
 375                     installer: ''
 376                     scenario: '(ocl)|(nosdn)|^(os-odl)((?!bgpvpn).)*$'
 377                 run:
 378                     module: 'functest.opnfv_tests.vnf.ims.cloudify_ims'
 379                     class: 'ImsVnf'
 380             -
 381                 name: aaa
 382                 criteria: 'ret == 0'
 383                 blocking: false
 384                 description: >-
 385                     Test suite from Parser project.
 386                 dependencies:
 387                     installer: ''
 388                     scenario: ''
 389                 run:
 390                     module: 'functest.opnfv_tests.vnf.aaa.aaa'
 391                     class: 'AaaVnf'
 392
 393             -
 394                 name: juju_epc
 395                 criteria: 'ret == 0'
 396                 blocking: false
 397                 description: >-
 398                     Test suite from OAI project, vEPC deployed with Juju.
 399                 dependencies:
 400                     installer: 'unknown'
 401                     scenario: 'unknown'
 402                 run:
 403                     module: 'functest.opnfv_tests.vnf.epc.epc'
 404                     class: 'EpcVnf'
 405
 406             -
 407                 name: orchestra_ims
 408                 criteria: 'ret == 0'
 409                 blocking: false
 410                 description: >-
 411                     VNF deployment with OpenBaton (Orchestra)
 412                 dependencies:
 413                     installer: 'unknown'
 414                     scenario: 'unknown'
 415                 run:
 416                     module: 'functest.opnfv_tests.vnf.ims.orchestra_ims'
 417                     class: 'ImsVnf'
 418
 419             -
 420                 name: opera_ims
 421                 criteria: 'ret == 0'
 422                 blocking: false
 423                 description: >-
 424                     Evolution of vIMS
 425                 dependencies:
 426                     installer: 'unknown'
 427                     scenario: 'unknown'
 428                 run:
 429                     module: 'functest.opnfv_tests.vnf.ims.opera_ims'
 430                     class: 'ImsVnf'