functest/ci/testcases.yaml

   1 tiers:
   2     -
   3         name: healthcheck
   4         order: 0
   5         ci_loop: '(daily)|(weekly)'
   6         description : >-
   7             First tier to be executed to verify the basic
   8             operations in the VIM.
   9         testcases:
  10             -
  11                 name: healthcheck
  12                 criteria: 'status == "PASS"'
  13                 blocking: true
  14                 description: >-
  15                     This test case verifies the basic OpenStack services like
  16                     Keystone, Glance, Cinder, Neutron and Nova.
  17
  18                 dependencies:
  19                     installer: ''
  20                     scenario: '^((?!lxd).)*$'
  21             -
  22                 name: snaps_health_check
  23                 criteria: 'status == "PASS"'
  24                 blocking: false
  25                 description: >-
  26                     This test case creates executes the SimpleHealthCheck
  27                     Python test class which creates an, image, flavor, network,
  28                     and Cirros VM instance and observes the console output to
  29                     validate the single port obtains the correct IP address.
  30
  31                 dependencies:
  32                     installer: ''
  33                     scenario: '^((?!lxd).)*$'
  34                 run:
  35                     module: 'functest.opnfv_tests.openstack.snaps.health_check'
  36                     class: 'HealthCheck'
  37             -
  38                 name: connection_check
  39                 criteria: 'status == "PASS"'
  40                 blocking: true
  41                 description: >-
  42                     This test case verifies the retrieval of OpenStack clients:
  43                     Keystone, Glance, Neutron and Nova and may perform some
  44                     simple queries. When the config value of
  45                     snaps.use_keystone is True, functest must have access to
  46                     the cloud's private network.
  47
  48                 dependencies:
  49                     installer: '^((?!netvirt).)*$'
  50                     scenario: ''
  51                 run:
  52                     module: 'functest.opnfv_tests.openstack.snaps.connection_check'
  53                     class: 'ConnectionCheck'
  54
  55             -
  56                 name: api_check
  57                 criteria: 'status == "PASS"'
  58                 blocking: true
  59                 description: >-
  60                     This test case verifies the retrieval of OpenStack clients:
  61                     Keystone, Glance, Neutron and Nova and may perform some
  62                     simple queries. When the config value of
  63                     snaps.use_keystone is True, functest must have access to
  64                     the cloud's private network.
  65
  66                 dependencies:
  67                     installer: '^((?!netvirt).)*$'
  68                     scenario: ''
  69                 run:
  70                     module: 'functest.opnfv_tests.openstack.snaps.api_check'
  71                     class: 'ApiCheck'
  72     -
  73         name: smoke
  74         order: 1
  75         ci_loop: '(daily)|(weekly)'
  76         description : >-
  77             Set of basic Functional tests to validate the OPNFV scenarios.
  78         testcases:
  79             -
  80                 name: vping_ssh
  81                 criteria: 'status == "PASS"'
  82                 blocking: true
  83                 description: >-
  84                     This test case verifies: 1) SSH to an instance using floating
  85                     IPs over the public network. 2) Connectivity between 2 instances
  86                     over a private network.
  87                 dependencies:
  88                     installer: ''
  89                     scenario: '^((?!bgpvpn|odl_l3).)*$'
  90                 run:
  91                     module: 'functest.opnfv_tests.openstack.vping.vping_ssh'
  92                     class: 'VPingSSH'
  93
  94             -
  95                 name: vping_userdata
  96                 criteria: 'status == "PASS"'
  97                 blocking: true
  98                 description: >-
  99                     This test case verifies:  1) Boot a VM with given userdata.
 100                     2) Connectivity between 2 instances over a private network.
 101                 dependencies:
 102                     installer: ''
 103                     scenario: '^((?!lxd).)*$'
 104                 run:
 105                     module: 'functest.opnfv_tests.openstack.vping.vping_userdata'
 106                     class: 'VPingUserdata'
 107
 108             -
 109                 name: tempest_smoke_serial
 110                 criteria: 'success_rate == 100%'
 111                 blocking: false
 112                 description: >-
 113                     This test case runs the smoke subset of the OpenStack
 114                     Tempest suite. The list of test cases is generated by
 115                     Tempest automatically and depends on the parameters of
 116                     the OpenStack deplopyment.
 117                 dependencies:
 118                     installer: '^((?!netvirt).)*$'
 119                     scenario: ''
 120                 run:
 121                     module: 'functest.opnfv_tests.openstack.tempest.tempest'
 122                     class: 'TempestSmokeSerial'
 123
 124             -
 125                 name: rally_sanity
 126                 criteria: 'success_rate == 100%'
 127                 blocking: false
 128                 description: >-
 129                     This test case runs a sub group of tests of the OpenStack
 130                     Rally suite in smoke mode.
 131                 dependencies:
 132                     installer: ''
 133                     scenario: '^((?!bgpvpn).)*$'
 134                 run:
 135                     module: 'functest.opnfv_tests.openstack.rally.rally'
 136                     class: 'RallySanity'
 137
 138             -
 139                 name: odl
 140                 criteria: 'success_rate == 100%'
 141                 blocking: true
 142                 description: >-
 143                     Test Suite for the OpenDaylight SDN Controller. It
 144                     integrates some test suites from upstream using
 145                     Robot as the test framework.
 146                 dependencies:
 147                     installer: ''
 148                     scenario: 'odl'
 149                 run:
 150                     module: 'functest.opnfv_tests.sdn.odl.odl'
 151                     class: 'ODLTests'
 152                     args:
 153                         suites:
 154                             -  /home/opnfv/repos/odl_test/csit/suites/integration/basic
 155                             -  /home/opnfv/repos/odl_test/csit/suites/openstack/neutron
 156
 157             -
 158                 name: odl_netvirt
 159                 criteria: 'success_rate == 100%'
 160                 blocking: true
 161                 description: >-
 162                     Test Suite for the OpenDaylight SDN Controller when
 163                     the NetVirt features are installed. It integrates
 164                     some test suites from upstream using Robot as the
 165                     test framework.
 166                 dependencies:
 167                     installer: ''
 168                     scenario: 'netvirt'
 169                 run:
 170                     module: 'functest.opnfv_tests.sdn.odl.odl'
 171                     class: 'ODLTests'
 172                     args:
 173                         suites:
 174                             -  /home/opnfv/repos/odl_test/csit/suites/integration/basic
 175                             -  /home/opnfv/repos/odl_test/csit/suites/openstack/neutron
 176                             -  /home/opnfv/repos/odl_test/csit/suites/openstack/connectivity
 177
 178             -
 179                 name: onos
 180                 criteria: 'status == "PASS"'
 181                 blocking: true
 182                 description: >-
 183                     Test Suite for the ONOS SDN Controller. It integrates
 184                     some test suites from upstream using TestON as the test
 185                     framework.
 186                 dependencies:
 187                     installer: ''
 188                     scenario: 'onos'
 189
 190
 191             -
 192                 name: snaps_smoke
 193                 criteria: 'status == "PASS"'
 194                 blocking: false
 195                 description: >-
 196                     This test case contains tests that setup and destroy
 197                     environments with VMs with and without Floating IPs
 198                     with a newly created user and project. Set the config
 199                     value snaps.use_floating_ips (True|False) to toggle
 200                     this functionality. When the config value of
 201                     snaps.use_keystone is True, functest must have access to
 202                     the cloud's private network.
 203
 204                 dependencies:
 205                     installer: '^((?!netvirt).)*$'
 206                     scenario: ''
 207                 run:
 208                     module: 'functest.opnfv_tests.openstack.snaps.smoke'
 209                     class: 'SnapsSmoke'
 210
 211     -
 212         name: features
 213         order: 2
 214         ci_loop: '(daily)|(weekly)'
 215         description : >-
 216             Test suites from feature projects
 217             integrated in functest
 218         testcases:
 219             -
 220                 name: promise
 221                 criteria: 'success_rate == 100%'
 222                 blocking: false
 223                 description: >-
 224                     Test suite from Promise project.
 225                 dependencies:
 226                     installer: '(fuel)|(joid)'
 227                     scenario: ''
 228                 run:
 229                      module: 'functest.opnfv_tests.features.promise'
 230                      class: 'Promise'
 231
 232             -
 233                 name: doctor
 234                 criteria: 'status == "PASS"'
 235                 blocking: false
 236                 description: >-
 237                     Test suite from Doctor project.
 238                 dependencies:
 239                     installer: '(apex)|(fuel)|(joid)'
 240                     scenario: '^((?!fdio).)*$'
 241                 run:
 242                     module: 'functest.opnfv_tests.features.doctor'
 243                     class: 'Doctor'
 244
 245             -
 246                 name: bgpvpn
 247                 criteria: 'status == "PASS"'
 248                 blocking: false
 249                 description: >-
 250                     Test suite from SDNVPN project.
 251                 dependencies:
 252                     installer: '(fuel)|(apex)|(netvirt)'
 253                     scenario: 'bgpvpn'
 254                 run:
 255                     module: 'functest.opnfv_tests.features.sdnvpn'
 256                     class: 'SdnVpnTests'
 257
 258             -
 259                 name: security_scan
 260                 criteria: 'status == "PASS"'
 261                 blocking: false
 262                 description: >-
 263                     Simple Security Scan
 264                 dependencies:
 265                     installer: 'apex'
 266                     scenario: '^((?!fdio).)*$'
 267                 run:
 268                     module: 'functest.opnfv_tests.features.security_scan'
 269                     class: 'SecurityScan'
 270 #            -
 271 #                name: copper
 272 #                criteria: 'status == "PASS"'
 273 #                blocking: false
 274 #                description: >-
 275 #                    Test suite for policy management based on OpenStack Congress
 276 #                dependencies:
 277 #                    installer: '(apex)|(joid)'
 278 #                    scenario: '^((?!fdio|lxd).)*$'
 279 #                run:
 280 #                    module: 'functest.opnfv_tests.features.copper'
 281 #                    class: 'Copper'
 282             -
 283                 name: multisite
 284                 criteria: 'success_rate == 100%'
 285                 blocking: false
 286                 description: >-
 287                     Test suite from kingbird
 288                 dependencies:
 289                     installer: '(fuel)|(compass)'
 290                     scenario: 'multisite'
 291                 run:
 292                     module: 'functest.opnfv_tests.openstack.tempest.tempest'
 293                     class: 'TempestMultisite'
 294             -
 295                 name: odl-sfc
 296                 criteria: 'status == "PASS"'
 297                 blocking: false
 298                 description: >-
 299                     Test suite for odl-sfc to test two chains and two SFs
 300                 dependencies:
 301                     installer: '(apex)|(fuel)'
 302                     scenario: 'odl_l2-sfc'
 303                 run:
 304                     module: 'functest.opnfv_tests.features.odl_sfc'
 305                     class: 'OpenDaylightSFC'
 306             -
 307                 name: onos_sfc
 308                 criteria: 'status == "PASS"'
 309                 blocking: true
 310                 description: >-
 311                     Test Suite for onos-sfc to test sfc function.
 312                 dependencies:
 313                     installer: ''
 314                     scenario: 'onos-sfc'
 315             -
 316                 name: parser
 317                 criteria: 'ret == 0'
 318                 blocking: false
 319                 description: >-
 320                     Test suite from Parser project.
 321                 dependencies:
 322                     installer: 'fuel'
 323                     scenario: '^((?!bgpvpn|noha).)*$'
 324                 run:
 325                     module: 'functest.opnfv_tests.vnf.rnc.parser'
 326                     class: 'Parser'
 327             -
 328                 name: orchestra
 329                 criteria: 'ret == 0'
 330                 blocking: false
 331                 description: >-
 332                     Test OpenBaton (Orchestra) stack
 333                 dependencies:
 334                     installer: 'joid'
 335                     scenario: 'unknown'
 336                 run:
 337                     module: 'functest.opnfv_tests.features.orchestrator.orchestra'
 338                     class: 'OpenbatonOrchestrator'
 339     -
 340         name: components
 341         order: 3
 342         ci_loop: 'weekly'
 343         description : >-
 344             Extensive testing of OpenStack API.
 345         testcases:
 346             -
 347                 name: tempest_full_parallel
 348                 criteria: 'success_rate >= 80%'
 349                 blocking: false
 350                 description: >-
 351                     The list of test cases is generated by
 352                     Tempest automatically and depends on the parameters of
 353                     the OpenStack deplopyment.
 354                 dependencies:
 355                     installer: '^((?!netvirt).)*$'
 356                     scenario: ''
 357                 run:
 358                     module: 'functest.opnfv_tests.openstack.tempest.tempest'
 359                     class: 'TempestFullParallel'
 360
 361             -
 362                 name: rally_full
 363                 criteria: 'success_rate >= 90%'
 364                 blocking: false
 365                 description: >-
 366                     This test case runs the full suite of scenarios of the OpenStack
 367                     Rally suite using several threads and iterations.
 368                 dependencies:
 369                     installer: '^((?!netvirt).)*$'
 370                     scenario: ''
 371                 run:
 372                     module: 'functest.opnfv_tests.openstack.rally.rally'
 373                     class: 'RallyFull'
 374
 375     -
 376         name: vnf
 377         order: 4
 378         ci_loop: 'weekly'
 379         description : >-
 380             Collection of VNF test cases.
 381         testcases:
 382             -
 383                 name: cloudify_ims
 384                 criteria: 'status == "PASS"'
 385                 blocking: false
 386                 description: >-
 387                     This test case deploys an OpenSource vIMS solution from Clearwater
 388                     using the Cloudify orchestrator. It also runs some signaling traffic.
 389                 dependencies:
 390                     installer: ''
 391                     scenario: '(ocl)|(nosdn)|^(os-odl)((?!bgpvpn).)*$'
 392                 run:
 393                     module: 'functest.opnfv_tests.vnf.ims.cloudify_ims'
 394                     class: 'ImsVnf'
 395             -
 396                 name: aaa
 397                 criteria: 'ret == 0'
 398                 blocking: false
 399                 description: >-
 400                     Test suite from Parser project.
 401                 dependencies:
 402                     installer: ''
 403                     scenario: ''
 404                 run:
 405                     module: 'functest.opnfv_tests.vnf.aaa.aaa'
 406                     class: 'AaaVnf'
 407
 408             -
 409                 name: juju_epc
 410                 criteria: 'ret == 0'
 411                 blocking: false
 412                 description: >-
 413                     Test suite from OAI project, vEPC deployed with Juju.
 414                 dependencies:
 415                     installer: 'unknown'
 416                     scenario: 'unknown'
 417                 run:
 418                     module: 'functest.opnfv_tests.vnf.epc.epc'
 419                     class: 'EpcVnf'
 420
 421             -
 422                 name: orchestra_ims
 423                 criteria: 'ret == 0'
 424                 blocking: false
 425                 description: >-
 426                     VNF deployment with OpenBaton (Orchestra)
 427                 dependencies:
 428                     installer: 'unknown'
 429                     scenario: 'unknown'
 430                 run:
 431                     module: 'functest.opnfv_tests.vnf.ims.orchestra_ims'
 432                     class: 'ImsVnf'
 433
 434             -
 435                 name: opera_ims
 436                 criteria: 'ret == 0'
 437                 blocking: false
 438                 description: >-
 439                     Evolution of vIMS
 440                 dependencies:
 441                     installer: 'unknown'
 442                     scenario: 'unknown'
 443                 run:
 444                     module: 'functest.opnfv_tests.vnf.ims.opera_ims'
 445                     class: 'ImsVnf'