functest/ci/testcases.yaml

   1 tiers:
   2     -
   3         name: healthcheck
   4         order: 0
   5         ci_loop: '(daily)|(weekly)'
   6         description : >-
   7             First tier to be executed to verify the basic
   8             operations in the VIM.
   9         testcases:
  10             -
  11                 name: healthcheck
  12                 criteria: 'status == "PASS"'
  13                 blocking: true
  14                 description: >-
  15                     This test case verifies the basic OpenStack services like
  16                     Keystone, Glance, Cinder, Neutron and Nova.
  17
  18                 dependencies:
  19                     installer: ''
  20                     scenario: '^((?!lxd).)*$'
  21
  22     -
  23         name: smoke
  24         order: 1
  25         ci_loop: '(daily)|(weekly)'
  26         description : >-
  27             Set of basic Functional tests to validate the OPNFV scenarios.
  28         testcases:
  29             -
  30                 name: vping_ssh
  31                 criteria: 'status == "PASS"'
  32                 blocking: true
  33                 description: >-
  34                     This test case verifies: 1) SSH to an instance using floating
  35                     IPs over the public network. 2) Connectivity between 2 instances
  36                     over a private network.
  37                 dependencies:
  38                     installer: ''
  39                     scenario: '^((?!bgpvpn|odl_l3).)*$'
  40                 run:
  41                     module: 'functest.opnfv_tests.openstack.vping.vping_ssh'
  42                     class: 'VPingSSH'
  43
  44             -
  45                 name: vping_userdata
  46                 criteria: 'status == "PASS"'
  47                 blocking: true
  48                 description: >-
  49                     This test case verifies:  1) Boot a VM with given userdata.
  50                     2) Connectivity between 2 instances over a private network.
  51                 dependencies:
  52                     installer: ''
  53                     scenario: '^((?!lxd).)*$'
  54                 run:
  55                     module: 'functest.opnfv_tests.openstack.vping.vping_userdata'
  56                     class: 'VPingUserdata'
  57
  58             -
  59                 name: tempest_smoke_serial
  60                 criteria: 'success_rate == 100%'
  61                 blocking: false
  62                 description: >-
  63                     This test case runs the smoke subset of the OpenStack
  64                     Tempest suite. The list of test cases is generated by
  65                     Tempest automatically and depends on the parameters of
  66                     the OpenStack deplopyment.
  67                 dependencies:
  68                     installer: '^((?!netvirt).)*$'
  69                     scenario: ''
  70                 run:
  71                     module: 'functest.opnfv_tests.openstack.tempest.tempest'
  72                     class: 'TempestSmokeSerial'
  73
  74             -
  75                 name: rally_sanity
  76                 criteria: 'success_rate == 100%'
  77                 blocking: false
  78                 description: >-
  79                     This test case runs a sub group of tests of the OpenStack
  80                     Rally suite in smoke mode.
  81                 dependencies:
  82                     installer: ''
  83                     scenario: '^((?!bgpvpn).)*$'
  84                 run:
  85                     module: 'functest.opnfv_tests.openstack.rally.rally'
  86                     class: 'RallySanity'
  87
  88             -
  89                 name: odl
  90                 criteria: 'success_rate == 100%'
  91                 blocking: true
  92                 description: >-
  93                     Test Suite for the OpenDaylight SDN Controller. It integrates
  94                     some test suites from upstream using Robot as the test
  95                     framework.
  96                 dependencies:
  97                     installer: ''
  98                     scenario: 'odl'
  99                 run:
 100                     module: 'functest.opnfv_tests.sdn.odl.odl'
 101                     class: 'ODLTests'
 102                     args:
 103                         suites:
 104                             -  /home/opnfv/repos/odl_test/csit/suites/integration/basic
 105                             -  /home/opnfv/repos/odl_test/csit/suites/openstack/neutron
 106
 107             -
 108                 name: onos
 109                 criteria: 'status == "PASS"'
 110                 blocking: true
 111                 description: >-
 112                     Test Suite for the ONOS SDN Controller. It integrates
 113                     some test suites from upstream using TestON as the test
 114                     framework.
 115                 dependencies:
 116                     installer: ''
 117                     scenario: 'onos'
 118
 119             -
 120                 name: connection_check
 121                 criteria: 'status == "PASS"'
 122                 blocking: false
 123                 description: >-
 124                     This test case verifies the retrieval of OpenStack clients:
 125                     Keystone, Glance, Neutron and Nova and may perform some
 126                     simple queries. When the config value of
 127                     snaps.use_keystone is True, functest must have access to
 128                     the cloud's private network.
 129
 130                 dependencies:
 131                     installer: '^((?!netvirt).)*$'
 132                     scenario: ''
 133                 run:
 134                     module: 'functest.opnfv_tests.openstack.snaps.connection_check'
 135                     class: 'ConnectionCheck'
 136
 137             -
 138                 name: api_check
 139                 criteria: 'status == "PASS"'
 140                 blocking: false
 141                 description: >-
 142                     This test case verifies the retrieval of OpenStack clients:
 143                     Keystone, Glance, Neutron and Nova and may perform some
 144                     simple queries. When the config value of
 145                     snaps.use_keystone is True, functest must have access to
 146                     the cloud's private network.
 147
 148                 dependencies:
 149                     installer: '^((?!netvirt).)*$'
 150                     scenario: ''
 151                 run:
 152                     module: 'functest.opnfv_tests.openstack.snaps.api_check'
 153                     class: 'ApiCheck'
 154
 155             -
 156                 name: snaps_smoke
 157                 criteria: 'status == "PASS"'
 158                 blocking: false
 159                 description: >-
 160                     This test case contains tests that setup and destroy
 161                     environments with VMs with and without Floating IPs
 162                     with a newly created user and project. Set the config
 163                     value snaps.use_floating_ips (True|False) to toggle
 164                     this functionality. When the config value of
 165                     snaps.use_keystone is True, functest must have access to
 166                     the cloud's private network.
 167
 168                 dependencies:
 169                     installer: '^((?!netvirt).)*$'
 170                     scenario: ''
 171                 run:
 172                     module: 'functest.opnfv_tests.openstack.snaps.smoke'
 173                     class: 'SnapsSmoke'
 174
 175     -
 176         name: features
 177         order: 2
 178         ci_loop: '(daily)|(weekly)'
 179         description : >-
 180             Test suites from feature projects
 181             integrated in functest
 182         testcases:
 183             -
 184                 name: promise
 185                 criteria: 'success_rate == 100%'
 186                 blocking: false
 187                 description: >-
 188                     Test suite from Promise project.
 189                 dependencies:
 190                     installer: '(fuel)|(joid)'
 191                     scenario: ''
 192                 run:
 193                      module: 'functest.opnfv_tests.features.promise'
 194                      class: 'Promise'
 195
 196             -
 197                 name: doctor
 198                 criteria: 'status == "PASS"'
 199                 blocking: false
 200                 description: >-
 201                     Test suite from Doctor project.
 202                 dependencies:
 203                     installer: '(apex)|(fuel)|(joid)'
 204                     scenario: '^((?!fdio).)*$'
 205                 run:
 206                     module: 'functest.opnfv_tests.features.doctor'
 207                     class: 'Doctor'
 208
 209             -
 210                 name: bgpvpn
 211                 criteria: 'status == "PASS"'
 212                 blocking: false
 213                 description: >-
 214                     Test suite from SDNVPN project.
 215                 dependencies:
 216                     installer: '(fuel)|(apex)|(netvirt)'
 217                     scenario: 'bgpvpn'
 218                 run:
 219                     module: 'functest.opnfv_tests.features.sdnvpn'
 220                     class: 'SdnVpnTests'
 221
 222             -
 223                 name: security_scan
 224                 criteria: 'status == "PASS"'
 225                 blocking: false
 226                 description: >-
 227                     Simple security Scan
 228                 dependencies:
 229                     installer: 'apex'
 230                     scenario: '^((?!fdio).)*$'
 231 #            -
 232 #                name: copper
 233 #                criteria: 'status == "PASS"'
 234 #                blocking: false
 235 #                description: >-
 236 #                    Test suite for policy management based on OpenStack Congress
 237 #                dependencies:
 238 #                    installer: '(apex)|(joid)'
 239 #                    scenario: '^((?!fdio|lxd).)*$'
 240 #                run:
 241 #                    module: 'functest.opnfv_tests.features.copper'
 242 #                    class: 'Copper'
 243             -
 244                 name: moon
 245                 criteria: 'status == "PASS"'
 246                 blocking: false
 247                 description: >-
 248                     Security management system for OPNFV
 249                 dependencies:
 250                     installer: 'compass'
 251                     scenario: '(odl)*(moon)'
 252             -
 253                 name: multisite
 254                 criteria: 'success_rate == 100%'
 255                 blocking: false
 256                 description: >-
 257                     Test suite from kingbird
 258                 dependencies:
 259                     installer: '(fuel)|(compass)'
 260                     scenario: 'multisite'
 261                 run:
 262                     module: 'functest.opnfv_tests.openstack.tempest.tempest'
 263                     class: 'TempestMultisite'
 264             -
 265                 name: odl-sfc
 266                 criteria: 'status == "PASS"'
 267                 blocking: false
 268                 description: >-
 269                     Test suite for odl-sfc to test two chains and two SFs
 270                 dependencies:
 271                     installer: '(apex)|(fuel)'
 272                     scenario: 'odl_l2-sfc'
 273                 run:
 274                     module: 'functest.opnfv_tests.features.odl_sfc'
 275                     class: 'OpenDaylightSFC'
 276             -
 277                 name: onos_sfc
 278                 criteria: 'status == "PASS"'
 279                 blocking: true
 280                 description: >-
 281                     Test Suite for onos-sfc to test sfc function.
 282                 dependencies:
 283                     installer: ''
 284                     scenario: 'onos-sfc'
 285             -
 286                 name: parser
 287                 criteria: 'ret == 0'
 288                 blocking: false
 289                 description: >-
 290                     Test suite from Parser project.
 291                 dependencies:
 292                     installer: 'fuel'
 293                     scenario: '^((?!bgpvpn|noha).)*$'
 294                 run:
 295                     module: 'functest.opnfv_tests.vnf.rnc.parser'
 296                     class: 'Parser'
 297             -
 298                 name: orchestra
 299                 criteria: 'ret == 0'
 300                 blocking: false
 301                 description: >-
 302                     Test OpenBaton (Orchestra) stack
 303                 dependencies:
 304                     installer: 'joid'
 305                     scenario: 'unknown'
 306                 run:
 307                     module: 'functest.opnfv_tests.features.orchestrator.orchestra'
 308                     class: 'OpenbatonOrchestrator'
 309     -
 310         name: components
 311         order: 3
 312         ci_loop: 'weekly'
 313         description : >-
 314             Extensive testing of OpenStack API.
 315         testcases:
 316             -
 317                 name: tempest_full_parallel
 318                 criteria: 'success_rate >= 80%'
 319                 blocking: false
 320                 description: >-
 321                     The list of test cases is generated by
 322                     Tempest automatically and depends on the parameters of
 323                     the OpenStack deplopyment.
 324                 dependencies:
 325                     installer: '^((?!netvirt).)*$'
 326                     scenario: ''
 327                 run:
 328                     module: 'functest.opnfv_tests.openstack.tempest.tempest'
 329                     class: 'TempestFullParallel'
 330
 331             -
 332                 name: rally_full
 333                 criteria: 'success_rate >= 90%'
 334                 blocking: false
 335                 description: >-
 336                     This test case runs the full suite of scenarios of the OpenStack
 337                     Rally suite using several threads and iterations.
 338                 dependencies:
 339                     installer: '^((?!netvirt).)*$'
 340                     scenario: ''
 341                 run:
 342                     module: 'functest.opnfv_tests.openstack.rally.rally'
 343                     class: 'RallyFull'
 344
 345     -
 346         name: vnf
 347         order: 4
 348         ci_loop: 'weekly'
 349         description : >-
 350             Collection of VNF test cases.
 351         testcases:
 352             -
 353                 name: cloudify_ims
 354                 criteria: 'status == "PASS"'
 355                 blocking: false
 356                 description: >-
 357                     This test case deploys an OpenSource vIMS solution from Clearwater
 358                     using the Cloudify orchestrator. It also runs some signaling traffic.
 359                 dependencies:
 360                     installer: ''
 361                     scenario: '(ocl)|(nosdn)|^(os-odl)((?!bgpvpn).)*$'
 362                 run:
 363                     module: 'functest.opnfv_tests.vnf.ims.cloudify_ims'
 364                     class: 'ImsVnf'
 365             -
 366                 name: aaa
 367                 criteria: 'ret == 0'
 368                 blocking: false
 369                 description: >-
 370                     Test suite from Parser project.
 371                 dependencies:
 372                     installer: ''
 373                     scenario: ''
 374                 run:
 375                     module: 'functest.opnfv_tests.vnf.aaa.aaa'
 376                     class: 'AaaVnf'
 377
 378             -
 379                 name: juju_epc
 380                 criteria: 'ret == 0'
 381                 blocking: false
 382                 description: >-
 383                     Test suite from OAI project, vEPC deployed with Juju.
 384                 dependencies:
 385                     installer: 'unknown'
 386                     scenario: 'unknown'
 387                 run:
 388                     module: 'functest.opnfv_tests.vnf.epc.epc'
 389                     class: 'EpcVnf'
 390
 391             -
 392                 name: orchestra_ims
 393                 criteria: 'ret == 0'
 394                 blocking: false
 395                 description: >-
 396                     VNF deployment with OpenBaton (Orchestra)
 397                 dependencies:
 398                     installer: 'unknown'
 399                     scenario: 'unknown'
 400                 run:
 401                     module: 'functest.opnfv_tests.vnf.ims.orchestra_ims'
 402                     class: 'ImsVnf'
 403
 404             -
 405                 name: opera_ims
 406                 criteria: 'ret == 0'
 407                 blocking: false
 408                 description: >-
 409                     Evolution of vIMS
 410                 dependencies:
 411                     installer: 'unknown'
 412                     scenario: 'unknown'
 413                 run:
 414                     module: 'functest.opnfv_tests.vnf.ims.opera_ims'
 415                     class: 'ImsVnf'