functest/ci/testcases.yaml

   1 tiers:
   2     -
   3         name: healthcheck
   4         order: 0
   5         ci_loop: '(daily)|(weekly)'
   6         description : >-
   7             First tier to be executed to verify the basic
   8             operations in the VIM.
   9         testcases:
  10             -
  11                 name: healthcheck
  12                 criteria: 'status == "PASS"'
  13                 blocking: true
  14                 description: >-
  15                     This test case verifies the basic OpenStack services like
  16                     Keystone, Glance, Cinder, Neutron and Nova.
  17
  18                 dependencies:
  19                     installer: ''
  20                     scenario: '^((?!lxd).)*$'
  21
  22     -
  23         name: smoke
  24         order: 1
  25         ci_loop: '(daily)|(weekly)'
  26         description : >-
  27             Set of basic Functional tests to validate the OPNFV scenarios.
  28         testcases:
  29             -
  30                 name: vping_ssh
  31                 criteria: 'status == "PASS"'
  32                 blocking: true
  33                 description: >-
  34                     This test case verifies: 1) SSH to an instance using floating
  35                     IPs over the public network. 2) Connectivity between 2 instances
  36                     over a private network.
  37                 dependencies:
  38                     installer: ''
  39                     scenario: '^((?!bgpvpn|odl_l3).)*$'
  40                 run:
  41                     module: 'functest.opnfv_tests.openstack.vping.vping_ssh'
  42                     class: 'VPingSSH'
  43
  44             -
  45                 name: vping_userdata
  46                 criteria: 'status == "PASS"'
  47                 blocking: true
  48                 description: >-
  49                     This test case verifies:  1) Boot a VM with given userdata.
  50                     2) Connectivity between 2 instances over a private network.
  51                 dependencies:
  52                     installer: ''
  53                     scenario: '^((?!lxd).)*$'
  54                 run:
  55                     module: 'functest.opnfv_tests.openstack.vping.vping_userdata'
  56                     class: 'VPingUserdata'
  57
  58             -
  59                 name: tempest_smoke_serial
  60                 criteria: 'success_rate == 100%'
  61                 blocking: false
  62                 description: >-
  63                     This test case runs the smoke subset of the OpenStack
  64                     Tempest suite. The list of test cases is generated by
  65                     Tempest automatically and depends on the parameters of
  66                     the OpenStack deplopyment.
  67                 dependencies:
  68                     installer: '^((?!netvirt).)*$'
  69                     scenario: ''
  70                 run:
  71                     module: 'functest.opnfv_tests.openstack.tempest.tempest'
  72                     class: 'TempestSmokeSerial'
  73
  74             -
  75                 name: rally_sanity
  76                 criteria: 'success_rate == 100%'
  77                 blocking: false
  78                 description: >-
  79                     This test case runs a sub group of tests of the OpenStack
  80                     Rally suite in smoke mode.
  81                 dependencies:
  82                     installer: ''
  83                     scenario: '^((?!bgpvpn).)*$'
  84                 run:
  85                     module: 'functest.opnfv_tests.openstack.rally.rally'
  86                     class: 'RallySanity'
  87
  88             -
  89                 name: odl
  90                 criteria: 'success_rate == 100%'
  91                 blocking: true
  92                 description: >-
  93                     Test Suite for the OpenDaylight SDN Controller. It
  94                     integrates some test suites from upstream using
  95                     Robot as the test framework.
  96                 dependencies:
  97                     installer: ''
  98                     scenario: 'odl'
  99                 run:
 100                     module: 'functest.opnfv_tests.sdn.odl.odl'
 101                     class: 'ODLTests'
 102                     args:
 103                         suites:
 104                             -  /home/opnfv/repos/odl_test/csit/suites/integration/basic
 105                             -  /home/opnfv/repos/odl_test/csit/suites/openstack/neutron
 106
 107             -
 108                 name: odl_netvirt
 109                 criteria: 'success_rate == 100%'
 110                 blocking: true
 111                 description: >-
 112                     Test Suite for the OpenDaylight SDN Controller when
 113                     the NetVirt features are installed. It integrates
 114                     some test suites from upstream using Robot as the
 115                     test framework.
 116                 dependencies:
 117                     installer: ''
 118                     scenario: 'netvirt'
 119                 run:
 120                     module: 'functest.opnfv_tests.sdn.odl.odl'
 121                     class: 'ODLTests'
 122                     args:
 123                         suites:
 124                             -  /home/opnfv/repos/odl_test/csit/suites/integration/basic
 125                             -  /home/opnfv/repos/odl_test/csit/suites/openstack/neutron
 126                             -  /home/opnfv/repos/odl_test/csit/suites/openstack/connectivity
 127
 128             -
 129                 name: onos
 130                 criteria: 'status == "PASS"'
 131                 blocking: true
 132                 description: >-
 133                     Test Suite for the ONOS SDN Controller. It integrates
 134                     some test suites from upstream using TestON as the test
 135                     framework.
 136                 dependencies:
 137                     installer: ''
 138                     scenario: 'onos'
 139
 140             -
 141                 name: connection_check
 142                 criteria: 'status == "PASS"'
 143                 blocking: false
 144                 description: >-
 145                     This test case verifies the retrieval of OpenStack clients:
 146                     Keystone, Glance, Neutron and Nova and may perform some
 147                     simple queries. When the config value of
 148                     snaps.use_keystone is True, functest must have access to
 149                     the cloud's private network.
 150
 151                 dependencies:
 152                     installer: '^((?!netvirt).)*$'
 153                     scenario: ''
 154                 run:
 155                     module: 'functest.opnfv_tests.openstack.snaps.connection_check'
 156                     class: 'ConnectionCheck'
 157
 158             -
 159                 name: api_check
 160                 criteria: 'status == "PASS"'
 161                 blocking: false
 162                 description: >-
 163                     This test case verifies the retrieval of OpenStack clients:
 164                     Keystone, Glance, Neutron and Nova and may perform some
 165                     simple queries. When the config value of
 166                     snaps.use_keystone is True, functest must have access to
 167                     the cloud's private network.
 168
 169                 dependencies:
 170                     installer: '^((?!netvirt).)*$'
 171                     scenario: ''
 172                 run:
 173                     module: 'functest.opnfv_tests.openstack.snaps.api_check'
 174                     class: 'ApiCheck'
 175
 176             -
 177                 name: snaps_smoke
 178                 criteria: 'status == "PASS"'
 179                 blocking: false
 180                 description: >-
 181                     This test case contains tests that setup and destroy
 182                     environments with VMs with and without Floating IPs
 183                     with a newly created user and project. Set the config
 184                     value snaps.use_floating_ips (True|False) to toggle
 185                     this functionality. When the config value of
 186                     snaps.use_keystone is True, functest must have access to
 187                     the cloud's private network.
 188
 189                 dependencies:
 190                     installer: '^((?!netvirt).)*$'
 191                     scenario: ''
 192                 run:
 193                     module: 'functest.opnfv_tests.openstack.snaps.smoke'
 194                     class: 'SnapsSmoke'
 195
 196     -
 197         name: features
 198         order: 2
 199         ci_loop: '(daily)|(weekly)'
 200         description : >-
 201             Test suites from feature projects
 202             integrated in functest
 203         testcases:
 204             -
 205                 name: promise
 206                 criteria: 'success_rate == 100%'
 207                 blocking: false
 208                 description: >-
 209                     Test suite from Promise project.
 210                 dependencies:
 211                     installer: '(fuel)|(joid)'
 212                     scenario: ''
 213                 run:
 214                      module: 'functest.opnfv_tests.features.promise'
 215                      class: 'Promise'
 216
 217             -
 218                 name: doctor
 219                 criteria: 'status == "PASS"'
 220                 blocking: false
 221                 description: >-
 222                     Test suite from Doctor project.
 223                 dependencies:
 224                     installer: '(apex)|(fuel)|(joid)'
 225                     scenario: '^((?!fdio).)*$'
 226                 run:
 227                     module: 'functest.opnfv_tests.features.doctor'
 228                     class: 'Doctor'
 229
 230             -
 231                 name: bgpvpn
 232                 criteria: 'status == "PASS"'
 233                 blocking: false
 234                 description: >-
 235                     Test suite from SDNVPN project.
 236                 dependencies:
 237                     installer: '(fuel)|(apex)|(netvirt)'
 238                     scenario: 'bgpvpn'
 239                 run:
 240                     module: 'functest.opnfv_tests.features.sdnvpn'
 241                     class: 'SdnVpnTests'
 242
 243             -
 244                 name: security_scan
 245                 criteria: 'status == "PASS"'
 246                 blocking: false
 247                 description: >-
 248                     Simple security Scan
 249                 dependencies:
 250                     installer: 'apex'
 251                     scenario: '^((?!fdio).)*$'
 252 #            -
 253 #                name: copper
 254 #                criteria: 'status == "PASS"'
 255 #                blocking: false
 256 #                description: >-
 257 #                    Test suite for policy management based on OpenStack Congress
 258 #                dependencies:
 259 #                    installer: '(apex)|(joid)'
 260 #                    scenario: '^((?!fdio|lxd).)*$'
 261 #                run:
 262 #                    module: 'functest.opnfv_tests.features.copper'
 263 #                    class: 'Copper'
 264             -
 265                 name: moon
 266                 criteria: 'status == "PASS"'
 267                 blocking: false
 268                 description: >-
 269                     Security management system for OPNFV
 270                 dependencies:
 271                     installer: 'compass'
 272                     scenario: '(odl)*(moon)'
 273             -
 274                 name: multisite
 275                 criteria: 'success_rate == 100%'
 276                 blocking: false
 277                 description: >-
 278                     Test suite from kingbird
 279                 dependencies:
 280                     installer: '(fuel)|(compass)'
 281                     scenario: 'multisite'
 282                 run:
 283                     module: 'functest.opnfv_tests.openstack.tempest.tempest'
 284                     class: 'TempestMultisite'
 285             -
 286                 name: odl-sfc
 287                 criteria: 'status == "PASS"'
 288                 blocking: false
 289                 description: >-
 290                     Test suite for odl-sfc to test two chains and two SFs
 291                 dependencies:
 292                     installer: '(apex)|(fuel)'
 293                     scenario: 'odl_l2-sfc'
 294                 run:
 295                     module: 'functest.opnfv_tests.features.odl_sfc'
 296                     class: 'OpenDaylightSFC'
 297             -
 298                 name: onos_sfc
 299                 criteria: 'status == "PASS"'
 300                 blocking: true
 301                 description: >-
 302                     Test Suite for onos-sfc to test sfc function.
 303                 dependencies:
 304                     installer: ''
 305                     scenario: 'onos-sfc'
 306             -
 307                 name: parser
 308                 criteria: 'ret == 0'
 309                 blocking: false
 310                 description: >-
 311                     Test suite from Parser project.
 312                 dependencies:
 313                     installer: 'fuel'
 314                     scenario: '^((?!bgpvpn|noha).)*$'
 315                 run:
 316                     module: 'functest.opnfv_tests.vnf.rnc.parser'
 317                     class: 'Parser'
 318             -
 319                 name: orchestra
 320                 criteria: 'ret == 0'
 321                 blocking: false
 322                 description: >-
 323                     Test OpenBaton (Orchestra) stack
 324                 dependencies:
 325                     installer: 'joid'
 326                     scenario: 'unknown'
 327                 run:
 328                     module: 'functest.opnfv_tests.features.orchestrator.orchestra'
 329                     class: 'OpenbatonOrchestrator'
 330     -
 331         name: components
 332         order: 3
 333         ci_loop: 'weekly'
 334         description : >-
 335             Extensive testing of OpenStack API.
 336         testcases:
 337             -
 338                 name: tempest_full_parallel
 339                 criteria: 'success_rate >= 80%'
 340                 blocking: false
 341                 description: >-
 342                     The list of test cases is generated by
 343                     Tempest automatically and depends on the parameters of
 344                     the OpenStack deplopyment.
 345                 dependencies:
 346                     installer: '^((?!netvirt).)*$'
 347                     scenario: ''
 348                 run:
 349                     module: 'functest.opnfv_tests.openstack.tempest.tempest'
 350                     class: 'TempestFullParallel'
 351
 352             -
 353                 name: rally_full
 354                 criteria: 'success_rate >= 90%'
 355                 blocking: false
 356                 description: >-
 357                     This test case runs the full suite of scenarios of the OpenStack
 358                     Rally suite using several threads and iterations.
 359                 dependencies:
 360                     installer: '^((?!netvirt).)*$'
 361                     scenario: ''
 362                 run:
 363                     module: 'functest.opnfv_tests.openstack.rally.rally'
 364                     class: 'RallyFull'
 365
 366     -
 367         name: vnf
 368         order: 4
 369         ci_loop: 'weekly'
 370         description : >-
 371             Collection of VNF test cases.
 372         testcases:
 373             -
 374                 name: cloudify_ims
 375                 criteria: 'status == "PASS"'
 376                 blocking: false
 377                 description: >-
 378                     This test case deploys an OpenSource vIMS solution from Clearwater
 379                     using the Cloudify orchestrator. It also runs some signaling traffic.
 380                 dependencies:
 381                     installer: ''
 382                     scenario: '(ocl)|(nosdn)|^(os-odl)((?!bgpvpn).)*$'
 383                 run:
 384                     module: 'functest.opnfv_tests.vnf.ims.cloudify_ims'
 385                     class: 'ImsVnf'
 386             -
 387                 name: aaa
 388                 criteria: 'ret == 0'
 389                 blocking: false
 390                 description: >-
 391                     Test suite from Parser project.
 392                 dependencies:
 393                     installer: ''
 394                     scenario: ''
 395                 run:
 396                     module: 'functest.opnfv_tests.vnf.aaa.aaa'
 397                     class: 'AaaVnf'
 398
 399             -
 400                 name: juju_epc
 401                 criteria: 'ret == 0'
 402                 blocking: false
 403                 description: >-
 404                     Test suite from OAI project, vEPC deployed with Juju.
 405                 dependencies:
 406                     installer: 'unknown'
 407                     scenario: 'unknown'
 408                 run:
 409                     module: 'functest.opnfv_tests.vnf.epc.epc'
 410                     class: 'EpcVnf'
 411
 412             -
 413                 name: orchestra_ims
 414                 criteria: 'ret == 0'
 415                 blocking: false
 416                 description: >-
 417                     VNF deployment with OpenBaton (Orchestra)
 418                 dependencies:
 419                     installer: 'unknown'
 420                     scenario: 'unknown'
 421                 run:
 422                     module: 'functest.opnfv_tests.vnf.ims.orchestra_ims'
 423                     class: 'ImsVnf'
 424
 425             -
 426                 name: opera_ims
 427                 criteria: 'ret == 0'
 428                 blocking: false
 429                 description: >-
 430                     Evolution of vIMS
 431                 dependencies:
 432                     installer: 'unknown'
 433                     scenario: 'unknown'
 434                 run:
 435                     module: 'functest.opnfv_tests.vnf.ims.opera_ims'
 436                     class: 'ImsVnf'