functest/ci/testcases.yaml

   1 tiers:
   2     -
   3         name: healthcheck
   4         order: 0
   5         ci_loop: '(daily)|(weekly)'
   6         description : >-
   7             First tier to be executed to verify the basic
   8             operations in the VIM.
   9         testcases:
  10             -
  11                 name: snaps_health_check
  12                 criteria: 'status == "PASS"'
  13                 blocking: true
  14                 description: >-
  15                     This test case creates executes the SimpleHealthCheck
  16                     Python test class which creates an, image, flavor, network,
  17                     and Cirros VM instance and observes the console output to
  18                     validate the single port obtains the correct IP address.
  19                 dependencies:
  20                     installer: ''
  21                     scenario: '^((?!lxd).)*$'
  22                 run:
  23                     module: 'functest.opnfv_tests.openstack.snaps.health_check'
  24                     class: 'HealthCheck'
  25             -
  26                 name: connection_check
  27                 criteria: 'status == "PASS"'
  28                 blocking: true
  29                 description: >-
  30                     This test case verifies the retrieval of OpenStack clients:
  31                     Keystone, Glance, Neutron and Nova and may perform some
  32                     simple queries. When the config value of
  33                     snaps.use_keystone is True, functest must have access to
  34                     the cloud's private network.
  35
  36                 dependencies:
  37                     installer: '^((?!netvirt).)*$'
  38                     scenario: ''
  39                 run:
  40                     module: 'functest.opnfv_tests.openstack.snaps.connection_check'
  41                     class: 'ConnectionCheck'
  42
  43             -
  44                 name: api_check
  45                 criteria: 'status == "PASS"'
  46                 blocking: true
  47                 description: >-
  48                     This test case verifies the retrieval of OpenStack clients:
  49                     Keystone, Glance, Neutron and Nova and may perform some
  50                     simple queries. When the config value of
  51                     snaps.use_keystone is True, functest must have access to
  52                     the cloud's private network.
  53
  54                 dependencies:
  55                     installer: '^((?!netvirt).)*$'
  56                     scenario: ''
  57                 run:
  58                     module: 'functest.opnfv_tests.openstack.snaps.api_check'
  59                     class: 'ApiCheck'
  60     -
  61         name: smoke
  62         order: 1
  63         ci_loop: '(daily)|(weekly)'
  64         description : >-
  65             Set of basic Functional tests to validate the OPNFV scenarios.
  66         testcases:
  67             -
  68                 name: vping_ssh
  69                 criteria: 'status == "PASS"'
  70                 blocking: true
  71                 description: >-
  72                     This test case verifies: 1) SSH to an instance using floating
  73                     IPs over the public network. 2) Connectivity between 2 instances
  74                     over a private network.
  75                 dependencies:
  76                     installer: ''
  77                     scenario: '^((?!bgpvpn|odl_l3).)*$'
  78                 run:
  79                     module: 'functest.opnfv_tests.openstack.vping.vping_ssh'
  80                     class: 'VPingSSH'
  81
  82             -
  83                 name: vping_userdata
  84                 criteria: 'status == "PASS"'
  85                 blocking: true
  86                 description: >-
  87                     This test case verifies:  1) Boot a VM with given userdata.
  88                     2) Connectivity between 2 instances over a private network.
  89                 dependencies:
  90                     installer: ''
  91                     scenario: '^((?!lxd).)*$'
  92                 run:
  93                     module: 'functest.opnfv_tests.openstack.vping.vping_userdata'
  94                     class: 'VPingUserdata'
  95
  96             -
  97                 name: tempest_smoke_serial
  98                 criteria: 'success_rate == 100%'
  99                 blocking: false
 100                 description: >-
 101                     This test case runs the smoke subset of the OpenStack
 102                     Tempest suite. The list of test cases is generated by
 103                     Tempest automatically and depends on the parameters of
 104                     the OpenStack deplopyment.
 105                 dependencies:
 106                     installer: '^((?!netvirt).)*$'
 107                     scenario: ''
 108                 run:
 109                     module: 'functest.opnfv_tests.openstack.tempest.tempest'
 110                     class: 'TempestSmokeSerial'
 111
 112             -
 113                 name: rally_sanity
 114                 criteria: 'success_rate == 100%'
 115                 blocking: false
 116                 description: >-
 117                     This test case runs a sub group of tests of the OpenStack
 118                     Rally suite in smoke mode.
 119                 dependencies:
 120                     installer: ''
 121                     scenario: '^((?!bgpvpn).)*$'
 122                 run:
 123                     module: 'functest.opnfv_tests.openstack.rally.rally'
 124                     class: 'RallySanity'
 125
 126             -
 127                 name: odl
 128                 criteria: 'success_rate == 100%'
 129                 blocking: true
 130                 description: >-
 131                     Test Suite for the OpenDaylight SDN Controller. It
 132                     integrates some test suites from upstream using
 133                     Robot as the test framework.
 134                 dependencies:
 135                     installer: ''
 136                     scenario: 'odl'
 137                 run:
 138                     module: 'functest.opnfv_tests.sdn.odl.odl'
 139                     class: 'ODLTests'
 140                     args:
 141                         suites:
 142                             -  /home/opnfv/repos/odl_test/csit/suites/integration/basic
 143                             -  /home/opnfv/repos/odl_test/csit/suites/openstack/neutron
 144
 145             -
 146                 name: odl_netvirt
 147                 criteria: 'success_rate == 100%'
 148                 blocking: true
 149                 description: >-
 150                     Test Suite for the OpenDaylight SDN Controller when
 151                     the NetVirt features are installed. It integrates
 152                     some test suites from upstream using Robot as the
 153                     test framework.
 154                 dependencies:
 155                     installer: ''
 156                     scenario: 'netvirt'
 157                 run:
 158                     module: 'functest.opnfv_tests.sdn.odl.odl'
 159                     class: 'ODLTests'
 160                     args:
 161                         suites:
 162                             -  /home/opnfv/repos/odl_test/csit/suites/integration/basic
 163                             -  /home/opnfv/repos/odl_test/csit/suites/openstack/neutron
 164                             -  /home/opnfv/repos/odl_test/csit/suites/openstack/connectivity
 165
 166             -
 167                 name: onos
 168                 criteria: 'status == "PASS"'
 169                 blocking: true
 170                 description: >-
 171                     Test Suite for the ONOS SDN Controller. It integrates
 172                     some test suites from upstream using TestON as the test
 173                     framework.
 174                 dependencies:
 175                     installer: ''
 176                     scenario: 'onos'
 177
 178
 179             -
 180                 name: snaps_smoke
 181                 criteria: 'status == "PASS"'
 182                 blocking: false
 183                 description: >-
 184                     This test case contains tests that setup and destroy
 185                     environments with VMs with and without Floating IPs
 186                     with a newly created user and project. Set the config
 187                     value snaps.use_floating_ips (True|False) to toggle
 188                     this functionality. When the config value of
 189                     snaps.use_keystone is True, functest must have access to
 190                     the cloud's private network.
 191
 192                 dependencies:
 193                     installer: '^((?!netvirt).)*$'
 194                     scenario: ''
 195                 run:
 196                     module: 'functest.opnfv_tests.openstack.snaps.smoke'
 197                     class: 'SnapsSmoke'
 198
 199     -
 200         name: features
 201         order: 2
 202         ci_loop: '(daily)|(weekly)'
 203         description : >-
 204             Test suites from feature projects
 205             integrated in functest
 206         testcases:
 207             -
 208                 name: promise
 209                 criteria: 'success_rate == 100%'
 210                 blocking: false
 211                 description: >-
 212                     Test suite from Promise project.
 213                 dependencies:
 214                     installer: '(fuel)|(joid)'
 215                     scenario: ''
 216                 run:
 217                      module: 'functest.opnfv_tests.features.promise'
 218                      class: 'Promise'
 219
 220             -
 221                 name: doctor
 222                 criteria: 'status == "PASS"'
 223                 blocking: false
 224                 description: >-
 225                     Test suite from Doctor project.
 226                 dependencies:
 227                     installer: '(apex)|(fuel)|(joid)'
 228                     scenario: '^((?!fdio).)*$'
 229                 run:
 230                     module: 'functest.opnfv_tests.features.doctor'
 231                     class: 'Doctor'
 232
 233             -
 234                 name: bgpvpn
 235                 criteria: 'status == "PASS"'
 236                 blocking: false
 237                 description: >-
 238                     Test suite from SDNVPN project.
 239                 dependencies:
 240                     installer: '(fuel)|(apex)|(netvirt)'
 241                     scenario: 'bgpvpn'
 242                 run:
 243                     module: 'functest.opnfv_tests.features.sdnvpn'
 244                     class: 'SdnVpnTests'
 245
 246             -
 247                 name: security_scan
 248                 criteria: 'status == "PASS"'
 249                 blocking: false
 250                 description: >-
 251                     Simple Security Scan
 252                 dependencies:
 253                     installer: 'apex'
 254                     scenario: '^((?!fdio).)*$'
 255                 run:
 256                     module: 'functest.opnfv_tests.features.security_scan'
 257                     class: 'SecurityScan'
 258 #            -
 259 #                name: copper
 260 #                criteria: 'status == "PASS"'
 261 #                blocking: false
 262 #                description: >-
 263 #                    Test suite for policy management based on OpenStack Congress
 264 #                dependencies:
 265 #                    installer: '(apex)|(joid)'
 266 #                    scenario: '^((?!fdio|lxd).)*$'
 267 #                run:
 268 #                    module: 'functest.opnfv_tests.features.copper'
 269 #                    class: 'Copper'
 270             -
 271                 name: multisite
 272                 criteria: 'success_rate == 100%'
 273                 blocking: false
 274                 description: >-
 275                     Test suite from kingbird
 276                 dependencies:
 277                     installer: '(fuel)|(compass)'
 278                     scenario: 'multisite'
 279                 run:
 280                     module: 'functest.opnfv_tests.openstack.tempest.tempest'
 281                     class: 'TempestMultisite'
 282             -
 283                 name: odl-sfc
 284                 criteria: 'status == "PASS"'
 285                 blocking: false
 286                 description: >-
 287                     Test suite for odl-sfc to test two chains and two SFs
 288                 dependencies:
 289                     installer: '(apex)|(fuel)'
 290                     scenario: 'odl_l2-sfc'
 291                 run:
 292                     module: 'functest.opnfv_tests.features.odl_sfc'
 293                     class: 'OpenDaylightSFC'
 294             -
 295                 name: onos_sfc
 296                 criteria: 'status == "PASS"'
 297                 blocking: true
 298                 description: >-
 299                     Test Suite for onos-sfc to test sfc function.
 300                 dependencies:
 301                     installer: ''
 302                     scenario: 'onos-sfc'
 303             -
 304                 name: parser
 305                 criteria: 'ret == 0'
 306                 blocking: false
 307                 description: >-
 308                     Test suite from Parser project.
 309                 dependencies:
 310                     installer: 'fuel'
 311                     scenario: '^((?!bgpvpn|noha).)*$'
 312                 run:
 313                     module: 'functest.opnfv_tests.vnf.rnc.parser'
 314                     class: 'Parser'
 315             -
 316                 name: orchestra
 317                 criteria: 'ret == 0'
 318                 blocking: false
 319                 description: >-
 320                     Test OpenBaton (Orchestra) stack
 321                 dependencies:
 322                     installer: 'joid'
 323                     scenario: 'unknown'
 324                 run:
 325                     module: 'functest.opnfv_tests.features.orchestrator.orchestra'
 326                     class: 'OpenbatonOrchestrator'
 327             -
 328                 name: netready
 329                 criteria: 'status == "PASS"'
 330                 blocking: false
 331                 description: >-
 332                     Test suite from Netready project.
 333                 dependencies:
 334                     installer: 'apex'
 335                     scenario: 'gluon'
 336                 run:
 337                      module: 'functest.opnfv_tests.features.netready'
 338                      class: 'GluonVping'
 339             -
 340                 name: barometer
 341                 criteria: 'status == "PASS"'
 342                 blocking: false
 343                 description: >-
 344                     Test suite for the Barometer project. Separate tests verify the
 345                     proper configuration and functionality of the following
 346                     collectd plugins Ceilometer, Hugepages, Memory RAS (mcelog),
 347                     and OVS Events
 348                 dependencies:
 349                     installer: 'fuel'
 350                     scenario: 'kvm_ovs_dpdk_bar'
 351                 run:
 352                      module: 'functest.opnfv_tests.features.barometer'
 353                      class: 'BarometerCollectd'
 354     -
 355         name: components
 356         order: 3
 357         ci_loop: 'weekly'
 358         description : >-
 359             Extensive testing of OpenStack API.
 360         testcases:
 361             -
 362                 name: tempest_full_parallel
 363                 criteria: 'success_rate >= 80%'
 364                 blocking: false
 365                 description: >-
 366                     The list of test cases is generated by
 367                     Tempest automatically and depends on the parameters of
 368                     the OpenStack deplopyment.
 369                 dependencies:
 370                     installer: '^((?!netvirt).)*$'
 371                     scenario: ''
 372                 run:
 373                     module: 'functest.opnfv_tests.openstack.tempest.tempest'
 374                     class: 'TempestFullParallel'
 375
 376             -
 377                 name: rally_full
 378                 criteria: 'success_rate >= 90%'
 379                 blocking: false
 380                 description: >-
 381                     This test case runs the full suite of scenarios of the OpenStack
 382                     Rally suite using several threads and iterations.
 383                 dependencies:
 384                     installer: '^((?!netvirt).)*$'
 385                     scenario: ''
 386                 run:
 387                     module: 'functest.opnfv_tests.openstack.rally.rally'
 388                     class: 'RallyFull'
 389
 390     -
 391         name: vnf
 392         order: 4
 393         ci_loop: 'weekly'
 394         description : >-
 395             Collection of VNF test cases.
 396         testcases:
 397             -
 398                 name: cloudify_ims
 399                 criteria: 'status == "PASS"'
 400                 blocking: false
 401                 description: >-
 402                     This test case deploys an OpenSource vIMS solution from Clearwater
 403                     using the Cloudify orchestrator. It also runs some signaling traffic.
 404                 dependencies:
 405                     installer: ''
 406                     scenario: '(ocl)|(nosdn)|^(os-odl)((?!bgpvpn).)*$'
 407                 run:
 408                     module: 'functest.opnfv_tests.vnf.ims.cloudify_ims'
 409                     class: 'ImsVnf'
 410             -
 411                 name: aaa
 412                 criteria: 'ret == 0'
 413                 blocking: false
 414                 description: >-
 415                     Test suite from Parser project.
 416                 dependencies:
 417                     installer: ''
 418                     scenario: ''
 419                 run:
 420                     module: 'functest.opnfv_tests.vnf.aaa.aaa'
 421                     class: 'AaaVnf'
 422
 423             -
 424                 name: juju_epc
 425                 criteria: 'ret == 0'
 426                 blocking: false
 427                 description: >-
 428                     Test suite from OAI project, vEPC deployed with Juju.
 429                 dependencies:
 430                     installer: 'unknown'
 431                     scenario: 'unknown'
 432                 run:
 433                     module: 'functest.opnfv_tests.vnf.epc.epc'
 434                     class: 'EpcVnf'
 435
 436             -
 437                 name: orchestra_ims
 438                 criteria: 'ret == 0'
 439                 blocking: false
 440                 description: >-
 441                     VNF deployment with OpenBaton (Orchestra)
 442                 dependencies:
 443                     installer: 'unknown'
 444                     scenario: 'unknown'
 445                 run:
 446                     module: 'functest.opnfv_tests.vnf.ims.orchestra_ims'
 447                     class: 'ImsVnf'
 448
 449             -
 450                 name: opera_ims
 451                 criteria: 'ret == 0'
 452                 blocking: false
 453                 description: >-
 454                     Evolution of vIMS
 455                 dependencies:
 456                     installer: 'unknown'
 457                     scenario: 'unknown'
 458                 run:
 459                     module: 'functest.opnfv_tests.vnf.ims.opera_ims'
 460                     class: 'ImsVnf'