functest/ci/testcases.yaml

   1 tiers:
   2     -
   3         name: healthcheck
   4         order: 0
   5         ci_loop: '(daily)|(weekly)'
   6         description : >-
   7             First tier to be executed to verify the basic
   8             operations in the VIM.
   9         testcases:
  10             -
  11                 name: healthcheck
  12                 criteria: 'status == "PASS"'
  13                 blocking: true
  14                 description: >-
  15                     This test case verifies the basic OpenStack services like
  16                     Keystone, Glance, Cinder, Neutron and Nova.
  17
  18                 dependencies:
  19                     installer: ''
  20                     scenario: '^((?!lxd).)*$'
  21
  22             -
  23                 name: connection_check
  24                 criteria: 'status == "PASS"'
  25                 blocking: true
  26                 description: >-
  27                     This test case verifies the retrieval of OpenStack clients:
  28                     Keystone, Glance, Neutron and Nova and may perform some
  29                     simple queries. When the config value of
  30                     snaps.use_keystone is True, functest must have access to
  31                     the cloud's private network.
  32
  33                 dependencies:
  34                     installer: ''
  35                     scenario: ''
  36                 run:
  37                     module: 'functest.opnfv_tests.openstack.snaps.connection_check'
  38                     class: 'ConnectionCheck'
  39
  40             -
  41                 name: api_check
  42                 criteria: 'status == "PASS"'
  43                 blocking: true
  44                 description: >-
  45                     This test case verifies the retrieval of OpenStack clients:
  46                     Keystone, Glance, Neutron and Nova and may perform some
  47                     simple queries. When the config value of
  48                     snaps.use_keystone is True, functest must have access to
  49                     the cloud's private network.
  50
  51                 dependencies:
  52                     installer: ''
  53                     scenario: ''
  54                 run:
  55                     module: 'functest.opnfv_tests.openstack.snaps.api_check'
  56                     class: 'ApiCheck'
  57
  58     -
  59         name: smoke
  60         order: 1
  61         ci_loop: '(daily)|(weekly)'
  62         description : >-
  63             Set of basic Functional tests to validate the OPNFV scenarios.
  64         testcases:
  65             -
  66                 name: vping_ssh
  67                 criteria: 'status == "PASS"'
  68                 blocking: true
  69                 description: >-
  70                     This test case verifies: 1) SSH to an instance using floating
  71                     IPs over the public network. 2) Connectivity between 2 instances
  72                     over a private network.
  73                 dependencies:
  74                     installer: ''
  75                     scenario: '^((?!bgpvpn|odl_l3).)*$'
  76                 run:
  77                     module: 'functest.opnfv_tests.openstack.vping.vping_ssh'
  78                     class: 'VPingSSH'
  79
  80             -
  81                 name: vping_userdata
  82                 criteria: 'status == "PASS"'
  83                 blocking: true
  84                 description: >-
  85                     This test case verifies:  1) Boot a VM with given userdata.
  86                     2) Connectivity between 2 instances over a private network.
  87                 dependencies:
  88                     installer: ''
  89                     scenario: '^((?!lxd).)*$'
  90                 run:
  91                     module: 'functest.opnfv_tests.openstack.vping.vping_userdata'
  92                     class: 'VPingUserdata'
  93
  94             -
  95                 name: tempest_smoke_serial
  96                 criteria: 'success_rate == 100%'
  97                 blocking: false
  98                 description: >-
  99                     This test case runs the smoke subset of the OpenStack
 100                     Tempest suite. The list of test cases is generated by
 101                     Tempest automatically and depends on the parameters of
 102                     the OpenStack deplopyment.
 103                 dependencies:
 104                     installer: ''
 105                     scenario: ''
 106             -
 107                 name: rally_sanity
 108                 criteria: 'success_rate == 100%'
 109                 blocking: false
 110                 description: >-
 111                     This test case runs a sub group of tests of the OpenStack
 112                     Rally suite in smoke mode.
 113                 dependencies:
 114                     installer: ''
 115                     scenario: '^((?!bgpvpn).)*$'
 116
 117             -
 118                 name: odl
 119                 criteria: 'success_rate == 100%'
 120                 blocking: true
 121                 description: >-
 122                     Test Suite for the OpenDaylight SDN Controller. It integrates
 123                     some test suites from upstream using Robot as the test
 124                     framework.
 125                 dependencies:
 126                     installer: ''
 127                     scenario: 'odl'
 128                 run:
 129                     module: 'functest.opnfv_tests.sdn.odl.odl'
 130                     class: 'ODLTests'
 131
 132             -
 133                 name: onos
 134                 criteria: 'status == "PASS"'
 135                 blocking: true
 136                 description: >-
 137                     Test Suite for the ONOS SDN Controller. It integrates
 138                     some test suites from upstream using TestON as the test
 139                     framework.
 140                 dependencies:
 141                     installer: ''
 142                     scenario: 'onos'
 143
 144             -
 145                 name: snaps_smoke
 146                 criteria: 'status == "PASS"'
 147                 blocking: true
 148                 description: >-
 149                     This test case contains tests that setup and destroy
 150                     environments with VMs with and without Floating IPs
 151                     with a newly created user and project. Set the config
 152                     value snaps.use_floating_ips (True|False) to toggle
 153                     this functionality. When the config value of
 154                     snaps.use_keystone is True, functest must have access to
 155                     the cloud's private network.
 156
 157                 dependencies:
 158                     installer: ''
 159                     scenario: ''
 160                 run:
 161                     module: 'functest.opnfv_tests.openstack.snaps.smoke'
 162                     class: 'SnapsSmoke'
 163
 164     -
 165         name: features
 166         order: 2
 167         ci_loop: '(daily)|(weekly)'
 168         description : >-
 169             Test suites from feature projects
 170             integrated in functest
 171         testcases:
 172             -
 173                 name: promise
 174                 criteria: 'success_rate == 100%'
 175                 blocking: false
 176                 description: >-
 177                     Test suite from Promise project.
 178                 dependencies:
 179                     installer: '(fuel)|(joid)'
 180                     scenario: ''
 181
 182             -
 183                 name: doctor
 184                 criteria: 'status == "PASS"'
 185                 blocking: false
 186                 description: >-
 187                     Test suite from Doctor project.
 188                 dependencies:
 189                     installer: 'apex'
 190                     scenario: '^((?!fdio).)*$'
 191
 192             -
 193                 name: bgpvpn
 194                 criteria: 'status == "PASS"'
 195                 blocking: false
 196                 description: >-
 197                     Test suite from SDNVPN project.
 198                 dependencies:
 199                     installer: '(fuel)|(apex)'
 200                     scenario: 'bgpvpn'
 201                 run:
 202                     module: 'functest.opnfv_tests.features.sdnvpn'
 203                     class: 'SdnVpnTests'
 204
 205             -
 206                 name: security_scan
 207                 criteria: 'status == "PASS"'
 208                 blocking: false
 209                 description: >-
 210                     Simple security Scan
 211                 dependencies:
 212                     installer: 'apex'
 213                     scenario: '^((?!fdio).)*$'
 214
 215             -
 216                 name: copper
 217                 criteria: 'status == "PASS"'
 218                 blocking: false
 219                 description: >-
 220                     Test suite for policy management based on OpenStack Congress
 221                 dependencies:
 222                     installer: '(apex)|(joid)'
 223                     scenario: '^((?!fdio|lxd).)*$'
 224             -
 225                 name: moon
 226                 criteria: 'status == "PASS"'
 227                 blocking: false
 228                 description: >-
 229                     Security management system for OPNFV
 230                 dependencies:
 231                     installer: 'compass'
 232                     scenario: '(odl)*(moon)'
 233             -
 234                 name: multisite
 235                 criteria: 'success_rate == 100%'
 236                 blocking: false
 237                 description: >-
 238                     Test suite from kingbird
 239                 dependencies:
 240                     installer: '(fuel)|(compass)'
 241                     scenario: 'multisite'
 242             -
 243                 name: odl-sfc
 244                 criteria: 'status == "PASS"'
 245                 blocking: false
 246                 description: >-
 247                     Test suite for odl-sfc to test two chains and two SFs
 248                 dependencies:
 249                     installer: '(apex)|(fuel)'
 250                     scenario: 'odl_l2-sfc'
 251                 run:
 252                     module: 'functest.opnfv_tests.features.odl_sfc'
 253                     class: 'OpenDaylightSFC'
 254             -
 255                 name: onos_sfc
 256                 criteria: 'status == "PASS"'
 257                 blocking: true
 258                 description: >-
 259                     Test Suite for onos-sfc to test sfc function.
 260                 dependencies:
 261                     installer: ''
 262                     scenario: 'onos-sfc'
 263             -
 264                 name: parser
 265                 criteria: 'ret == 0'
 266                 blocking: false
 267                 description: >-
 268                     Test suite from Parser project.
 269                 dependencies:
 270                     installer: 'fuel'
 271                     scenario: '^((?!bgpvpn|noha).)*$'
 272                 run:
 273                     module: 'functest.opnfv_tests.vnf.rnc.parser'
 274                     class: 'Parser'
 275     -
 276         name: openstack
 277         order: 3
 278         ci_loop: 'weekly'
 279         description : >-
 280             Extensive testing of OpenStack API.
 281         testcases:
 282             -
 283                 name: tempest_full_parallel
 284                 criteria: 'success_rate >= 80%'
 285                 blocking: false
 286                 description: >-
 287                     The list of test cases is generated by
 288                     Tempest automatically and depends on the parameters of
 289                     the OpenStack deplopyment.
 290                 dependencies:
 291                     installer: ''
 292                     scenario: ''
 293
 294             -
 295                 name: rally_full
 296                 criteria: 'success_rate >= 90%'
 297                 blocking: false
 298                 description: >-
 299                     This test case runs the full suite of scenarios of the OpenStack
 300                     Rally suite using several threads and iterations.
 301                 dependencies:
 302                     installer: ''
 303                     scenario: ''
 304
 305     -
 306         name: vnf
 307         order: 4
 308         ci_loop: 'weekly'
 309         description : >-
 310             Collection of VNF test cases.
 311         testcases:
 312             -
 313                 name: vims
 314                 criteria: 'status == "PASS"'
 315                 blocking: false
 316                 description: >-
 317                     This test case deploys an OpenSource vIMS solution from Clearwater
 318                     using the Cloudify orchestrator. It also runs some signaling traffic.
 319                 dependencies:
 320                     installer: ''
 321                     scenario: '(ocl)|(nosdn)|^(os-odl)((?!bgpvpn).)*$'