functest/ci/testcases.yaml

   1 tiers:
   2     -
   3         name: healthcheck
   4         order: 0
   5         ci_loop: '(daily)|(weekly)'
   6         description : >-
   7             First tier to be executed to verify the basic
   8             operations in the VIM.
   9         testcases:
  10             -
  11                 name: healthcheck
  12                 criteria: 'status == "PASS"'
  13                 blocking: true
  14                 description: >-
  15                     This test case verifies the basic OpenStack services like
  16                     Keystone, Glance, Cinder, Neutron and Nova.
  17
  18                 dependencies:
  19                     installer: ''
  20                     scenario: '^((?!lxd).)*$'
  21
  22     -
  23         name: smoke
  24         order: 1
  25         ci_loop: '(daily)|(weekly)'
  26         description : >-
  27             Set of basic Functional tests to validate the OPNFV scenarios.
  28         testcases:
  29             -
  30                 name: vping_ssh
  31                 criteria: 'status == "PASS"'
  32                 blocking: true
  33                 description: >-
  34                     This test case verifies: 1) SSH to an instance using floating
  35                     IPs over the public network. 2) Connectivity between 2 instances
  36                     over a private network.
  37                 dependencies:
  38                     installer: ''
  39                     scenario: '^((?!bgpvpn|odl_l3).)*$'
  40                 run:
  41                     module: 'functest.opnfv_tests.openstack.vping.vping_ssh'
  42                     class: 'VPingSSH'
  43
  44             -
  45                 name: vping_userdata
  46                 criteria: 'status == "PASS"'
  47                 blocking: true
  48                 description: >-
  49                     This test case verifies:  1) Boot a VM with given userdata.
  50                     2) Connectivity between 2 instances over a private network.
  51                 dependencies:
  52                     installer: ''
  53                     scenario: '^((?!lxd).)*$'
  54                 run:
  55                     module: 'functest.opnfv_tests.openstack.vping.vping_userdata'
  56                     class: 'VPingUserdata'
  57
  58             -
  59                 name: tempest_smoke_serial
  60                 criteria: 'success_rate == 100%'
  61                 blocking: false
  62                 description: >-
  63                     This test case runs the smoke subset of the OpenStack
  64                     Tempest suite. The list of test cases is generated by
  65                     Tempest automatically and depends on the parameters of
  66                     the OpenStack deplopyment.
  67                 dependencies:
  68                     installer: ''
  69                     scenario: ''
  70             -
  71                 name: rally_sanity
  72                 criteria: 'success_rate == 100%'
  73                 blocking: false
  74                 description: >-
  75                     This test case runs a sub group of tests of the OpenStack
  76                     Rally suite in smoke mode.
  77                 dependencies:
  78                     installer: ''
  79                     scenario: '^((?!bgpvpn).)*$'
  80
  81             -
  82                 name: odl
  83                 criteria: 'success_rate == 100%'
  84                 blocking: true
  85                 description: >-
  86                     Test Suite for the OpenDaylight SDN Controller. It integrates
  87                     some test suites from upstream using Robot as the test
  88                     framework.
  89                 dependencies:
  90                     installer: ''
  91                     scenario: 'odl'
  92                 run:
  93                     module: 'functest.opnfv_tests.sdn.odl.odl'
  94                     class: 'ODLTests'
  95
  96             -
  97                 name: onos
  98                 criteria: 'status == "PASS"'
  99                 blocking: true
 100                 description: >-
 101                     Test Suite for the ONOS SDN Controller. It integrates
 102                     some test suites from upstream using TestON as the test
 103                     framework.
 104                 dependencies:
 105                     installer: ''
 106                     scenario: 'onos'
 107
 108             -
 109                 name: connection_check
 110                 criteria: 'status == "PASS"'
 111                 blocking: false
 112                 description: >-
 113                     This test case verifies the retrieval of OpenStack clients:
 114                     Keystone, Glance, Neutron and Nova and may perform some
 115                     simple queries. When the config value of
 116                     snaps.use_keystone is True, functest must have access to
 117                     the cloud's private network.
 118
 119                 dependencies:
 120                     installer: ''
 121                     scenario: ''
 122                 run:
 123                     module: 'functest.opnfv_tests.openstack.snaps.connection_check'
 124                     class: 'ConnectionCheck'
 125
 126             -
 127                 name: api_check
 128                 criteria: 'status == "PASS"'
 129                 blocking: false
 130                 description: >-
 131                     This test case verifies the retrieval of OpenStack clients:
 132                     Keystone, Glance, Neutron and Nova and may perform some
 133                     simple queries. When the config value of
 134                     snaps.use_keystone is True, functest must have access to
 135                     the cloud's private network.
 136
 137                 dependencies:
 138                     installer: ''
 139                     scenario: ''
 140                 run:
 141                     module: 'functest.opnfv_tests.openstack.snaps.api_check'
 142                     class: 'ApiCheck'
 143
 144             -
 145                 name: snaps_smoke
 146                 criteria: 'status == "PASS"'
 147                 blocking: false
 148                 description: >-
 149                     This test case contains tests that setup and destroy
 150                     environments with VMs with and without Floating IPs
 151                     with a newly created user and project. Set the config
 152                     value snaps.use_floating_ips (True|False) to toggle
 153                     this functionality. When the config value of
 154                     snaps.use_keystone is True, functest must have access to
 155                     the cloud's private network.
 156
 157                 dependencies:
 158                     installer: ''
 159                     scenario: ''
 160                 run:
 161                     module: 'functest.opnfv_tests.openstack.snaps.smoke'
 162                     class: 'SnapsSmoke'
 163
 164     -
 165         name: features
 166         order: 2
 167         ci_loop: '(daily)|(weekly)'
 168         description : >-
 169             Test suites from feature projects
 170             integrated in functest
 171         testcases:
 172             -
 173                 name: promise
 174                 criteria: 'success_rate == 100%'
 175                 blocking: false
 176                 description: >-
 177                     Test suite from Promise project.
 178                 dependencies:
 179                     installer: '(fuel)|(joid)'
 180                     scenario: ''
 181
 182             -
 183                 name: doctor
 184                 criteria: 'status == "PASS"'
 185                 blocking: false
 186                 description: >-
 187                     Test suite from Doctor project.
 188                 dependencies:
 189                     installer: 'apex'
 190                     scenario: '^((?!fdio).)*$'
 191
 192             -
 193                 name: bgpvpn
 194                 criteria: 'status == "PASS"'
 195                 blocking: false
 196                 description: >-
 197                     Test suite from SDNVPN project.
 198                 dependencies:
 199                     installer: '(fuel)|(apex)'
 200                     scenario: 'bgpvpn'
 201                 run:
 202                     module: 'functest.opnfv_tests.features.sdnvpn'
 203                     class: 'SdnVpnTests'
 204
 205             -
 206                 name: security_scan
 207                 criteria: 'status == "PASS"'
 208                 blocking: false
 209                 description: >-
 210                     Simple security Scan
 211                 dependencies:
 212                     installer: 'apex'
 213                     scenario: '^((?!fdio).)*$'
 214
 215             -
 216                 name: copper
 217                 criteria: 'status == "PASS"'
 218                 blocking: false
 219                 description: >-
 220                     Test suite for policy management based on OpenStack Congress
 221                 dependencies:
 222                     installer: '(apex)|(joid)'
 223                     scenario: '^((?!fdio|lxd).)*$'
 224                 run:
 225                     module: 'functest.opnfv_tests.feature.copper'
 226                     class: 'Copper'
 227
 228             -
 229                 name: moon
 230                 criteria: 'status == "PASS"'
 231                 blocking: false
 232                 description: >-
 233                     Security management system for OPNFV
 234                 dependencies:
 235                     installer: 'compass'
 236                     scenario: '(odl)*(moon)'
 237             -
 238                 name: multisite
 239                 criteria: 'success_rate == 100%'
 240                 blocking: false
 241                 description: >-
 242                     Test suite from kingbird
 243                 dependencies:
 244                     installer: '(fuel)|(compass)'
 245                     scenario: 'multisite'
 246             -
 247                 name: odl-sfc
 248                 criteria: 'status == "PASS"'
 249                 blocking: false
 250                 description: >-
 251                     Test suite for odl-sfc to test two chains and two SFs
 252                 dependencies:
 253                     installer: '(apex)|(fuel)'
 254                     scenario: 'odl_l2-sfc'
 255                 run:
 256                     module: 'functest.opnfv_tests.features.odl_sfc'
 257                     class: 'OpenDaylightSFC'
 258             -
 259                 name: onos_sfc
 260                 criteria: 'status == "PASS"'
 261                 blocking: true
 262                 description: >-
 263                     Test Suite for onos-sfc to test sfc function.
 264                 dependencies:
 265                     installer: ''
 266                     scenario: 'onos-sfc'
 267             -
 268                 name: parser
 269                 criteria: 'ret == 0'
 270                 blocking: false
 271                 description: >-
 272                     Test suite from Parser project.
 273                 dependencies:
 274                     installer: 'fuel'
 275                     scenario: '^((?!bgpvpn|noha).)*$'
 276                 run:
 277                     module: 'functest.opnfv_tests.vnf.rnc.parser'
 278                     class: 'Parser'
 279     -
 280         name: components
 281         order: 3
 282         ci_loop: 'weekly'
 283         description : >-
 284             Extensive testing of OpenStack API.
 285         testcases:
 286             -
 287                 name: tempest_full_parallel
 288                 criteria: 'success_rate >= 80%'
 289                 blocking: false
 290                 description: >-
 291                     The list of test cases is generated by
 292                     Tempest automatically and depends on the parameters of
 293                     the OpenStack deplopyment.
 294                 dependencies:
 295                     installer: ''
 296                     scenario: ''
 297
 298             -
 299                 name: rally_full
 300                 criteria: 'success_rate >= 90%'
 301                 blocking: false
 302                 description: >-
 303                     This test case runs the full suite of scenarios of the OpenStack
 304                     Rally suite using several threads and iterations.
 305                 dependencies:
 306                     installer: ''
 307                     scenario: ''
 308
 309     -
 310         name: vnf
 311         order: 4
 312         ci_loop: 'weekly'
 313         description : >-
 314             Collection of VNF test cases.
 315         testcases:
 316             -
 317                 name: vims
 318                 criteria: 'status == "PASS"'
 319                 blocking: false
 320                 description: >-
 321                     This test case deploys an OpenSource vIMS solution from Clearwater
 322                     using the Cloudify orchestrator. It also runs some signaling traffic.
 323                 dependencies:
 324                     installer: ''
 325                     scenario: '(ocl)|(nosdn)|^(os-odl)((?!bgpvpn).)*$'