functest/ci/testcases.yaml

   1 tiers:
   2     -
   3         name: healthcheck
   4         order: 0
   5         ci_loop: '(daily)|(weekly)'
   6         description : >-
   7             First tier to be executed to verify the basic
   8             operations in the VIM.
   9         testcases:
  10             -
  11                 name: healthcheck
  12                 criteria: 'status == "PASS"'
  13                 blocking: true
  14                 description: >-
  15                     This test case verifies the basic OpenStack services like
  16                     Keystone, Glance, Cinder, Neutron and Nova.
  17
  18                 dependencies:
  19                     installer: ''
  20                     scenario: '^((?!lxd).)*$'
  21
  22     -
  23         name: smoke
  24         order: 1
  25         ci_loop: '(daily)|(weekly)'
  26         description : >-
  27             Set of basic Functional tests to validate the OPNFV scenarios.
  28         testcases:
  29             -
  30                 name: vping_ssh
  31                 criteria: 'status == "PASS"'
  32                 blocking: true
  33                 description: >-
  34                     This test case verifies: 1) SSH to an instance using floating
  35                     IPs over the public network. 2) Connectivity between 2 instances
  36                     over a private network.
  37                 dependencies:
  38                     installer: ''
  39                     scenario: '^((?!bgpvpn|odl_l3).)*$'
  40                 run:
  41                     module: 'functest.opnfv_tests.openstack.vping.vping_ssh'
  42                     class: 'VPingSSH'
  43
  44             -
  45                 name: vping_userdata
  46                 criteria: 'status == "PASS"'
  47                 blocking: true
  48                 description: >-
  49                     This test case verifies:  1) Boot a VM with given userdata.
  50                     2) Connectivity between 2 instances over a private network.
  51                 dependencies:
  52                     installer: ''
  53                     scenario: '^((?!lxd).)*$'
  54                 run:
  55                     module: 'functest.opnfv_tests.openstack.vping.vping_userdata'
  56                     class: 'VPingUserdata'
  57
  58             -
  59                 name: tempest_smoke_serial
  60                 criteria: 'success_rate == 100%'
  61                 blocking: false
  62                 description: >-
  63                     This test case runs the smoke subset of the OpenStack
  64                     Tempest suite. The list of test cases is generated by
  65                     Tempest automatically and depends on the parameters of
  66                     the OpenStack deplopyment.
  67                 dependencies:
  68                     installer: ''
  69                     scenario: ''
  70
  71             -
  72                 name: rally_sanity
  73                 criteria: 'success_rate == 100%'
  74                 blocking: false
  75                 description: >-
  76                     This test case runs a sub group of tests of the OpenStack
  77                     Rally suite in smoke mode.
  78                 dependencies:
  79                     installer: ''
  80                     scenario: '^((?!bgpvpn).)*$'
  81
  82             -
  83                 name: odl
  84                 criteria: 'success_rate == 100%'
  85                 blocking: true
  86                 description: >-
  87                     Test Suite for the OpenDaylight SDN Controller. It integrates
  88                     some test suites from upstream using Robot as the test
  89                     framework.
  90                 dependencies:
  91                     installer: ''
  92                     scenario: 'odl'
  93                 run:
  94                     module: 'functest.opnfv_tests.sdn.odl.odl'
  95                     class: 'ODLTests'
  96
  97             -
  98                 name: onos
  99                 criteria: 'status == "PASS"'
 100                 blocking: true
 101                 description: >-
 102                     Test Suite for the ONOS SDN Controller. It integrates
 103                     some test suites from upstream using TestON as the test
 104                     framework.
 105                 dependencies:
 106                     installer: ''
 107                     scenario: 'onos'
 108
 109             -
 110                 name: connection_check
 111                 criteria: 'status == "PASS"'
 112                 blocking: true
 113                 description: >-
 114                     This test case verifies the retrieval of OpenStack clients:
 115                     Keystone, Glance, Neutron and Nova and may perform some
 116                     simple queries. When the config value of
 117                     snaps.use_keystone is True, functest must have access to
 118                     the cloud's private network.
 119
 120                 dependencies:
 121                     installer: ''
 122                     scenario: ''
 123                 run:
 124                     module: 'functest.opnfv_tests.openstack.snaps.connection_check'
 125                     class: 'ConnectionCheck'
 126
 127             -
 128                 name: api_check
 129                 criteria: 'status == "PASS"'
 130                 blocking: true
 131                 description: >-
 132                     This test case verifies the retrieval of OpenStack clients:
 133                     Keystone, Glance, Neutron and Nova and may perform some
 134                     simple queries. When the config value of
 135                     snaps.use_keystone is True, functest must have access to
 136                     the cloud's private network.
 137
 138                 dependencies:
 139                     installer: ''
 140                     scenario: ''
 141                 run:
 142                     module: 'functest.opnfv_tests.openstack.snaps.api_check'
 143                     class: 'ApiCheck'
 144
 145             -
 146                 name: snaps_smoke
 147                 criteria: 'status == "PASS"'
 148                 blocking: true
 149                 description: >-
 150                     This test case contains tests that setup and destroy
 151                     environments with VMs with and without Floating IPs
 152                     with a newly created user and project. Set the config
 153                     value snaps.use_floating_ips (True|False) to toggle
 154                     this functionality. When the config value of
 155                     snaps.use_keystone is True, functest must have access to
 156                     the cloud's private network.
 157
 158                 dependencies:
 159                     installer: ''
 160                     scenario: ''
 161                 run:
 162                     module: 'functest.opnfv_tests.openstack.snaps.smoke'
 163                     class: 'SnapsSmoke'
 164
 165     -
 166         name: features
 167         order: 2
 168         ci_loop: '(daily)|(weekly)'
 169         description : >-
 170             Test suites from feature projects
 171             integrated in functest
 172         testcases:
 173             -
 174                 name: promise
 175                 criteria: 'success_rate == 100%'
 176                 blocking: false
 177                 description: >-
 178                     Test suite from Promise project.
 179                 dependencies:
 180                     installer: '(fuel)|(joid)'
 181                     scenario: ''
 182
 183             -
 184                 name: doctor
 185                 criteria: 'status == "PASS"'
 186                 blocking: false
 187                 description: >-
 188                     Test suite from Doctor project.
 189                 dependencies:
 190                     installer: 'apex'
 191                     scenario: '^((?!fdio).)*$'
 192
 193             -
 194                 name: bgpvpn
 195                 criteria: 'status == "PASS"'
 196                 blocking: false
 197                 description: >-
 198                     Test suite from SDNVPN project.
 199                 dependencies:
 200                     installer: '(fuel)|(apex)'
 201                     scenario: 'bgpvpn'
 202                 run:
 203                     module: 'functest.opnfv_tests.features.sdnvpn'
 204                     class: 'SdnVpnTests'
 205
 206             -
 207                 name: security_scan
 208                 criteria: 'status == "PASS"'
 209                 blocking: false
 210                 description: >-
 211                     Simple security Scan
 212                 dependencies:
 213                     installer: 'apex'
 214                     scenario: '^((?!fdio).)*$'
 215
 216             -
 217                 name: copper
 218                 criteria: 'status == "PASS"'
 219                 blocking: false
 220                 description: >-
 221                     Test suite for policy management based on OpenStack Congress
 222                 dependencies:
 223                     installer: '(apex)|(joid)'
 224                     scenario: '^((?!fdio|lxd).)*$'
 225                 run:
 226                     module: 'functest.opnfv_tests.feature.copper'
 227                     class: 'Copper'
 228
 229             -
 230                 name: moon
 231                 criteria: 'status == "PASS"'
 232                 blocking: false
 233                 description: >-
 234                     Security management system for OPNFV
 235                 dependencies:
 236                     installer: 'compass'
 237                     scenario: '(odl)*(moon)'
 238             -
 239                 name: multisite
 240                 criteria: 'success_rate == 100%'
 241                 blocking: false
 242                 description: >-
 243                     Test suite from kingbird
 244                 dependencies:
 245                     installer: '(fuel)|(compass)'
 246                     scenario: 'multisite'
 247             -
 248                 name: odl-sfc
 249                 criteria: 'status == "PASS"'
 250                 blocking: false
 251                 description: >-
 252                     Test suite for odl-sfc to test two chains and two SFs
 253                 dependencies:
 254                     installer: '(apex)|(fuel)'
 255                     scenario: 'odl_l2-sfc'
 256             -
 257                 name: onos_sfc
 258                 criteria: 'status == "PASS"'
 259                 blocking: true
 260                 description: >-
 261                     Test Suite for onos-sfc to test sfc function.
 262                 dependencies:
 263                     installer: ''
 264                     scenario: 'onos-sfc'
 265             -
 266                 name: parser
 267                 criteria: 'ret == 0'
 268                 blocking: false
 269                 description: >-
 270                     Test suite from Parser project.
 271                 dependencies:
 272                     installer: 'fuel'
 273                     scenario: '^((?!bgpvpn|noha).)*$'
 274                 run:
 275                     module: 'functest.opnfv_tests.vnf.rnc.parser'
 276                     class: 'Parser'
 277     -
 278         name: components
 279         order: 3
 280         ci_loop: 'weekly'
 281         description : >-
 282             Extensive testing of OpenStack API.
 283         testcases:
 284             -
 285                 name: tempest_full_parallel
 286                 criteria: 'success_rate >= 80%'
 287                 blocking: false
 288                 description: >-
 289                     The list of test cases is generated by
 290                     Tempest automatically and depends on the parameters of
 291                     the OpenStack deplopyment.
 292                 dependencies:
 293                     installer: ''
 294                     scenario: ''
 295
 296             -
 297                 name: rally_full
 298                 criteria: 'success_rate >= 90%'
 299                 blocking: false
 300                 description: >-
 301                     This test case runs the full suite of scenarios of the OpenStack
 302                     Rally suite using several threads and iterations.
 303                 dependencies:
 304                     installer: ''
 305                     scenario: ''
 306
 307     -
 308         name: vnf
 309         order: 4
 310         ci_loop: 'weekly'
 311         description : >-
 312             Collection of VNF test cases.
 313         testcases:
 314             -
 315                 name: vims
 316                 criteria: 'status == "PASS"'
 317                 blocking: false
 318                 description: >-
 319                     This test case deploys an OpenSource vIMS solution from Clearwater
 320                     using the Cloudify orchestrator. It also runs some signaling traffic.
 321                 dependencies:
 322                     installer: ''
 323                     scenario: '(ocl)|(nosdn)|^(os-odl)((?!bgpvpn).)*$'