functest/ci/testcases.yaml

   1 tiers:
   2     -
   3         name: healthcheck
   4         order: 0
   5         ci_loop: '(daily)|(weekly)'
   6         description : >-
   7             First tier to be executed to verify the basic
   8             operations in the VIM.
   9         testcases:
  10             -
  11                 name: healthcheck
  12                 criteria: 'status == "PASS"'
  13                 blocking: true
  14                 description: >-
  15                     This test case verifies the basic OpenStack services like
  16                     Keystone, Glance, Cinder, Neutron and Nova.
  17
  18                 dependencies:
  19                     installer: ''
  20                     scenario: '^((?!lxd).)*$'
  21
  22     -
  23         name: smoke
  24         order: 1
  25         ci_loop: '(daily)|(weekly)'
  26         description : >-
  27             Set of basic Functional tests to validate the OPNFV scenarios.
  28         testcases:
  29             -
  30                 name: vping_ssh
  31                 criteria: 'status == "PASS"'
  32                 blocking: true
  33                 description: >-
  34                     This test case verifies: 1) SSH to an instance using floating
  35                     IPs over the public network. 2) Connectivity between 2 instances
  36                     over a private network.
  37                 dependencies:
  38                     installer: ''
  39                     scenario: '^((?!bgpvpn|odl_l3).)*$'
  40                 run:
  41                     module: 'functest.opnfv_tests.openstack.vping.vping_ssh'
  42                     class: 'VPingSSH'
  43
  44             -
  45                 name: vping_userdata
  46                 criteria: 'status == "PASS"'
  47                 blocking: true
  48                 description: >-
  49                     This test case verifies:  1) Boot a VM with given userdata.
  50                     2) Connectivity between 2 instances over a private network.
  51                 dependencies:
  52                     installer: ''
  53                     scenario: '^((?!lxd).)*$'
  54                 run:
  55                     module: 'functest.opnfv_tests.openstack.vping.vping_userdata'
  56                     class: 'VPingUserdata'
  57
  58             -
  59                 name: tempest_smoke_serial
  60                 criteria: 'success_rate == 100%'
  61                 blocking: false
  62                 description: >-
  63                     This test case runs the smoke subset of the OpenStack
  64                     Tempest suite. The list of test cases is generated by
  65                     Tempest automatically and depends on the parameters of
  66                     the OpenStack deplopyment.
  67                 dependencies:
  68                     installer: ''
  69                     scenario: ''
  70
  71             -
  72                 name: rally_sanity
  73                 criteria: 'success_rate == 100%'
  74                 blocking: false
  75                 description: >-
  76                     This test case runs a sub group of tests of the OpenStack
  77                     Rally suite in smoke mode.
  78                 dependencies:
  79                     installer: ''
  80                     scenario: '^((?!bgpvpn).)*$'
  81
  82             -
  83                 name: odl
  84                 criteria: 'success_rate == 100%'
  85                 blocking: true
  86                 description: >-
  87                     Test Suite for the OpenDaylight SDN Controller. It integrates
  88                     some test suites from upstream using Robot as the test
  89                     framework.
  90                 dependencies:
  91                     installer: ''
  92                     scenario: 'odl'
  93                 run:
  94                     module: 'functest.opnfv_tests.sdn.odl.odl'
  95                     class: 'ODLTests'
  96
  97             -
  98                 name: onos
  99                 criteria: 'status == "PASS"'
 100                 blocking: true
 101                 description: >-
 102                     Test Suite for the ONOS SDN Controller. It integrates
 103                     some test suites from upstream using TestON as the test
 104                     framework.
 105                 dependencies:
 106                     installer: ''
 107                     scenario: 'onos'
 108
 109             -
 110                 name: connection_check
 111                 criteria: 'status == "PASS"'
 112                 blocking: true
 113                 description: >-
 114                     This test case verifies the retrieval of OpenStack clients:
 115                     Keystone, Glance, Neutron and Nova and may perform some
 116                     simple queries. When the config value of
 117                     snaps.use_keystone is True, functest must have access to
 118                     the cloud's private network.
 119
 120                 dependencies:
 121                     installer: ''
 122                     scenario: ''
 123                 run:
 124                     module: 'functest.opnfv_tests.openstack.snaps.connection_check'
 125                     class: 'ConnectionCheck'
 126
 127             -
 128                 name: api_check
 129                 criteria: 'status == "PASS"'
 130                 blocking: true
 131                 description: >-
 132                     This test case verifies the retrieval of OpenStack clients:
 133                     Keystone, Glance, Neutron and Nova and may perform some
 134                     simple queries. When the config value of
 135                     snaps.use_keystone is True, functest must have access to
 136                     the cloud's private network.
 137
 138                 dependencies:
 139                     installer: ''
 140                     scenario: ''
 141                 run:
 142                     module: 'functest.opnfv_tests.openstack.snaps.api_check'
 143                     class: 'ApiCheck'
 144
 145             -
 146                 name: snaps_smoke
 147                 criteria: 'status == "PASS"'
 148                 blocking: true
 149                 description: >-
 150                     This test case contains tests that setup and destroy
 151                     environments with VMs with and without Floating IPs
 152                     with a newly created user and project. Set the config
 153                     value snaps.use_floating_ips (True|False) to toggle
 154                     this functionality. When the config value of
 155                     snaps.use_keystone is True, functest must have access to
 156                     the cloud's private network.
 157
 158                 dependencies:
 159                     installer: ''
 160                     scenario: ''
 161                 run:
 162                     module: 'functest.opnfv_tests.openstack.snaps.smoke'
 163                     class: 'SnapsSmoke'
 164
 165     -
 166         name: features
 167         order: 2
 168         ci_loop: '(daily)|(weekly)'
 169         description : >-
 170             Test suites from feature projects
 171             integrated in functest
 172         testcases:
 173             -
 174                 name: promise
 175                 criteria: 'success_rate == 100%'
 176                 blocking: false
 177                 description: >-
 178                     Test suite from Promise project.
 179                 dependencies:
 180                     installer: '(fuel)|(joid)'
 181                     scenario: ''
 182
 183             -
 184                 name: doctor
 185                 criteria: 'status == "PASS"'
 186                 blocking: false
 187                 description: >-
 188                     Test suite from Doctor project.
 189                 dependencies:
 190                     installer: 'apex'
 191                     scenario: '^((?!fdio).)*$'
 192
 193             -
 194                 name: bgpvpn
 195                 criteria: 'status == "PASS"'
 196                 blocking: false
 197                 description: >-
 198                     Test suite from SDNVPN project.
 199                 dependencies:
 200                     installer: '(fuel)|(apex)'
 201                     scenario: 'bgpvpn'
 202                 run:
 203                     module: 'functest.opnfv_tests.features.sdnvpn'
 204                     class: 'SdnVpnTests'
 205
 206             -
 207                 name: security_scan
 208                 criteria: 'status == "PASS"'
 209                 blocking: false
 210                 description: >-
 211                     Simple security Scan
 212                 dependencies:
 213                     installer: 'apex'
 214                     scenario: '^((?!fdio).)*$'
 215
 216             -
 217                 name: copper
 218                 criteria: 'status == "PASS"'
 219                 blocking: false
 220                 description: >-
 221                     Test suite for policy management based on OpenStack Congress
 222                 dependencies:
 223                     installer: '(apex)|(joid)'
 224                     scenario: '^((?!fdio|lxd).)*$'
 225             -
 226                 name: moon
 227                 criteria: 'status == "PASS"'
 228                 blocking: false
 229                 description: >-
 230                     Security management system for OPNFV
 231                 dependencies:
 232                     installer: 'compass'
 233                     scenario: '(odl)*(moon)'
 234             -
 235                 name: multisite
 236                 criteria: 'success_rate == 100%'
 237                 blocking: false
 238                 description: >-
 239                     Test suite from kingbird
 240                 dependencies:
 241                     installer: '(fuel)|(compass)'
 242                     scenario: 'multisite'
 243             -
 244                 name: odl-sfc
 245                 criteria: 'status == "PASS"'
 246                 blocking: false
 247                 description: >-
 248                     Test suite for odl-sfc to test two chains and two SFs
 249                 dependencies:
 250                     installer: '(apex)|(fuel)'
 251                     scenario: 'odl_l2-sfc'
 252             -
 253                 name: onos_sfc
 254                 criteria: 'status == "PASS"'
 255                 blocking: true
 256                 description: >-
 257                     Test Suite for onos-sfc to test sfc function.
 258                 dependencies:
 259                     installer: ''
 260                     scenario: 'onos-sfc'
 261             -
 262                 name: parser
 263                 criteria: 'ret == 0'
 264                 blocking: false
 265                 description: >-
 266                     Test suite from Parser project.
 267                 dependencies:
 268                     installer: 'fuel'
 269                     scenario: '^((?!bgpvpn|noha).)*$'
 270                 run:
 271                     module: 'functest.opnfv_tests.vnf.rnc.parser'
 272                     class: 'Parser'
 273     -
 274         name: components
 275         order: 3
 276         ci_loop: 'weekly'
 277         description : >-
 278             Extensive testing of OpenStack API.
 279         testcases:
 280             -
 281                 name: tempest_full_parallel
 282                 criteria: 'success_rate >= 80%'
 283                 blocking: false
 284                 description: >-
 285                     The list of test cases is generated by
 286                     Tempest automatically and depends on the parameters of
 287                     the OpenStack deplopyment.
 288                 dependencies:
 289                     installer: ''
 290                     scenario: ''
 291
 292             -
 293                 name: rally_full
 294                 criteria: 'success_rate >= 90%'
 295                 blocking: false
 296                 description: >-
 297                     This test case runs the full suite of scenarios of the OpenStack
 298                     Rally suite using several threads and iterations.
 299                 dependencies:
 300                     installer: ''
 301                     scenario: ''
 302
 303     -
 304         name: vnf
 305         order: 4
 306         ci_loop: 'weekly'
 307         description : >-
 308             Collection of VNF test cases.
 309         testcases:
 310             -
 311                 name: vims
 312                 criteria: 'status == "PASS"'
 313                 blocking: false
 314                 description: >-
 315                     This test case deploys an OpenSource vIMS solution from Clearwater
 316                     using the Cloudify orchestrator. It also runs some signaling traffic.
 317                 dependencies:
 318                     installer: ''
 319                     scenario: '(ocl)|(nosdn)|^(os-odl)((?!bgpvpn).)*$'