functest/ci/testcases.yaml

   1 tiers:
   2     -
   3         name: healthcheck
   4         order: 0
   5         ci_loop: '(daily)|(weekly)'
   6         description : >-
   7             First tier to be executed to verify the basic
   8             operations in the VIM.
   9         testcases:
  10             -
  11                 name: healthcheck
  12                 criteria: 'status == "PASS"'
  13                 blocking: true
  14                 description: >-
  15                     This test case verifies the basic OpenStack services like
  16                     Keystone, Glance, Cinder, Neutron and Nova.
  17
  18                 dependencies:
  19                     installer: ''
  20                     scenario: '^((?!lxd).)*$'
  21
  22     -
  23         name: smoke
  24         order: 1
  25         ci_loop: '(daily)|(weekly)'
  26         description : >-
  27             Set of basic Functional tests to validate the OpenStack deployment.
  28         testcases:
  29             -
  30                 name: vping_ssh
  31                 criteria: 'status == "PASS"'
  32                 blocking: true
  33                 description: >-
  34                     This test case verifies: 1) SSH to an instance using floating
  35                     IPs over the public network. 2) Connectivity between 2 instances
  36                     over a private network.
  37                 dependencies:
  38                     installer: ''
  39                     scenario: '^((?!bgpvpn|odl_l3).)*$'
  40                 run:
  41                     module: 'functest.opnfv_tests.OpenStack.vPing.vping_ssh'
  42                     class: 'VPingSSH'
  43
  44             -
  45                 name: vping_userdata
  46                 criteria: 'status == "PASS"'
  47                 blocking: true
  48                 description: >-
  49                     This test case verifies:  1) Boot a VM with given userdata.
  50                     2) Connectivity between 2 instances over a private network.
  51                 dependencies:
  52                     installer: ''
  53                     scenario: '^((?!lxd).)*$'
  54                 run:
  55                     module: 'functest.opnfv_tests.OpenStack.vPing.vping_userdata'
  56                     class: 'VPingUserdata'
  57
  58             -
  59                 name: tempest_smoke_serial
  60                 criteria: 'success_rate == 100%'
  61                 blocking: false
  62                 description: >-
  63                     This test case runs the smoke subset of the OpenStack
  64                     Tempest suite. The list of test cases is generated by
  65                     Tempest automatically and depends on the parameters of
  66                     the OpenStack deplopyment.
  67                 dependencies:
  68                     installer: ''
  69                     scenario: ''
  70
  71             -
  72                 name: rally_sanity
  73                 criteria: 'success_rate == 100%'
  74                 blocking: false
  75                 description: >-
  76                     This test case runs a sub group of tests of the OpenStack
  77                     Rally suite in smoke mode.
  78                 dependencies:
  79                     installer: ''
  80                     scenario: '^((?!bgpvpn).)*$'
  81
  82     -
  83         name: sdn_suites
  84         order: 2
  85         ci_loop: '(daily)|(weekly)'
  86         description : >-
  87             Test suites corresponding to the different
  88             SDN Controllers existing in OPNFV.
  89         testcases:
  90             -
  91                 name: odl
  92                 criteria: 'success_rate == 100%'
  93                 blocking: true
  94                 description: >-
  95                     Test Suite for the OpenDaylight SDN Controller. It integrates
  96                     some test suites from upstream using Robot as the test
  97                     framework.
  98                 dependencies:
  99                     installer: ''
 100                     scenario: 'odl'
 101                 run:
 102                     module: 'functest.opnfv_tests.Controllers.ODL.OpenDaylightTesting'
 103                     class: 'ODLTestCases'
 104
 105             -
 106                 name: onos
 107                 criteria: 'status == "PASS"'
 108                 blocking: true
 109                 description: >-
 110                     Test Suite for the ONOS SDN Controller. It integrates
 111                     some test suites from upstream using TestON as the test
 112                     framework.
 113                 dependencies:
 114                     installer: ''
 115                     scenario: 'onos'
 116
 117     -
 118         name: features
 119         order: 3
 120         ci_loop: '(daily)|(weekly)'
 121         description : >-
 122             Test suites from feature projects
 123             integrated in functest
 124         testcases:
 125             -
 126                 name: promise
 127                 criteria: 'success_rate == 100%'
 128                 blocking: false
 129                 description: >-
 130                     Test suite from Promise project.
 131                 dependencies:
 132                     installer: '(fuel)|(joid)'
 133                     scenario: ''
 134
 135             -
 136                 name: doctor
 137                 criteria: 'status == "PASS"'
 138                 blocking: false
 139                 description: >-
 140                     Test suite from Doctor project.
 141                 dependencies:
 142                     installer: 'apex'
 143                     scenario: '^((?!fdio).)*$'
 144
 145             -
 146                 name: bgpvpn
 147                 criteria: 'status == "PASS"'
 148                 blocking: false
 149                 description: >-
 150                     Test suite from SDNVPN project.
 151                 dependencies:
 152                     installer: '(fuel)|(apex)'
 153                     scenario: 'bgpvpn'
 154
 155             -
 156                 name: security_scan
 157                 criteria: 'status == "PASS"'
 158                 blocking: false
 159                 description: >-
 160                     Simple security Scan
 161                 dependencies:
 162                     installer: 'apex'
 163                     scenario: '^((?!fdio).)*$'
 164
 165             -
 166                 name: copper
 167                 criteria: 'status == "PASS"'
 168                 blocking: false
 169                 description: >-
 170                     Test suite for policy management based on OpenStack Congress
 171                 dependencies:
 172                     installer: '(apex)|(joid)'
 173                     scenario: '^((?!fdio|lxd).)*$'
 174             -
 175                 name: moon
 176                 criteria: 'status == "PASS"'
 177                 blocking: false
 178                 description: >-
 179                     Security management system for OPNFV
 180                 dependencies:
 181                     installer: 'compass'
 182                     scenario: '(odl)*(moon)'
 183             -
 184                 name: multisite
 185                 criteria: 'success_rate == 100%'
 186                 blocking: false
 187                 description: >-
 188                     Test suite from kingbird
 189                 dependencies:
 190                     installer: '(fuel)|(compass)'
 191                     scenario: 'multisite'
 192             -
 193                 name: domino
 194                 criteria: 'status == "PASS"'
 195                 blocking: false
 196                 description: >-
 197                     Test suite for template distribution based on Domino
 198                 dependencies:
 199                     installer: 'joid'
 200                     scenario: ''
 201                 run:
 202                     module: 'functest.opnfv_tests.features.domino'
 203                     class: 'DominoCases'
 204             -
 205                 name: odl-sfc
 206                 criteria: 'status == "PASS"'
 207                 blocking: false
 208                 description: >-
 209                     Test suite for odl-sfc to test two chains and two SFs
 210                 dependencies:
 211                     installer: '(apex)|(fuel)'
 212                     scenario: 'odl_l2-sfc'
 213             -
 214                 name: onos_sfc
 215                 criteria: 'status == "PASS"'
 216                 blocking: true
 217                 description: >-
 218                     Test Suite for onos-sfc to test sfc function.
 219                 dependencies:
 220                     installer: ''
 221                     scenario: 'onos-sfc'
 222             -
 223                 name: parser
 224                 criteria: 'ret == 0'
 225                 blocking: false
 226                 description: >-
 227                     Test suite from Parser project.
 228                 dependencies:
 229                     installer: 'fuel'
 230                     scenario: '^((?!bgpvpn|noha).)*$'
 231
 232     -
 233         name: openstack
 234         order: 4
 235         ci_loop: 'weekly'
 236         description : >-
 237             Extensive testing of OpenStack API.
 238         testcases:
 239             -
 240                 name: tempest_full_parallel
 241                 criteria: 'success_rate >= 80%'
 242                 blocking: false
 243                 description: >-
 244                     The list of test cases is generated by
 245                     Tempest automatically and depends on the parameters of
 246                     the OpenStack deplopyment.
 247                 dependencies:
 248                     installer: ''
 249                     scenario: ''
 250
 251             -
 252                 name: rally_full
 253                 criteria: 'success_rate >= 90%'
 254                 blocking: false
 255                 description: >-
 256                     This test case runs the full suite of scenarios of the OpenStack
 257                     Rally suite using several threads and iterations.
 258                 dependencies:
 259                     installer: ''
 260                     scenario: ''
 261
 262     -
 263         name: vnf
 264         order: 5
 265         ci_loop: 'weekly'
 266         description : >-
 267             Collection of VNF test cases.
 268         testcases:
 269             -
 270                 name: vims
 271                 criteria: 'status == "PASS"'
 272                 blocking: false
 273                 description: >-
 274                     This test case deploys an OpenSource vIMS solution from Clearwater
 275                     using the Cloudify orchestrator. It also runs some signaling traffic.
 276                 dependencies:
 277                     installer: ''
 278                     scenario: '(ocl)|(nosdn)|^(os-odl)((?!bgpvpn).)*$'