functest/ci/testcases.yaml

   1 tiers:
   2     -
   3         name: healthcheck
   4         order: 0
   5         ci_loop: '(daily)|(weekly)'
   6         description : >-
   7             First tier to be executed to verify the basic
   8             operations in the VIM.
   9         testcases:
  10             -
  11                 name: healthcheck
  12                 criteria: 'status == "PASS"'
  13                 blocking: true
  14                 description: >-
  15                     This test case verifies the basic OpenStack services like
  16                     Keystone, Glance, Cinder, Neutron and Nova.
  17
  18                 dependencies:
  19                     installer: ''
  20                     scenario: '^((?!lxd).)*$'
  21
  22     -
  23         name: smoke
  24         order: 1
  25         ci_loop: '(daily)|(weekly)'
  26         description : >-
  27             Set of basic Functional tests to validate the OpenStack deployment.
  28         testcases:
  29             -
  30                 name: vping_ssh
  31                 criteria: 'status == "PASS"'
  32                 blocking: true
  33                 description: >-
  34                     This test case verifies: 1) SSH to an instance using floating
  35                     IPs over the public network. 2) Connectivity between 2 instances
  36                     over a private network.
  37                 dependencies:
  38                     installer: ''
  39                     scenario: '^((?!bgpvpn|odl_l3).)*$'
  40                 run:
  41                     module: 'functest.opnfv_tests.OpenStack.vPing.vping_ssh'
  42                     class: 'VPingSSH'
  43
  44             -
  45                 name: vping_userdata
  46                 criteria: 'status == "PASS"'
  47                 blocking: true
  48                 description: >-
  49                     This test case verifies:  1) Boot a VM with given userdata.
  50                     2) Connectivity between 2 instances over a private network.
  51                 dependencies:
  52                     installer: ''
  53                     scenario: '^((?!lxd).)*$'
  54                 run:
  55                     module: 'functest.opnfv_tests.OpenStack.vPing.vping_userdata'
  56                     class: 'VPingUserdata'
  57
  58             -
  59                 name: tempest_smoke_serial
  60                 criteria: 'success_rate == 100%'
  61                 blocking: false
  62                 description: >-
  63                     This test case runs the smoke subset of the OpenStack
  64                     Tempest suite. The list of test cases is generated by
  65                     Tempest automatically and depends on the parameters of
  66                     the OpenStack deplopyment.
  67                 dependencies:
  68                     installer: ''
  69                     scenario: ''
  70
  71             -
  72                 name: rally_sanity
  73                 criteria: 'success_rate == 100%'
  74                 blocking: false
  75                 description: >-
  76                     This test case runs a sub group of tests of the OpenStack
  77                     Rally suite in smoke mode.
  78                 dependencies:
  79                     installer: ''
  80                     scenario: '^((?!bgpvpn).)*$'
  81
  82     -
  83         name: sdn_suites
  84         order: 2
  85         ci_loop: '(daily)|(weekly)'
  86         description : >-
  87             Test suites corresponding to the different
  88             SDN Controllers existing in OPNFV.
  89         testcases:
  90             -
  91                 name: odl
  92                 criteria: 'success_rate == 100%'
  93                 blocking: true
  94                 description: >-
  95                     Test Suite for the OpenDaylight SDN Controller. It integrates
  96                     some test suites from upstream using Robot as the test
  97                     framework.
  98                 dependencies:
  99                     installer: ''
 100                     scenario: 'odl'
 101                 run:
 102                     module: 'functest.opnfv_tests.Controllers.ODL.OpenDaylightTesting'
 103                     class: 'ODLTestCases'
 104
 105             -
 106                 name: onos
 107                 criteria: 'status == "PASS"'
 108                 blocking: true
 109                 description: >-
 110                     Test Suite for the ONOS SDN Controller. It integrates
 111                     some test suites from upstream using TestON as the test
 112                     framework.
 113                 dependencies:
 114                     installer: ''
 115                     scenario: 'onos'
 116
 117     -
 118         name: features
 119         order: 3
 120         ci_loop: '(daily)|(weekly)'
 121         description : >-
 122             Test suites from feature projects
 123             integrated in functest
 124         testcases:
 125             -
 126                 name: promise
 127                 criteria: 'success_rate == 100%'
 128                 blocking: false
 129                 description: >-
 130                     Test suite from Promise project.
 131                 dependencies:
 132                     installer: '(fuel)|(joid)'
 133                     scenario: ''
 134
 135             -
 136                 name: doctor
 137                 criteria: 'status == "PASS"'
 138                 blocking: false
 139                 description: >-
 140                     Test suite from Doctor project.
 141                 dependencies:
 142                     installer: 'apex'
 143                     scenario: '^((?!fdio).)*$'
 144
 145             -
 146                 name: bgpvpn
 147                 criteria: 'status == "PASS"'
 148                 blocking: false
 149                 description: >-
 150                     Test suite from SDNVPN project.
 151                 dependencies:
 152                     installer: '(fuel)|(apex)'
 153                     scenario: 'bgpvpn'
 154                 run:
 155                     module: 'functest.opnfv_tests.features.sdnvpn'
 156                     class: 'SDNVPN'
 157
 158             -
 159                 name: security_scan
 160                 criteria: 'status == "PASS"'
 161                 blocking: false
 162                 description: >-
 163                     Simple security Scan
 164                 dependencies:
 165                     installer: 'apex'
 166                     scenario: '^((?!fdio).)*$'
 167
 168             -
 169                 name: copper
 170                 criteria: 'status == "PASS"'
 171                 blocking: false
 172                 description: >-
 173                     Test suite for policy management based on OpenStack Congress
 174                 dependencies:
 175                     installer: '(apex)|(joid)'
 176                     scenario: '^((?!fdio|lxd).)*$'
 177             -
 178                 name: moon
 179                 criteria: 'status == "PASS"'
 180                 blocking: false
 181                 description: >-
 182                     Security management system for OPNFV
 183                 dependencies:
 184                     installer: 'compass'
 185                     scenario: '(odl)*(moon)'
 186             -
 187                 name: multisite
 188                 criteria: 'success_rate == 100%'
 189                 blocking: false
 190                 description: >-
 191                     Test suite from kingbird
 192                 dependencies:
 193                     installer: '(fuel)|(compass)'
 194                     scenario: 'multisite'
 195             -
 196                 name: domino
 197                 criteria: 'status == "PASS"'
 198                 blocking: false
 199                 description: >-
 200                     Test suite for template distribution based on Domino
 201                 dependencies:
 202                     installer: 'joid'
 203                     scenario: ''
 204                 run:
 205                     module: 'functest.opnfv_tests.features.domino'
 206                     class: 'DominoCases'
 207             -
 208                 name: odl-sfc
 209                 criteria: 'status == "PASS"'
 210                 blocking: false
 211                 description: >-
 212                     Test suite for odl-sfc to test two chains and two SFs
 213                 dependencies:
 214                     installer: '(apex)|(fuel)'
 215                     scenario: 'odl_l2-sfc'
 216             -
 217                 name: onos_sfc
 218                 criteria: 'status == "PASS"'
 219                 blocking: true
 220                 description: >-
 221                     Test Suite for onos-sfc to test sfc function.
 222                 dependencies:
 223                     installer: ''
 224                     scenario: 'onos-sfc'
 225             -
 226                 name: parser
 227                 criteria: 'ret == 0'
 228                 blocking: false
 229                 description: >-
 230                     Test suite from Parser project.
 231                 dependencies:
 232                     installer: 'fuel'
 233                     scenario: '^((?!bgpvpn|noha).)*$'
 234
 235     -
 236         name: openstack
 237         order: 4
 238         ci_loop: 'weekly'
 239         description : >-
 240             Extensive testing of OpenStack API.
 241         testcases:
 242             -
 243                 name: tempest_full_parallel
 244                 criteria: 'success_rate >= 80%'
 245                 blocking: false
 246                 description: >-
 247                     The list of test cases is generated by
 248                     Tempest automatically and depends on the parameters of
 249                     the OpenStack deplopyment.
 250                 dependencies:
 251                     installer: ''
 252                     scenario: ''
 253
 254             -
 255                 name: rally_full
 256                 criteria: 'success_rate >= 90%'
 257                 blocking: false
 258                 description: >-
 259                     This test case runs the full suite of scenarios of the OpenStack
 260                     Rally suite using several threads and iterations.
 261                 dependencies:
 262                     installer: ''
 263                     scenario: ''
 264
 265     -
 266         name: vnf
 267         order: 5
 268         ci_loop: 'weekly'
 269         description : >-
 270             Collection of VNF test cases.
 271         testcases:
 272             -
 273                 name: vims
 274                 criteria: 'status == "PASS"'
 275                 blocking: false
 276                 description: >-
 277                     This test case deploys an OpenSource vIMS solution from Clearwater
 278                     using the Cloudify orchestrator. It also runs some signaling traffic.
 279                 dependencies:
 280                     installer: ''
 281                     scenario: '(ocl)|(nosdn)|^(os-odl)((?!bgpvpn).)*$'