functest/ci/testcases.yaml

   1 tiers:
   2     -
   3         name: healthcheck
   4         order: 0
   5         ci_loop: '(daily)|(weekly)'
   6         description : >-
   7             First tier to be executed to verify the basic
   8             operations in the VIM.
   9         testcases:
  10             -
  11                 name: healthcheck
  12                 criteria: 'status == "PASS"'
  13                 blocking: true
  14                 description: >-
  15                     This test case verifies the basic OpenStack services like
  16                     Keystone, Glance, Cinder, Neutron and Nova.
  17
  18                 dependencies:
  19                     installer: ''
  20                     scenario: '^((?!lxd).)*$'
  21
  22     -
  23         name: smoke
  24         order: 1
  25         ci_loop: '(daily)|(weekly)'
  26         description : >-
  27             Set of basic Functional tests to validate the OpenStack deployment.
  28         testcases:
  29             -
  30                 name: vping_ssh
  31                 criteria: 'status == "PASS"'
  32                 blocking: true
  33                 description: >-
  34                     This test case verifies: 1) SSH to an instance using floating
  35                     IPs over the public network. 2) Connectivity between 2 instances
  36                     over a private network.
  37                 dependencies:
  38                     installer: ''
  39                     scenario: '^((?!bgpvpn|odl_l3).)*$'
  40                 run:
  41                     module: 'functest.opnfv_tests.openstack.vping.vping_ssh'
  42                     class: 'VPingSSH'
  43
  44             -
  45                 name: vping_userdata
  46                 criteria: 'status == "PASS"'
  47                 blocking: true
  48                 description: >-
  49                     This test case verifies:  1) Boot a VM with given userdata.
  50                     2) Connectivity between 2 instances over a private network.
  51                 dependencies:
  52                     installer: ''
  53                     scenario: '^((?!lxd).)*$'
  54                 run:
  55                     module: 'functest.opnfv_tests.openstack.vping.vping_userdata'
  56                     class: 'VPingUserdata'
  57
  58             -
  59                 name: tempest_smoke_serial
  60                 criteria: 'success_rate == 100%'
  61                 blocking: false
  62                 description: >-
  63                     This test case runs the smoke subset of the OpenStack
  64                     Tempest suite. The list of test cases is generated by
  65                     Tempest automatically and depends on the parameters of
  66                     the OpenStack deplopyment.
  67                 dependencies:
  68                     installer: ''
  69                     scenario: ''
  70
  71             -
  72                 name: rally_sanity
  73                 criteria: 'success_rate == 100%'
  74                 blocking: false
  75                 description: >-
  76                     This test case runs a sub group of tests of the OpenStack
  77                     Rally suite in smoke mode.
  78                 dependencies:
  79                     installer: ''
  80                     scenario: '^((?!bgpvpn).)*$'
  81
  82     -
  83         name: sdn_suites
  84         order: 2
  85         ci_loop: '(daily)|(weekly)'
  86         description : >-
  87             Test suites corresponding to the different
  88             SDN Controllers existing in OPNFV.
  89         testcases:
  90             -
  91                 name: odl
  92                 criteria: 'success_rate == 100%'
  93                 blocking: true
  94                 description: >-
  95                     Test Suite for the OpenDaylight SDN Controller. It integrates
  96                     some test suites from upstream using Robot as the test
  97                     framework.
  98                 dependencies:
  99                     installer: ''
 100                     scenario: 'odl'
 101                 run:
 102                     module: 'functest.opnfv_tests.sdn.odl.odl'
 103                     class: 'ODLTests'
 104
 105             -
 106                 name: onos
 107                 criteria: 'status == "PASS"'
 108                 blocking: true
 109                 description: >-
 110                     Test Suite for the ONOS SDN Controller. It integrates
 111                     some test suites from upstream using TestON as the test
 112                     framework.
 113                 dependencies:
 114                     installer: ''
 115                     scenario: 'onos'
 116
 117     -
 118         name: features
 119         order: 3
 120         ci_loop: '(daily)|(weekly)'
 121         description : >-
 122             Test suites from feature projects
 123             integrated in functest
 124         testcases:
 125             -
 126                 name: promise
 127                 criteria: 'success_rate == 100%'
 128                 blocking: false
 129                 description: >-
 130                     Test suite from Promise project.
 131                 dependencies:
 132                     installer: '(fuel)|(joid)'
 133                     scenario: ''
 134
 135             -
 136                 name: doctor
 137                 criteria: 'status == "PASS"'
 138                 blocking: false
 139                 description: >-
 140                     Test suite from Doctor project.
 141                 dependencies:
 142                     installer: 'apex'
 143                     scenario: '^((?!fdio).)*$'
 144
 145             -
 146                 name: bgpvpn
 147                 criteria: 'status == "PASS"'
 148                 blocking: false
 149                 description: >-
 150                     Test suite from SDNVPN project.
 151                 dependencies:
 152                     installer: '(fuel)|(apex)'
 153                     scenario: 'bgpvpn'
 154                 run:
 155                     module: 'functest.opnfv_tests.features.sdnvpn'
 156                     class: 'SdnVpnTests'
 157
 158             -
 159                 name: security_scan
 160                 criteria: 'status == "PASS"'
 161                 blocking: false
 162                 description: >-
 163                     Simple security Scan
 164                 dependencies:
 165                     installer: 'apex'
 166                     scenario: '^((?!fdio).)*$'
 167
 168             -
 169                 name: copper
 170                 criteria: 'status == "PASS"'
 171                 blocking: false
 172                 description: >-
 173                     Test suite for policy management based on OpenStack Congress
 174                 dependencies:
 175                     installer: '(apex)|(joid)'
 176                     scenario: '^((?!fdio|lxd).)*$'
 177             -
 178                 name: moon
 179                 criteria: 'status == "PASS"'
 180                 blocking: false
 181                 description: >-
 182                     Security management system for OPNFV
 183                 dependencies:
 184                     installer: 'compass'
 185                     scenario: '(odl)*(moon)'
 186             -
 187                 name: multisite
 188                 criteria: 'success_rate == 100%'
 189                 blocking: false
 190                 description: >-
 191                     Test suite from kingbird
 192                 dependencies:
 193                     installer: '(fuel)|(compass)'
 194                     scenario: 'multisite'
 195             -
 196                 name: domino
 197                 criteria: 'status == "PASS"'
 198                 blocking: false
 199                 description: >-
 200                     Test suite for template distribution based on Domino
 201                 dependencies:
 202                     installer: 'joid'
 203                     scenario: ''
 204                 run:
 205                     module: 'functest.opnfv_tests.features.domino'
 206                     class: 'DominoTests'
 207             -
 208                 name: odl-sfc
 209                 criteria: 'status == "PASS"'
 210                 blocking: false
 211                 description: >-
 212                     Test suite for odl-sfc to test two chains and two SFs
 213                 dependencies:
 214                     installer: '(apex)|(fuel)'
 215                     scenario: 'odl_l2-sfc'
 216             -
 217                 name: onos_sfc
 218                 criteria: 'status == "PASS"'
 219                 blocking: true
 220                 description: >-
 221                     Test Suite for onos-sfc to test sfc function.
 222                 dependencies:
 223                     installer: ''
 224                     scenario: 'onos-sfc'
 225             -
 226                 name: parser
 227                 criteria: 'ret == 0'
 228                 blocking: false
 229                 description: >-
 230                     Test suite from Parser project.
 231                 dependencies:
 232                     installer: 'fuel'
 233                     scenario: '^((?!bgpvpn|noha).)*$'
 234                 run:
 235                     module: 'functest.opnfv_tests.vnf.rnc.parser'
 236                     class: 'Parser'
 237     -
 238         name: openstack
 239         order: 4
 240         ci_loop: 'weekly'
 241         description : >-
 242             Extensive testing of OpenStack API.
 243         testcases:
 244             -
 245                 name: tempest_full_parallel
 246                 criteria: 'success_rate >= 80%'
 247                 blocking: false
 248                 description: >-
 249                     The list of test cases is generated by
 250                     Tempest automatically and depends on the parameters of
 251                     the OpenStack deplopyment.
 252                 dependencies:
 253                     installer: ''
 254                     scenario: ''
 255
 256             -
 257                 name: rally_full
 258                 criteria: 'success_rate >= 90%'
 259                 blocking: false
 260                 description: >-
 261                     This test case runs the full suite of scenarios of the OpenStack
 262                     Rally suite using several threads and iterations.
 263                 dependencies:
 264                     installer: ''
 265                     scenario: ''
 266
 267     -
 268         name: vnf
 269         order: 5
 270         ci_loop: 'weekly'
 271         description : >-
 272             Collection of VNF test cases.
 273         testcases:
 274             -
 275                 name: vims
 276                 criteria: 'status == "PASS"'
 277                 blocking: false
 278                 description: >-
 279                     This test case deploys an OpenSource vIMS solution from Clearwater
 280                     using the Cloudify orchestrator. It also runs some signaling traffic.
 281                 dependencies:
 282                     installer: ''
 283                     scenario: '(ocl)|(nosdn)|^(os-odl)((?!bgpvpn).)*$'