functest/ci/testcases.yaml

   1 tiers:
   2     -
   3         name: healthcheck
   4         order: 0
   5         ci_loop: '(daily)|(weekly)'
   6         description : >-
   7             First tier to be executed to verify the basic
   8             operations in the VIM.
   9         testcases:
  10             -
  11                 name: healthcheck
  12                 criteria: 'status == "PASS"'
  13                 blocking: true
  14                 description: >-
  15                     This test case verifies the basic OpenStack services like
  16                     Keystone, Glance, Cinder, Neutron and Nova.
  17
  18                 dependencies:
  19                     installer: ''
  20                     scenario: '^((?!lxd).)*$'
  21
  22     -
  23         name: smoke
  24         order: 1
  25         ci_loop: '(daily)|(weekly)'
  26         description : >-
  27             Set of basic Functional tests to validate the OPNFV scenarios.
  28         testcases:
  29             -
  30                 name: vping_ssh
  31                 criteria: 'status == "PASS"'
  32                 blocking: true
  33                 description: >-
  34                     This test case verifies: 1) SSH to an instance using floating
  35                     IPs over the public network. 2) Connectivity between 2 instances
  36                     over a private network.
  37                 dependencies:
  38                     installer: ''
  39                     scenario: '^((?!bgpvpn|odl_l3).)*$'
  40                 run:
  41                     module: 'functest.opnfv_tests.openstack.vping.vping_ssh'
  42                     class: 'VPingSSH'
  43
  44             -
  45                 name: vping_userdata
  46                 criteria: 'status == "PASS"'
  47                 blocking: true
  48                 description: >-
  49                     This test case verifies:  1) Boot a VM with given userdata.
  50                     2) Connectivity between 2 instances over a private network.
  51                 dependencies:
  52                     installer: ''
  53                     scenario: '^((?!lxd).)*$'
  54                 run:
  55                     module: 'functest.opnfv_tests.openstack.vping.vping_userdata'
  56                     class: 'VPingUserdata'
  57
  58             -
  59                 name: tempest_smoke_serial
  60                 criteria: 'success_rate == 100%'
  61                 blocking: false
  62                 description: >-
  63                     This test case runs the smoke subset of the OpenStack
  64                     Tempest suite. The list of test cases is generated by
  65                     Tempest automatically and depends on the parameters of
  66                     the OpenStack deplopyment.
  67                 dependencies:
  68                     installer: ''
  69                     scenario: ''
  70
  71             -
  72                 name: rally_sanity
  73                 criteria: 'success_rate == 100%'
  74                 blocking: false
  75                 description: >-
  76                     This test case runs a sub group of tests of the OpenStack
  77                     Rally suite in smoke mode.
  78                 dependencies:
  79                     installer: ''
  80                     scenario: '^((?!bgpvpn).)*$'
  81
  82             -
  83                 name: odl
  84                 criteria: 'success_rate == 100%'
  85                 blocking: true
  86                 description: >-
  87                     Test Suite for the OpenDaylight SDN Controller. It integrates
  88                     some test suites from upstream using Robot as the test
  89                     framework.
  90                 dependencies:
  91                     installer: ''
  92                     scenario: 'odl'
  93                 run:
  94                     module: 'functest.opnfv_tests.sdn.odl.odl'
  95                     class: 'ODLTests'
  96
  97             -
  98                 name: onos
  99                 criteria: 'status == "PASS"'
 100                 blocking: true
 101                 description: >-
 102                     Test Suite for the ONOS SDN Controller. It integrates
 103                     some test suites from upstream using TestON as the test
 104                     framework.
 105                 dependencies:
 106                     installer: ''
 107                     scenario: 'onos'
 108
 109     -
 110         name: features
 111         order: 2
 112         ci_loop: '(daily)|(weekly)'
 113         description : >-
 114             Test suites from feature projects
 115             integrated in functest
 116         testcases:
 117             -
 118                 name: promise
 119                 criteria: 'success_rate == 100%'
 120                 blocking: false
 121                 description: >-
 122                     Test suite from Promise project.
 123                 dependencies:
 124                     installer: '(fuel)|(joid)'
 125                     scenario: ''
 126
 127             -
 128                 name: doctor
 129                 criteria: 'status == "PASS"'
 130                 blocking: false
 131                 description: >-
 132                     Test suite from Doctor project.
 133                 dependencies:
 134                     installer: 'apex'
 135                     scenario: '^((?!fdio).)*$'
 136
 137             -
 138                 name: bgpvpn
 139                 criteria: 'status == "PASS"'
 140                 blocking: false
 141                 description: >-
 142                     Test suite from SDNVPN project.
 143                 dependencies:
 144                     installer: '(fuel)|(apex)'
 145                     scenario: 'bgpvpn'
 146                 run:
 147                     module: 'functest.opnfv_tests.features.sdnvpn'
 148                     class: 'SdnVpnTests'
 149
 150             -
 151                 name: security_scan
 152                 criteria: 'status == "PASS"'
 153                 blocking: false
 154                 description: >-
 155                     Simple security Scan
 156                 dependencies:
 157                     installer: 'apex'
 158                     scenario: '^((?!fdio).)*$'
 159
 160             -
 161                 name: copper
 162                 criteria: 'status == "PASS"'
 163                 blocking: false
 164                 description: >-
 165                     Test suite for policy management based on OpenStack Congress
 166                 dependencies:
 167                     installer: '(apex)|(joid)'
 168                     scenario: '^((?!fdio|lxd).)*$'
 169             -
 170                 name: moon
 171                 criteria: 'status == "PASS"'
 172                 blocking: false
 173                 description: >-
 174                     Security management system for OPNFV
 175                 dependencies:
 176                     installer: 'compass'
 177                     scenario: '(odl)*(moon)'
 178             -
 179                 name: multisite
 180                 criteria: 'success_rate == 100%'
 181                 blocking: false
 182                 description: >-
 183                     Test suite from kingbird
 184                 dependencies:
 185                     installer: '(fuel)|(compass)'
 186                     scenario: 'multisite'
 187             -
 188                 name: odl-sfc
 189                 criteria: 'status == "PASS"'
 190                 blocking: false
 191                 description: >-
 192                     Test suite for odl-sfc to test two chains and two SFs
 193                 dependencies:
 194                     installer: '(apex)|(fuel)'
 195                     scenario: 'odl_l2-sfc'
 196             -
 197                 name: onos_sfc
 198                 criteria: 'status == "PASS"'
 199                 blocking: true
 200                 description: >-
 201                     Test Suite for onos-sfc to test sfc function.
 202                 dependencies:
 203                     installer: ''
 204                     scenario: 'onos-sfc'
 205             -
 206                 name: parser
 207                 criteria: 'ret == 0'
 208                 blocking: false
 209                 description: >-
 210                     Test suite from Parser project.
 211                 dependencies:
 212                     installer: 'fuel'
 213                     scenario: '^((?!bgpvpn|noha).)*$'
 214                 run:
 215                     module: 'functest.opnfv_tests.vnf.rnc.parser'
 216                     class: 'Parser'
 217     -
 218         name: openstack
 219         order: 3
 220         ci_loop: 'weekly'
 221         description : >-
 222             Extensive testing of OpenStack API.
 223         testcases:
 224             -
 225                 name: tempest_full_parallel
 226                 criteria: 'success_rate >= 80%'
 227                 blocking: false
 228                 description: >-
 229                     The list of test cases is generated by
 230                     Tempest automatically and depends on the parameters of
 231                     the OpenStack deplopyment.
 232                 dependencies:
 233                     installer: ''
 234                     scenario: ''
 235
 236             -
 237                 name: rally_full
 238                 criteria: 'success_rate >= 90%'
 239                 blocking: false
 240                 description: >-
 241                     This test case runs the full suite of scenarios of the OpenStack
 242                     Rally suite using several threads and iterations.
 243                 dependencies:
 244                     installer: ''
 245                     scenario: ''
 246
 247     -
 248         name: vnf
 249         order: 4
 250         ci_loop: 'weekly'
 251         description : >-
 252             Collection of VNF test cases.
 253         testcases:
 254             -
 255                 name: vims
 256                 criteria: 'status == "PASS"'
 257                 blocking: false
 258                 description: >-
 259                     This test case deploys an OpenSource vIMS solution from Clearwater
 260                     using the Cloudify orchestrator. It also runs some signaling traffic.
 261                 dependencies:
 262                     installer: ''
 263                     scenario: '(ocl)|(nosdn)|^(os-odl)((?!bgpvpn).)*$'