functest/ci/testcases.yaml

   1 tiers:
   2     -
   3         name: healthcheck
   4         order: 0
   5         ci_loop: '(daily)|(weekly)'
   6         description : >-
   7             First tier to be executed to verify the basic
   8             operations in the VIM.
   9         testcases:
  10             -
  11                 name: healthcheck
  12                 criteria: 'status == "PASS"'
  13                 blocking: true
  14                 description: >-
  15                     This test case verifies the basic OpenStack services like
  16                     Keystone, Glance, Cinder, Neutron and Nova.
  17
  18                 dependencies:
  19                     installer: ''
  20                     scenario: '^((?!lxd).)*$'
  21
  22     -
  23         name: smoke
  24         order: 1
  25         ci_loop: '(daily)|(weekly)'
  26         description : >-
  27             Set of basic Functional tests to validate the OPNFV scenarios.
  28         testcases:
  29             -
  30                 name: vping_ssh
  31                 criteria: 'status == "PASS"'
  32                 blocking: true
  33                 description: >-
  34                     This test case verifies: 1) SSH to an instance using floating
  35                     IPs over the public network. 2) Connectivity between 2 instances
  36                     over a private network.
  37                 dependencies:
  38                     installer: ''
  39                     scenario: '^((?!bgpvpn|odl_l3).)*$'
  40                 run:
  41                     module: 'functest.opnfv_tests.openstack.vping.vping_ssh'
  42                     class: 'VPingSSH'
  43
  44             -
  45                 name: vping_userdata
  46                 criteria: 'status == "PASS"'
  47                 blocking: true
  48                 description: >-
  49                     This test case verifies:  1) Boot a VM with given userdata.
  50                     2) Connectivity between 2 instances over a private network.
  51                 dependencies:
  52                     installer: ''
  53                     scenario: '^((?!lxd).)*$'
  54                 run:
  55                     module: 'functest.opnfv_tests.openstack.vping.vping_userdata'
  56                     class: 'VPingUserdata'
  57
  58             -
  59                 name: tempest_smoke_serial
  60                 criteria: 'success_rate == 100%'
  61                 blocking: false
  62                 description: >-
  63                     This test case runs the smoke subset of the OpenStack
  64                     Tempest suite. The list of test cases is generated by
  65                     Tempest automatically and depends on the parameters of
  66                     the OpenStack deplopyment.
  67                 dependencies:
  68                     installer: ''
  69                     scenario: ''
  70
  71             -
  72                 name: rally_sanity
  73                 criteria: 'success_rate == 100%'
  74                 blocking: false
  75                 description: >-
  76                     This test case runs a sub group of tests of the OpenStack
  77                     Rally suite in smoke mode.
  78                 dependencies:
  79                     installer: ''
  80                     scenario: '^((?!bgpvpn).)*$'
  81
  82             -
  83                 name: odl
  84                 criteria: 'success_rate == 100%'
  85                 blocking: true
  86                 description: >-
  87                     Test Suite for the OpenDaylight SDN Controller. It integrates
  88                     some test suites from upstream using Robot as the test
  89                     framework.
  90                 dependencies:
  91                     installer: ''
  92                     scenario: 'odl'
  93                 run:
  94                     module: 'functest.opnfv_tests.sdn.odl.odl'
  95                     class: 'ODLTests'
  96
  97             -
  98                 name: onos
  99                 criteria: 'status == "PASS"'
 100                 blocking: true
 101                 description: >-
 102                     Test Suite for the ONOS SDN Controller. It integrates
 103                     some test suites from upstream using TestON as the test
 104                     framework.
 105                 dependencies:
 106                     installer: ''
 107                     scenario: 'onos'
 108
 109     -
 110         name: features
 111         order: 2
 112         ci_loop: '(daily)|(weekly)'
 113         description : >-
 114             Test suites from feature projects
 115             integrated in functest
 116         testcases:
 117             -
 118                 name: promise
 119                 criteria: 'success_rate == 100%'
 120                 blocking: false
 121                 description: >-
 122                     Test suite from Promise project.
 123                 dependencies:
 124                     installer: '(fuel)|(joid)'
 125                     scenario: ''
 126
 127             -
 128                 name: doctor
 129                 criteria: 'status == "PASS"'
 130                 blocking: false
 131                 description: >-
 132                     Test suite from Doctor project.
 133                 dependencies:
 134                     installer: 'apex'
 135                     scenario: '^((?!fdio).)*$'
 136
 137             -
 138                 name: bgpvpn
 139                 criteria: 'status == "PASS"'
 140                 blocking: false
 141                 description: >-
 142                     Test suite from SDNVPN project.
 143                 dependencies:
 144                     installer: '(fuel)|(apex)'
 145                     scenario: 'bgpvpn'
 146                 run:
 147                     module: 'functest.opnfv_tests.features.sdnvpn'
 148                     class: 'SdnVpnTests'
 149
 150             -
 151                 name: security_scan
 152                 criteria: 'status == "PASS"'
 153                 blocking: false
 154                 description: >-
 155                     Simple security Scan
 156                 dependencies:
 157                     installer: 'apex'
 158                     scenario: '^((?!fdio).)*$'
 159
 160             -
 161                 name: copper
 162                 criteria: 'status == "PASS"'
 163                 blocking: false
 164                 description: >-
 165                     Test suite for policy management based on OpenStack Congress
 166                 dependencies:
 167                     installer: '(apex)|(joid)'
 168                     scenario: '^((?!fdio|lxd).)*$'
 169             -
 170                 name: moon
 171                 criteria: 'status == "PASS"'
 172                 blocking: false
 173                 description: >-
 174                     Security management system for OPNFV
 175                 dependencies:
 176                     installer: 'compass'
 177                     scenario: '(odl)*(moon)'
 178             -
 179                 name: multisite
 180                 criteria: 'success_rate == 100%'
 181                 blocking: false
 182                 description: >-
 183                     Test suite from kingbird
 184                 dependencies:
 185                     installer: '(fuel)|(compass)'
 186                     scenario: 'multisite'
 187             -
 188                 name: domino
 189                 criteria: 'status == "PASS"'
 190                 blocking: false
 191                 description: >-
 192                     Test suite for template distribution based on Domino
 193                 dependencies:
 194                     installer: 'joid'
 195                     scenario: ''
 196                 run:
 197                     module: 'functest.opnfv_tests.features.domino'
 198                     class: 'DominoTests'
 199             -
 200                 name: odl-sfc
 201                 criteria: 'status == "PASS"'
 202                 blocking: false
 203                 description: >-
 204                     Test suite for odl-sfc to test two chains and two SFs
 205                 dependencies:
 206                     installer: '(apex)|(fuel)'
 207                     scenario: 'odl_l2-sfc'
 208             -
 209                 name: onos_sfc
 210                 criteria: 'status == "PASS"'
 211                 blocking: true
 212                 description: >-
 213                     Test Suite for onos-sfc to test sfc function.
 214                 dependencies:
 215                     installer: ''
 216                     scenario: 'onos-sfc'
 217             -
 218                 name: parser
 219                 criteria: 'ret == 0'
 220                 blocking: false
 221                 description: >-
 222                     Test suite from Parser project.
 223                 dependencies:
 224                     installer: 'fuel'
 225                     scenario: '^((?!bgpvpn|noha).)*$'
 226                 run:
 227                     module: 'functest.opnfv_tests.vnf.rnc.parser'
 228                     class: 'Parser'
 229     -
 230         name: openstack
 231         order: 3
 232         ci_loop: 'weekly'
 233         description : >-
 234             Extensive testing of OpenStack API.
 235         testcases:
 236             -
 237                 name: tempest_full_parallel
 238                 criteria: 'success_rate >= 80%'
 239                 blocking: false
 240                 description: >-
 241                     The list of test cases is generated by
 242                     Tempest automatically and depends on the parameters of
 243                     the OpenStack deplopyment.
 244                 dependencies:
 245                     installer: ''
 246                     scenario: ''
 247
 248             -
 249                 name: rally_full
 250                 criteria: 'success_rate >= 90%'
 251                 blocking: false
 252                 description: >-
 253                     This test case runs the full suite of scenarios of the OpenStack
 254                     Rally suite using several threads and iterations.
 255                 dependencies:
 256                     installer: ''
 257                     scenario: ''
 258
 259     -
 260         name: vnf
 261         order: 4
 262         ci_loop: 'weekly'
 263         description : >-
 264             Collection of VNF test cases.
 265         testcases:
 266             -
 267                 name: vims
 268                 criteria: 'status == "PASS"'
 269                 blocking: false
 270                 description: >-
 271                     This test case deploys an OpenSource vIMS solution from Clearwater
 272                     using the Cloudify orchestrator. It also runs some signaling traffic.
 273                 dependencies:
 274                     installer: ''
 275                     scenario: '(ocl)|(nosdn)|^(os-odl)((?!bgpvpn).)*$'