ci/testcases.yaml

   1 tiers:
   2     -
   3         name: healthcheck
   4         order: 0
   5         ci_loop: '(daily)|(weekly)'
   6         description : >-
   7             First tier to be executed to verify the basic
   8             operations in the VIM.
   9         testcases:
  10             -
  11                 name: healthcheck
  12                 criteria: 'status == "PASS"'
  13                 blocking: true
  14                 description: >-
  15                     This test case verifies the basic OpenStack services like
  16                     Keystone, Glance, Cinder, Neutron and Nova.
  17
  18                 dependencies:
  19                     installer: ''
  20                     scenario: '^((?!lxd).)*$'
  21
  22     -
  23         name: smoke
  24         order: 1
  25         ci_loop: '(daily)|(weekly)'
  26         description : >-
  27             Set of basic Functional tests to validate the OpenStack deployment.
  28         testcases:
  29             -
  30                 name: vping_ssh
  31                 criteria: 'status == "PASS"'
  32                 blocking: true
  33                 description: >-
  34                     This test case verifies: 1) SSH to an instance using floating
  35                     IPs over the public network. 2) Connectivity between 2 instances
  36                     over a private network.
  37                 dependencies:
  38                     installer: ''
  39                     scenario: '^((?!bgpvpn|odl_l3).)*$'
  40
  41             -
  42                 name: vping_userdata
  43                 criteria: 'status == "PASS"'
  44                 blocking: true
  45                 description: >-
  46                     This test case verifies:  1) Boot a VM with given userdata.
  47                     2) Connectivity between 2 instances over a private network.
  48                 dependencies:
  49                     installer: ''
  50                     scenario: '^((?!lxd).)*$'
  51
  52             -
  53                 name: tempest_smoke_serial
  54                 criteria: 'success_rate == 100%'
  55                 blocking: false
  56                 description: >-
  57                     This test case runs the smoke subset of the OpenStack
  58                     Tempest suite. The list of test cases is generated by
  59                     Tempest automatically and depends on the parameters of
  60                     the OpenStack deplopyment.
  61                 dependencies:
  62                     installer: ''
  63                     scenario: ''
  64
  65             -
  66                 name: rally_sanity
  67                 criteria: 'success_rate == 100%'
  68                 blocking: false
  69                 description: >-
  70                     This test case runs a sub group of tests of the OpenStack
  71                     Rally suite in smoke mode.
  72                 dependencies:
  73                     installer: ''
  74                     scenario: '^((?!bgpvpn).)*$'
  75
  76     -
  77         name: sdn_suites
  78         order: 2
  79         ci_loop: '(daily)|(weekly)'
  80         description : >-
  81             Test suites corresponding to the different
  82             SDN Controllers existing in OPNFV.
  83         testcases:
  84             -
  85                 name: odl
  86                 criteria: 'success_rate == 100%'
  87                 blocking: true
  88                 description: >-
  89                     Test Suite for the OpenDaylight SDN Controller. It integrates
  90                     some test suites from upstream using Robot as the test
  91                     framework.
  92                 dependencies:
  93                     installer: ''
  94                     scenario: 'odl'
  95                 run:
  96                     module: 'functest.opnfv_tests.Controllers.ODL.OpenDaylightTesting'
  97                     class: 'ODLTestCases'
  98
  99             -
 100                 name: onos
 101                 criteria: 'status == "PASS"'
 102                 blocking: true
 103                 description: >-
 104                     Test Suite for the ONOS SDN Controller. It integrates
 105                     some test suites from upstream using TestON as the test
 106                     framework.
 107                 dependencies:
 108                     installer: ''
 109                     scenario: 'onos'
 110
 111     -
 112         name: features
 113         order: 3
 114         ci_loop: '(daily)|(weekly)'
 115         description : >-
 116             Test suites from feature projects
 117             integrated in functest
 118         testcases:
 119             -
 120                 name: promise
 121                 criteria: 'success_rate == 100%'
 122                 blocking: false
 123                 description: >-
 124                     Test suite from Promise project.
 125                 dependencies:
 126                     installer: '(fuel)|(joid)'
 127                     scenario: ''
 128
 129             -
 130                 name: doctor
 131                 criteria: 'status == "PASS"'
 132                 blocking: false
 133                 description: >-
 134                     Test suite from Doctor project.
 135                 dependencies:
 136                     installer: 'apex'
 137                     scenario: '^((?!fdio).)*$'
 138
 139             -
 140                 name: bgpvpn
 141                 criteria: 'status == "PASS"'
 142                 blocking: false
 143                 description: >-
 144                     Test suite from SDNVPN project.
 145                 dependencies:
 146                     installer: '(fuel)|(apex)'
 147                     scenario: 'bgpvpn'
 148
 149             -
 150                 name: security_scan
 151                 criteria: 'status == "PASS"'
 152                 blocking: false
 153                 description: >-
 154                     Simple security Scan
 155                 dependencies:
 156                     installer: 'apex'
 157                     scenario: '^((?!fdio).)*$'
 158
 159             -
 160                 name: copper
 161                 criteria: 'status == "PASS"'
 162                 blocking: false
 163                 description: >-
 164                     Test suite for policy management based on OpenStack Congress
 165                 dependencies:
 166                     installer: '(apex)|(joid)'
 167                     scenario: '^((?!fdio|lxd).)*$'
 168             -
 169                 name: moon
 170                 criteria: 'status == "PASS"'
 171                 blocking: false
 172                 description: >-
 173                     Security management system for OPNFV
 174                 dependencies:
 175                     installer: 'compass'
 176                     scenario: '(odl)*(moon)'
 177             -
 178                 name: multisite
 179                 criteria: 'success_rate == 100%'
 180                 blocking: false
 181                 description: >-
 182                     Test suite from kingbird
 183                 dependencies:
 184                     installer: '(fuel)|(compass)'
 185                     scenario: 'multisite'
 186             -
 187                 name: domino
 188                 criteria: 'status == "PASS"'
 189                 blocking: false
 190                 description: >-
 191                     Test suite for template distribution based on Domino
 192                 dependencies:
 193                     installer: 'joid'
 194                     scenario: ''
 195             -
 196                 name: odl-sfc
 197                 criteria: 'status == "PASS"'
 198                 blocking: false
 199                 description: >-
 200                     Test suite for odl-sfc to test two chains and two SFs
 201                 dependencies:
 202                     installer: '(apex)|(fuel)'
 203                     scenario: 'odl_l2-sfc'
 204             -
 205                 name: onos_sfc
 206                 criteria: 'status == "PASS"'
 207                 blocking: true
 208                 description: >-
 209                     Test Suite for onos-sfc to test sfc function.
 210                 dependencies:
 211                     installer: ''
 212                     scenario: 'onos-sfc'
 213             -
 214                 name: parser
 215                 criteria: 'ret == 0'
 216                 blocking: false
 217                 description: >-
 218                     Test suite from Parser project.
 219                 dependencies:
 220                     installer: 'fuel'
 221                     scenario: '^((?!bgpvpn|noha).)*$'
 222
 223     -
 224         name: openstack
 225         order: 4
 226         ci_loop: 'weekly'
 227         description : >-
 228             Extensive testing of OpenStack API.
 229         testcases:
 230             -
 231                 name: tempest_full_parallel
 232                 criteria: 'success_rate >= 80%'
 233                 blocking: false
 234                 description: >-
 235                     The list of test cases is generated by
 236                     Tempest automatically and depends on the parameters of
 237                     the OpenStack deplopyment.
 238                 dependencies:
 239                     installer: ''
 240                     scenario: ''
 241
 242             -
 243                 name: rally_full
 244                 criteria: 'success_rate >= 90%'
 245                 blocking: false
 246                 description: >-
 247                     This test case runs the full suite of scenarios of the OpenStack
 248                     Rally suite using several threads and iterations.
 249                 dependencies:
 250                     installer: ''
 251                     scenario: ''
 252
 253     -
 254         name: vnf
 255         order: 5
 256         ci_loop: 'weekly'
 257         description : >-
 258             Collection of VNF test cases.
 259         testcases:
 260             -
 261                 name: vims
 262                 criteria: 'status == "PASS"'
 263                 blocking: false
 264                 description: >-
 265                     This test case deploys an OpenSource vIMS solution from Clearwater
 266                     using the Cloudify orchestrator. It also runs some signaling traffic.
 267                 dependencies:
 268                     installer: ''
 269                     scenario: '(ocl)|(nosdn)|^(os-odl)((?!bgpvpn).)*$'