functest/ci/testcases.yaml

   1 tiers:
   2     -
   3         name: healthcheck
   4         order: 0
   5         ci_loop: '(daily)|(weekly)'
   6         description : >-
   7             First tier to be executed to verify the basic
   8             operations in the VIM.
   9         testcases:
  10             -
  11                 name: healthcheck
  12                 criteria: 'status == "PASS"'
  13                 blocking: true
  14                 description: >-
  15                     This test case verifies the basic OpenStack services like
  16                     Keystone, Glance, Cinder, Neutron and Nova.
  17
  18                 dependencies:
  19                     installer: ''
  20                     scenario: '^((?!lxd).)*$'
  21
  22     -
  23         name: smoke
  24         order: 1
  25         ci_loop: '(daily)|(weekly)'
  26         description : >-
  27             Set of basic Functional tests to validate the OpenStack deployment.
  28         testcases:
  29             -
  30                 name: vping_ssh
  31                 criteria: 'status == "PASS"'
  32                 blocking: true
  33                 description: >-
  34                     This test case verifies: 1) SSH to an instance using floating
  35                     IPs over the public network. 2) Connectivity between 2 instances
  36                     over a private network.
  37                 dependencies:
  38                     installer: ''
  39                     scenario: '^((?!bgpvpn|odl_l3).)*$'
  40
  41             -
  42                 name: vping_userdata
  43                 criteria: 'status == "PASS"'
  44                 blocking: true
  45                 description: >-
  46                     This test case verifies:  1) Boot a VM with given userdata.
  47                     2) Connectivity between 2 instances over a private network.
  48                 dependencies:
  49                     installer: ''
  50                     scenario: '^((?!lxd).)*$'
  51
  52             -
  53                 name: tempest_smoke_serial
  54                 criteria: 'success_rate == 100%'
  55                 blocking: false
  56                 description: >-
  57                     This test case runs the smoke subset of the OpenStack
  58                     Tempest suite. The list of test cases is generated by
  59                     Tempest automatically and depends on the parameters of
  60                     the OpenStack deplopyment.
  61                 dependencies:
  62                     installer: ''
  63                     scenario: ''
  64
  65             -
  66                 name: rally_sanity
  67                 criteria: 'success_rate == 100%'
  68                 blocking: false
  69                 description: >-
  70                     This test case runs a sub group of tests of the OpenStack
  71                     Rally suite in smoke mode.
  72                 dependencies:
  73                     installer: ''
  74                     scenario: '^((?!bgpvpn).)*$'
  75
  76     -
  77         name: sdn_suites
  78         order: 2
  79         ci_loop: '(daily)|(weekly)'
  80         description : >-
  81             Test suites corresponding to the different
  82             SDN Controllers existing in OPNFV.
  83         testcases:
  84             -
  85                 name: odl
  86                 criteria: 'success_rate == 100%'
  87                 blocking: true
  88                 description: >-
  89                     Test Suite for the OpenDaylight SDN Controller. It integrates
  90                     some test suites from upstream using Robot as the test
  91                     framework.
  92                 dependencies:
  93                     installer: ''
  94                     scenario: 'odl'
  95                 run:
  96                     module: 'functest.opnfv_tests.Controllers.ODL.OpenDaylightTesting'
  97                     class: 'ODLTestCases'
  98
  99             -
 100                 name: onos
 101                 criteria: 'status == "PASS"'
 102                 blocking: true
 103                 description: >-
 104                     Test Suite for the ONOS SDN Controller. It integrates
 105                     some test suites from upstream using TestON as the test
 106                     framework.
 107                 dependencies:
 108                     installer: ''
 109                     scenario: 'onos'
 110
 111     -
 112         name: features
 113         order: 3
 114         ci_loop: '(daily)|(weekly)'
 115         description : >-
 116             Test suites from feature projects
 117             integrated in functest
 118         testcases:
 119             -
 120                 name: promise
 121                 criteria: 'success_rate == 100%'
 122                 blocking: false
 123                 description: >-
 124                     Test suite from Promise project.
 125                 dependencies:
 126                     installer: '(fuel)|(joid)'
 127                     scenario: ''
 128
 129             -
 130                 name: doctor
 131                 criteria: 'status == "PASS"'
 132                 blocking: false
 133                 description: >-
 134                     Test suite from Doctor project.
 135                 dependencies:
 136                     installer: 'apex'
 137                     scenario: '^((?!fdio).)*$'
 138
 139             -
 140                 name: bgpvpn
 141                 criteria: 'status == "PASS"'
 142                 blocking: false
 143                 description: >-
 144                     Test suite from SDNVPN project.
 145                 dependencies:
 146                     installer: '(fuel)|(apex)'
 147                     scenario: 'bgpvpn'
 148
 149             -
 150                 name: security_scan
 151                 criteria: 'status == "PASS"'
 152                 blocking: false
 153                 description: >-
 154                     Simple security Scan
 155                 dependencies:
 156                     installer: 'apex'
 157                     scenario: '^((?!fdio).)*$'
 158
 159             -
 160                 name: copper
 161                 criteria: 'status == "PASS"'
 162                 blocking: false
 163                 description: >-
 164                     Test suite for policy management based on OpenStack Congress
 165                 dependencies:
 166                     installer: '(apex)|(joid)'
 167                     scenario: '^((?!fdio|lxd).)*$'
 168             -
 169                 name: moon
 170                 criteria: 'status == "PASS"'
 171                 blocking: false
 172                 description: >-
 173                     Security management system for OPNFV
 174                 dependencies:
 175                     installer: 'compass'
 176                     scenario: '(odl)*(moon)'
 177             -
 178                 name: multisite
 179                 criteria: 'success_rate == 100%'
 180                 blocking: false
 181                 description: >-
 182                     Test suite from kingbird
 183                 dependencies:
 184                     installer: '(fuel)|(compass)'
 185                     scenario: 'multisite'
 186             -
 187                 name: domino
 188                 criteria: 'status == "PASS"'
 189                 blocking: false
 190                 description: >-
 191                     Test suite for template distribution based on Domino
 192                 dependencies:
 193                     installer: 'joid'
 194                     scenario: ''
 195                 run:
 196                     module: 'functest.opnfv_tests.features.domino'
 197                     class: 'DominoCases'
 198             -
 199                 name: odl-sfc
 200                 criteria: 'status == "PASS"'
 201                 blocking: false
 202                 description: >-
 203                     Test suite for odl-sfc to test two chains and two SFs
 204                 dependencies:
 205                     installer: '(apex)|(fuel)'
 206                     scenario: 'odl_l2-sfc'
 207             -
 208                 name: onos_sfc
 209                 criteria: 'status == "PASS"'
 210                 blocking: true
 211                 description: >-
 212                     Test Suite for onos-sfc to test sfc function.
 213                 dependencies:
 214                     installer: ''
 215                     scenario: 'onos-sfc'
 216             -
 217                 name: parser
 218                 criteria: 'ret == 0'
 219                 blocking: false
 220                 description: >-
 221                     Test suite from Parser project.
 222                 dependencies:
 223                     installer: 'fuel'
 224                     scenario: '^((?!bgpvpn|noha).)*$'
 225
 226     -
 227         name: openstack
 228         order: 4
 229         ci_loop: 'weekly'
 230         description : >-
 231             Extensive testing of OpenStack API.
 232         testcases:
 233             -
 234                 name: tempest_full_parallel
 235                 criteria: 'success_rate >= 80%'
 236                 blocking: false
 237                 description: >-
 238                     The list of test cases is generated by
 239                     Tempest automatically and depends on the parameters of
 240                     the OpenStack deplopyment.
 241                 dependencies:
 242                     installer: ''
 243                     scenario: ''
 244
 245             -
 246                 name: rally_full
 247                 criteria: 'success_rate >= 90%'
 248                 blocking: false
 249                 description: >-
 250                     This test case runs the full suite of scenarios of the OpenStack
 251                     Rally suite using several threads and iterations.
 252                 dependencies:
 253                     installer: ''
 254                     scenario: ''
 255
 256     -
 257         name: vnf
 258         order: 5
 259         ci_loop: 'weekly'
 260         description : >-
 261             Collection of VNF test cases.
 262         testcases:
 263             -
 264                 name: vims
 265                 criteria: 'status == "PASS"'
 266                 blocking: false
 267                 description: >-
 268                     This test case deploys an OpenSource vIMS solution from Clearwater
 269                     using the Cloudify orchestrator. It also runs some signaling traffic.
 270                 dependencies:
 271                     installer: ''
 272                     scenario: '(ocl)|(nosdn)|^(os-odl)((?!bgpvpn).)*$'