ci/testcases.yaml

   1 tiers:
   2     -
   3         name: healthcheck
   4         order: 0
   5         ci_loop: '(daily)|(weekly)'
   6         description : >-
   7             First tier to be executed to verify the basic
   8             operations in the VIM.
   9         testcases:
  10             -
  11                 name: healthcheck
  12                 criteria: 'status == "PASS"'
  13                 blocking: true
  14                 description: >-
  15                     This test case verifies the basic OpenStack services like
  16                     Keystone, Glance, Cinder, Neutron and Nova.
  17
  18                 dependencies:
  19                     installer: ''
  20                     scenario: '^((?!lxd).)*$'
  21
  22     -
  23         name: smoke
  24         order: 1
  25         ci_loop: '(daily)|(weekly)'
  26         description : >-
  27             Set of basic Functional tests to validate the OpenStack deployment.
  28         testcases:
  29             -
  30                 name: vping_ssh
  31                 criteria: 'status == "PASS"'
  32                 blocking: true
  33                 description: >-
  34                     This test case verifies: 1) SSH to an instance using floating
  35                     IPs over the public network. 2) Connectivity between 2 instances
  36                     over a private network.
  37                 dependencies:
  38                     installer: ''
  39                     scenario: '^((?!bgpvpn|odl_l3).)*$'
  40
  41             -
  42                 name: vping_userdata
  43                 criteria: 'status == "PASS"'
  44                 blocking: true
  45                 description: >-
  46                     This test case verifies:  1) Boot a VM with given userdata.
  47                     2) Connectivity between 2 instances over a private network.
  48                 dependencies:
  49                     installer: ''
  50                     scenario: '^((?!lxd).)*$'
  51
  52             -
  53                 name: tempest_smoke_serial
  54                 criteria: 'success_rate == 100%'
  55                 blocking: false
  56                 description: >-
  57                     This test case runs the smoke subset of the OpenStack
  58                     Tempest suite. The list of test cases is generated by
  59                     Tempest automatically and depends on the parameters of
  60                     the OpenStack deplopyment.
  61                 dependencies:
  62                     installer: ''
  63                     scenario: ''
  64
  65             -
  66                 name: rally_sanity
  67                 criteria: 'success_rate == 100%'
  68                 blocking: false
  69                 description: >-
  70                     This test case runs a sub group of tests of the OpenStack
  71                     Rally suite in smoke mode.
  72                 dependencies:
  73                     installer: ''
  74                     scenario: '^((?!bgpvpn).)*$'
  75
  76     -
  77         name: sdn_suites
  78         order: 2
  79         ci_loop: '(daily)|(weekly)'
  80         description : >-
  81             Test suites corresponding to the different
  82             SDN Controllers existing in OPNFV.
  83         testcases:
  84             -
  85                 name: odl
  86                 criteria: 'success_rate == 100%'
  87                 blocking: true
  88                 description: >-
  89                     Test Suite for the OpenDaylight SDN Controller. It integrates
  90                     some test suites from upstream using Robot as the test
  91                     framework.
  92                 dependencies:
  93                     installer: ''
  94                     scenario: 'odl'
  95
  96             -
  97                 name: onos
  98                 criteria: 'status == "PASS"'
  99                 blocking: true
 100                 description: >-
 101                     Test Suite for the ONOS SDN Controller. It integrates
 102                     some test suites from upstream using TestON as the test
 103                     framework.
 104                 dependencies:
 105                     installer: ''
 106                     scenario: 'onos'
 107
 108     -
 109         name: features
 110         order: 3
 111         ci_loop: '(daily)|(weekly)'
 112         description : >-
 113             Test suites from feature projects
 114             integrated in functest
 115         testcases:
 116             -
 117                 name: promise
 118                 criteria: 'success_rate == 100%'
 119                 blocking: false
 120                 description: >-
 121                     Test suite from Promise project.
 122                 dependencies:
 123                     installer: '(fuel)|(joid)'
 124                     scenario: ''
 125
 126             -
 127                 name: doctor
 128                 criteria: 'status == "PASS"'
 129                 blocking: false
 130                 description: >-
 131                     Test suite from Doctor project.
 132                 dependencies:
 133                     installer: 'apex'
 134                     scenario: '^((?!fdio).)*$'
 135
 136             -
 137                 name: bgpvpn
 138                 criteria: 'status == "PASS"'
 139                 blocking: false
 140                 description: >-
 141                     Test suite from SDNVPN project.
 142                 dependencies:
 143                     installer: '(fuel)|(apex)'
 144                     scenario: 'bgpvpn'
 145
 146             -
 147                 name: security_scan
 148                 criteria: 'status == "PASS"'
 149                 blocking: false
 150                 description: >-
 151                     Simple security Scan
 152                 dependencies:
 153                     installer: 'apex'
 154                     scenario: '^((?!fdio).)*$'
 155
 156             -
 157                 name: copper
 158                 criteria: 'status == "PASS"'
 159                 blocking: false
 160                 description: >-
 161                     Test suite for policy management based on OpenStack Congress
 162                 dependencies:
 163                     installer: '(apex)|(joid)'
 164                     scenario: '^((?!fdio|lxd).)*$'
 165             -
 166                 name: moon
 167                 criteria: 'status == "PASS"'
 168                 blocking: false
 169                 description: >-
 170                     Security management system for OPNFV
 171                 dependencies:
 172                     installer: 'compass'
 173                     scenario: '(odl)*(moon)'
 174             -
 175                 name: multisite
 176                 criteria: 'success_rate == 100%'
 177                 blocking: false
 178                 description: >-
 179                     Test suite from kingbird
 180                 dependencies:
 181                     installer: '(fuel)|(compass)'
 182                     scenario: 'multisite'
 183             -
 184                 name: domino
 185                 criteria: 'status == "PASS"'
 186                 blocking: false
 187                 description: >-
 188                     Test suite for template distribution based on Domino
 189                 dependencies:
 190                     installer: 'joid'
 191                     scenario: ''
 192             -
 193                 name: odl-sfc
 194                 criteria: 'status == "PASS"'
 195                 blocking: false
 196                 description: >-
 197                     Test suite for odl-sfc to test two chains and two SFs
 198                 dependencies:
 199                     installer: 'fuel'
 200                     scenario: 'odl_l2-sfc'
 201             -
 202                 name: onos_sfc
 203                 criteria: 'status == "PASS"'
 204                 blocking: true
 205                 description: >-
 206                     Test Suite for onos-sfc to test sfc function.
 207                 dependencies:
 208                     installer: ''
 209                     scenario: 'onos-sfc'
 210             -
 211                 name: parser
 212                 criteria: 'ret == 0'
 213                 blocking: false
 214                 description: >-
 215                     Test suite from Parser project.
 216                 dependencies:
 217                     installer: 'fuel'
 218                     scenario: '^((?!bgpvpn|noha).)*$'
 219
 220     -
 221         name: openstack
 222         order: 4
 223         ci_loop: 'weekly'
 224         description : >-
 225             Extensive testing of OpenStack API.
 226         testcases:
 227             -
 228                 name: tempest_full_parallel
 229                 criteria: 'success_rate >= 80%'
 230                 blocking: false
 231                 description: >-
 232                     The list of test cases is generated by
 233                     Tempest automatically and depends on the parameters of
 234                     the OpenStack deplopyment.
 235                 dependencies:
 236                     installer: ''
 237                     scenario: ''
 238
 239             -
 240                 name: rally_full
 241                 criteria: 'success_rate >= 90%'
 242                 blocking: false
 243                 description: >-
 244                     This test case runs the full suite of scenarios of the OpenStack
 245                     Rally suite using several threads and iterations.
 246                 dependencies:
 247                     installer: ''
 248                     scenario: ''
 249
 250     -
 251         name: vnf
 252         order: 5
 253         ci_loop: 'weekly'
 254         description : >-
 255             Collection of VNF test cases.
 256         testcases:
 257             -
 258                 name: vims
 259                 criteria: 'status == "PASS"'
 260                 blocking: false
 261                 description: >-
 262                     This test case deploys an OpenSource vIMS solution from Clearwater
 263                     using the Cloudify orchestrator. It also runs some signaling traffic.
 264                 dependencies:
 265                     installer: ''
 266                     scenario: '(ocl)|(nosdn)|^(os-odl)((?!bgpvpn).)*$'