ci/testcases.yaml

   1 tiers:
   2     -
   3         name: healthcheck
   4         order: 0
   5         ci_loop: '(daily)|(weekly)'
   6         description : >-
   7             First tier to be executed to verify the basic
   8             operations in the VIM.
   9         testcases:
  10             -
  11                 name: healthcheck
  12                 criteria: 'status == "PASS"'
  13                 description: >-
  14                     This test case verifies the basic OpenStack services like
  15                     Keystone, Glance, Cinder, Neutron and Nova.
  16
  17                 dependencies:
  18                     installer: ''
  19                     scenario: ''
  20
  21     -
  22         name: smoke
  23         order: 1
  24         ci_loop: '(daily)|(weekly)'
  25         description : >-
  26             Set of basic Functional tests to validate the OpenStack deployment.
  27         testcases:
  28             -
  29                 name: vping_ssh
  30                 criteria: 'status == "PASS"'
  31                 description: >-
  32                     This test case verifies: 1) SSH to an instance using floating
  33                     IPs over the public network. 2) Connectivity between 2 instances
  34                     over a private network.
  35                 dependencies:
  36                     installer: ''
  37                     scenario: '^((?!bgpvpn).)*$'
  38
  39             -
  40                 name: vping_userdata
  41                 criteria: 'status == "PASS"'
  42                 description: >-
  43                     This test case verifies:  1) Boot a VM with given userdata.
  44                     2) Connectivity between 2 instances over a private network.
  45                 dependencies:
  46                     installer: ''
  47                     scenario: ''
  48
  49             -
  50                 name: tempest_smoke_serial
  51                 criteria: 'success_rate == 100%'
  52                 description: >-
  53                     This test case runs the smoke subset of the OpenStack
  54                     Tempest suite. The list of test cases is generated by
  55                     Tempest automatically and depends on the parameters of
  56                     the OpenStack deplopyment.
  57                 dependencies:
  58                     installer: ''
  59                     scenario: '^(?!.*bgpvpn).*$'
  60
  61             -
  62                 name: rally_sanity
  63                 criteria: 'success_rate == 100%'
  64                 description: >-
  65                     This test case runs a sub group of tests of the OpenStack
  66                     Rally suite in smoke mode.
  67                 dependencies:
  68                     installer: ''
  69                     scenario: ''
  70
  71     -
  72         name: sdn_suites
  73         order: 2
  74         ci_loop: '(daily)|(weekly)'
  75         description : >-
  76             Test suites corresponding to the different
  77             SDN Controllers existing in OPNFV.
  78         testcases:
  79             -
  80                 name: odl
  81                 criteria: 'success_rate == 100%'
  82                 description: >-
  83                     Test Suite for the OpenDaylight SDN Controller. It integrates
  84                     some test suites from upstream using Robot as the test
  85                     framework.
  86                 dependencies:
  87                     installer: ''
  88                     scenario: 'odl'
  89
  90             -
  91                 name: onos
  92                 criteria: 'status == "PASS"'
  93                 description: >-
  94                     Test Suite for the ONOS SDN Controller. It integrates
  95                     some test suites from upstream using TestON as the test
  96                     framework.
  97                 dependencies:
  98                     installer: ''
  99                     scenario: 'onos'
 100
 101     -
 102         name: features
 103         order: 3
 104         ci_loop: '(daily)|(weekly)'
 105         description : >-
 106             Test suites from feature projects
 107             integrated in functest
 108         testcases:
 109             -
 110                 name: promise
 111                 criteria: 'success_rate == 100%'
 112                 description: >-
 113                     Test suite from Promise project.
 114                 dependencies:
 115                     installer: '(fuel)|(joid)'
 116                     scenario: ''
 117
 118             -
 119                 name: doctor
 120                 criteria: 'status == "PASS"'
 121                 description: >-
 122                     Test suite from Doctor project.
 123                 dependencies:
 124                     installer: 'apex'
 125                     scenario: ''
 126
 127             -
 128                 name: bgpvpn
 129                 criteria: 'status == "PASS"'
 130                 description: >-
 131                     Test suite from SDNVPN project.
 132                 dependencies:
 133                     installer: '(fuel)|(apex)'
 134                     scenario: 'bgpvpn'
 135
 136             -
 137                 name: security_scan
 138                 criteria: 'status == "PASS"'
 139                 description: >-
 140                     Simple security Scan
 141                 dependencies:
 142                     installer: 'apex'
 143                     scenario: ''
 144
 145             -
 146                 name: copper
 147                 criteria: 'status == "PASS"'
 148                 description: >-
 149                     Test suite for policy management based on OpenStack Congress
 150                 dependencies:
 151                     installer: 'apex'
 152                     scenario: ''
 153             -
 154                 name: moon
 155                 criteria: 'status == "PASS"'
 156                 description: >-
 157                     Security management system for OPNFV
 158                 dependencies:
 159                     installer: 'compass'
 160                     scenario: '(odl)*(moon)'
 161             -
 162                 name: multisite
 163                 criteria: 'status == "PASS"'
 164                 description: >-
 165                     Test suite from kingbird
 166                 dependencies:
 167                     installer: '(fuel)|(compass)'
 168                     scenario: 'multisite'
 169             -
 170                 name: domino
 171                 criteria: 'status == "PASS"'
 172                 description: >-
 173                     Test suite for template distribution based on Domino
 174                 dependencies:
 175                     installer: 'joid'
 176                     scenario: ''
 177     -
 178         name: openstack
 179         order: 4
 180         ci_loop: 'weekly'
 181         description : >-
 182             Extensive testing of OpenStack API.
 183         testcases:
 184             -
 185                 name: tempest_full_parallel
 186                 criteria: 'success_rate >= 80%'
 187                 description: >-
 188                     The list of test cases is generated by
 189                     Tempest automatically and depends on the parameters of
 190                     the OpenStack deplopyment.
 191                 dependencies:
 192                     installer: ''
 193                     scenario: ''
 194
 195             -
 196                 name: rally_full
 197                 criteria: 'success_rate >= 90%'
 198                 description: >-
 199                     This test case runs the full suite of scenarios of the OpenStack
 200                     Rally suite using several threads and iterations.
 201                 dependencies:
 202                     installer: ''
 203                     scenario: ''
 204
 205     -
 206         name: vnf
 207         order: 5
 208         ci_loop: 'weekly'
 209         description : >-
 210             Collection of VNF test cases.
 211         testcases:
 212             -
 213                 name: vims
 214                 criteria: 'status == "PASS"'
 215                 description: >-
 216                     This test case deploys an OpenSource vIMS solution from Clearwater
 217                     using the Cloudify orchestrator. It also runs some signaling traffic.
 218                 dependencies:
 219                     installer: ''
 220                     scenario: '(ocl)|(nosdn)|^(os-odl)((?!bgpvpn).)*$'