ci/testcases.yaml

   1 tiers:
   2     -
   3         name: healthcheck
   4         order: 0
   5         ci: daily
   6         description : >-
   7             First tier to be executed to verify the basic
   8             operations in the VIM.
   9         testcases:
  10             -
  11                 name: healthcheck
  12                 description: >-
  13                     This test case verifies the basic OpenStack services like
  14                     Keystone, Glance, Cinder, Neutron and Nova.
  15
  16                 dependencies:
  17                     installer: ''
  18                     scenario: ''
  19
  20     -
  21         name: smoke
  22         order: 1
  23         ci: daily
  24         description : >-
  25             Set of basic Functional tests to validate the OpenStack deployment.
  26         testcases:
  27             -
  28                 name: vping_ssh
  29                 description: |-
  30                     This test case verifies:
  31                     ····1) SSH to an instance using floating IPs over the public network.
  32                     ····2) Connectivity between 2 instances over a private network.
  33                 dependencies:
  34                     installer: ''
  35                     scenario: '^((?!bgpvpn).)*$'
  36
  37             -
  38                 name: vping_userdata
  39                 description: |-
  40                     This test case verifies:
  41                     ····1) Boot a VM with given userdata.
  42                     ····2) Connectivity between 2 instances over a private network.
  43                 dependencies:
  44                     installer: ''
  45                     scenario: ''
  46
  47             -
  48                 name: tempest_smoke_serial
  49                 description: >-
  50                     This test case runs the smoke subset of the OpenStack
  51                     Tempest suite. The list of test cases is generated by
  52                     Tempest automatically and depend on the parameters of
  53                     the OpenStack deplopyment.
  54                 dependencies:
  55                     installer: ''
  56                     scenario: ''
  57
  58             -
  59                 name: rally_sanity
  60                 description: >-
  61                     This test case runs a sub group of tests of the OpenStack
  62                     Rally suite in smoke mode.
  63                 dependencies:
  64                     installer: ''
  65                     scenario: ''
  66
  67             #-
  68             #    name: security_groups
  69             #    description: >-
  70             #        This test case verifies the functionality of the OpenStack
  71             #        security groups and that the port rules created are
  72             #        fullfilled.
  73             #    dependencies:
  74             #        installer: ''
  75             #        scenario: ''
  76
  77     -
  78         name: sdn_suites
  79         order: 2
  80         ci: daily
  81         description : >-
  82             Test suites corresponding to the different
  83             SDN Controllers existing in OPNFV.
  84         testcases:
  85             -
  86                 name: odl
  87                 description: >-
  88                     Test Suite for the OpenDaylight SDN Controller. It integrates
  89                     some test suites from upstream using Robot as the test
  90                     framework.
  91                 dependencies:
  92                     installer: ''
  93                     scenario: 'odl'
  94
  95             -
  96                 name: onos
  97                 description: >-
  98                     Test Suite for the ONOS SDN Controller. It integrates
  99                     some test suites from upstream using TestON as the test
 100                     framework.
 101                 dependencies:
 102                     installer: ''
 103                     scenario: 'onos'
 104
 105             -
 106                 name: ovno
 107                 description: >-
 108                     Test Suite for the Open Contrail SDN Controller.
 109                     framework.
 110                 dependencies:
 111                     installer: ''
 112                     scenario: 'ocl'
 113
 114     -
 115         name: features
 116         order: 3
 117         ci: daily
 118         description : >-
 119             Test suites from feature projects
 120             integrated in functest
 121         testcases:
 122             -
 123                 name: promise
 124                 description: >-
 125                     Test suite from Promise project.
 126                 dependencies:
 127                     installer: '(fuel)|(joid)'
 128                     scenario: ''
 129
 130             -
 131                 name: doctor
 132                 description: >-
 133                     Test suite from Dcotor project.
 134                 dependencies:
 135                     installer: 'apex'
 136                     scenario: ''
 137
 138             -
 139                 name: sdnvpn
 140                 description: >-
 141                     Test suite from SDNVPN project.
 142                 dependencies:
 143                     installer: '(fuel)|(apex)'
 144                     scenario: 'bgpvpn'
 145
 146     -
 147         name: tempest
 148         order: 4
 149         ci: weekly
 150         description : >-
 151             This test case runs the full set of the OpenStack Tempest suite.
 152         testcases:
 153             -
 154                 name: tempest_full_parallel
 155                 description: >-
 156                     The list of test cases is generated by
 157                     Tempest automatically and depend on the parameters of
 158                     the OpenStack deplopyment.
 159                 dependencies:
 160                     installer: ''
 161                     scenario: ''
 162
 163     -
 164         name: rally
 165         order: 5
 166         ci: weekly
 167         description : >-
 168             Rally suite from the OpenStack community.
 169         testcases:
 170             -
 171                 name: rally_full
 172                 description: >-
 173                     This test case runs the full suite of scenarios of the OpenStack
 174                     Rally suite using several threads and iterations.
 175                 dependencies:
 176                     installer: ''
 177                     scenario: ''
 178
 179     -
 180         name: vnf
 181         order: 6
 182         ci: weekly
 183         description : >-
 184             Collection of VNF test cases.
 185         testcases:
 186             -
 187                 name: vims
 188                 description: >-
 189                     This test case deploys an OpenSource vIMS solution from Clearwater
 190                     using the Cloudify orchestrator. It also runs some signaling traffic.
 191                 dependencies:
 192                     installer: ''
 193                     scenario: '(ocl)|(nosdn)|^(os-odl)((?!bgpvpn).)*$'