ci/testcases.yaml

   1 tiers:
   2     -
   3         name: healthcheck
   4         order: 0
   5         ci_loop: '(daily)|(weekly)'
   6         description : >-
   7             First tier to be executed to verify the basic
   8             operations in the VIM.
   9         testcases:
  10             -
  11                 name: healthcheck
  12                 description: >-
  13                     This test case verifies the basic OpenStack services like
  14                     Keystone, Glance, Cinder, Neutron and Nova.
  15
  16                 dependencies:
  17                     installer: ''
  18                     scenario: ''
  19
  20     -
  21         name: smoke
  22         order: 1
  23         ci_loop: '(daily)|(weekly)'
  24         description : >-
  25             Set of basic Functional tests to validate the OpenStack deployment.
  26         testcases:
  27             -
  28                 name: vping_ssh
  29                 description: >-
  30                     This test case verifies: 1) SSH to an instance using floating
  31                     IPs over the public network. 2) Connectivity between 2 instances
  32                     over a private network.
  33                 dependencies:
  34                     installer: ''
  35                     scenario: '^((?!bgpvpn).)*$'
  36
  37             -
  38                 name: vping_userdata
  39                 description: >-
  40                     This test case verifies:  1) Boot a VM with given userdata.
  41                     2) Connectivity between 2 instances over a private network.
  42                 dependencies:
  43                     installer: ''
  44                     scenario: ''
  45
  46             -
  47                 name: tempest_smoke_serial
  48                 description: >-
  49                     This test case runs the smoke subset of the OpenStack
  50                     Tempest suite. The list of test cases is generated by
  51                     Tempest automatically and depends on the parameters of
  52                     the OpenStack deplopyment.
  53                 dependencies:
  54                     installer: ''
  55                     scenario: ''
  56
  57             -
  58                 name: rally_sanity
  59                 description: >-
  60                     This test case runs a sub group of tests of the OpenStack
  61                     Rally suite in smoke mode.
  62                 dependencies:
  63                     installer: ''
  64                     scenario: ''
  65
  66             #-
  67             #    name: security_groups
  68             #    description: >-
  69             #        This test case verifies the functionality of the OpenStack
  70             #        security groups and that the port rules created are
  71             #        fullfilled.
  72             #    dependencies:
  73             #        installer: ''
  74             #        scenario: ''
  75
  76     -
  77         name: sdn_suites
  78         order: 2
  79         ci_loop: '(daily)|(weekly)'
  80         description : >-
  81             Test suites corresponding to the different
  82             SDN Controllers existing in OPNFV.
  83         testcases:
  84             -
  85                 name: odl
  86                 description: >-
  87                     Test Suite for the OpenDaylight SDN Controller. It integrates
  88                     some test suites from upstream using Robot as the test
  89                     framework.
  90                 dependencies:
  91                     installer: ''
  92                     scenario: 'odl'
  93
  94             -
  95                 name: onos
  96                 description: >-
  97                     Test Suite for the ONOS SDN Controller. It integrates
  98                     some test suites from upstream using TestON as the test
  99                     framework.
 100                 dependencies:
 101                     installer: ''
 102                     scenario: 'onos'
 103
 104             -
 105                 name: ovno
 106                 description: >-
 107                     Test Suite for the Open Contrail SDN Controller.
 108                     framework.
 109                 dependencies:
 110                     installer: ''
 111                     scenario: 'ocl'
 112
 113     -
 114         name: features
 115         order: 3
 116         ci_loop: '(daily)|(weekly)'
 117         description : >-
 118             Test suites from feature projects
 119             integrated in functest
 120         testcases:
 121             -
 122                 name: promise
 123                 description: >-
 124                     Test suite from Promise project.
 125                 dependencies:
 126                     installer: '(fuel)|(joid)'
 127                     scenario: ''
 128
 129             -
 130                 name: doctor
 131                 description: >-
 132                     Test suite from Doctor project.
 133                 dependencies:
 134                     installer: 'apex'
 135                     scenario: ''
 136
 137             -
 138                 name: bgpvpn
 139                 description: >-
 140                     Test suite from SDNVPN project.
 141                 dependencies:
 142                     installer: '(fuel)|(apex)'
 143                     scenario: 'bgpvpn'
 144
 145     -
 146         name: tempest
 147         order: 4
 148         ci_loop: 'weekly'
 149         description : >-
 150             This test case runs the full set of the OpenStack Tempest suite.
 151         testcases:
 152             -
 153                 name: tempest_full_parallel
 154                 description: >-
 155                     The list of test cases is generated by
 156                     Tempest automatically and depends on the parameters of
 157                     the OpenStack deplopyment.
 158                 dependencies:
 159                     installer: ''
 160                     scenario: ''
 161
 162     -
 163         name: rally
 164         order: 5
 165         ci_loop: 'weekly'
 166         description : >-
 167             Rally suite from the OpenStack community.
 168         testcases:
 169             -
 170                 name: rally_full
 171                 description: >-
 172                     This test case runs the full suite of scenarios of the OpenStack
 173                     Rally suite using several threads and iterations.
 174                 dependencies:
 175                     installer: ''
 176                     scenario: ''
 177
 178     -
 179         name: vnf
 180         order: 6
 181         ci_loop: 'weekly'
 182         description : >-
 183             Collection of VNF test cases.
 184         testcases:
 185             -
 186                 name: vims
 187                 description: >-
 188                     This test case deploys an OpenSource vIMS solution from Clearwater
 189                     using the Cloudify orchestrator. It also runs some signaling traffic.
 190                 dependencies:
 191                     installer: ''
 192                     scenario: '(ocl)|(nosdn)|^(os-odl)((?!bgpvpn).)*$'