ci/testcases.yaml

   1 tiers:
   2     -
   3         name: healthcheck
   4         order: 0
   5         ci_loop: '(daily)|(weekly)'
   6         description : >-
   7             First tier to be executed to verify the basic
   8             operations in the VIM.
   9         testcases:
  10             -
  11                 name: healthcheck
  12                 description: >-
  13                     This test case verifies the basic OpenStack services like
  14                     Keystone, Glance, Cinder, Neutron and Nova.
  15
  16                 dependencies:
  17                     installer: ''
  18                     scenario: ''
  19
  20     -
  21         name: smoke
  22         order: 1
  23         ci_loop: '(daily)|(weekly)'
  24         description : >-
  25             Set of basic Functional tests to validate the OpenStack deployment.
  26         testcases:
  27             -
  28                 name: vping_ssh
  29                 description: >-
  30                     This test case verifies: 1) SSH to an instance using floating
  31                     IPs over the public network. 2) Connectivity between 2 instances
  32                     over a private network.
  33                 dependencies:
  34                     installer: ''
  35                     scenario: '^((?!bgpvpn).)*$'
  36
  37             -
  38                 name: vping_userdata
  39                 description: >-
  40                     This test case verifies:  1) Boot a VM with given userdata.
  41                     2) Connectivity between 2 instances over a private network.
  42                 dependencies:
  43                     installer: ''
  44                     scenario: ''
  45
  46             #-
  47             #    name: tempest_smoke_serial
  48             #    description: >-
  49             #        This test case runs the smoke subset of the OpenStack
  50             #        Tempest suite. The list of test cases is generated by
  51             #        Tempest automatically and depend on the parameters of
  52             #        the OpenStack deplopyment.
  53             #    dependencies:
  54             #        installer: ''
  55             #        scenario: ''
  56             #
  57             #-
  58             #    name: rally_sanity
  59             #    description: >-
  60             #        This test case runs a sub group of tests of the OpenStack
  61             #        Rally suite in smoke mode.
  62             #    dependencies:
  63             #        installer: ''
  64             #        scenario: ''
  65             #
  66             #-
  67             #    name: security_groups
  68             #    description: >-
  69             #        This test case verifies the functionality of the OpenStack
  70             #        security groups and that the port rules created are
  71             #        fullfilled.
  72             #    dependencies:
  73             #        installer: ''
  74             #        scenario: ''
  75
  76     -
  77         name: sdn_suites
  78         order: 2
  79         ci_loop: '(daily)|(weekly)'
  80         description : >-
  81             Test suites corresponding to the different
  82             SDN Controllers existing in OPNFV.
  83         testcases:
  84             -
  85                 name: odl
  86                 description: >-
  87                     Test Suite for the OpenDaylight SDN Controller. It integrates
  88                     some test suites from upstream using Robot as the test
  89                     framework.
  90                 dependencies:
  91                     installer: ''
  92                     scenario: 'odl'
  93
  94             -
  95                 name: onos
  96                 description: >-
  97                     Test Suite for the ONOS SDN Controller. It integrates
  98                     some test suites from upstream using TestON as the test
  99                     framework.
 100                 dependencies:
 101                     installer: ''
 102                     scenario: 'onos'
 103
 104             -
 105                 name: ovno
 106                 description: >-
 107                     Test Suite for the Open Contrail SDN Controller.
 108                     framework.
 109                 dependencies:
 110                     installer: ''
 111                     scenario: 'ocl'
 112
 113     -
 114         name: features
 115         order: 3
 116         ci_loop: '(daily)|(weekly)'
 117         description : >-
 118             Test suites from feature projects
 119             integrated in functest
 120         testcases:
 121             -
 122                 name: promise
 123                 description: >-
 124                     Test suite from Promise project.
 125                 dependencies:
 126                     installer: '(fuel)|(joid)'
 127                     scenario: ''
 128
 129             -
 130                 name: doctor
 131                 description: >-
 132                     Test suite from Dcotor project.
 133                 dependencies:
 134                     installer: 'apex'
 135                     scenario: ''
 136
 137             -
 138                 name: bgpvpn
 139                 description: >-
 140                     Test suite from SDNVPN project.
 141                 dependencies:
 142                     installer: '(fuel)|(apex)'
 143                     scenario: 'bgpvpn'
 144
 145     -
 146         name: tempest
 147         order: 4
 148         ci_loop: 'weekly'
 149         description : >-
 150             This test case runs the full set of the OpenStack Tempest suite.
 151         testcases:
 152             -
 153                 name: tempest
 154                 description: >-
 155                     The list of test cases is generated by
 156                     Tempest automatically and depends on the parameters of
 157                     the OpenStack deplopyment.
 158                 dependencies:
 159                     installer: ''
 160                     scenario: ''
 161
 162     -
 163         name: rally
 164         order: 5
 165         ci_loop: 'weekly'
 166         description : >-
 167             Rally suite from the OpenStack community.
 168         testcases:
 169             -
 170                 name: rally
 171                 description: >-
 172                     This test case runs the full suite of scenarios of the OpenStack
 173                     Rally suite using several threads and iterations.
 174                 dependencies:
 175                     installer: ''
 176                     scenario: ''
 177
 178     -
 179         name: vnf
 180         order: 6
 181         ci_loop: 'weekly'
 182         description : >-
 183             Collection of VNF test cases.
 184         testcases:
 185             -
 186                 name: vims
 187                 description: >-
 188                     This test case deploys an OpenSource vIMS solution from Clearwater
 189                     using the Cloudify orchestrator. It also runs some signaling traffic.
 190                 dependencies:
 191                     installer: ''
 192                     scenario: '(ocl)|(nosdn)|^(os-odl)((?!bgpvpn).)*$'