ci/testcases.yaml

   1 tiers:
   2     -
   3         name: healthcheck
   4         order: 0
   5         ci: daily
   6         description : >-
   7             This is the first tier to be executed to verify the basic
   8             operations in the VIM.
   9         testcases:
  10             -
  11                 name: healthcheck
  12                 description: >-
  13                     This test case verifies the basic OpenStack services like
  14                     Keystone, Glance, Cinder, Neutron and Nova.
  15
  16                 dependencies:
  17                     installer: ''
  18                     scenario: ''
  19
  20     -
  21         name: smoke
  22         order: 1
  23         ci: daily
  24         description : >-
  25             This is the second tier in Functest and consist of a set of basic
  26             Functional tests to validate the OpenStack deployment.
  27         testcases:
  28             -
  29                 name: vping_ssh
  30                 description: |-
  31                     This test case verifies:
  32                     ····1) SSH to an instance using floating IPs over the public network.
  33                     ····2) Connectivity between 2 instances over a private network.
  34                 dependencies:
  35                     installer: ''
  36                     scenario: '^((?!bgpvpn).)*$'
  37
  38             -
  39                 name: vping_userdata
  40                 description: |-
  41                     This test case verifies:
  42                     ····1) Boot a VM with given userdata.
  43                     ····2) Connectivity between 2 instances over a private network.
  44                 dependencies:
  45                     installer: ''
  46                     scenario: ''
  47
  48             -
  49                 name: tempest_smoke_serial
  50                 description: >-
  51                     This test case runs the smoke subset of the OpenStack
  52                     Tempest suite. The list of test cases is generated by
  53                     Tempest automatically and depend on the parameters of
  54                     the OpenStack deplopyment.
  55                 dependencies:
  56                     installer: ''
  57                     scenario: ''
  58
  59             -
  60                 name: rally_sanity
  61                 description: >-
  62                     This test case runs a sub group of tests of the OpenStack
  63                     Rally suite in smoke mode.
  64                 dependencies:
  65                     installer: ''
  66                     scenario: ''
  67
  68             -
  69                 name: security_groups
  70                 description: >-
  71                     This test case verifies the functionality of the OpenStack
  72                     security groups and that the port rules created are
  73                     fullfilled.
  74                 dependencies:
  75                     installer: ''
  76                     scenario: ''
  77
  78     -
  79         name: sdn_suites
  80         order: 2
  81         ci: daily
  82         description : >-
  83             This tier contains the test suites corresponding to the different
  84             SDN Controllers existing in OPNFV.
  85         testcases:
  86             -
  87                 name: odl
  88                 description: >-
  89                     Test Suite for the OpenDaylight SDN Controller. It integrates
  90                     some test suites from upstream using Robot as the test
  91                     framework.
  92                 dependencies:
  93                     installer: ''
  94                     scenario: 'odl'
  95
  96             -
  97                 name: onos
  98                 description: >-
  99                     Test Suite for the ONOS SDN Controller. It integrates
 100                     some test suites from upstream using TestON as the test
 101                     framework.
 102                 dependencies:
 103                     installer: ''
 104                     scenario: 'onos'
 105
 106             -
 107                 name: ovno
 108                 description: >-
 109                     Test Suite for the Open Contrail SDN Controller.
 110                     framework.
 111                 dependencies:
 112                     installer: ''
 113                     scenario: 'ocl'
 114
 115     -
 116         name: features
 117         order: 3
 118         ci: daily
 119         description : >-
 120             This tier contains the test suites from feature projects
 121             integrated in functest
 122         testcases:
 123             -
 124                 name: promise
 125                 description: >-
 126                     Test suite from Promise project.
 127                 dependencies:
 128                     installer: '(fuel)|(joid)'
 129                     scenario: ''
 130
 131             -
 132                 name: doctor
 133                 description: >-
 134                     Test suite from Dcotor project.
 135                 dependencies:
 136                     installer: 'apex'
 137                     scenario: ''
 138
 139             -
 140                 name: sdnvpn
 141                 description: >-
 142                     Test suite from SDNVPN project.
 143                 dependencies:
 144                     installer: '(fuel)|(apex)'
 145                     scenario: 'bgpvpn'
 146
 147     -
 148         name: tempest
 149         order: 4
 150         ci: weekly
 151         description : >-
 152             This tier contains the test suites from feature projects
 153             integrated in functest
 154         testcases:
 155             -
 156                 name: tempest_full_parallel
 157                 description: >-
 158                     This test case runs the full set of the OpenStack
 159                     Tempest suite. The list of test cases is generated by
 160                     Tempest automatically and depend on the parameters of
 161                     the OpenStack deplopyment.
 162                 dependencies:
 163                     installer: ''
 164                     scenario: ''
 165
 166     -
 167         name: rally
 168         order: 5
 169         ci: weekly
 170         description : >-
 171             This tier contains the Rally suite from the OpenStack community.
 172         testcases:
 173             -
 174                 name: rally_full
 175                 description: >-
 176                     This test case runs the full suite of scenarios of the OpenStack
 177                     Rally suite using several threads and iterations.
 178                 dependencies:
 179                     installer: ''
 180                     scenario: ''
 181
 182     -
 183         name: vnf
 184         order: 6
 185         ci: weekly
 186         description : >-
 187             This tier contains a collection of VNF test cases.
 188         testcases:
 189             -
 190                 name: vims
 191                 description: >-
 192                     This test case deploys an OpenSource vIMS solution from Clearwater
 193                     using the Cloudify orchestrator. It also runs some signaling traffic.
 194                 dependencies:
 195                     installer: ''
 196                     scenario: '(ocl)|(nosdn)|^(os-odl)((?!bgpvpn).)*$'