ci/testcases.yaml

   1 tiers:
   2     -
   3         name: healthcheck
   4         order: 0
   5         ci_loop: '(daily)|(weekly)'
   6         description : >-
   7             First tier to be executed to verify the basic
   8             operations in the VIM.
   9         testcases:
  10             -
  11                 name: healthcheck
  12                 criteria: 'status == "PASS"'
  13                 description: >-
  14                     This test case verifies the basic OpenStack services like
  15                     Keystone, Glance, Cinder, Neutron and Nova.
  16
  17                 dependencies:
  18                     installer: ''
  19                     scenario: ''
  20
  21     -
  22         name: smoke
  23         order: 1
  24         ci_loop: '(daily)|(weekly)'
  25         description : >-
  26             Set of basic Functional tests to validate the OpenStack deployment.
  27         testcases:
  28             -
  29                 name: vping_ssh
  30                 criteria: 'status == "PASS"'
  31                 description: >-
  32                     This test case verifies: 1) SSH to an instance using floating
  33                     IPs over the public network. 2) Connectivity between 2 instances
  34                     over a private network.
  35                 dependencies:
  36                     installer: ''
  37                     scenario: '^((?!bgpvpn).)*$'
  38
  39             -
  40                 name: vping_userdata
  41                 criteria: 'status == "PASS"'
  42                 description: >-
  43                     This test case verifies:  1) Boot a VM with given userdata.
  44                     2) Connectivity between 2 instances over a private network.
  45                 dependencies:
  46                     installer: ''
  47                     scenario: ''
  48
  49             -
  50                 name: tempest_smoke_serial
  51                 criteria: 'success_rate == 100%'
  52                 description: >-
  53                     This test case runs the smoke subset of the OpenStack
  54                     Tempest suite. The list of test cases is generated by
  55                     Tempest automatically and depends on the parameters of
  56                     the OpenStack deplopyment.
  57                 dependencies:
  58                     installer: ''
  59                     scenario: ''
  60
  61             -
  62                 name: rally_sanity
  63                 criteria: 'success_rate == 100%'
  64                 description: >-
  65                     This test case runs a sub group of tests of the OpenStack
  66                     Rally suite in smoke mode.
  67                 dependencies:
  68                     installer: ''
  69                     scenario: ''
  70
  71     -
  72         name: sdn_suites
  73         order: 2
  74         ci_loop: '(daily)|(weekly)'
  75         description : >-
  76             Test suites corresponding to the different
  77             SDN Controllers existing in OPNFV.
  78         testcases:
  79             -
  80                 name: odl
  81                 criteria: 'success_rate == 100%'
  82                 description: >-
  83                     Test Suite for the OpenDaylight SDN Controller. It integrates
  84                     some test suites from upstream using Robot as the test
  85                     framework.
  86                 dependencies:
  87                     installer: ''
  88                     scenario: 'odl'
  89
  90             -
  91                 name: onos
  92                 criteria: 'status == "PASS"'
  93                 description: >-
  94                     Test Suite for the ONOS SDN Controller. It integrates
  95                     some test suites from upstream using TestON as the test
  96                     framework.
  97                 dependencies:
  98                     installer: ''
  99                     scenario: 'onos'
 100
 101             -
 102                 name: ovno
 103                 criteria: 'status == "PASS"'
 104                 description: >-
 105                     Test Suite for the Open Contrail SDN Controller.
 106                     framework.
 107                 dependencies:
 108                     installer: ''
 109                     scenario: 'ocl'
 110
 111     -
 112         name: features
 113         order: 3
 114         ci_loop: '(daily)|(weekly)'
 115         description : >-
 116             Test suites from feature projects
 117             integrated in functest
 118         testcases:
 119             -
 120                 name: promise
 121                 criteria: 'success_rate == 100%'
 122                 description: >-
 123                     Test suite from Promise project.
 124                 dependencies:
 125                     installer: '(fuel)|(joid)'
 126                     scenario: ''
 127
 128             -
 129                 name: doctor
 130                 criteria: 'status == "PASS"'
 131                 description: >-
 132                     Test suite from Doctor project.
 133                 dependencies:
 134                     installer: 'apex'
 135                     scenario: ''
 136
 137             -
 138                 name: bgpvpn
 139                 criteria: 'status == "PASS"'
 140                 description: >-
 141                     Test suite from SDNVPN project.
 142                 dependencies:
 143                     installer: '(fuel)|(apex)'
 144                     scenario: 'bgpvpn'
 145
 146             -
 147                 name: security_scan
 148                 criteria: 'status == "PASS"'
 149                 description: >-
 150                     Simple security Scan
 151                 dependencies:
 152                     installer: 'apex'
 153                     scenario: ''
 154
 155     -
 156         name: openstack
 157         order: 4
 158         ci_loop: 'weekly'
 159         description : >-
 160             Extensive testing of OpenStack API.
 161         testcases:
 162             -
 163                 name: tempest_full_parallel
 164                 criteria: 'success_rate >= 80%'
 165                 description: >-
 166                     The list of test cases is generated by
 167                     Tempest automatically and depends on the parameters of
 168                     the OpenStack deplopyment.
 169                 dependencies:
 170                     installer: ''
 171                     scenario: ''
 172
 173             -
 174                 name: rally_full
 175                 criteria: 'success_rate >= 90%'
 176                 description: >-
 177                     This test case runs the full suite of scenarios of the OpenStack
 178                     Rally suite using several threads and iterations.
 179                 dependencies:
 180                     installer: ''
 181                     scenario: ''
 182
 183     -
 184         name: vnf
 185         order: 5
 186         ci_loop: 'weekly'
 187         description : >-
 188             Collection of VNF test cases.
 189         testcases:
 190             -
 191                 name: vims
 192                 criteria: 'status == "PASS"'
 193                 description: >-
 194                     This test case deploys an OpenSource vIMS solution from Clearwater
 195                     using the Cloudify orchestrator. It also runs some signaling traffic.
 196                 dependencies:
 197                     installer: ''
 198                     scenario: '(ocl)|(nosdn)|^(os-odl)((?!bgpvpn).)*$'