Merge "Added test cases for running the Python Tests included with SNAPS."
[functest.git] / functest / ci / testcases.yaml
1 tiers:
2     -
3         name: healthcheck
4         order: 0
5         ci_loop: '(daily)|(weekly)'
6         description : >-
7             First tier to be executed to verify the basic
8             operations in the VIM.
9         testcases:
10             -
11                 name: healthcheck
12                 criteria: 'status == "PASS"'
13                 blocking: true
14                 description: >-
15                     This test case verifies the basic OpenStack services like
16                     Keystone, Glance, Cinder, Neutron and Nova.
17
18                 dependencies:
19                     installer: ''
20                     scenario: '^((?!lxd).)*$'
21
22             -
23                 name: connection_check
24                 criteria: 'status == "PASS"'
25                 blocking: true
26                 description: >-
27                     This test case verifies the retrieval of OpenStack clients:
28                     Keystone, Glance, Neutron and Nova and may perform some
29                     simple queries. When the config value of
30                     snaps.use_keystone is True, functest must have access to
31                     the cloud's private network.
32
33                 dependencies:
34                     installer: ''
35                     scenario: ''
36                 run:
37                     module: 'functest.opnfv_tests.openstack.snaps.connection_check'
38                     class: 'ConnectionCheck'
39
40             -
41                 name: api_check
42                 criteria: 'status == "PASS"'
43                 blocking: true
44                 description: >-
45                     This test case verifies the retrieval of OpenStack clients:
46                     Keystone, Glance, Neutron and Nova and may perform some
47                     simple queries. When the config value of
48                     snaps.use_keystone is True, functest must have access to
49                     the cloud's private network.
50
51                 dependencies:
52                     installer: ''
53                     scenario: ''
54                 run:
55                     module: 'functest.opnfv_tests.openstack.snaps.api_check'
56                     class: 'ApiCheck'
57
58     -
59         name: smoke
60         order: 1
61         ci_loop: '(daily)|(weekly)'
62         description : >-
63             Set of basic Functional tests to validate the OPNFV scenarios.
64         testcases:
65             -
66                 name: vping_ssh
67                 criteria: 'status == "PASS"'
68                 blocking: true
69                 description: >-
70                     This test case verifies: 1) SSH to an instance using floating
71                     IPs over the public network. 2) Connectivity between 2 instances
72                     over a private network.
73                 dependencies:
74                     installer: ''
75                     scenario: '^((?!bgpvpn|odl_l3).)*$'
76                 run:
77                     module: 'functest.opnfv_tests.openstack.vping.vping_ssh'
78                     class: 'VPingSSH'
79
80             -
81                 name: vping_userdata
82                 criteria: 'status == "PASS"'
83                 blocking: true
84                 description: >-
85                     This test case verifies:  1) Boot a VM with given userdata.
86                     2) Connectivity between 2 instances over a private network.
87                 dependencies:
88                     installer: ''
89                     scenario: '^((?!lxd).)*$'
90                 run:
91                     module: 'functest.opnfv_tests.openstack.vping.vping_userdata'
92                     class: 'VPingUserdata'
93
94             -
95                 name: tempest_smoke_serial
96                 criteria: 'success_rate == 100%'
97                 blocking: false
98                 description: >-
99                     This test case runs the smoke subset of the OpenStack
100                     Tempest suite. The list of test cases is generated by
101                     Tempest automatically and depends on the parameters of
102                     the OpenStack deplopyment.
103                 dependencies:
104                     installer: ''
105                     scenario: ''
106
107             -
108                 name: rally_sanity
109                 criteria: 'success_rate == 100%'
110                 blocking: false
111                 description: >-
112                     This test case runs a sub group of tests of the OpenStack
113                     Rally suite in smoke mode.
114                 dependencies:
115                     installer: ''
116                     scenario: '^((?!bgpvpn).)*$'
117
118             -
119                 name: odl
120                 criteria: 'success_rate == 100%'
121                 blocking: true
122                 description: >-
123                     Test Suite for the OpenDaylight SDN Controller. It integrates
124                     some test suites from upstream using Robot as the test
125                     framework.
126                 dependencies:
127                     installer: ''
128                     scenario: 'odl'
129                 run:
130                     module: 'functest.opnfv_tests.sdn.odl.odl'
131                     class: 'ODLTests'
132
133             -
134                 name: onos
135                 criteria: 'status == "PASS"'
136                 blocking: true
137                 description: >-
138                     Test Suite for the ONOS SDN Controller. It integrates
139                     some test suites from upstream using TestON as the test
140                     framework.
141                 dependencies:
142                     installer: ''
143                     scenario: 'onos'
144
145             -
146                 name: snaps_smoke
147                 criteria: 'status == "PASS"'
148                 blocking: true
149                 description: >-
150                     This test case contains tests that setup and destroy
151                     environments with VMs with and without Floating IPs
152                     with a newly created user and project. Set the config
153                     value snaps.use_floating_ips (True|False) to toggle
154                     this functionality. When the config value of
155                     snaps.use_keystone is True, functest must have access to
156                     the cloud's private network.
157
158                 dependencies:
159                     installer: ''
160                     scenario: ''
161                 run:
162                     module: 'functest.opnfv_tests.openstack.snaps.smoke'
163                     class: 'SnapsSmoke'
164
165     -
166         name: features
167         order: 2
168         ci_loop: '(daily)|(weekly)'
169         description : >-
170             Test suites from feature projects
171             integrated in functest
172         testcases:
173             -
174                 name: promise
175                 criteria: 'success_rate == 100%'
176                 blocking: false
177                 description: >-
178                     Test suite from Promise project.
179                 dependencies:
180                     installer: '(fuel)|(joid)'
181                     scenario: ''
182
183             -
184                 name: doctor
185                 criteria: 'status == "PASS"'
186                 blocking: false
187                 description: >-
188                     Test suite from Doctor project.
189                 dependencies:
190                     installer: 'apex'
191                     scenario: '^((?!fdio).)*$'
192
193             -
194                 name: bgpvpn
195                 criteria: 'status == "PASS"'
196                 blocking: false
197                 description: >-
198                     Test suite from SDNVPN project.
199                 dependencies:
200                     installer: '(fuel)|(apex)'
201                     scenario: 'bgpvpn'
202                 run:
203                     module: 'functest.opnfv_tests.features.sdnvpn'
204                     class: 'SdnVpnTests'
205
206             -
207                 name: security_scan
208                 criteria: 'status == "PASS"'
209                 blocking: false
210                 description: >-
211                     Simple security Scan
212                 dependencies:
213                     installer: 'apex'
214                     scenario: '^((?!fdio).)*$'
215
216             -
217                 name: copper
218                 criteria: 'status == "PASS"'
219                 blocking: false
220                 description: >-
221                     Test suite for policy management based on OpenStack Congress
222                 dependencies:
223                     installer: '(apex)|(joid)'
224                     scenario: '^((?!fdio|lxd).)*$'
225             -
226                 name: moon
227                 criteria: 'status == "PASS"'
228                 blocking: false
229                 description: >-
230                     Security management system for OPNFV
231                 dependencies:
232                     installer: 'compass'
233                     scenario: '(odl)*(moon)'
234             -
235                 name: multisite
236                 criteria: 'success_rate == 100%'
237                 blocking: false
238                 description: >-
239                     Test suite from kingbird
240                 dependencies:
241                     installer: '(fuel)|(compass)'
242                     scenario: 'multisite'
243             -
244                 name: odl-sfc
245                 criteria: 'status == "PASS"'
246                 blocking: false
247                 description: >-
248                     Test suite for odl-sfc to test two chains and two SFs
249                 dependencies:
250                     installer: '(apex)|(fuel)'
251                     scenario: 'odl_l2-sfc'
252             -
253                 name: onos_sfc
254                 criteria: 'status == "PASS"'
255                 blocking: true
256                 description: >-
257                     Test Suite for onos-sfc to test sfc function.
258                 dependencies:
259                     installer: ''
260                     scenario: 'onos-sfc'
261             -
262                 name: parser
263                 criteria: 'ret == 0'
264                 blocking: false
265                 description: >-
266                     Test suite from Parser project.
267                 dependencies:
268                     installer: 'fuel'
269                     scenario: '^((?!bgpvpn|noha).)*$'
270                 run:
271                     module: 'functest.opnfv_tests.vnf.rnc.parser'
272                     class: 'Parser'
273     -
274         name: openstack
275         order: 3
276         ci_loop: 'weekly'
277         description : >-
278             Extensive testing of OpenStack API.
279         testcases:
280             -
281                 name: tempest_full_parallel
282                 criteria: 'success_rate >= 80%'
283                 blocking: false
284                 description: >-
285                     The list of test cases is generated by
286                     Tempest automatically and depends on the parameters of
287                     the OpenStack deplopyment.
288                 dependencies:
289                     installer: ''
290                     scenario: ''
291
292             -
293                 name: rally_full
294                 criteria: 'success_rate >= 90%'
295                 blocking: false
296                 description: >-
297                     This test case runs the full suite of scenarios of the OpenStack
298                     Rally suite using several threads and iterations.
299                 dependencies:
300                     installer: ''
301                     scenario: ''
302
303     -
304         name: vnf
305         order: 4
306         ci_loop: 'weekly'
307         description : >-
308             Collection of VNF test cases.
309         testcases:
310             -
311                 name: vims
312                 criteria: 'status == "PASS"'
313                 blocking: false
314                 description: >-
315                     This test case deploys an OpenSource vIMS solution from Clearwater
316                     using the Cloudify orchestrator. It also runs some signaling traffic.
317                 dependencies:
318                     installer: ''
319                     scenario: '(ocl)|(nosdn)|^(os-odl)((?!bgpvpn).)*$'