Merge "Increase ram for tempest tests (aarch64)"
[functest.git] / functest / ci / testcases.yaml
1 tiers:
2     -
3         name: healthcheck
4         order: 0
5         ci_loop: '(daily)|(weekly)'
6         description : >-
7             First tier to be executed to verify the basic
8             operations in the VIM.
9         testcases:
10             -
11                 name: connection_check
12                 criteria: 'status == "PASS"'
13                 blocking: true
14                 clean_flag: false
15                 description: >-
16                     This test case verifies the retrieval of OpenStack clients:
17                     Keystone, Glance, Neutron and Nova and may perform some
18                     simple queries. When the config value of
19                     snaps.use_keystone is True, functest must have access to
20                     the cloud's private network.
21
22                 dependencies:
23                     installer: '^((?!netvirt).)*$'
24                     scenario: ''
25                 run:
26                     module: 'functest.opnfv_tests.openstack.snaps.connection_check'
27                     class: 'ConnectionCheck'
28
29             -
30                 name: api_check
31                 criteria: 'status == "PASS"'
32                 blocking: true
33                 clean_flag: false
34                 description: >-
35                     This test case verifies the retrieval of OpenStack clients:
36                     Keystone, Glance, Neutron and Nova and may perform some
37                     simple queries. When the config value of
38                     snaps.use_keystone is True, functest must have access to
39                     the cloud's private network.
40
41                 dependencies:
42                     installer: '^((?!netvirt).)*$'
43                     scenario: ''
44                 run:
45                     module: 'functest.opnfv_tests.openstack.snaps.api_check'
46                     class: 'ApiCheck'
47             -
48                 name: snaps_health_check
49                 criteria: 'status == "PASS"'
50                 blocking: true
51                 clean_flag: false
52                 description: >-
53                     This test case creates executes the SimpleHealthCheck
54                     Python test class which creates an, image, flavor, network,
55                     and Cirros VM instance and observes the console output to
56                     validate the single port obtains the correct IP address.
57                 dependencies:
58                     installer: ''
59                     scenario: '^((?!lxd).)*$'
60                 run:
61                     module: 'functest.opnfv_tests.openstack.snaps.health_check'
62                     class: 'HealthCheck'
63     -
64         name: smoke
65         order: 1
66         ci_loop: '(daily)|(weekly)'
67         description : >-
68             Set of basic Functional tests to validate the OPNFV scenarios.
69         testcases:
70             -
71                 name: vping_ssh
72                 criteria: 'status == "PASS"'
73                 blocking: true
74                 clean_flag: true
75                 description: >-
76                     This test case verifies: 1) SSH to an instance using floating
77                     IPs over the public network. 2) Connectivity between 2 instances
78                     over a private network.
79                 dependencies:
80                     installer: ''
81                     scenario: '^((?!odl_l3|odl-bgpvpn|gluon).)*$'
82                 run:
83                     module: 'functest.opnfv_tests.openstack.vping.vping_ssh'
84                     class: 'VPingSSH'
85
86             -
87                 name: vping_userdata
88                 criteria: 'status == "PASS"'
89                 blocking: true
90                 clean_flag: true
91                 description: >-
92                     This test case verifies:  1) Boot a VM with given userdata.
93                     2) Connectivity between 2 instances over a private network.
94                 dependencies:
95                     installer: ''
96                     scenario: '^((?!lxd).)*$'
97                 run:
98                     module: 'functest.opnfv_tests.openstack.vping.vping_userdata'
99                     class: 'VPingUserdata'
100
101             -
102                 name: tempest_smoke_serial
103                 criteria: 'success_rate == 100%'
104                 blocking: false
105                 clean_flag: true
106                 description: >-
107                     This test case runs the smoke subset of the OpenStack
108                     Tempest suite. The list of test cases is generated by
109                     Tempest automatically and depends on the parameters of
110                     the OpenStack deplopyment.
111                 dependencies:
112                     installer: '^((?!netvirt).)*$'
113                     scenario: ''
114                 run:
115                     module: 'functest.opnfv_tests.openstack.tempest.tempest'
116                     class: 'TempestSmokeSerial'
117
118             -
119                 name: rally_sanity
120                 criteria: 'success_rate == 100%'
121                 blocking: false
122                 clean_flag: false
123                 description: >-
124                     This test case runs a sub group of tests of the OpenStack
125                     Rally suite in smoke mode.
126                 dependencies:
127                     installer: ''
128                     scenario: ''
129                 run:
130                     module: 'functest.opnfv_tests.openstack.rally.rally'
131                     class: 'RallySanity'
132
133             -
134                 name: refstack_defcore
135                 criteria: 'success_rate == 100%'
136                 blocking: false
137                 clean_flag: true
138                 description: >-
139                     This test case runs a sub group of tests of the OpenStack
140                     Defcore testcases by using refstack client.
141                 dependencies:
142                     installer: ''
143                     scenario: ''
144                 run:
145                     module: 'functest.opnfv_tests.openstack.refstack_client.refstack_client'
146                     class: 'RefstackClient'
147
148             -
149                 name: odl
150                 criteria: 'success_rate == 100%'
151                 blocking: true
152                 clean_flag: false
153                 description: >-
154                     Test Suite for the OpenDaylight SDN Controller. It
155                     integrates some test suites from upstream using
156                     Robot as the test framework.
157                 dependencies:
158                     installer: ''
159                     scenario: 'odl'
160                 run:
161                     module: 'functest.opnfv_tests.sdn.odl.odl'
162                     class: 'ODLTests'
163                     args:
164                         suites:
165                             -  /home/opnfv/repos/odl_test/csit/suites/integration/basic
166                             -  /home/opnfv/repos/odl_test/csit/suites/openstack/neutron
167
168             -
169                 name: odl_netvirt
170                 criteria: 'success_rate == 100%'
171                 blocking: false
172                 clean_flag: false
173                 description: >-
174                     Test Suite for the OpenDaylight SDN Controller when
175                     the NetVirt features are installed. It integrates
176                     some test suites from upstream using Robot as the
177                     test framework.
178                 dependencies:
179                     installer: 'apex'
180                     scenario: 'os-odl_l3-nofeature'
181                 run:
182                     module: 'functest.opnfv_tests.sdn.odl.odl'
183                     class: 'ODLTests'
184                     args:
185                         suites:
186                             -  /home/opnfv/repos/odl_test/csit/suites/integration/basic
187                             -  /home/opnfv/repos/odl_test/csit/suites/openstack/neutron
188                             -  /home/opnfv/repos/odl_test/csit/suites/openstack/connectivity
189
190             -
191                 name: fds
192                 criteria: 'success_rate == 100%'
193                 blocking: false
194                 clean_flag: false
195                 description: >-
196                     Test Suite for the OpenDaylight SDN Controller when GBP features are
197                     installed. It integrates some test suites from upstream using
198                     Robot as the test framework.
199                 dependencies:
200                     installer: 'apex'
201                     scenario: 'odl_l2-fdio'
202                 run:
203                     module: 'functest.opnfv_tests.sdn.odl.odl'
204                     class: 'ODLTests'
205                     args:
206                         suites:
207                             -  /home/opnfv/repos/fds/testing/robot
208
209             -
210                 name: onos
211                 criteria: 'status == "PASS"'
212                 blocking: true
213                 clean_flag: true
214                 description: >-
215                     Test Suite for the ONOS SDN Controller. It integrates
216                     some test suites from upstream using TestON as the test
217                     framework.
218                 dependencies:
219                     installer: ''
220                     scenario: 'onos'
221                 run:
222                     module: 'functest.opnfv_tests.sdn.onos.onos'
223                     class: 'Onos'
224
225             -
226                 name: snaps_smoke
227                 criteria: 'status == "PASS"'
228                 blocking: false
229                 clean_flag: false
230                 description: >-
231                     This test case contains tests that setup and destroy
232                     environments with VMs with and without Floating IPs
233                     with a newly created user and project. Set the config
234                     value snaps.use_floating_ips (True|False) to toggle
235                     this functionality. When the config value of
236                     snaps.use_keystone is True, functest must have access to
237                     the cloud's private network.
238
239                 dependencies:
240                     installer: '^((?!netvirt).)*$'
241                     scenario: '^((?!lxd).)*$'
242                 run:
243                     module: 'functest.opnfv_tests.openstack.snaps.smoke'
244                     class: 'SnapsSmoke'
245
246     -
247         name: features
248         order: 2
249         ci_loop: '(daily)|(weekly)'
250         description : >-
251             Test suites from feature projects
252             integrated in functest
253         testcases:
254             -
255                 name: promise
256                 criteria: 'success_rate == 100%'
257                 blocking: false
258                 clean_flag: true
259                 description: >-
260                     Test suite from Promise project.
261                 dependencies:
262                     installer: '(fuel)|(joid)'
263                     scenario: ''
264                 run:
265                      module: 'functest.opnfv_tests.features.promise'
266                      class: 'Promise'
267
268             -
269                 name: doctor
270                 criteria: 'status == "PASS"'
271                 blocking: false
272                 clean_flag: true
273                 description: >-
274                     Test suite from Doctor project.
275                 dependencies:
276                     installer: '(apex)|(fuel)'
277                     scenario: '^((?!fdio).)*$'
278                 run:
279                     module: 'functest.opnfv_tests.features.doctor'
280                     class: 'Doctor'
281
282             -
283                 name: bgpvpn
284                 criteria: 'status == "PASS"'
285                 blocking: false
286                 clean_flag: true
287                 description: >-
288                     Test suite from SDNVPN project.
289                 dependencies:
290                     installer: '(fuel)|(apex)|(netvirt)'
291                     scenario: 'bgpvpn'
292                 run:
293                     module: 'functest.opnfv_tests.features.sdnvpn'
294                     class: 'SdnVpnTests'
295
296             -
297                 name: security_scan
298                 criteria: 'status == "PASS"'
299                 blocking: false
300                 clean_flag: true
301                 description: >-
302                     Simple Security Scan
303                 dependencies:
304                     installer: 'apex'
305                     scenario: '^((?!fdio).)*$'
306                 run:
307                     module: 'functest.opnfv_tests.features.security_scan'
308                     class: 'SecurityScan'
309
310             -
311                 name: multisite
312                 criteria: 'success_rate == 100%'
313                 blocking: false
314                 clean_flag: false
315                 description: >-
316                     Test suite from kingbird
317                 dependencies:
318                     installer: '(fuel)|(compass)'
319                     scenario: 'multisite'
320                 run:
321                     module: 'functest.opnfv_tests.openstack.tempest.tempest'
322                     class: 'TempestMultisite'
323             -
324                 name: odl-sfc
325                 criteria: 'status == "PASS"'
326                 blocking: false
327                 clean_flag: true
328                 description: >-
329                     Test suite for odl-sfc to test two chains and two SFs
330                 dependencies:
331                     installer: '(apex)|(fuel)'
332                     scenario: 'odl_l2-sfc'
333                 run:
334                     module: 'functest.opnfv_tests.features.odl_sfc'
335                     class: 'OpenDaylightSFC'
336             -
337                 name: onos_sfc
338                 criteria: 'status == "PASS"'
339                 blocking: true
340                 clean_flag: true
341                 description: >-
342                     Test Suite for onos-sfc to test sfc function.
343                 dependencies:
344                     installer: ''
345                     scenario: 'onos-sfc'
346                 run:
347                     module: 'functest.opnfv_tests.sdn.onos.onos'
348                     class: 'OnosSfc'
349             -
350                 name: parser
351                 criteria: 'ret == 0'
352                 blocking: false
353                 clean_flag: true
354                 description: >-
355                     Test suite from Parser project.
356                 dependencies:
357                     installer: 'fuel'
358                     scenario: '^((?!bgpvpn|noha).)*$'
359                 run:
360                     module: 'functest.opnfv_tests.vnf.rnc.parser'
361                     class: 'Parser'
362             -
363                 name: domino
364                 criteria: 'status == "PASS"'
365                 blocking: false
366                 clean_flag: true
367                 description: >-
368                     Test suite from Domino project.
369                 dependencies:
370                     installer: ''
371                     scenario: ''
372                 run:
373                     module: 'functest.opnfv_tests.features.domino'
374                     class: 'Domino'
375             -
376                 name: netready
377                 criteria: 'status == "PASS"'
378                 blocking: false
379                 clean_flag: true
380                 description: >-
381                     Test suite from Netready project.
382                 dependencies:
383                     installer: 'apex'
384                     scenario: 'gluon'
385                 run:
386                      module: 'functest.opnfv_tests.features.netready'
387                      class: 'GluonVping'
388             -
389                 name: barometer
390                 criteria: 'status == "PASS"'
391                 blocking: false
392                 clean_flag: true
393                 description: >-
394                     Test suite for the Barometer project. Separate tests verify the
395                     proper configuration and functionality of the following
396                     collectd plugins Ceilometer, Hugepages, Memory RAS (mcelog),
397                     and OVS Events
398                 dependencies:
399                     installer: 'fuel'
400                     scenario: 'kvm_ovs_dpdk_bar'
401                 run:
402                      module: 'functest.opnfv_tests.features.barometer'
403                      class: 'BarometerCollectd'
404     -
405         name: components
406         order: 3
407         ci_loop: 'weekly'
408         description : >-
409             Extensive testing of OpenStack API.
410         testcases:
411             -
412                 name: tempest_full_parallel
413                 criteria: 'success_rate >= 80%'
414                 blocking: false
415                 clean_flag: true
416                 description: >-
417                     The list of test cases is generated by
418                     Tempest automatically and depends on the parameters of
419                     the OpenStack deplopyment.
420                 dependencies:
421                     installer: '^((?!netvirt).)*$'
422                     scenario: ''
423                 run:
424                     module: 'functest.opnfv_tests.openstack.tempest.tempest'
425                     class: 'TempestFullParallel'
426             -
427                 name: tempest_custom
428                 criteria: 'success_rate == 100%'
429                 blocking: false
430                 clean_flag: true
431                 description: >-
432                     The test case allows running a customized list of tempest
433                     test cases defined in a file under
434                     <dir_functest_repo>/functest/opnfv_tests/openstack/
435                       /tempest/custom_tests/test_list.txt
436                     The file is empty and can be customized with the desired tests.
437                 dependencies:
438                     installer: 'unknown'
439                     scenario: 'unknown'
440                 run:
441                     module: 'functest.opnfv_tests.openstack.tempest.tempest'
442                     class: 'TempestCustom'
443             -
444                 name: rally_full
445                 criteria: 'success_rate >= 90%'
446                 blocking: false
447                 clean_flag: false
448                 description: >-
449                     This test case runs the full suite of scenarios of the OpenStack
450                     Rally suite using several threads and iterations.
451                 dependencies:
452                     installer: '^((?!netvirt).)*$'
453                     scenario: ''
454                 run:
455                     module: 'functest.opnfv_tests.openstack.rally.rally'
456                     class: 'RallyFull'
457
458     -
459         name: vnf
460         order: 4
461         ci_loop: 'weekly'
462         description : >-
463             Collection of VNF test cases.
464         testcases:
465             -
466                 name: cloudify_ims
467                 criteria: 'status == "PASS"'
468                 blocking: false
469                 clean_flag: true
470                 description: >-
471                     This test case deploys an OpenSource vIMS solution from Clearwater
472                     using the Cloudify orchestrator. It also runs some signaling traffic.
473                 dependencies:
474                     installer: ''
475                     scenario: '(ocl)|(nosdn)|^(os-odl)((?!bgpvpn).)*$'
476                 run:
477                     module: 'functest.opnfv_tests.vnf.ims.cloudify_ims'
478                     class: 'CloudifyIms'
479 #          -
480 #               name: aaa
481 #               criteria: 'ret == 0'
482 #               blocking: false
483 #               clean_flag: true
484 #               description: >-
485 #                   Test suite from Parser project.
486 #               dependencies:
487 #                   installer: ''
488 #                   scenario: ''
489 #               run:
490 #                   module: 'functest.opnfv_tests.vnf.aaa.aaa'
491 #                   class: 'AaaVnf'
492             -
493                 name: orchestra_ims
494                 criteria: 'ret == 0'
495                 blocking: false
496                 clean_flag: true
497                 description: >-
498                     VNF deployment with OpenBaton (Orchestra)
499                 dependencies:
500                     installer: ''
501                     scenario: ''
502                 run:
503                     module: 'functest.opnfv_tests.vnf.ims.orchestra_ims'
504                     class: 'ImsVnf'
505
506             -
507                 name: opera_ims
508                 criteria: 'status == "PASS"'
509                 blocking: false
510                 clean_flag: true
511                 description: >-
512                     VNF deployment with OPEN-O
513                 dependencies:
514                     installer: 'unknown'
515                     scenario: 'unknown'
516                 run:
517                     module: 'functest.opnfv_tests.vnf.ims.opera_ims'
518                     class: 'OperaIms'
519
520             -
521                 name: vyos_vrouter
522                 criteria: 'status == "PASS"'
523                 blocking: false
524                 clean_flag: true
525                 description: >-
526                     This test case is vRouter testing.
527                 dependencies:
528                     installer: 'fuel'
529                     scenario: 'nosdn-nofeature'
530                 run:
531                     module: 'functest.opnfv_tests.vnf.router.vyos_vrouter'
532                     class: 'VrouterVnf'