Support running on openstack which enabled https
[functest.git] / functest / ci / testcases.yaml
1 tiers:
2     -
3         name: healthcheck
4         order: 0
5         ci_loop: '(daily)|(weekly)'
6         description : >-
7             First tier to be executed to verify the basic
8             operations in the VIM.
9         testcases:
10             -
11                 name: snaps_health_check
12                 criteria: 'status == "PASS"'
13                 blocking: true
14                 clean_flag: false
15                 description: >-
16                     This test case creates executes the SimpleHealthCheck
17                     Python test class which creates an, image, flavor, network,
18                     and Cirros VM instance and observes the console output to
19                     validate the single port obtains the correct IP address.
20                 dependencies:
21                     installer: ''
22                     scenario: '^((?!lxd).)*$'
23                 run:
24                     module: 'functest.opnfv_tests.openstack.snaps.health_check'
25                     class: 'HealthCheck'
26             -
27                 name: connection_check
28                 criteria: 'status == "PASS"'
29                 blocking: true
30                 clean_flag: false
31                 description: >-
32                     This test case verifies the retrieval of OpenStack clients:
33                     Keystone, Glance, Neutron and Nova and may perform some
34                     simple queries. When the config value of
35                     snaps.use_keystone is True, functest must have access to
36                     the cloud's private network.
37
38                 dependencies:
39                     installer: '^((?!netvirt).)*$'
40                     scenario: ''
41                 run:
42                     module: 'functest.opnfv_tests.openstack.snaps.connection_check'
43                     class: 'ConnectionCheck'
44
45             -
46                 name: api_check
47                 criteria: 'status == "PASS"'
48                 blocking: true
49                 clean_flag: false
50                 description: >-
51                     This test case verifies the retrieval of OpenStack clients:
52                     Keystone, Glance, Neutron and Nova and may perform some
53                     simple queries. When the config value of
54                     snaps.use_keystone is True, functest must have access to
55                     the cloud's private network.
56
57                 dependencies:
58                     installer: '^((?!netvirt).)*$'
59                     scenario: ''
60                 run:
61                     module: 'functest.opnfv_tests.openstack.snaps.api_check'
62                     class: 'ApiCheck'
63     -
64         name: smoke
65         order: 1
66         ci_loop: '(daily)|(weekly)'
67         description : >-
68             Set of basic Functional tests to validate the OPNFV scenarios.
69         testcases:
70             -
71                 name: vping_ssh
72                 criteria: 'status == "PASS"'
73                 blocking: true
74                 clean_flag: true
75                 description: >-
76                     This test case verifies: 1) SSH to an instance using floating
77                     IPs over the public network. 2) Connectivity between 2 instances
78                     over a private network.
79                 dependencies:
80                     installer: ''
81                     scenario: '^((?!odl_l3).)*$'
82                 run:
83                     module: 'functest.opnfv_tests.openstack.vping.vping_ssh'
84                     class: 'VPingSSH'
85
86             -
87                 name: vping_userdata
88                 criteria: 'status == "PASS"'
89                 blocking: true
90                 clean_flag: true
91                 description: >-
92                     This test case verifies:  1) Boot a VM with given userdata.
93                     2) Connectivity between 2 instances over a private network.
94                 dependencies:
95                     installer: ''
96                     scenario: '^((?!lxd).)*$'
97                 run:
98                     module: 'functest.opnfv_tests.openstack.vping.vping_userdata'
99                     class: 'VPingUserdata'
100
101             -
102                 name: tempest_smoke_serial
103                 criteria: 'success_rate == 100%'
104                 blocking: false
105                 clean_flag: false
106                 description: >-
107                     This test case runs the smoke subset of the OpenStack
108                     Tempest suite. The list of test cases is generated by
109                     Tempest automatically and depends on the parameters of
110                     the OpenStack deplopyment.
111                 dependencies:
112                     installer: '^((?!netvirt).)*$'
113                     scenario: ''
114                 run:
115                     module: 'functest.opnfv_tests.openstack.tempest.tempest'
116                     class: 'TempestSmokeSerial'
117
118             -
119                 name: rally_sanity
120                 criteria: 'success_rate == 100%'
121                 blocking: false
122                 clean_flag: false
123                 description: >-
124                     This test case runs a sub group of tests of the OpenStack
125                     Rally suite in smoke mode.
126                 dependencies:
127                     installer: ''
128                     scenario: ''
129                 run:
130                     module: 'functest.opnfv_tests.openstack.rally.rally'
131                     class: 'RallySanity'
132
133             -
134                 name: odl
135                 criteria: 'success_rate == 100%'
136                 blocking: true
137                 clean_flag: false
138                 description: >-
139                     Test Suite for the OpenDaylight SDN Controller. It
140                     integrates some test suites from upstream using
141                     Robot as the test framework.
142                 dependencies:
143                     installer: ''
144                     scenario: 'odl'
145                 run:
146                     module: 'functest.opnfv_tests.sdn.odl.odl'
147                     class: 'ODLTests'
148                     args:
149                         suites:
150                             -  /home/opnfv/repos/odl_test/csit/suites/integration/basic
151                             -  /home/opnfv/repos/odl_test/csit/suites/openstack/neutron
152
153             -
154                 name: odl_netvirt
155                 criteria: 'success_rate == 100%'
156                 blocking: true
157                 clean_flag: false
158                 description: >-
159                     Test Suite for the OpenDaylight SDN Controller when
160                     the NetVirt features are installed. It integrates
161                     some test suites from upstream using Robot as the
162                     test framework.
163                 dependencies:
164                     installer: ''
165                     scenario: 'netvirt'
166                 run:
167                     module: 'functest.opnfv_tests.sdn.odl.odl'
168                     class: 'ODLTests'
169                     args:
170                         suites:
171                             -  /home/opnfv/repos/odl_test/csit/suites/integration/basic
172                             -  /home/opnfv/repos/odl_test/csit/suites/openstack/neutron
173                             -  /home/opnfv/repos/odl_test/csit/suites/openstack/connectivity
174
175             -
176                 name: onos
177                 criteria: 'status == "PASS"'
178                 blocking: true
179                 clean_flag: true
180                 description: >-
181                     Test Suite for the ONOS SDN Controller. It integrates
182                     some test suites from upstream using TestON as the test
183                     framework.
184                 dependencies:
185                     installer: ''
186                     scenario: 'onos'
187                 run:
188                     module: 'functest.opnfv_tests.sdn.onos.onos'
189                     class: 'Onos'
190
191             -
192                 name: snaps_smoke
193                 criteria: 'status == "PASS"'
194                 blocking: false
195                 clean_flag: false
196                 description: >-
197                     This test case contains tests that setup and destroy
198                     environments with VMs with and without Floating IPs
199                     with a newly created user and project. Set the config
200                     value snaps.use_floating_ips (True|False) to toggle
201                     this functionality. When the config value of
202                     snaps.use_keystone is True, functest must have access to
203                     the cloud's private network.
204
205                 dependencies:
206                     installer: '^((?!netvirt).)*$'
207                     scenario: ''
208                 run:
209                     module: 'functest.opnfv_tests.openstack.snaps.smoke'
210                     class: 'SnapsSmoke'
211
212     -
213         name: features
214         order: 2
215         ci_loop: '(daily)|(weekly)'
216         description : >-
217             Test suites from feature projects
218             integrated in functest
219         testcases:
220             -
221                 name: promise
222                 criteria: 'success_rate == 100%'
223                 blocking: false
224                 clean_flag: true
225                 description: >-
226                     Test suite from Promise project.
227                 dependencies:
228                     installer: '(fuel)|(joid)'
229                     scenario: ''
230                 run:
231                      module: 'functest.opnfv_tests.features.promise'
232                      class: 'Promise'
233
234             -
235                 name: doctor
236                 criteria: 'status == "PASS"'
237                 blocking: false
238                 clean_flag: true
239                 description: >-
240                     Test suite from Doctor project.
241                 dependencies:
242                     installer: '(apex)|(fuel)|(joid)'
243                     scenario: '^((?!fdio).)*$'
244                 run:
245                     module: 'functest.opnfv_tests.features.doctor'
246                     class: 'Doctor'
247
248             -
249                 name: bgpvpn
250                 criteria: 'status == "PASS"'
251                 blocking: false
252                 clean_flag: true
253                 description: >-
254                     Test suite from SDNVPN project.
255                 dependencies:
256                     installer: '(fuel)|(apex)|(netvirt)'
257                     scenario: 'bgpvpn'
258                 run:
259                     module: 'functest.opnfv_tests.features.sdnvpn'
260                     class: 'SdnVpnTests'
261
262             -
263                 name: security_scan
264                 criteria: 'status == "PASS"'
265                 blocking: false
266                 clean_flag: true
267                 description: >-
268                     Simple Security Scan
269                 dependencies:
270                     installer: 'apex'
271                     scenario: '^((?!fdio).)*$'
272                 run:
273                     module: 'functest.opnfv_tests.features.security_scan'
274                     class: 'SecurityScan'
275 #            -
276 #                name: copper
277 #                criteria: 'status == "PASS"'
278 #                blocking: false
279 #                clean_flag: true
280 #                description: >-
281 #                    Test suite for policy management based on OpenStack Congress
282 #                dependencies:
283 #                    installer: '(apex)|(joid)'
284 #                    scenario: '^((?!fdio|lxd).)*$'
285 #                run:
286 #                    module: 'functest.opnfv_tests.features.copper'
287 #                    class: 'Copper'
288             -
289                 name: multisite
290                 criteria: 'success_rate == 100%'
291                 blocking: false
292                 clean_flag: false
293                 description: >-
294                     Test suite from kingbird
295                 dependencies:
296                     installer: '(fuel)|(compass)'
297                     scenario: 'multisite'
298                 run:
299                     module: 'functest.opnfv_tests.openstack.tempest.tempest'
300                     class: 'TempestMultisite'
301             -
302                 name: odl-sfc
303                 criteria: 'status == "PASS"'
304                 blocking: false
305                 clean_flag: true
306                 description: >-
307                     Test suite for odl-sfc to test two chains and two SFs
308                 dependencies:
309                     installer: '(apex)|(fuel)'
310                     scenario: 'odl_l2-sfc'
311                 run:
312                     module: 'functest.opnfv_tests.features.odl_sfc'
313                     class: 'OpenDaylightSFC'
314             -
315                 name: onos_sfc
316                 criteria: 'status == "PASS"'
317                 blocking: true
318                 clean_flag: true
319                 description: >-
320                     Test Suite for onos-sfc to test sfc function.
321                 dependencies:
322                     installer: ''
323                     scenario: 'onos-sfc'
324                 run:
325                     module: 'functest.opnfv_tests.sdn.onos.onos'
326                     class: 'OnosSfc'
327             -
328                 name: parser
329                 criteria: 'ret == 0'
330                 blocking: false
331                 clean_flag: true
332                 description: >-
333                     Test suite from Parser project.
334                 dependencies:
335                     installer: 'fuel'
336                     scenario: '^((?!bgpvpn|noha).)*$'
337                 run:
338                     module: 'functest.opnfv_tests.vnf.rnc.parser'
339                     class: 'Parser'
340             -
341                 name: domino
342                 criteria: 'status == "PASS"'
343                 blocking: false
344                 clean_flag: true
345                 description: >-
346                     Test suite from Domino project.
347                 dependencies:
348                     installer: ''
349                     scenario: ''
350                 run:
351                     module: 'functest.opnfv_tests.features.domino'
352                     class: 'Domino'
353             -
354                 name: orchestra
355                 criteria: 'ret == 0'
356                 blocking: false
357                 clean_flag: true
358                 description: >-
359                     Test OpenBaton (Orchestra) stack
360                 dependencies:
361                     installer: 'joid'
362                     scenario: 'unknown'
363                 run:
364                     module: 'functest.opnfv_tests.features.orchestrator.orchestra'
365                     class: 'OpenbatonOrchestrator'
366             -
367                 name: netready
368                 criteria: 'status == "PASS"'
369                 blocking: false
370                 clean_flag: true
371                 description: >-
372                     Test suite from Netready project.
373                 dependencies:
374                     installer: 'apex'
375                     scenario: 'gluon'
376                 run:
377                      module: 'functest.opnfv_tests.features.netready'
378                      class: 'GluonVping'
379             -
380                 name: barometer
381                 criteria: 'status == "PASS"'
382                 blocking: false
383                 clean_flag: true
384                 description: >-
385                     Test suite for the Barometer project. Separate tests verify the
386                     proper configuration and functionality of the following
387                     collectd plugins Ceilometer, Hugepages, Memory RAS (mcelog),
388                     and OVS Events
389                 dependencies:
390                     installer: 'fuel'
391                     scenario: 'kvm_ovs_dpdk_bar'
392                 run:
393                      module: 'functest.opnfv_tests.features.barometer'
394                      class: 'BarometerCollectd'
395     -
396         name: components
397         order: 3
398         ci_loop: 'daily'
399         description : >-
400             Extensive testing of OpenStack API.
401         testcases:
402 #            -
403 #                name: tempest_full_parallel
404 #                criteria: 'success_rate >= 80%'
405 #                blocking: false
406 #                clean_flag: false
407 #                description: >-
408 #                    The list of test cases is generated by
409 #                    Tempest automatically and depends on the parameters of
410 #                    the OpenStack deplopyment.
411 #                dependencies:
412 #                    installer: '^((?!netvirt).)*$'
413 #                    scenario: ''
414 #                run:
415 #                    module: 'functest.opnfv_tests.openstack.tempest.tempest'
416 #                    class: 'TempestFullParallel'
417             -
418                 name: tempest_defcore
419                 criteria: 'success_rate == 100%'
420                 blocking: false
421                 clean_flag: false
422                 description: >-
423                     This is the set of Tempest test cases created by OpenStack
424                     Interop Working Group for certification purposes.
425                 dependencies:
426                     installer: ''
427                     scenario: 'nosdn-nofeature-ha'
428                 run:
429                     module: 'functest.opnfv_tests.openstack.tempest.tempest'
430                     class: 'TempestDefcore'
431             -
432                 name: tempest_custom
433                 criteria: 'success_rate == 100%'
434                 blocking: false
435                 clean_flag: false
436                 description: >-
437                     The test case allows running a customized list of tempest
438                     test cases defined in a file under
439                     <dir_functest_repo>/functest/opnfv_tests/openstack/
440                       /tempest/custom_tests/test_list.txt
441                     The file is empty and can be customized with the desired tests.
442                 dependencies:
443                     installer: 'unknown'
444                     scenario: 'unknown'
445                 run:
446                     module: 'functest.opnfv_tests.openstack.tempest.tempest'
447                     class: 'TempestCustom'
448 #            -
449 #                name: rally_full
450 #                criteria: 'success_rate >= 90%'
451 #                blocking: false
452 #                clean_flag: false
453 #                description: >-
454 #                    This test case runs the full suite of scenarios of the OpenStack
455 #                    Rally suite using several threads and iterations.
456 #                dependencies:
457 #                    installer: '^((?!netvirt).)*$'
458 #                    scenario: ''
459 #                run:
460 #                    module: 'functest.opnfv_tests.openstack.rally.rally'
461 #                    class: 'RallyFull'
462
463     -
464         name: vnf
465         order: 4
466         ci_loop: 'weekly'
467         description : >-
468             Collection of VNF test cases.
469         testcases:
470             -
471                 name: cloudify_ims
472                 criteria: 'status == "PASS"'
473                 blocking: false
474                 clean_flag: true
475                 description: >-
476                     This test case deploys an OpenSource vIMS solution from Clearwater
477                     using the Cloudify orchestrator. It also runs some signaling traffic.
478                 dependencies:
479                     installer: ''
480                     scenario: '(ocl)|(nosdn)|^(os-odl)((?!bgpvpn).)*$'
481                 run:
482                     module: 'functest.opnfv_tests.vnf.ims.cloudify_ims'
483                     class: 'ImsVnf'
484             -
485                 name: aaa
486                 criteria: 'ret == 0'
487                 blocking: false
488                 clean_flag: true
489                 description: >-
490                     Test suite from Parser project.
491                 dependencies:
492                     installer: ''
493                     scenario: ''
494                 run:
495                     module: 'functest.opnfv_tests.vnf.aaa.aaa'
496                     class: 'AaaVnf'
497
498             -
499                 name: juju_epc
500                 criteria: 'ret == 0'
501                 blocking: false
502                 clean_flag: true
503                 description: >-
504                     Test suite from OAI project, vEPC deployed with Juju.
505                 dependencies:
506                     installer: 'unknown'
507                     scenario: 'unknown'
508                 run:
509                     module: 'functest.opnfv_tests.vnf.epc.epc'
510                     class: 'EpcVnf'
511
512             -
513                 name: orchestra_ims
514                 criteria: 'ret == 0'
515                 blocking: false
516                 clean_flag: true
517                 description: >-
518                     VNF deployment with OpenBaton (Orchestra)
519                 dependencies:
520                     installer: ''
521                     scenario: ''
522                 run:
523                     module: 'functest.opnfv_tests.vnf.ims.orchestra_ims'
524                     class: 'ImsVnf'
525
526             -
527                 name: opera_ims
528                 criteria: 'ret == 0'
529                 blocking: false
530                 clean_flag: true
531                 description: >-
532                     Evolution of vIMS
533                 dependencies:
534                     installer: 'unknown'
535                     scenario: 'unknown'
536                 run:
537                     module: 'functest.opnfv_tests.vnf.ims.opera_ims'
538                     class: 'ImsVnf'
539
540             -
541                 name: vyos_vrouter
542                 criteria: 'status == "PASS"'
543                 blocking: false
544                 clean_flag: true
545                 description: >-
546                     This test case is vRouter testing.
547                 dependencies:
548                     installer: 'fuel'
549                     scenario: 'nosdn-nofeature'
550                 run:
551                     module: 'functest.opnfv_tests.vnf.router.vyos_vrouter'
552                     class: 'VrouterVnf'