0055164ecb128d82b5cb4bc51be74a8fee4a9570
[vswitchperf.git] / docs / userguide / testusage.rst
1 .. This work is licensed under a Creative Commons Attribution 4.0 International License.
2 .. http://creativecommons.org/licenses/by/4.0
3 .. (c) OPNFV, Intel Corporation, AT&T and others.
4
5 vSwitchPerf test suites userguide
6 ---------------------------------
7
8 General
9 ^^^^^^^
10
11 VSPERF requires a traffic generators to run tests, automated traffic gen
12 support in VSPERF includes:
13
14 - IXIA traffic generator (IxNetwork hardware) and a machine that runs the IXIA
15   client software.
16 - Spirent traffic generator (TestCenter hardware chassis or TestCenter virtual
17   in a VM) and a VM to run the Spirent Virtual Deployment Service image,
18   formerly known as "Spirent LabServer".
19 - Xena Network traffic generator (Xena hardware chassis) that houses the Xena
20   Traffic generator modules.
21 - Moongen software traffic generator. Requires a separate machine running
22   moongen to execute packet generation.
23
24 If you want to use another traffic generator, please select the :ref:`trafficgen-dummy`
25 generator.
26
27 VSPERF Installation
28 ^^^^^^^^^^^^^^^^^^^
29
30 To see the supported Operating Systems, vSwitches and system requirements,
31 please follow the `installation instructions <vsperf-installation>`.
32
33 Traffic Generator Setup
34 ^^^^^^^^^^^^^^^^^^^^^^^
35
36 Follow the `Traffic generator instructions <trafficgen-installation>` to
37 install and configure a suitable traffic generator.
38
39 Cloning and building src dependencies
40 ^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^
41
42 In order to run VSPERF, you will need to download DPDK and OVS. You can
43 do this manually and build them in a preferred location, OR you could
44 use vswitchperf/src. The vswitchperf/src directory contains makefiles
45 that will allow you to clone and build the libraries that VSPERF depends
46 on, such as DPDK and OVS. To clone and build simply:
47
48 .. code-block:: console
49
50     $ cd src
51     $ make
52
53 VSPERF can be used with stock OVS (without DPDK support). When build
54 is finished, the libraries are stored in src_vanilla directory.
55
56 The 'make' builds all options in src:
57
58 * Vanilla OVS
59 * OVS with vhost_user as the guest access method (with DPDK support)
60
61 The vhost_user build will reside in src/ovs/
62 The Vanilla OVS build will reside in vswitchperf/src_vanilla
63
64 To delete a src subdirectory and its contents to allow you to re-clone simply
65 use:
66
67 .. code-block:: console
68
69      $ make clobber
70
71 Configure the ``./conf/10_custom.conf`` file
72 ^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^
73
74 The ``10_custom.conf`` file is the configuration file that overrides
75 default configurations in all the other configuration files in ``./conf``
76 The supplied ``10_custom.conf`` file **MUST** be modified, as it contains
77 configuration items for which there are no reasonable default values.
78
79 The configuration items that can be added is not limited to the initial
80 contents. Any configuration item mentioned in any .conf file in
81 ``./conf`` directory can be added and that item will be overridden by
82 the custom configuration value.
83
84 Further details about configuration files evaluation and special behaviour
85 of options with ``GUEST_`` prefix could be found at :ref:`design document
86 <design-configuration>`.
87
88 Using a custom settings file
89 ^^^^^^^^^^^^^^^^^^^^^^^^^^^^
90
91 If your ``10_custom.conf`` doesn't reside in the ``./conf`` directory
92 of if you want to use an alternative configuration file, the file can
93 be passed to ``vsperf`` via the ``--conf-file`` argument.
94
95 .. code-block:: console
96
97     $ ./vsperf --conf-file <path_to_custom_conf> ...
98
99 Note that configuration passed in via the environment (``--load-env``)
100 or via another command line argument will override both the default and
101 your custom configuration files. This "priority hierarchy" can be
102 described like so (1 = max priority):
103
104 1. Testcase definition section ``Parameters``
105 2. Command line arguments
106 3. Environment variables
107 4. Configuration file(s)
108
109 Further details about configuration files evaluation and special behaviour
110 of options with ``GUEST_`` prefix could be found at :ref:`design document
111 <design-configuration>`.
112
113 .. _overriding-parameters-documentation:
114
115 Overriding values defined in configuration files
116 ^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^
117
118 The configuration items can be overridden by command line argument
119 ``--test-params``. In this case, the configuration items and
120 their values should be passed in form of ``item=value`` and separated
121 by semicolon.
122
123 Example:
124
125 .. code:: console
126
127     $ ./vsperf --test-params "TRAFFICGEN_DURATION=10;TRAFFICGEN_PKT_SIZES=(128,);" \
128                              "GUEST_LOOPBACK=['testpmd','l2fwd']" pvvp_tput
129
130 The second option is to override configuration items by ``Parameters`` section
131 of the test case definition. The configuration items can be added into ``Parameters``
132 dictionary with their new values. These values will override values defined in
133 configuration files or specified by ``--test-params`` command line argument.
134
135 Example:
136
137 .. code:: python
138
139     "Parameters" : {'TRAFFICGEN_PKT_SIZES' : (128,),
140                     'TRAFFICGEN_DURATION' : 10,
141                     'GUEST_LOOPBACK' : ['testpmd','l2fwd'],
142                    }
143
144 **NOTE:** In both cases, configuration item names and their values must be specified
145 in the same form as they are defined inside configuration files. Parameter names
146 must be specified in uppercase and data types of original and new value must match.
147 Python syntax rules related to data types and structures must be followed.
148 For example, parameter ``TRAFFICGEN_PKT_SIZES`` above is defined as a tuple
149 with a single value ``128``. In this case trailing comma is mandatory, otherwise
150 value can be wrongly interpreted as a number instead of a tuple and vsperf
151 execution would fail. Please check configuration files for default values and their
152 types and use them as a basis for any customized values. In case of any doubt, please
153 check official python documentation related to data structures like tuples, lists
154 and dictionaries.
155
156 **NOTE:** Vsperf execution will terminate with runtime error in case, that unknown
157 parameter name is passed via ``--test-params`` CLI argument or defined in ``Parameters``
158 section of test case definition. It is also forbidden to redefine a value of
159 ``TEST_PARAMS`` configuration item via CLI or ``Parameters`` section.
160
161 vloop_vnf
162 ^^^^^^^^^
163
164 VSPERF uses a VM image called vloop_vnf for looping traffic in the deployment
165 scenarios involving VMs. The image can be downloaded from
166 `<http://artifacts.opnfv.org/>`__.
167
168 Please see the installation instructions for information on :ref:`vloop-vnf`
169 images.
170
171 .. _l2fwd-module:
172
173 l2fwd Kernel Module
174 ^^^^^^^^^^^^^^^^^^^
175
176 A Kernel Module that provides OSI Layer 2 Ipv4 termination or forwarding with
177 support for Destination Network Address Translation (DNAT) for both the MAC and
178 IP addresses. l2fwd can be found in <vswitchperf_dir>/src/l2fwd
179
180 Executing tests
181 ^^^^^^^^^^^^^^^
182
183 All examples inside these docs assume, that user is inside the VSPERF
184 directory. VSPERF can be executed from any directory.
185
186 Before running any tests make sure you have root permissions by adding
187 the following line to /etc/sudoers:
188
189 .. code-block:: console
190
191     username ALL=(ALL)       NOPASSWD: ALL
192
193 username in the example above should be replaced with a real username.
194
195 To list the available tests:
196
197 .. code-block:: console
198
199     $ ./vsperf --list
200
201 To run a single test:
202
203 .. code-block:: console
204
205     $ ./vsperf $TESTNAME
206
207 Where $TESTNAME is the name of the vsperf test you would like to run.
208
209 To run a group of tests, for example all tests with a name containing
210 'RFC2544':
211
212 .. code-block:: console
213
214     $ ./vsperf --conf-file=<path_to_custom_conf>/10_custom.conf --tests="RFC2544"
215
216 To run all tests:
217
218 .. code-block:: console
219
220     $ ./vsperf --conf-file=<path_to_custom_conf>/10_custom.conf
221
222 Some tests allow for configurable parameters, including test duration
223 (in seconds) as well as packet sizes (in bytes).
224
225 .. code:: bash
226
227     $ ./vsperf --conf-file user_settings.py \
228         --tests RFC2544Tput \
229         --test-params "TRAFFICGEN_DURATION=10;TRAFFICGEN_PKT_SIZES=(128,)"
230
231 For all available options, check out the help dialog:
232
233 .. code-block:: console
234
235     $ ./vsperf --help
236
237 Executing Vanilla OVS tests
238 ^^^^^^^^^^^^^^^^^^^^^^^^^^^
239
240 1. If needed, recompile src for all OVS variants
241
242    .. code-block:: console
243
244        $ cd src
245        $ make distclean
246        $ make
247
248 2. Update your ``10_custom.conf`` file to use Vanilla OVS:
249
250    .. code-block:: python
251
252        VSWITCH = 'OvsVanilla'
253
254 3. Run test:
255
256    .. code-block:: console
257
258        $ ./vsperf --conf-file=<path_to_custom_conf>
259
260    Please note if you don't want to configure Vanilla OVS through the
261    configuration file, you can pass it as a CLI argument.
262
263    .. code-block:: console
264
265        $ ./vsperf --vswitch OvsVanilla
266
267
268 Executing tests with VMs
269 ^^^^^^^^^^^^^^^^^^^^^^^^
270
271 To run tests using vhost-user as guest access method:
272
273 1. Set VHOST_METHOD and VNF of your settings file to:
274
275    .. code-block:: python
276
277        VSWITCH = 'OvsDpdkVhost'
278        VNF = 'QemuDpdkVhost'
279
280 2. If needed, recompile src for all OVS variants
281
282    .. code-block:: console
283
284        $ cd src
285        $ make distclean
286        $ make
287
288 3. Run test:
289
290    .. code-block:: console
291
292        $ ./vsperf --conf-file=<path_to_custom_conf>/10_custom.conf
293
294 Executing tests with VMs using Vanilla OVS
295 ^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^
296
297 To run tests using Vanilla OVS:
298
299 1. Set the following variables:
300
301    .. code-block:: python
302
303        VSWITCH = 'OvsVanilla'
304        VNF = 'QemuVirtioNet'
305
306        VANILLA_TGEN_PORT1_IP = n.n.n.n
307        VANILLA_TGEN_PORT1_MAC = nn:nn:nn:nn:nn:nn
308
309        VANILLA_TGEN_PORT2_IP = n.n.n.n
310        VANILLA_TGEN_PORT2_MAC = nn:nn:nn:nn:nn:nn
311
312        VANILLA_BRIDGE_IP = n.n.n.n
313
314    or use ``--test-params`` option
315
316    .. code-block:: console
317
318        $ ./vsperf --conf-file=<path_to_custom_conf>/10_custom.conf \
319                   --test-params "VANILLA_TGEN_PORT1_IP=n.n.n.n;" \
320                                 "VANILLA_TGEN_PORT1_MAC=nn:nn:nn:nn:nn:nn;" \
321                                 "VANILLA_TGEN_PORT2_IP=n.n.n.n;" \
322                                 "VANILLA_TGEN_PORT2_MAC=nn:nn:nn:nn:nn:nn"
323
324 2. If needed, recompile src for all OVS variants
325
326    .. code-block:: console
327
328        $ cd src
329        $ make distclean
330        $ make
331
332 3. Run test:
333
334    .. code-block:: console
335
336        $ ./vsperf --conf-file<path_to_custom_conf>/10_custom.conf
337
338 .. _vfio-pci:
339
340 Using vfio_pci with DPDK
341 ^^^^^^^^^^^^^^^^^^^^^^^^^
342
343 To use vfio with DPDK instead of igb_uio add into your custom configuration
344 file the following parameter:
345
346 .. code-block:: python
347
348     PATHS['dpdk']['src']['modules'] = ['uio', 'vfio-pci']
349
350
351 **NOTE:** In case, that DPDK is installed from binary package, then please
352 set ``PATHS['dpdk']['bin']['modules']`` instead.
353
354 **NOTE:** Please ensure that Intel VT-d is enabled in BIOS.
355
356 **NOTE:** Please ensure your boot/grub parameters include
357 the following:
358
359 .. code-block:: console
360
361     iommu=pt intel_iommu=on
362
363 To check that IOMMU is enabled on your platform:
364
365 .. code-block:: console
366
367     $ dmesg | grep IOMMU
368     [    0.000000] Intel-IOMMU: enabled
369     [    0.139882] dmar: IOMMU 0: reg_base_addr fbffe000 ver 1:0 cap d2078c106f0466 ecap f020de
370     [    0.139888] dmar: IOMMU 1: reg_base_addr ebffc000 ver 1:0 cap d2078c106f0466 ecap f020de
371     [    0.139893] IOAPIC id 2 under DRHD base  0xfbffe000 IOMMU 0
372     [    0.139894] IOAPIC id 0 under DRHD base  0xebffc000 IOMMU 1
373     [    0.139895] IOAPIC id 1 under DRHD base  0xebffc000 IOMMU 1
374     [    3.335744] IOMMU: dmar0 using Queued invalidation
375     [    3.335746] IOMMU: dmar1 using Queued invalidation
376     ....
377
378 .. _SRIOV-support:
379
380 Using SRIOV support
381 ^^^^^^^^^^^^^^^^^^^
382
383 To use virtual functions of NIC with SRIOV support, use extended form
384 of NIC PCI slot definition:
385
386 .. code-block:: python
387
388     WHITELIST_NICS = ['0000:05:00.0|vf0', '0000:05:00.1|vf3']
389
390 Where 'vf' is an indication of virtual function usage and following
391 number defines a VF to be used. In case that VF usage is detected,
392 then vswitchperf will enable SRIOV support for given card and it will
393 detect PCI slot numbers of selected VFs.
394
395 So in example above, one VF will be configured for NIC '0000:05:00.0'
396 and four VFs will be configured for NIC '0000:05:00.1'. Vswitchperf
397 will detect PCI addresses of selected VFs and it will use them during
398 test execution.
399
400 At the end of vswitchperf execution, SRIOV support will be disabled.
401
402 SRIOV support is generic and it can be used in different testing scenarios.
403 For example:
404
405 * vSwitch tests with DPDK or without DPDK support to verify impact
406   of VF usage on vSwitch performance
407 * tests without vSwitch, where traffic is forwared directly
408   between VF interfaces by packet forwarder (e.g. testpmd application)
409 * tests without vSwitch, where VM accesses VF interfaces directly
410   by PCI-passthrough_ to measure raw VM throughput performance.
411
412 .. _PCI-passthrough:
413
414 Using QEMU with PCI passthrough support
415 ^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^
416
417 Raw virtual machine throughput performance can be measured by execution of PVP
418 test with direct access to NICs by PCI passthrough. To execute VM with direct
419 access to PCI devices, enable vfio-pci_. In order to use virtual functions,
420 SRIOV-support_ must be enabled.
421
422 Execution of test with PCI passthrough with vswitch disabled:
423
424 .. code-block:: console
425
426     $ ./vsperf --conf-file=<path_to_custom_conf>/10_custom.conf \
427                --vswitch none --vnf QemuPciPassthrough pvp_tput
428
429 Any of supported guest-loopback-application_ can be used inside VM with
430 PCI passthrough support.
431
432 Note: Qemu with PCI passthrough support can be used only with PVP test
433 deployment.
434
435 .. _guest-loopback-application:
436
437 Selection of loopback application for tests with VMs
438 ^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^
439
440 To select the loopback applications which will forward packets inside VMs,
441 the following parameter should be configured:
442
443 .. code-block:: python
444
445      GUEST_LOOPBACK = ['testpmd']
446
447 or use ``--test-params`` CLI argument:
448
449 .. code-block:: console
450
451         $ ./vsperf --conf-file=<path_to_custom_conf>/10_custom.conf \
452               --test-params "GUEST_LOOPBACK=['testpmd']"
453
454 Supported loopback applications are:
455
456 .. code-block:: console
457
458      'testpmd'       - testpmd from dpdk will be built and used
459      'l2fwd'         - l2fwd module provided by Huawei will be built and used
460      'linux_bridge'  - linux bridge will be configured
461      'buildin'       - nothing will be configured by vsperf; VM image must
462                        ensure traffic forwarding between its interfaces
463
464 Guest loopback application must be configured, otherwise traffic
465 will not be forwarded by VM and testcases with VM related deployments
466 will fail. Guest loopback application is set to 'testpmd' by default.
467
468 **NOTE:** In case that only 1 or more than 2 NICs are configured for VM,
469 then 'testpmd' should be used. As it is able to forward traffic between
470 multiple VM NIC pairs.
471
472 **NOTE:** In case of linux_bridge, all guest NICs are connected to the same
473 bridge inside the guest.
474
475 Mergable Buffers Options with QEMU
476 ^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^
477
478 Mergable buffers can be disabled with VSPerf within QEMU. This option can
479 increase performance significantly when not using jumbo frame sized packets.
480 By default VSPerf disables mergable buffers. If you wish to enable it you
481 can modify the setting in the a custom conf file.
482
483 .. code-block:: python
484
485     GUEST_NIC_MERGE_BUFFERS_DISABLE = [False]
486
487 Then execute using the custom conf file.
488
489 .. code-block:: console
490
491         $ ./vsperf --conf-file=<path_to_custom_conf>/10_custom.conf
492
493 Alternatively you can just pass the param during execution.
494
495 .. code-block:: console
496
497         $ ./vsperf --test-params "GUEST_NIC_MERGE_BUFFERS_DISABLE=[False]"
498
499
500 Selection of dpdk binding driver for tests with VMs
501 ^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^
502
503 To select dpdk binding driver, which will specify which driver the vm NICs will
504 use for dpdk bind, the following configuration parameter should be configured:
505
506 .. code-block:: console
507
508      GUEST_DPDK_BIND_DRIVER = ['igb_uio_from_src']
509
510 The supported dpdk guest bind drivers are:
511
512 .. code-block:: console
513
514     'uio_pci_generic'      - Use uio_pci_generic driver
515     'igb_uio_from_src'     - Build and use the igb_uio driver from the dpdk src
516                              files
517     'vfio_no_iommu'        - Use vfio with no iommu option. This requires custom
518                              guest images that support this option. The default
519                              vloop image does not support this driver.
520
521 Note: uio_pci_generic does not support sr-iov testcases with guests attached.
522 This is because uio_pci_generic only supports legacy interrupts. In case
523 uio_pci_generic is selected with the vnf as QemuPciPassthrough it will be
524 modified to use igb_uio_from_src instead.
525
526 Note: vfio_no_iommu requires kernels equal to or greater than 4.5 and dpdk
527 16.04 or greater. Using this option will also taint the kernel.
528
529 Please refer to the dpdk documents at http://dpdk.org/doc/guides for more
530 information on these drivers.
531
532 Multi-Queue Configuration
533 ^^^^^^^^^^^^^^^^^^^^^^^^^
534
535 VSPerf currently supports multi-queue with the following limitations:
536
537 1.  Requires QEMU 2.5 or greater and any OVS version higher than 2.5. The
538     default upstream package versions installed by VSPerf satisfies this
539     requirement.
540
541 2.  Guest image must have ethtool utility installed if using l2fwd or linux
542     bridge inside guest for loopback.
543
544 3.  If using OVS versions 2.5.0 or less enable old style multi-queue as shown
545     in the ''02_vswitch.conf'' file.
546
547     .. code-block:: python
548
549         OVS_OLD_STYLE_MQ = True
550
551 To enable multi-queue for dpdk modify the ''02_vswitch.conf'' file.
552
553 .. code-block:: python
554
555     VSWITCH_DPDK_MULTI_QUEUES = 2
556
557 **NOTE:** you should consider using the switch affinity to set a pmd cpu mask
558 that can optimize your performance. Consider the numa of the NIC in use if this
559 applies by checking /sys/class/net/<eth_name>/device/numa_node and setting an
560 appropriate mask to create PMD threads on the same numa node.
561
562 When multi-queue is enabled, each dpdk or dpdkvhostuser port that is created
563 on the switch will set the option for multiple queues. If old style multi queue
564 has been enabled a global option for multi queue will be used instead of the
565 port by port option.
566
567 To enable multi-queue on the guest modify the ''04_vnf.conf'' file.
568
569 .. code-block:: python
570
571     GUEST_NIC_QUEUES = [2]
572
573 Enabling multi-queue at the guest will add multiple queues to each NIC port when
574 qemu launches the guest.
575
576 In case of Vanilla OVS, multi-queue is enabled on the tuntap ports and nic
577 queues will be enabled inside the guest with ethtool. Simply enabling the
578 multi-queue on the guest is sufficient for Vanilla OVS multi-queue.
579
580 Testpmd should be configured to take advantage of multi-queue on the guest if
581 using DPDKVhostUser. This can be done by modifying the ''04_vnf.conf'' file.
582
583 .. code-block:: python
584
585     GUEST_TESTPMD_PARAMS = ['-l 0,1,2,3,4  -n 4 --socket-mem 512 -- '
586                             '--burst=64 -i --txqflags=0xf00 '
587                             '--nb-cores=4 --rxq=2 --txq=2 '
588                             '--disable-hw-vlan']
589
590 **NOTE:** The guest SMP cores must be configured to allow for testpmd to use the
591 optimal number of cores to take advantage of the multiple guest queues.
592
593 In case of using Vanilla OVS and qemu virtio-net you can increase performance
594 by binding vhost-net threads to cpus. This can be done by enabling the affinity
595 in the ''04_vnf.conf'' file. This can be done to non multi-queue enabled
596 configurations as well as there will be 2 vhost-net threads.
597
598 .. code-block:: python
599
600     VSWITCH_VHOST_NET_AFFINITIZATION = True
601
602     VSWITCH_VHOST_CPU_MAP = [4,5,8,11]
603
604 **NOTE:** This method of binding would require a custom script in a real
605 environment.
606
607 **NOTE:** For optimal performance guest SMPs and/or vhost-net threads should be
608 on the same numa as the NIC in use if possible/applicable. Testpmd should be
609 assigned at least (nb_cores +1) total cores with the cpu mask.
610
611 Executing Packet Forwarding tests
612 ^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^
613
614 To select the applications which will forward packets,
615 the following parameters should be configured:
616
617 .. code-block:: python
618
619     VSWITCH = 'none'
620     PKTFWD = 'TestPMD'
621
622 or use ``--vswitch`` and ``--fwdapp`` CLI arguments:
623
624 .. code-block:: console
625
626     $ ./vsperf phy2phy_cont --conf-file user_settings.py \
627                --vswitch none \
628                --fwdapp TestPMD
629
630 Supported Packet Forwarding applications are:
631
632 .. code-block:: console
633
634     'testpmd'       - testpmd from dpdk
635
636
637 1. Update your ''10_custom.conf'' file to use the appropriate variables
638    for selected Packet Forwarder:
639
640    .. code-block:: python
641
642       # testpmd configuration
643       TESTPMD_ARGS = []
644       # packet forwarding mode supported by testpmd; Please see DPDK documentation
645       # for comprehensive list of modes supported by your version.
646       # e.g. io|mac|mac_retry|macswap|flowgen|rxonly|txonly|csum|icmpecho|...
647       # Note: Option "mac_retry" has been changed to "mac retry" since DPDK v16.07
648       TESTPMD_FWD_MODE = 'csum'
649       # checksum calculation layer: ip|udp|tcp|sctp|outer-ip
650       TESTPMD_CSUM_LAYER = 'ip'
651       # checksum calculation place: hw (hardware) | sw (software)
652       TESTPMD_CSUM_CALC = 'sw'
653       # recognize tunnel headers: on|off
654       TESTPMD_CSUM_PARSE_TUNNEL = 'off'
655
656 2. Run test:
657
658    .. code-block:: console
659
660       $ ./vsperf phy2phy_tput --conf-file <path_to_settings_py>
661
662 Executing Packet Forwarding tests with one guest
663 ^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^
664
665 TestPMD with DPDK 16.11 or greater can be used to forward packets as a switch to a single guest using TestPMD vdev
666 option. To set this configuration the following parameters should be used.
667
668     .. code-block:: python
669
670         VSWITCH = 'none'
671         PKTFWD = 'TestPMD'
672
673 or use ``--vswitch`` and ``--fwdapp`` CLI arguments:
674
675     .. code-block:: console
676
677         $ ./vsperf pvp_tput --conf-file user_settings.py \
678                    --vswitch none \
679                    --fwdapp TestPMD
680
681 Guest forwarding application only supports TestPMD in this configuration.
682
683     .. code-block:: python
684
685         GUEST_LOOPBACK = ['testpmd']
686
687 For optimal performance one cpu per port +1 should be used for TestPMD. Also set additional params for packet forwarding
688 application to use the correct number of nb-cores.
689
690     .. code-block:: python
691
692         VSWITCHD_DPDK_ARGS = ['-l', '46,44,42,40,38', '-n', '4', '--socket-mem 1024,0']
693         TESTPMD_ARGS = ['--nb-cores=4', '--txq=1', '--rxq=1']
694
695 For guest TestPMD 3 VCpus should be assigned with the following TestPMD params.
696
697     .. code-block:: python
698
699         GUEST_TESTPMD_PARAMS = ['-l 0,1,2 -n 4 --socket-mem 1024 -- '
700                                 '--burst=64 -i --txqflags=0xf00 '
701                                 '--disable-hw-vlan --nb-cores=2 --txq=1 --rxq=1']
702
703 Execution of TestPMD can be run with the following command line
704
705     .. code-block:: console
706
707         ./vsperf pvp_tput --vswitch=none --fwdapp=TestPMD --conf-file <path_to_settings_py>
708
709 **NOTE:** To achieve the best 0% loss numbers with rfc2544 throughput testing, other tunings should be applied to host
710 and guest such as tuned profiles and CPU tunings to prevent possible interrupts to worker threads.
711
712 VSPERF modes of operation
713 ^^^^^^^^^^^^^^^^^^^^^^^^^
714
715 VSPERF can be run in different modes. By default it will configure vSwitch,
716 traffic generator and VNF. However it can be used just for configuration
717 and execution of traffic generator. Another option is execution of all
718 components except traffic generator itself.
719
720 Mode of operation is driven by configuration parameter -m or --mode
721
722 .. code-block:: console
723
724     -m MODE, --mode MODE  vsperf mode of operation;
725         Values:
726             "normal" - execute vSwitch, VNF and traffic generator
727             "trafficgen" - execute only traffic generator
728             "trafficgen-off" - execute vSwitch and VNF
729             "trafficgen-pause" - execute vSwitch and VNF but wait before traffic transmission
730
731 In case, that VSPERF is executed in "trafficgen" mode, then configuration
732 of traffic generator can be modified through ``TRAFFIC`` dictionary passed to the
733 ``--test-params`` option. It is not needed to specify all values of ``TRAFFIC``
734 dictionary. It is sufficient to specify only values, which should be changed.
735 Detailed description of ``TRAFFIC`` dictionary can be found at
736 :ref:`configuration-of-traffic-dictionary`.
737
738 Example of execution of VSPERF in "trafficgen" mode:
739
740 .. code-block:: console
741
742     $ ./vsperf -m trafficgen --trafficgen IxNet --conf-file vsperf.conf \
743         --test-params "TRAFFIC={'traffic_type':'rfc2544_continuous','bidir':'False','framerate':60}"
744
745 Code change verification by pylint
746 ^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^
747
748 Every developer participating in VSPERF project should run
749 pylint before his python code is submitted for review. Project
750 specific configuration for pylint is available at 'pylint.rc'.
751
752 Example of manual pylint invocation:
753
754 .. code-block:: console
755
756           $ pylint --rcfile ./pylintrc ./vsperf
757
758 GOTCHAs:
759 ^^^^^^^^
760
761 Custom image fails to boot
762 ~~~~~~~~~~~~~~~~~~~~~~~~~~
763
764 Using custom VM images may not boot within VSPerf pxp testing because of
765 the drive boot and shared type which could be caused by a missing scsi
766 driver inside the image. In case of issues you can try changing the drive
767 boot type to ide.
768
769 .. code-block:: python
770
771     GUEST_BOOT_DRIVE_TYPE = ['ide']
772     GUEST_SHARED_DRIVE_TYPE = ['ide']
773
774 OVS with DPDK and QEMU
775 ~~~~~~~~~~~~~~~~~~~~~~~
776
777 If you encounter the following error: "before (last 100 chars):
778 '-path=/dev/hugepages,share=on: unable to map backing store for
779 hugepages: Cannot allocate memory\r\n\r\n" during qemu initialization,
780 check the amount of hugepages on your system:
781
782 .. code-block:: console
783
784     $ cat /proc/meminfo | grep HugePages
785
786
787 By default the vswitchd is launched with 1Gb of memory, to  change
788 this, modify --socket-mem parameter in conf/02_vswitch.conf to allocate
789 an appropriate amount of memory:
790
791 .. code-block:: python
792
793     VSWITCHD_DPDK_ARGS = ['-c', '0x4', '-n', '4', '--socket-mem 1024,0']
794     VSWITCHD_DPDK_CONFIG = {
795         'dpdk-init' : 'true',
796         'dpdk-lcore-mask' : '0x4',
797         'dpdk-socket-mem' : '1024,0',
798     }
799
800 Note: Option VSWITCHD_DPDK_ARGS is used for vswitchd, which supports --dpdk
801 parameter. In recent vswitchd versions, option VSWITCHD_DPDK_CONFIG will be
802 used to configure vswitchd via ovs-vsctl calls.
803
804
805 More information
806 ^^^^^^^^^^^^^^^^
807
808 For more information and details refer to the rest of vSwitchPerfuser documentation.
809