docs/results/fuel-os-odl_l2-nofeature-ha.rst

   1 .. This work is licensed under a Creative Commons Attribution 4.0 International
   2 .. License.
   3 .. http://creativecommons.org/licenses/by/4.0
   4
   5
   6 ============================================
   7 Test Results for fuel-os-odl_l2-nofeature-ha
   8 ============================================
   9
  10 .. toctree::
  11    :maxdepth: 2
  12
  13
  14 Details
  15 =======
  16
  17 .. _Grafana: http://130.211.154.108/grafana/dashboard/db/yardstick-main
  18 .. _POD2: https://wiki.opnfv.org/pharos?&#community_test_labs
  19
  20 Overview of test results
  21 ------------------------
  22
  23 See Grafana_ for viewing test result metrics for each respective test case. It
  24 is possible to chose which specific scenarios to look at, and then to zoom in
  25 on the details of each run test scenario as well.
  26
  27 All of the test case results below are based on 6 scenario test
  28 runs, each run on the Ericsson POD2_ between February 13 and 24 in 2016. Test
  29 case TC011_ is the greater exception for which there are only 2 test runs
  30 available, due to earlier problems with InfluxDB test result population.
  31 The best would be to have more runs to draw better conclusions from, but these
  32 are the only runs available at the time of OPNFV R2 release.
  33
  34 TC002
  35 -----
  36 The round-trip-time (RTT) between 2 VMs on different blades is measured using
  37 ping. Most test run measurements result on average between 0.3 and 0.5 ms, but
  38 one date (Feb. 23) sticks out with an RTT average of 1 ms.
  39 A few runs start with a 1 - 2 ms RTT spike (This could be because of normal ARP
  40 handling). One test run has a greater RTT spike of 3.9 ms, which is the same
  41 one with the 0.9 ms average. The other runs have no similar spike at all.
  42 To be able to draw conclusions more runs should be made.
  43 SLA set to 10 ms. The SLA value is used as a reference, it has not
  44 been defined by OPNFV.
  45
  46 TC005
  47 -----
  48 The IO read bandwidth looks similar between different dates, with an
  49 average between approx. 165 and 185 MB/s. Within each test run the results
  50 vary, with a minimum 2 MB/s and maximum 617 MB/s on the totality. Most runs
  51 have a minimum BW of 3 MB/s (two runs at 2 MB/s). The maximum BW varies more in
  52 absolute numbers between the dates, between 566 and 617 MB/s.
  53 SLA set to 400 MB/s. The SLA value is used as a reference, it has not been
  54 defined by OPNFV.
  55
  56 TC010
  57 -----
  58 The measurements for memory latency are similar between test dates and result
  59 in approx. 1.2 ns. The variations within each test run are similar, between
  60 1.215 and 1.219 ns. One exception is February 16, where the average is 1.222
  61 and varies between 1.22 and 1.28 ns.
  62 SLA set to 30 ns. The SLA value is used as a reference, it has not been defined
  63 by OPNFV.
  64
  65 TC011
  66 -----
  67 Only 2 test runs are available to report results on.
  68
  69 Packet delay variation between 2 VMs on different blades is measured using
  70 Iperf3. On the first date the reported packet delay variation varies between
  71 0.0025 and 0.011 ms, with an average delay variation of 0.0067 ms.
  72 On the second date the delay variation varies between 0.002 and 0.006 ms, with
  73 an average delay variation of 0.004 ms.
  74
  75 TC012
  76 -----
  77 Results are reported for 5 test runs. It is not known why the 6:th test run
  78 is missing.
  79 Between test dates the average measurements for memory bandwidth vary between
  80 17.4 and 17.9 GB/s. Within each test run the results vary more, with a minimal
  81 BW of 16.4 GB/s and maximum of 18.2 GB/s on the totality.
  82 SLA set to 15 GB/s. The SLA value is used as a reference, it has not been
  83 defined by OPNFV.
  84
  85 TC014
  86 -----
  87 Results are reported for 5 test runs. It is not known why the 6:th test run
  88 is missing.
  89 The Unixbench processor test run results vary between scores 3080 and 3240,
  90 one result each date. The average score on the total is 3150.
  91 No SLA set.
  92
  93 TC037
  94 -----
  95 Results are reported for 5 test runs. It is not currently known why the 6:th
  96 test run is missing.
  97 The amount of packets per second (PPS) and round trip times (RTT) between 2 VMs
  98 on different blades are measured when increasing the amount of UDP flows sent
  99 between the VMs using pktgen as packet generator tool.
 100
 101 Round trip times and packet throughput between VMs can typically be affected by
 102 the amount of flows set up and result in higher RTT and less PPS throughput.
 103
 104 The RTT results are similar throughout the different test dates and runs at
 105 approx. 15 ms. Some test runs show an increase with many flows, in the range
 106 towards 16 to 17 ms. One exception standing out is Feb. 15 where the average
 107 RTT is stable at approx. 13 ms. The PPS results are not as consistent as the
 108 RTT results.
 109 In some test runs when running with less than approx. 10000 flows the PPS
 110 throughput is normally flatter compared to when running with more flows, after
 111 which the PPS throughput decreases. Around 20 percent decrease in the worst
 112 case. For the other test runs there is however no significant change to the PPS
 113 throughput when the number of flows are increased. In some test runs the PPS
 114 is also greater with 1000000 flows compared to other test runs where the PPS
 115 result is less with only 2 flows.
 116
 117 The average PPS throughput in the different runs varies between 414000 and
 118 452000 PPS. The total amount of packets in each test run is approx. 7500000 to
 119 8200000 packets. One test run Feb. 15 sticks out with a PPS average of
 120 558000 and approx. 1100000 packets in total (same as the on mentioned earlier
 121 for RTT results).
 122
 123 There are lost packets reported in most of the test runs. There is no observed
 124 correlation between the amount of flows and the amount of lost packets.
 125 The lost amount of packets normally range between 100 and 1000 per test run,
 126 but there are spikes in the range of 10000 lost packets as well, and even
 127 more in a rare cases.
 128
 129 Detailed test results
 130 ---------------------
 131 The scenario was run on Ericsson POD2_ with:
 132 Fuel 8.0
 133 OpenStack Liberty
 134 OpenVirtualSwitch 2.3.1
 135 OpenDayLight Beryllium
 136
 137 Rationale for decisions
 138 -----------------------
 139 Pass
 140
 141 Tests were successfully executed and metrics collected.
 142 No SLA was verified. To be decided on in next release of OPNFV.
 143
 144 Conclusions and recommendations
 145 -------------------------------
 146 The pktgen test configuration has a relatively large base effect on RTT in
 147 TC037 compared to TC002, where there is no background load at all. Approx.
 148 15 ms compared to approx. 0.5 ms, which is more than a 3000 percentage
 149 difference in RTT results.
 150 Especially RTT and throughput come out with better results than for instance
 151 the *fuel-os-nosdn-nofeature-ha* scenario does. The reason for this should
 152 probably be further analyzed and understood. Also of interest could be
 153 to make further analyzes to find patterns and reasons for lost traffic.
 154 Also of interest could be to see if there are continuous variations where
 155 some test cases stand out with better or worse results than the general test
 156 case.