docs/results/os-nosdn-nofeature-noha.rst

   1 .. This work is licensed under a Creative Commons Attribution 4.0 International
   2 .. License.
   3 .. http://creativecommons.org/licenses/by/4.0
   4
   5
   6 ========================================
   7 Test Results for os-nosdn-nofeature-noha
   8 ========================================
   9
  10 .. toctree::
  11    :maxdepth: 2
  12
  13
  14 Joid
  15 =====
  16
  17 .. _Grafana: http://testresults.opnfv.org/grafana/dashboard/db/yardstick-main
  18 .. _POD5: https://wiki.opnfv.org/pharos?&#community_test_labs
  19
  20 Overview of test results
  21 ------------------------
  22
  23 See Grafana_ for viewing test result metrics for each respective test case. It
  24 is possible to chose which specific scenarios to look at, and then to zoom in
  25 on the details of each run test scenario as well.
  26
  27 All of the test case results below are based on 4 scenario test runs, each run
  28 on the Intel POD5_ between September 12 and 15 in 2016.
  29
  30 TC002
  31 -----
  32 The round-trip-time (RTT) between 2 VMs on different blades is measured using
  33 ping. Most test run measurements result on average between 1.50 and 1.68 ms.
  34 Only one test run has reached greatest RTT spike of 2.92 ms, which has
  35 the smallest RTT of 1.06 ms. The other three runs have no similar spike at all,
  36 the minimum and average RTTs of which are approx. 1.50 ms and 1.68 ms. SLA set to
  37 be 10 ms. The SLA value is used as a reference, it has not been defined by
  38 OPNFV.
  39
  40 TC005
  41 -----
  42 The IO read bandwidth actually refers to the storage throughput, which is
  43 measured by fio and the greatest IO read bandwidth of the four runs is 177.5
  44 MB/s. The IO read bandwidth of the four runs looks similar on different four
  45 days, with an average between 46.7 and 62.5 MB/s. One of the runs has a minimum
  46 BW of 680 KM/s and other has a maximum BW of 177.5 MB/s. The SLA of read
  47 bandwidth sets to be 400 MB/s, which is used as a reference, and it has not
  48 been defined by OPNFV.
  49
  50 The results of storage IOPS for the four runs look similar with each other. The
  51 test runs all have an approx. 1.55 K/s for IO reading with an minimum value of
  52 less than 60 times per second.
  53
  54 TC010
  55 -----
  56 The tool we use to measure memory read latency is lmbench, which is a series of
  57 micro benchmarks intended to measure basic operating system and hardware system
  58 metrics. The memory read latency of the four runs is between 1.134 ns and 1.227
  59 ns on average. The variations within each test run are quite different, some
  60 vary from a large range and others have a small change. For example, the
  61 largest change is on September 15, the memory read latency of which is ranging
  62 from 1.116 ns to 1.393 ns. However, the results on September 12 change very
  63 little, which mainly keep flat and range from 1.124 ns to 1.55 ns. The SLA sets
  64 to be 30 ns. The SLA value is used as a reference, it has not been defined by
  65 OPNFV.
  66
  67 TC011
  68 -----
  69 Iperf3 is a tool for evaluating the pocket delay variation between 2 VMs on
  70 different blades. The reported pocket delay variations of the four test runs
  71 differ from each other. The results on September 13 within the date look
  72 similar and the values are between 0.0213 and 0.0225 ms, which is 0.0217 ms on
  73 average. However, on the third day, the packet delay variation has a large
  74 wide change within the date, which ranges from 0.008 ms to 0.0225 ms and has
  75 the minimum value. On Sep. 12, the packet delay is quite long, for the value is
  76 between 0.0236 and 0.0287 ms and it also has the maximum packet delay of 0.0287
  77 ms. The packet delay of the last test run is 0.0151 ms on average. The SLA
  78 value sets to be 10 ms. The SLA value is used as a reference, it has not been
  79 defined by OPNFV.
  80
  81 TC012
  82 -----
  83 Lmbench is also used to measure the memory read and write bandwidth, in which
  84 we use bw_mem to obtain the results. Among the four test runs, the memory
  85 bandwidth of three test runs almost keep stable within each run, which is
  86 11.65, 11.57 and 11.64 GB/s on average. However, the memory read and write
  87 bandwidth on Sep. 14 has a large range, for it ranges from 11.36 GB/s to 16.68
  88 GB/s. Here SLA set to be 15 GB/s. The SLA value is used as a reference, it has
  89 not been defined by OPNFV.
  90
  91 TC014
  92 -----
  93 The Unixbench is used to evaluate the IaaS processing speed with regards to
  94 score of single cpu running and parallel running. It can be seen from the
  95 dashboard that the processing test results vary from scores 3222 to 3585, and
  96 there is only one result one date. No SLA set.
  97
  98 TC037
  99 -----
 100 The amount of packets per second (PPS) and round trip times (RTT) between 2 VMs
 101 on different blades are measured when increasing the amount of UDP flows sent
 102 between the VMs using pktgen as packet generator tool.
 103
 104 Round trip times and packet throughput between VMs can typically be affected by
 105 the amount of flows set up and result in higher RTT and less PPS throughput.
 106
 107 The mean packet throughput of the four test runs is 124.8, 160.1, 113.8 and
 108 137.3 kpps, of which the result of the second is the highest. The RTT results
 109 of all the test runs keep flat at approx. 37 ms. It is obvious that the PPS
 110 results are not as consistent as the RTT results.
 111
 112 The No. flows of the four test runs are 240 k on average and the PPS results
 113 look a little waved since the largest packet throughput is 243.1 kpps and the
 114 minimum throughput is 37.6 kpps respectively.
 115
 116 There are no errors of packets received in the four runs, but there are still
 117 lost packets in all the test runs. The RTT values obtained by ping of the four
 118 runs have the similar average vaue, that is between 32 ms and 41 ms, of which
 119 the worest RTT is 155 ms on Sep. 14th.
 120
 121 CPU load is measured by mpstat, and CPU load of the four test runs seem a
 122 little similar, since the minimum value and the peak of CPU load is between 0
 123 percent and 9 percent respectively. And the best result is obtained on Sep.
 124 15th, with an CPU load of nine percent.
 125
 126 TC069
 127 -----
 128 With the block size changing from 1 kb to 512 kb, the memory write bandwidth
 129 tends to become larger first and then smaller within every run test, which
 130 rangs from 22.4 GB/s to 26.5 GB/s and then to 18.6 GB/s on average. Since the
 131 test id is one, it is that only the INT memory write bandwidth is tested. On
 132 the whole, when the block size is 8 kb and 16 kb, the memory write bandwidth
 133 look similar with a minimal BW of 22.5 GB/s and peak value of 28.7 GB/s. And
 134 then with the block size becoming larger, the memory write bandwidth tends to
 135 decrease. SLA sets to be 7 GB/s. The SLA value is used as a a reference, it has
 136 not been defined by OPNFV.
 137
 138 TC070
 139 -----
 140 The amount of packets per second (PPS) and round trip times (RTT) between 2 VMs
 141 on different blades are measured when increasing the amount of UDP flows sent
 142 between the VMs using pktgen as packet generator tool.
 143
 144 Round trip times and packet throughput between VMs can typically be affected by
 145 the amount of flows set up and result in higher RTT and less PPS throughput.
 146
 147 The network latency is measured by ping, and the results of three test runs look
 148 similar with each other, and Within these test runs, the maximum RTT can reach
 149 95 ms and the average RTT is usually approx. 36 ms. The network latency tested
 150 on Sep. 14 shows that it has a peak latency of 155 ms. But on the whole, the
 151 average RTTs of the four runs keep flat.
 152
 153 Memory utilization is measured by free, which can display amount of free and
 154 used memory in the system. The largest amount of used memory is 270 MiB on Sep
 155 13, which also has the smallest minimum memory utilization. Besides, the rest
 156 three test runs have the similar used memory with an average memory usage of
 157 264 MiB. On the other hand, the free memory of the four runs have the same
 158 smallest minimum value, that is about 223 MiB, and the maximum free memory of
 159 three runs have the similar result, that is 226 MiB, except that on Sep. 13th,
 160 whose maximum free memory is 273 MiB. On the whole, all the test runs have
 161 similar average free memory.
 162
 163 Network throughput and packet loss can be measured by pktgen, which is a tool
 164 in the network for generating traffic loads for network experiments. The mean
 165 network throughput of the four test runs seem quite different, ranging from
 166 119.85 kpps to 128.02 kpps. The average number of flows in these tests is
 167 240000, and each run has a minimum number of flows of 2 and a maximum number
 168 of flows of 1.001 Mil. At the same time, the corresponding packet throughput
 169 differ between 38k and 243k with an average packet throughput of approx. 134k.
 170 On the whole, the PPS results seem consistent. Within each test run of the four
 171 runs, when number of flows becomes larger, the packet throughput seems not
 172 larger in the meantime.
 173
 174 TC071
 175 -----
 176 The amount of packets per second (PPS) and round trip times (RTT) between 2 VMs
 177 on different blades are measured when increasing the amount of UDP flows sent
 178 between the VMs using pktgen as packet generator tool.
 179
 180 Round trip times and packet throughput between VMs can typically be affected by
 181 the amount of flows set up and result in higher RTT and less PPS throughput.
 182
 183 The network latency is measured by ping, and the results of the four test runs
 184 look similar with each other. Within each test run, the maximum RTT can reach
 185 79 ms and the average RTT is usually approx. 35 ms. On the whole, the average
 186 RTTs of the four runs keep flat.
 187
 188 Cache utilization is measured by cachestat, which can display size of cache and
 189 buffer in the system. Cache utilization statistics are collected during UDP
 190 flows sent between the VMs using pktgen as packet generator tool.The largest
 191 cache size is 214 MiB in the four runs, and the smallest cache size is 100 MiB.
 192 On the whole, the average cache size of the four runs is approx. 210 MiB.
 193 Meanwhile, the tread of the buffer size looks similar with each other. On the
 194 other hand, the mean buffer size of the four runs keep flat, since they have a
 195 minimum value of approx. 7 MiB and a maximum value of 8 MiB, with an average
 196 value of about 8 MiB.
 197
 198 Packet throughput can be measured by pktgen, which is a tool in the network for
 199 generating traffic loads for network experiments. The mean packet throughput of
 200 the four test runs seem quite different, ranging from 113.8 kpps to 124.8 kpps.
 201 The average number of flows in these tests is 240k, and each run has a minimum
 202 number of flows of 2 and a maximum number of flows of 1.001 Mil. At the same
 203 time, the corresponding packet throughput differ between 47.6k and 243.1k with
 204 an average packet throughput between 113.8k and 160.1k. Within each test run of
 205 the four runs, when number of flows becomes larger, the packet throughput seems
 206 not larger in the meantime.
 207
 208 TC072
 209 -----
 210 The amount of packets per second (PPS) and round trip times (RTT) between 2 VMs
 211 on different blades are measured when increasing the amount of UDP flows sent
 212 between the VMs using pktgen as packet generator tool.
 213
 214 Round trip times and packet throughput between VMs can typically be affected by
 215 the amount of flows set up and result in higher RTT and less PPS throughput.
 216
 217 The RTT results are similar throughout the different test dates and runs
 218 between 0 ms and 79 ms with an average leatency of approx. 35 ms. The PPS
 219 results are not as consistent as the RTT results, for the mean packet
 220 throughput of the four runs differ from 113.8 kpps to 124.8 kpps.
 221
 222 Network utilization is measured by sar, that is system activity reporter, which
 223 can display the average statistics for the time since the system was started.
 224 Network utilization statistics are collected during UDP flows sent between the
 225 VMs using pktgen as packet generator tool. The largest total number of packets
 226 transmitted per second look similar on the first three runs with a minimum
 227 number of 10 pps and a maximum number of 97 kpps, except the one on Sep. 15th,
 228 in which the number of packets transmitted per second is 10 pps. Meanwhile, the
 229 largest total number of packets received per second differs from each other,
 230 in which the smallest number of packets received per second is 1 pps and the
 231 largest of that is 276 kpps.
 232
 233 In some test runs when running with less than approx. 90000 flows the PPS
 234 throughput is normally flatter compared to when running with more flows, after
 235 which the PPS throughput decreases. For the other test runs there is however no
 236 significant change to the PPS throughput when the number of flows are
 237 increased. In some test runs the PPS is also greater with 1000000 flows
 238 compared to other test runs where the PPS result is less with only 2 flows.
 239
 240 There are lost packets reported in most of the test runs. There is no observed
 241 correlation between the amount of flows and the amount of lost packets.
 242 The lost amount of packets normally differs a lot per test run.
 243
 244 Detailed test results
 245 ---------------------
 246 The scenario was run on Intel POD5_ with:
 247 Joid
 248 OpenStack Mitaka
 249 OpenVirtualSwitch 2.5.90
 250 OpenDayLight Beryllium
 251
 252 Rationale for decisions
 253 -----------------------
 254 Pass
 255
 256 Conclusions and recommendations
 257 -------------------------------
 258 Tests were successfully executed and metrics collected.
 259 No SLA was verified. To be decided on in next release of OPNFV.