Update scenario test results files for Colorado release
[yardstick.git] / docs / results / os-nosdn-kvm-ha.rst
similarity index 90%
rename from docs/results/apex-os-nosdn-nofeature-ha.rst
rename to docs/results/os-nosdn-kvm-ha.rst
index faf5e62..a8a56f8 100644 (file)
@@ -3,20 +3,19 @@
 .. http://creativecommons.org/licenses/by/4.0
 
 
-===========================================
-Test Results for apex-os-nosdn-nofeature-ha
-===========================================
+================================
+Test Results for os-nosdn-kvm-ha
+================================
 
 .. toctree::
    :maxdepth: 2
 
 
-Details
-=======
+fuel
+====
 
 .. _Grafana: http://testresults.opnfv.org/grafana/dashboard/db/yardstick-main
-.. _POD1: https://wiki.opnfv.org/pharos?&#community_test_labs
-
+.. _POD2: https://wiki.opnfv.org/pharos?&#community_test_labs
 
 Overview of test results
 ------------------------
@@ -26,54 +25,54 @@ is possible to chose which specific scenarios to look at, and then to zoom in
 on the details of each run test scenario as well.
 
 All of the test case results below are based on 4 scenario test
-runs, each run on the LF POD1_ between August 25 and 28 in
+runs, each run on the Ericsson POD2_ or LF POD2_ between August 24 and 30 in
 2016.
 
 TC002
 -----
 The round-trip-time (RTT) between 2 VMs on different blades is measured using
-ping. Most test run measurements result on average between 0.74 and 1.08 ms.
-A few runs start with a 0.99 - 1.07 ms RTT spike (This could be because of
-normal ARP handling). One test run has a greater RTT spike of 1.35 ms.
+ping. Most test run measurements result on average between 0.44 and 0.75 ms.
+A few runs start with a 0.65 - 0.68 ms RTT spike (This could be because of
+normal ARP handling). One test run has a greater RTT spike of 1.49 ms.
 To be able to draw conclusions more runs should be made. SLA set to 10 ms.
 The SLA value is used as a reference, it has not been defined by OPNFV.
 
 TC005
 -----
 The IO read bandwidth looks similar between different dates, with an
-average between approx. 128 and 136 MB/s. Within each test run the results
-vary, with a minimum 5 MB/s and maximum 446 MB/s on the totality. Most runs
-have a minimum BW of 5 MB/s (one run at 6 MB/s). The maximum BW varies more in
-absolute numbers between the dates, between 416 and 446 MB/s.
+average between approx. 92 and 204 MB/s. Within each test run the results
+vary, with a minimum 2 MB/s and maximum 819 MB/s on the totality. Most runs
+have a minimum BW of 3 MB/s (one run at 2 MB/s). The maximum BW varies more in
+absolute numbers between the dates, between 238 and 819 MB/s.
 SLA set to 400 MB/s. The SLA value is used as a reference, it has not been
 defined by OPNFV.
 
 TC010
 -----
 The measurements for memory latency are similar between test dates and result
-in approx. 1.09 ns. The variations within each test run are similar, between
-1.0860 and 1.0880 ns.
+in approx. 2.07 ns. The variations within each test run are similar, between
+1.41 and 3.53 ns.
 SLA set to 30 ns. The SLA value is used as a reference, it has not been defined
 by OPNFV.
 
 TC011
 -----
 Packet delay variation between 2 VMs on different blades is measured using
-Iperf3. The reported packet delay variation varies between 0.0025 and 0.0148 ms,
-with an average delay variation between 0.0056 ms and 0.0157 ms.
+Iperf3. The reported packet delay variation varies between 0.0051 and 0.0243 ms,
+with an average delay variation between 0.0081 ms and 0.0195 ms.
 
 TC012
 -----
 Between test dates, the average measurements for memory bandwidth result in
-approx. 19.70 GB/s. Within each test run the results vary more, with a minimal
-BW of 18.16 GB/s and maximum of 20.13 GB/s on the totality.
+approx. 13.6 GB/s. Within each test run the results vary more, with a minimal
+BW of 6.09 GB/s and maximum of 16.47 GB/s on the totality.
 SLA set to 15 GB/s. The SLA value is used as a reference, it has not been
 defined by OPNFV.
 
 TC014
 -----
-The Unixbench processor test run results vary between scores 3224.4 and 3842.8,
-one result each date. The average score on the total is 3659.5.
+The Unixbench processor test run results vary between scores 2316 and 3619,
+one result each date.
 No SLA set.
 
 TC037
@@ -116,6 +115,7 @@ utilization ratio vary between 1% to 2%. The peak of CPU utilization ratio
 appears around 7%.
 
 TC069
+-----
 Between test dates, the average measurements for memory bandwidth vary between
 22.6 and 29.1 GB/s. Within each test run the results vary more, with a minimal
 BW of 20.0 GB/s and maximum of 29.5 GB/s on the totality.
@@ -124,6 +124,7 @@ defined by OPNFV.
 
 
 TC070
+-----
 The amount of packets per second (PPS) and round trip times (RTT) between 2 VMs
 on different blades are measured when increasing the amount of UDP flows sent
 between the VMs using pktgen as packet generator tool.
@@ -162,6 +163,7 @@ utilization vary between 225MB to 246MB. The peak of memory utilization appears
 around 340MB.
 
 TC071
+-----
 The amount of packets per second (PPS) and round trip times (RTT) between 2 VMs
 on different blades are measured when increasing the amount of UDP flows sent
 between the VMs using pktgen as packet generator tool.
@@ -199,6 +201,7 @@ VMs using pktgen as packet generator tool. The average measurements for cache
 utilization vary between 205MB to 212MB.
 
 TC072
+-----
 The amount of packets per second (PPS) and round trip times (RTT) between 2 VMs
 on different blades are measured when increasing the amount of UDP flows sent
 between the VMs using pktgen as packet generator tool.
@@ -238,8 +241,8 @@ second was average on 600 kpps.
 
 Detailed test results
 ---------------------
-The scenario was run on LF POD1_ with:
-Apex
+The scenario was run on Ericsson POD2_ and LF POD2_ with:
+Fuel 9.0
 OpenStack Mitaka
 OpenVirtualSwitch 2.5.90
 OpenDayLight Beryllium