docs/results/yardstick-opnfv-vtc.rst

   1 .. This work is licensed under a Creative Commons Attribution 4.0 International
   2 .. License.
   3 .. http://creativecommons.org/licenses/by/4.0
   4
   5 .. _Dashboard006: http://testresults.opnfv.org/grafana/dashboard/db/yardstick-tc006
   6 .. _Dashboard007: http://testresults.opnfv.org/grafana/dashboard/db/yardstick-tc007
   7 .. _Dashboard020: http://testresults.opnfv.org/grafana/dashboard/db/yardstick-tc020
   8 .. _Dashboard021: http://testresults.opnfv.org/grafana/dashboard/db/yardstick-tc021
   9
  10 ====================================
  11 Test Results for yardstick-opnfv-vtc
  12 ====================================
  13
  14 .. toctree::
  15    :maxdepth: 2
  16
  17
  18 Details
  19 =======
  20
  21 .. after this doc is filled, remove all comments and include the scenario in
  22 .. results.rst by removing the comment on the file name.
  23
  24
  25 Overview of test results
  26 ------------------------
  27
  28 .. general on metrics collected, number of iterations
  29
  30 The virtual Traffic Classifier (vtc) Scenario supported by Yardstick is used by 4 Test Cases:
  31
  32 - TC006
  33 - TC007
  34 - TC020
  35 - TC021
  36
  37
  38 * TC006
  39
  40 TC006 is the Virtual Traffic Classifier Data Plane Throughput Benchmarking Test.
  41 It collects measures about the end-to-end throughput supported by the
  42 virtual Traffic Classifier (vTC).
  43 Results of the test are shown in the Dashboard006_
  44 The throughput is expressed as percentage of the available bandwidth on the NIC.
  45
  46
  47 * TC007
  48
  49 TC007 is the Virtual Traffic Classifier Data Plane Throughput Benchmarking in presence of
  50 noisy neighbors Test.
  51 It collects measures about the end-to-end throughput supported by the
  52 virtual Traffic Classifier when a user-defined number of noisy neighbors is deployed.
  53 Results of the test are shown in the Dashboard007_
  54 The throughput is expressed as percentage of the available bandwidth on the NIC.
  55
  56
  57 * TC020
  58
  59 TC020 is the Virtual Traffic Classifier Instantiation Test.
  60 It verifies that a newly instantiated vTC is alive and functional and its instantiation
  61 is correctly supported by the underlying infrastructure.
  62 Results of the test are shown in the Dashboard020_
  63
  64
  65 * TC021
  66
  67 TC021 is the Virtual Traffic Classifier Instantiation in presence of noisy neighbors Test.
  68 It verifies that a newly instantiated vTC is alive and functional and its instantiation
  69 is correctly supported by the underlying infrastructure when noisy neighbors are present.
  70 Results of the test are shown in the Dashboard021_
  71
  72
  73 Detailed test results
  74 ---------------------
  75
  76 * TC006
  77
  78 The results for TC006 have been obtained using the following test case
  79 configuration:
  80
  81 - Context: Dummy
  82 - Scenario: vtc_throughput
  83 - Network Techology: SR-IOV
  84 - vTC Flavor: m1.large
  85
  86
  87 * TC007
  88
  89 The results for TC007 have been obtained using the following test case
  90 configuration:
  91
  92 - Context: Dummy
  93 - Scenario: vtc_throughput_noisy
  94 - Network Techology: SR-IOV
  95 - vTC Flavor: m1.large
  96 - Number of noisy neighbors: 2
  97 - Number of cores per neighbor: 2
  98 - Amount of RAM per neighbor: 1G
  99
 100
 101 * TC020
 102
 103 The results for TC020 have been obtained using the following test case
 104 configuration:
 105
 106 The results listed in previous section have been obtained using the following
 107 test case configuration:
 108
 109 - Context: Dummy
 110 - Scenario: vtc_instantiation_validation
 111 - Network Techology: SR-IOV
 112 - vTC Flavor: m1.large
 113
 114
 115 * TC021
 116
 117 The results listed in previous section have been obtained using the following
 118 test case configuration:
 119
 120 - Context: Dummy
 121 - Scenario: vtc_instantiation_validation
 122 - Network Techology: SR-IOV
 123 - vTC Flavor: m1.large
 124 - Number of noisy neighbors: 2
 125 - Number of cores per neighbor: 2
 126 - Amount of RAM per neighbor: 1G
 127
 128
 129 For all the test cases, the user can specify different values for the parameters.
 130
 131 Rationale for decisions
 132 -----------------------
 133
 134 * TC006
 135
 136 The result of the test is a number between 0 and 100 which represents the percentage of bandwidth
 137 available on the NIC that corresponds to the supported throughput by the vTC.
 138
 139
 140 * TC007
 141
 142 The result of the test is a number between 0 and 100 which represents the percentage of bandwidth
 143 available on the NIC that corresponds to the supported throughput by the vTC.
 144
 145 * TC020
 146
 147 The execution of the test is done as described in the following:
 148
 149 - The vTC is deployed on the OpenStack testbed;
 150 - Some traffic is sent to the vTC;
 151 - The vTC changes the header of the packets and sends them back to the packet generator;
 152 - The packet generator checks that all the packets are received correctly and have been changed
 153 correctly by the vTC.
 154
 155 The test is declared as PASSED if all the packets are correcly received by the packet generator
 156 and they have been modified by the virtual Traffic Classifier as required.
 157
 158
 159 * TC021
 160
 161 The execution of the test is done as described in the following:
 162
 163 - The vTC is deployed on the OpenStack testbed;
 164 - The noisy neighbors are deployed as requested by the user;
 165 - Some traffic is sent to the vTC;
 166 - The vTC change the header of the packets and sends them back to the packet generator;
 167 - The packet generator checks that all the packets are received correctly and have been changed
 168 correctly by the vTC
 169
 170 The test is declared as PASSED if all the packets are correcly received by the packet generator
 171 and they have been modified by the virtual Traffic Classifier as required.
 172
 173
 174 Conclusions and recommendations
 175 -------------------------------
 176
 177 * TC006
 178
 179 The obtained results show that the virtual Traffic Classifier can support up to 4 Gbps
 180 (40% of the available bandwidth) correspond to the expected behaviour of the virtual
 181 Traffic Classifier.
 182 Using the configuration with SR-IOV and large flavor, the expected throughput should
 183 generally be in the range between 3 and 4 Gbps.
 184
 185
 186 * TC007
 187
 188 These results correspond to the configuration in which the virtual Traffic Classifier uses SR-IOV
 189 Virtual Functions and the flavor is set to large for the virtual machine.
 190 The throughput is in the range between 2.5 Gbps and 3.7 Gbps.
 191 This shows that the effect of 2 noisy neighbors reduces the throughput of
 192 the service between 10 and 20%.
 193 Increasing number of neihbours would have a higher impact on the performance.
 194
 195
 196 * TC020
 197
 198 The obtained results correspond to the expected behaviour of the virtual Traffic Classifier.
 199 Using the configuration with SR-IOV and large flavor, the expected result is that the vTC is
 200 correctly instantiated, it is able to receive and send packets using SR-IOV technology
 201 and to forward packets back to the packet generator changing the TCP/IP header as required.
 202
 203
 204 * TC021
 205
 206 The obtained results correspond to the expected behaviour of the virtual Traffic Classifier.
 207 Using the configuration with SR-IOV and large flavor, the expected result is that the vTC is
 208 correctly instantiated, it is able to receive and send packets using SR-IOV technology
 209 and to forward packets back to the packet generator changing the TCP/IP header as required,
 210 also in presence of noisy neighbors.