tools/report/report_rst.jinja

   1 ==========================================================================
   2 CHARACTERIZE VSWITCH PERFORMANCE FOR TELCO NFV USE CASES LEVEL TEST REPORT
   3 ==========================================================================
   4
   5 Introduction
   6 ============
   7 The objective of the OPNFV project titled **"Characterise vSwitch Performance
   8 for Telco NFV Use Cases"**, is to evaluate a virtual switch to identify its
   9 suitability for a Telco Network Function Virtualization (NFV) environment. As
  10 well as this, the project aims to identify any gaps or bottlenecks in order to
  11 drive architectural changes to improve virtual switch performance and
  12 determinism. The purpose of this document is to summarize the results of the
  13 tests carried out on the virtual switch in the Network Function Virtualization
  14 Infrastructure (NFVI) and, from these results, provide evaluations and
  15 recommendations for the virtual switch. Test results will be outlined in
  16 details-of-LTR_, preceded by the document-identifier_ and the scope_ and
  17 references_).
  18
  19 This document is currently in draft form.
  20
  21 .. _document-identifier:
  22
  23 Document identifier
  24 -------------------
  25 The document id will be used to uniquely identify versions of the LTR. The
  26 format for the document id will be:
  27 OPNFV\_vswitchperf\_LTR\_rel\_STATUS, the status is one of: DRAFT, REVIEWED,
  28 CORRECTED or FINAL. The document id for this version of the LTR is:
  29 OPNFV\_vswitchperf\_LTR\_Brahmaputra\_DRAFT.
  30
  31 .. _scope:
  32
  33 Scope
  34 -----
  35 The scope of this report is to detail the results of the tests that have been
  36 performed on the virtual switch. This report will also evaluate the results of
  37 these tests and, based on these evaluations, provide recommendations on the
  38 suitability of the virtual switch for use in a Telco NFV environment.
  39
  40 .. _references:
  41
  42 References
  43 ----------
  44 `OPNFV_vswitchperf_LTD_Brahmaputra_REVIEWED
  45 <http://artifacts.opnfv.org/vswitchperf/docs/requirements/vswitchperf_ltd.html>`__
  46
  47 .. details-of-LTR:
  48
  49 Details of the Level Test Report
  50 ================================
  51 This section provides a test-results-overview_ as well as
  52 detailed-test-results_. Also included are the rationale_ and the conclusions_.
  53
  54 .. _test-results-overview:
  55
  56 Overview of test results
  57 ------------------------
  58 Test Environment
  59 ~~~~~~~~~~~~~~~~
  60 Below is the environment that the test was performed in:
  61
  62 * OS: {{tests[0].env.os}}
  63 * Kernel Version: {{tests[0].env.kernel}}
  64 * NIC(s):{% for nic in tests[0].env.nics %}
  65     * {{nic}}{% endfor %}
  66 * Board: {{tests[0].env.platform}}
  67 * CPU: {{tests[0].env.cpu}}
  68 * CPU cores: {{tests[0].env.cpu_cores}}
  69 * Memory: {{tests[0].env.memory}}
  70 * Virtual Switch Set-up: {{tests[0].deployment}}
  71 * vswitchperf: GIT tag: {{tests[0].env.vsperf['git_tag']}}
  72 * Traffic Generator: {{tests[0].env.traffic_gen['name']}}, Version: {{tests[0].env.traffic_gen['version']}}, GIT tag: {{tests[0].env.traffic_gen['git_tag']}}
  73 * vSwitch: {{tests[0].env.vswitch['name']}}, Version: {{tests[0].env.vswitch['version']}}, GIT tag: {{tests[0].env.vswitch['git_tag']}}
  74 * DPDK Version: {{tests[0].env.dpdk['version']}}, GIT tag: {{tests[0].env.dpdk['git_tag']}}
  75 {%- if 'vnf' in tests[0].env %}
  76 * VNF: {{tests[0].env.vnf['name']}}, Version: {{tests[0].env.vnf['version']}}, GIT tag: {{tests[0].env.vnf['git_tag']}}
  77 * VM images:{% for guest_image in tests[0].env.guest_image %}
  78     * {{guest_image}}{% endfor %}
  79 * VM loopback apps:{% for loopback_app in tests[0].env.loopback_app %}
  80     * {{loopback_app['name']}}, Version: {{loopback_app['version']}}, GIT tag: {{loopback_app['git_tag']}}{% endfor %}
  81 {%- endif %}
  82
  83 For each test, a summary of the key test results is provided.
  84 {% for test in tests %}
  85 Test ID: {{ test.ID }}
  86 ~~~~~~~~~~~~~~~~~~~~~~~
  87 Below are test details:
  88
  89 * Test ID: {{ "%s"|format(test.id) }}
  90 * Description: {{ "%s"|format(test.conf['Description']) }}
  91 * Deployment: {{ "%s"|format(test.deployment) }}
  92 * Traffic type: {{ "%s"|format(test.result['type']) }}
  93 * Packet size: {{ "%s"|format(test.result['packet_size']) }}
  94 * Bidirectional : {{ "%s"|format(test.conf['biDirectional']) }}
  95 {% endfor %}
  96
  97 .. _detailed-test-results:
  98
  99 Detailed test results
 100 ======================
 101 A detailed summary of the main results for each test is outlined below.
 102 {% for test in tests %}
 103 Test ID: {{ test.ID }}
 104 ----------------------
 105 Results/Metrics Collected
 106 ~~~~~~~~~~~~~~~~~~~~~~~~~
 107
 108 The following are the metrics obtained during this test:
 109
 110 ========================== ==================================
 111         Metric                          Result
 112 ========================== ==================================
 113 {%- for item, value in test.result.items() %}
 114 {{ "%-30s %30s"|format(item,value)}}
 115 {%- endfor %}
 116 ========================== ==================================
 117
 118 Statistics collected
 119 ~~~~~~~~~~~~~~~~~~~~
 120
 121 The following system statistics were collected during testcase execution:
 122
 123 {% for process in test.stats %}
 124
 125 ========================== ==================================
 126 Process: {{ '_'.join(process.split('_')[:-1]) }}
 127 -------------------------------------------------------------
 128       Statistic                        Value
 129 ========================== ==================================
 130 {%- for item, value in test.stats[process].items() %}
 131 {{ "%-30s %30s"|format(item,value)}}
 132 {%- endfor %}
 133 ========================== ==================================
 134
 135 {%- endfor %}
 136
 137
 138 Anomalies
 139 ~~~~~~~~~~
 140 No anomalies were detected during the course of this test.
 141
 142 Testing Activities/Events
 143 ~~~~~~~~~~~~~~~~~~~~~~~~~
 144 There were no significant testing activities for this test.
 145 {% endfor %}
 146
 147 .. _rationale:
 148
 149 Rationale for decisions
 150 =======================
 151 TODO.
 152
 153 .. _conclusions:
 154
 155 Conclusions and recommendations
 156 ===============================
 157 TODO.
 158
 159 General
 160 ========
 161
 162 Glossary
 163 --------
 164 - NFV - Network Function Virtualization
 165 - Mbps - 1,000,000bps
 166
 167 Document change procedures and history
 168 --------------------------------------
 169 =============================================== ================= =============
 170              Document ID                            Author        Date Modified
 171 =============================================== ================= =============
 172 `OPNFV_vswitchperf_LTR_ver_1.0_Jan_15_CN_DRAFT` Christopher Nolan 23/01/2015
 173 `OPNFV_vswitchperf_LTR_ver_1.1_Jan_15_CN_DRAFT` Christopher Nolan 28/01/2015
 174 =============================================== ================= =============
 175