tools/report/report_rst.jinja

   1 {#
   2  Copyright (c) 2016-2017 Intel corporation.
   3
   4  All rights reserved. This program and the accompanying materials
   5  are made available under the terms of the Apache License, Version 2.0
   6  which accompanies this distribution, and is available at
   7  http://www.apache.org/licenses/LICENSE-2.0
   8 #}
   9
  10 Test ID: {{ tests[0].ID }}
  11 --------------------------
  12
  13 Test Environment
  14 ~~~~~~~~~~~~~~~~
  15 Below is the environment that the test was performed in:
  16
  17 * OS: {{tests[0].env.os}}
  18 * Kernel Version: {{tests[0].env.kernel}}
  19 * NIC(s):{% for nic in tests[0].env.nics %}
  20     * {{nic}}{% endfor %}
  21 * Board: {{tests[0].env.platform}}
  22 * CPU: {{tests[0].env.cpu}}
  23 * CPU cores: {{tests[0].env.cpu_cores}}
  24 * Memory: {{tests[0].env.memory}}
  25 * Virtual Switch Set-up: {{tests[0].deployment}}
  26 * vswitchperf: GIT tag: {{tests[0].env.vsperf.get()['git_tag']}}
  27 * Traffic Generator: {{tests[0].env.traffic_gen.get()['name']}}, Version: {{tests[0].env.traffic_gen.get()['version']}}, GIT tag: {{tests[0].env.traffic_gen.get()['git_tag']}}
  28 * vSwitch: {{tests[0].env.vswitch.get()['name']}}, Version: {{tests[0].env.vswitch.get()['version']}}, GIT tag: {{tests[0].env.vswitch.get()['git_tag']}}
  29 {%- if 'dpdk' in tests[0].env %}
  30 * DPDK Version: {{tests[0].env.dpdk.get()['version']}}, GIT tag: {{tests[0].env.dpdk.get()['git_tag']}}
  31 {%- endif %}
  32 {%- if 'vnf' in tests[0].env %}
  33 * VNF: {{tests[0].env.vnf.get()['name']}}, Version: {{tests[0].env.vnf.get()['version']}}, GIT tag: {{tests[0].env.vnf.get()['git_tag']}}
  34 * VM images:{% for guest_image in tests[0].env.guest_image %}
  35     * {{guest_image}}{% endfor %}
  36 * VM loopback apps:{% for loopback_app in tests[0].env.loopback_app %}
  37     * {{loopback_app.get()['name']}}, Version: {{loopback_app.get()['version']}}, GIT tag: {{loopback_app.get()['git_tag']}}{% endfor %}
  38 {%- endif %}
  39
  40 Below are test details:
  41
  42 * Test ID: {{ "%s"|format(tests[0].id) }}
  43 * Description: {{ "%s"|format(tests[0].conf['Description']) }}
  44 * Deployment: {{ "%s"|format(tests[0].deployment) }}
  45 * Traffic type: {{ "%s"|format(tests[0].result['type']) }}
  46 * Bidirectional : {{ "%s"|format(tests[0].conf['bidir']) }}
  47 {%- if tests[0].result['tunnel_type'] %}
  48 * Tunnel type: {{ "%s"|format(tests[0].result['tunnel_type']) }}
  49 {%- endif %}
  50 {% for test in tests %}
  51 Test results for packet size: {{ "%s"|format(test.result['packet_size']) }}
  52 ~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~
  53 A detailed summary of the main results is outlined below.
  54
  55 Results/Metrics Collected
  56 ^^^^^^^^^^^^^^^^^^^^^^^^^
  57
  58 The following are the metrics obtained during this test:
  59
  60 ========================== ==================================
  61         Metric                          Result
  62 ========================== ==================================
  63 {%- for item, value in test.result.items() %}
  64 {{ "%-30s %30s"|format(item,value)}}
  65 {%- endfor %}
  66 ========================== ==================================
  67
  68 Statistics collected
  69 ^^^^^^^^^^^^^^^^^^^^
  70
  71 The following system statistics were collected during testcase execution:
  72 {% for process in test.stats %}
  73 ========================== ==================================
  74 Process: {{ '_'.join(process.split('_')[:-1]) }}
  75 -------------------------------------------------------------
  76       Statistic                        Value
  77 ========================== ==================================
  78 {%- for item, value in test.stats[process].items() %}
  79 {{ "%-30s %30s"|format(item,value)}}
  80 {%- endfor %}
  81 ========================== ==================================
  82
  83 {% endfor %}{% endfor %}
  84
  85 Anomalies
  86 ~~~~~~~~~~
  87 No anomalies were detected during the course of this test.
  88
  89 Testing Activities/Events
  90 ~~~~~~~~~~~~~~~~~~~~~~~~~
  91 pidstat is used to collect the process statistics, as such some values such as
  92 %CPU and %USER maybe > 100% as the values are summed across multiple cores. For
  93 more info on pidstat please see: http://linux.die.net/man/1/pidstat.
  94
  95 Known issues: Some reported metrics have the value "unkown". These values are
  96 marked unknown as they are not values retrieved from the external tester
  97 (traffic generator). They were incorrectly derived in a way that made assumptions
  98 about packet sizes, as such they have been deprecated from vsperf and marked as
  99 unknown. They will be resolved in the next release.
 100
 101 .. There must be blank lines around to ensure correct formatting.
 102
 103