Refine documentation

Change-Id: Ic9a84954fdb18ac97afde01541b4c84157df8441
Signed-off-by: JingLu5 <lvjing5@huawei.com>

Merge "Store packetsize in influxdb"

Store packetsize in influxdb

This allows calculating throughput in Gbps.

Add: test_pktgen.py

Change-Id: I7e2132ec71985c14570ef18b952b2264ebf7abbc
JIRA: YARKSTICK-611
Signed-off-by: Jing Zhang <jing.c.zhang@nokia.com>

Merge "add yardstick_user_interface chapter in userguide"

Merge "Bugfix: cacert should suppot insecure mode if needed"

add yardstick_user_interface chapter in userguide

JIRA: YARDSTICK-618

Change-Id: I690c24d665016a381ae1ed7d8fa94d5a34bc1b1b
Signed-off-by: JingLu5 <lvjing5@huawei.com>

Merge "Bugfix: Add test suite for opnfv_os-odl_l3-ovs-ha_daily scenario"

Merge "Refine documentation"

Refine documentation

Change-Id: I0d3387a520e3decf51bb0f7db53996f148a611d0
Signed-off-by: JingLu5 <lvjing5@huawei.com>

Bugfix: Add test suite for opnfv_os-odl_l3-ovs-ha_daily scenario

JIRA: YARDSTICK-617

Apex has a new scenario 'opnfv_os-odl_l3-ovs-ha_daily' in CI.
This patch add yardstick test suite for this scenario.

Change-Id: I50eb84fb506e7cf87cbd6bcb67f3df6d185d8b6b
Signed-off-by: JingLu5 <lvjing5@huawei.com>

Bugfix: cacert should suppot insecure mode if needed

currently, we use env variable "OS_CACERT" to specify the location of
cert file. but if there's no cacert and use for personal verification,
it's better to also support insecure mode by set OS_CACERT=False

JIRA: YARDSTICK-616

Change-Id: I73b0860863bf6386f9114328c52594ef87e02fa3
Signed-off-by: rexlee8776 <limingjiang@huawei.com>

Merge "Set work directory in Yardstick container"

Bugfix: improper license header in swagger docs

JIRA: YARDSTICK-609

In the patch:
https://gerrit.opnfv.org/gerrit/#/c/28833/

It update the license header, but it is improper to swagger yaml file.
The license information will show in swagger docs.
So I remove it.

Change-Id: Ib87f0f43a95e3b2145c4b59059c4573000f1997c
Signed-off-by: chenjiankun <chenjiankun1@huawei.com>

Merge "Bugfix: Error validating value 'cirros-0.3.5'"

Merge "Bugfix:add storperf flavor for TC074"

Set work directory in Yardstick container

JIRA: YARDSTICK-608

Set the work directory to /home/opnfv/repos in yardstick docker container to
help users better understand file structure.
This is a improvement related with document improvement.

Change-Id: Ief4b76e6d6898ceab4a546574f5a09d51eb0d945
Signed-off-by: JingLu5 <lvjing5@huawei.com>

Bugfix: Error validating value 'cirros-0.3.5'

JIRA: YARDSTICK-607

some scenarios come with a Cirros-0.3.5 image, Yardstick's load_images.sh will
load a second cirros-0.3.5 image, causing the following error:
2017-03-27 07:42:58,317 yardstick.orchestrator.heat heat.py:449 INFO Creating stack 'demo-2ada98f3'
error: failed to deploy stack: 'ERROR: Property error: : resources.ares.demo-2ada98f3.properties.image: : Error validating value 'cirros-0.3.5': No images unique match found for
{'name': u'cirros-0.3.5'}

This patch fixs this error by skipping load cirros image if there already exist
one in the glance.

Change-Id: I4d43d82d331f6575efd4560be9b6be175e03cd1b
Signed-off-by: JingLu5 <lvjing5@huawei.com>

Merge "pathspec 'master' did not match any file(s) known to git"

Merge "model: pylint fixes"

pathspec 'master' did not match any file(s) known to git

JIRA: YARDSTICK-605

On stable branch, exec_tests.sh will also try to git checkout master
branch, which cause error "pathspec 'master' did not match any file(s)
known to git." This is a remianing bug from the previous release.
see at:
https://build.opnfv.org/ci/view/yardstick/job/yardstick-apex-lf-pod1-daily-danube/62/console
This error occur in line 48.
But the reason is 'set -e'
If we set 'set -e':
'git checkout master && git pull' return 1 but it will go on executing;
but 'git checkout master' will return 1 and terminate immediately.
If we do not set, it will return 1 but will terminate immediately.
Actually we not need 'git checkout master' here because it is already in
stable/danube branch.
So I remove it.

Change-Id: I106a1da28cf2deee90ebcb25adaf638a210928ee
Signed-off-by: chenjiankun <chenjiankun1@huawei.com>

Merge "Bugfix:HA test cases rely on dynamic ip addresses in fuel pods"

Bugfix:HA test cases rely on dynamic ip addresses in fuel pods

JIRA: YARDSTICK-602

change HA test cases to rely on dynamical generated pod.yaml in fuel pods

Change-Id: I0efb01489eb2dd94babf1a45bff2fbf6adef5f6e
Signed-off-by: JingLu5 <lvjing5@huawei.com>

Bugfix:add storperf flavor for TC074

JIRA: YARDSTICK-604

the storperf container now uses a flavor called "storperf", if this flavor is
absent, stack creating process will fail. also the openstack variables that
passed to the storperf container also needs a update

Change-Id: Iab4be6491cc9b24526948e5571f0476ec885a93d
Signed-off-by: JingLu5 <lvjing5@huawei.com>

Update cirros image to latest version

Change-Id: Iffa1e4529e5b6e9664ac503a5815ea9a034d7515
Signed-off-by: Michael Polenchuk <mpolenchuk@mirantis.com>

model: pylint fixes

remove redundnant parens
replace type with isinstance
fix import order

Change-Id: I0407cbbf6993290f392f17c398827603b5bc1ebd
Signed-off-by: Ross Brattain <ross.b.brattain@intel.com>

Merge "Update yardstick framework architecture in userguide"

Merge "Bugfix: Could not load EntryPoint.parse when using 'openstack -h'"

Bugfix: TC002 image error in fuel-arm pod scenarios

JIRA: YARDSTICK-601

This error is cause because the TC 002 configuration file has been modified in
image section, the old sed command in load_images.sh
"sed -i 's/image: cirros-0.3.3/image: TestVM/g' tests/opnfv/test_cases/opnfv_yardstick_tc002.yaml samples/ping.yaml" didn't work properly.

Change-Id: Ie897213622d05bb267f94b466eb2529e797d484e
Signed-off-by: JingLu5 <lvjing5@huawei.com>

Merge "Yardstick: User interface for Yardstick."

Merge "aarch64: Improve arch detection snippet"

Merge "aarch64: Fix missing qemu-aarch64-static in chroot"

Merge "Refine test case description for tc076"

Update yardstick framework architecture in userguide

JIRA: YARDSTICK-590

This patch update the yardstick framework architecture in the userguide,
also fix some rst grammar mistakes

Change-Id: I84e7c24b4cd936a01f4c191e9f530f15f9f711de
Signed-off-by: JingLu5 <lvjing5@huawei.com>

aarch64: Fix missing qemu-aarch64-static in chroot

During recent rework, we lost the explicit copy of qemu-aarch64-static
from docker to chroot; so when trying to execute AArch64 binaries
inside chroot, no emulator was present to handle it.

This change brings back (inside chroot) the missing emulator binary.

JIRA: YARDSTICK-595

Change-Id: I146e2eeec2e9452a0db36f0bf0a466a8affc2005
Signed-off-by: Paul Vaduva <Paul.Vaduva@enea.com>

Bugfix: Could not load EntryPoint.parse when using 'openstack -h'

JIRA: YARDSTICK-599

Python-openstackclient 3.7.0 has a issus that cause -help info can not be
loaded properly when executing 'openstack -h' command.

Change-Id: I0a5f7a0943d56764b1c4d5d7335aa67b30f39b4c
Signed-off-by: JingLu5 <lvjing5@huawei.com>

Merge "yardstick offline support"

Merge "Dockerfile: Use qemu-user-static from xenial "

Merge "update lxd image disk format for openstack CLI"

Merge "Bugfix: remove vivid as it is EOL"

Merge "Bugfix: replace MD5SUM with SHA256SUMs"

Merge "Bugfix: netperf_bottleneck execute failed because is_same_heat_context return True"

Merge "add missing test suite files for new scenarios"

aarch64: Improve arch detection snippet

Get the arch from a compute node
Also move code that depends on YARD_IMG_ARCH,
after YARD_IMG_ARCH gets set

JIRA: YARDSTICK-591

Change-Id: I5ed3ef9cfa92e5bf9e6ada21396d18643cf1a55c
Signed-off-by: Matei Valeanu <Matei.Valeanu@enea.com>

Bugfix: netperf_bottleneck execute failed because is_same_heat_context return True

JIRA: YARDSTICK-600

Bugfix: netperf_bottleneck execute failed because is_same_heat_context return True
So it exit without warning.
I will remove the 'return True' from it.

Change-Id: I48d62bd15ec359e2121f236c48d9d349174f2c10
Signed-off-by: chenjiankun <chenjiankun1@huawei.com>

Merge "Add NUMA pinning support for node context"

Merge "Add CPU pinning support for node context"

Bugfix: remove vivid as it is EOL

Vivid is end of life, and thus not supported.

Change-Id: Ia293fcd6fd2a3279a642a6dbbb7ad1811334c3e1
Signed-off-by: Ross Brattain <ross.b.brattain@intel.com>

Bugfix: replace MD5SUM with SHA256SUMs

MD5 is broken and should not be used

Change-Id: Ib168932387f58f0a538d865f8ef4e3cda046a35a
Signed-off-by: Ross Brattain <ross.b.brattain@intel.com>

update lxd image disk format for openstack CLI

JIRA: YARDSTICK-598

As we have replaced 'glance image-create' command with 'openstack image create'
command, we also need to update the disk-format for openstack CLI. the
'root-tar' is no longer a valid choice. (choose from 'ami', 'ari', 'aki',
'vhd', 'vmdk', 'raw', 'qcow2', 'vhdx', 'vdi', 'iso', 'ploop')

Change-Id: I53f839f658c5a6f216f5bb942b1c4f4dcdbf9814
Signed-off-by: JingLu5 <lvjing5@huawei.com>

yardstick offline support

JIRA: YARDSTICK-597

Currently yardstick can not run offline.
The reason is yardstick will pull the latest code when run in CI.
Actually we need not pull the latest code because the code in yardstick
is already the latest code.
So I remove them.

Change-Id: Ief87c529625ccaa26e758a2206318b3797bbfd74
Signed-off-by: chenjiankun <chenjiankun1@huawei.com>

add missing test suite files for new scenarios

JIRA: YARDSTICK-589

Change-Id: I1690d4e2bd741fe1514c8496ee6ff10b72158859
Signed-off-by: JingLu5 <lvjing5@huawei.com>

Merge "Bugfix: load_images cleanup, shellcheck fixes"

Merge "add missing test suite files for new scenarios"

Dockerfile: Use qemu-user-static from xenial

qemu-user-static from Trusty crashes when ssl is used in chroot.

JIRA: YARDSTICK-592

Change-Id: I81e8f04d7469082ceb6512cb09e11dfa672e5e98
Signed-off-by: Paul Vaduva <Paul.Vaduva@enea.com>

Merge "Bugfix: yardstick-image built without test tools"

Yardstick: User interface for Yardstick.

Currently Yardstick doesnt have any UI which gives detail analysis
of the test-results.
This commit generates a HTML page after the execution of a command
"yardstick report generate <task-ID> <TC-name>" which intern
can be executed after the execution of test-case.
Used: Highcharts.js for the graphs.

JIRA: YARDSTICK-280

Change-Id: Ic98cc348719f3922bff178f52e7944a4a931763a
Signed-off-by: Rajesh K <4k.rajesh@gmail.com>

Merge "Bugfix: network_utilization: parse error"

Merge "Bug Fix: force the network to attacht to trex to start the traffic"

Merge "Adding Labels"

add missing test suite files for new scenarios

JIRA: YARDSTICK-589

Some new scenarios, e.g, opnfv_k8-nosdn-nofeature-noha_daily, have been added
in the Danube release, test suite files for these scenarios should be added.

Change-Id: If3f4ef233b7b1516e182ed28f15feece1728e6d9
Signed-off-by: JingLu5 <lvjing5@huawei.com>

Refine test case description for tc076

JIRA: YARDSTICK-594

Change-Id: Ieaf13a875d00c279d4da57dcdba5bcfb09f44e8f
Signed-off-by: JingLu5 <lvjing5@huawei.com>

Bugfix: yardstick-image built without test tools

JIRA: YARDSTICK-593

The yardstick-image now built dosen't have test tools in it.
This patch aims to fix this issus.

Change-Id: I9863a933106236835c16e21f84aa107ffd554df7
Signed-off-by: JingLu5 <lvjing5@huawei.com>

fix fuel plugin installation issue

Change-Id: Ie17ba0ac941d1b96148ee23ed9522a93309f56c5
Signed-off-by: Guo Ruijing <ruijing.guo@intel.com>

Bugfix: fatal: destination path '/opt/tempT' already exists and is not an empty directory.

JIRA: YARDSTICK-588

ubuntu-server-cloudimg-modify.sh: fixes and cleanup
https://build.opnfv.org/ci/view/fuel/job/yardstick-fuel-virtual-daily-master/1233/console
saw this in an error log, not sure if it is a real error
+ [[ amd64 = \a\r\m\6\4 ]]
+ git clone https://github.com/kdlucas/byte-unixbench.git /opt/tempT
fatal: destination path '/opt/tempT' already exists and is not an empty
directory.
+ error_trap
+ local rc=128
+ set +e
+ '[' -z '' ']'
+ exitcode=128
workaround by deletign /opt/tempT always before cloning
also improve ln with relative symlink and forcing filename target

Change-Id: Ia9c35a877207494623055b1b2134f7834fadedf8
Signed-off-by: chenjiankun <chenjiankun1@huawei.com>

Bugfix: network_utilization: parse error

JIRA: YARDSTICK-586

When run tc072, there is a bug: network_utilization: parse error, see the log:
ERROR ('network_utilization: parse error', [], [u'05:10:46', u'IFACE',
        u'rxpck/s', u'txpck/s', u'rxkB/s', u'txkB/s', u'rxcmp/s',
        u'txcmp/s', u'rxmcst/s', u'%ifutil'])
Traceback (most recent call last):
    File
    "/usr/local/lib/python2.7/dist-packages/yardstick/benchmark/runners/duration.py",
    line 69, in _worker_process
    method(data)
    File
    "/usr/local/lib/python2.7/dist-packages/yardstick/benchmark/scenarios/networking/netutilization.py",
    line 191, in run
    result.update(self._get_network_utilization())
    File
    "/usr/local/lib/python2.7/dist-packages/yardstick/benchmark/scenarios/networking/netutilization.py",
    line 182, in _get_network_utilization
    result = self._filtrate_result(raw_result)
    File
    "/usr/local/lib/python2.7/dist-packages/yardstick/benchmark/scenarios/networking/netutilization.py",
    line 146, in _filtrate_result
    fields, line)
    RuntimeError: ('network_utilization: parse error', [], [u'05:10:46',
            u'IFACE', u'rxpck/s', u'txpck/s', u'rxkB/s', u'txkB/s',
            u'rxcmp/s', u'txcmp/s', u'rxmcst/s', u'%ifutil'])

Maybe the tool has some changes.

Change-Id: I6c4fe3fe9f749ec942fb5fbd799b8f4ab9a5c16c
Signed-off-by: chenjiankun <chenjiankun1@huawei.com>

Add CPU pinning support for node context

JIRA: YARDSTICK-573

Since the yardstick framework now has supported an improved node type context,
this patch adds support for VM vcpu pinning ability in the node type context.
It provides several scripts that can be used to configurate the controller and
compute nodes.

Change-Id: If2c6e7b1b85ff78b9d2a5997bf03bdc6877aaf74
Signed-off-by: JingLu5 <lvjing5@huawei.com>

Merge "Bugfix: heat: don't json encode template"

Merge "ubuntu-server-cloudimg-modify.sh: shellcheck fixes"

Merge "Bugfix: ubuntu-server-cloudimg-modify.sh: fix grep syntax with if"

Merge "Bugfix: yardstick https support"

Merge "ubuntu-server-cloudimg-dpdk-modify.sh: fixes and cleanup"

Bugfix: yardstick https support

JIRA: YARDSTICK-587

When run in https environment, there is a bug:
error: failed to deploy stack: '_init_() got an unexpected keyword argument 'ca_cert''
The reason is the key pass to Session() is cacert, but the key should be
verify.

Change-Id: Ia9fc1d7908c2fca9d827a5f64deac7cd333d5c07
Signed-off-by: chenjiankun <chenjiankun1@huawei.com>

Merge "Bugfix: Using the right trex version to support both py2.7 & py3"

Bugfix: heat: don't json encode template

heatclient.common.http.SessionClient
automatically json.dumps the data in kwargs.
If we json dump ourselves we end up double-decoding
which is invalid.

heatclient.common.http.py:

class SessionClient(adapter.LegacyJsonAdapter):
    """HTTP client based on Keystone client session."""

    def request(self, url, method, **kwargs):
        redirect = kwargs.get('redirect')
        kwargs.setdefault('user_agent', USER_AGENT)

        if 'data' in kwargs:
            kwargs['data'] = jsonutils.dumps(kwargs['data'])

kwargs['data'] includes the template,
so this is double-decoding in JSON

JIRA: YARDSTICK-584

Change-Id: I663af42f7e92e285b540b614ceda87f17da5f22d
Signed-off-by: Ross Brattain <ross.b.brattain@intel.com>

Merge "Bugfix: Failed executing command: 'free -s 1 -c 10'"

Adding Labels

Labels serve as anchors/ refs when referenced from other documents
This patch adds labels to docs/*/*/index.rst

Change-Id: I046277771130cc6298636fb30f9d6dae7de224cf
Signed-off-by: rexlee8776 <limingjiang@huawei.com>

Bug Fix: force the network to attacht to trex to start the traffic

Change-Id: I73744a9e0f1830688a171f3f28044926b13f8a43
Signed-off-by: Deepak S <deepak.s@linux.intel.com>

Bugfix: Using the right trex version to support both py2.7 & py3

Updating the trex version and downloading the right version for vnf testing :)

Change-Id: Iaca74ce627a05128a60bdc331968d2c56c06522f
Signed-off-by: Deepak S <deepak.s@linux.intel.com>

ubuntu-server-cloudimg-modify.sh: shellcheck fixes

fixes for shellcheck warning

ubuntu-server-cloudimg-modify.sh:51:23: warning: Quote this to prevent word splitting. [SC2046]
ubuntu-server-cloudimg-modify.sh:51:30: note: Double quote to prevent globbing and word splitting. [SC2086]

Change-Id: I6cff0713a0471e5ce94211d42a7c8b45e3761c4d
Signed-off-by: Ross Brattain <ross.b.brattain@intel.com>

Bugfix: ubuntu-server-cloudimg-modify.sh: fix grep syntax with if

https://build.opnfv.org/ci/view/fuel/job/yardstick-fuel-virtual-daily-master/1233/console

+ '[' grep -q trusty /etc/apt/sources.list ']'
/ubuntu-server-cloudimg-modify.sh: line 27: [: too many arguments

If will check exit status itself, we don't need to use test

Change-Id: I3edcf6ef2cbbf888f1089345764a00f9dbd206bd
Signed-off-by: Ross Brattain <ross.b.brattain@intel.com>

ubuntu-server-cloudimg-dpdk-modify.sh: fixes and cleanup

https://build.opnfv.org/ci/view/fuel/job/yardstick-fuel-virtual-daily-master/1233/console

saw this in an error log, not sure if it is a real error

+ [[ amd64 = \a\r\m\6\4 ]]
+ git clone https://github.com/kdlucas/byte-unixbench.git /opt/tempT
fatal: destination path '/opt/tempT' already exists and is not an empty directory.
+ error_trap
+ local rc=128
+ set +e
+ '[' -z '' ']'
+ exitcode=128

workaround by deletign /opt/tempT always before cloning

also improve ln with relative symlink and forcing filename target

Change-Id: I6715e6dba76b79706d396b616eae980e5ace773b
Signed-off-by: Ross Brattain <ross.b.brattain@intel.com>

Bugfix: load_images missing space before =

load_images.sh arm64 change had issue with shell

load_images.sh: line 34: [: amd64=: unary operator expected

https://build.opnfv.org/ci/view/yardstick/job/yardstick-compass-baremetal-daily-master/894/console

Change-Id: I14f0b8628db7ac90a4966f85e9e7e27a0e0fae02
Signed-off-by: Ross Brattain <ross.b.brattain@intel.com>

Bugfix: Failed executing command: 'free -s 1 -c 10'

JIRA: YARDSTICK-585

In CI when run tc070, there is a error: Failed executing command: 'free -s 1 -c 10'
Here it is the log:
Traceback (most recent call last):
   File
   "/usr/local/lib/python2.7/dist-packages/yardstick/benchmark/runners/duration.py",
   line 69, in _worker_process
   method(data)
   File
   "/usr/local/lib/python2.7/dist-packages/yardstick/benchmark/scenarios/compute/memload.py",
   line 126, in run
   result.update(self._get_mem_usage())
   File
   "/usr/local/lib/python2.7/dist-packages/yardstick/benchmark/scenarios/compute/memload.py",
   line 116, in _get_mem_usage
   result = self._execute_command(cmd)
   File
   "/usr/local/lib/python2.7/dist-packages/yardstick/benchmark/scenarios/compute/memload.py",
   line 70, in _execute_command
   cmd, stderr)
RuntimeError: ('Failed executing command: ', 'free -s 1 -c 10',u"free: seconds argument `1' failed\n")
And it is a bug of free. the -c option should in front of -s, so change the position will solve
this problem.

Also it has another bug:
'KeyError', there no 'cached' keyword, so I change it to 'buff/cache'.

Change-Id: I0ca16e8d8cc11c6a3b2f364cadbdb3ea367eee53
Signed-off-by: chenjiankun <chenjiankun1@huawei.com>

Bugfix: load_images cleanup, shellcheck fixes

We should have run shellcheck on this.

This is why we don't use the shell, too many
obscure gotchas.

shellcheck: load_images.sh:25:75: warning: sudo doesn't affect redirects. Use .. | sudo tee -a file [SC2024]

  sudo echo foo >> /etc/foo won't work,

the >> will be run in the current shell,
replace with:

  echo foo | sudo tee -a /etc/foo

shellcheck: load_images.sh:47:15: warning: Declare and assign separately to avoid masking return values. [SC2155]

replace local cmd='a' with two line version

shellcheck: load_images.sh:141:32: error: [ .. ] can't match globs. Use [[ .. ]] or grep. [SC2081]

use [[ ]]

Change-Id: I14d9768612ea147eaf139603f7eb8753e979ba2c
Signed-off-by: Ross Brattain <ross.b.brattain@intel.com>

Merge "Yardstick Preliminary Documentation"

Merge "Bugfix: don't use jsonutils.load, use loads()"

Merge "Record test case names when run a task using API"

Merge "update trex version for constants.so import bug"

Merge "move external_network auto-assign to Heat context"

Merge "Bugfix: yardstick will create stacks with the same name when run using API in parallel"

fixes: use isinstance, fix logging, use dict literal

isinstance allows for matching with list and dict subclasses
as well and list and dict themselves

Use collections.Mapping for dict
We still have to use list, because iterable is too generic,
strings are iterable for example.

use dict literal for point

fix logging to use deferred interpolation

Change-Id: I4c9b27fd07b57139e86315e39f58d54cc18e402d
Signed-off-by: Ross Brattain <ross.b.brattain@intel.com>

Add NUMA pinning support for node context

JIRA: YARDSTICK-574

Since the yardstick framework now has supported an improved node type context,
this patch adds support for VM NUMA pinning ability in the node type context.
It provides several scripts that can be used to configurate the controller and
compute nodes

Change-Id: If5eafdca6df1b1196bc17bfdd12aea9f4016752f
Signed-off-by: JingLu5 <lvjing5@huawei.com>

Bugfix: yardstick will create stacks with the same name when run using API in parallel

JIRA: YARDSTICK-575

Currently yardstick will create stacks with the same name when run using
API in parallel.
The reason is there is a global variable in context base and the core
will always deploy the first context in Context.list. When run in
parallel, it will run in the one process. So yardstick will deploy
stacks with the same name.
The solution is do not use Context.list in yardstick core. And using a
local variable instead.
BTW, if we use API to call yardstick core, we can not config the output
way. So I parse yardstick.conf when task start. And I think we can
include scenario_cfg, context_cfg, yardstick_cfg in one config object
later so that we can get all config in one object.

Change-Id: I1ada4ef486bd252e78c3a2e49c6a39b3f8f16a7c
Signed-off-by: chenjiankun <chenjiankun1@huawei.com>

Bugfix: don't use jsonutils.load, use loads()

It looks like jsonutils.load uses a codec reader
to read from the file, but we already are using
Python 3.5 open() which should already do the UTF-8
decode itself.

    return json.load(codecs.getreader(encoding)(fp), **kwargs)C

When we use jsonutils.load() we get a TypeErorr when concating
str and bytes

2017-02-28 16:42:38,431 yardstick.cmd.commands.task task.py:61 ERROR
Traceback (most recent call last):
  File "yardstick/yardstick/cmd/commands/task.py", line 58, in do_start
    self._finish()
  File "yardstick/yardstick/cmd/commands/task.py", line 69, in _finish
    result = read_json_from_file(self.output_file).get('result')
  File "yardstick/yardstick/common/utils.py", line 136, in read_json_from_file
    return jsonutils.load(f)
  File "yardstick_venv3/lib/python3.5/site-packages/oslo_serialization/jsonutils.py", line 241, in load
    return json.load(codecs.getreader(encoding)(fp), **kwargs)
  File "/usr/lib/python3.5/json/__init__.py", line 265, in load
    return loads(fp.read(),
  File "yardstick_venv3/lib/python3.5/codecs.py", line 497, in read
    data = self.bytebuffer + newdata
TypeError: can't concat bytes to str

So switch back to jsonutils.loads() which does nothing if the
bytes are already decoded.

JIRA: YARDSTICK-584

Change-Id: I36acfda3df2b46d16a87f2741a04fe7ee8e8d89b
Signed-off-by: Ross Brattain <ross.b.brattain@intel.com>

Merge "Add uefi image support for yardstick"

Yardstick Preliminary Documentation

JIRA: YARDSTICK-554

align with opnfvdocs path structure about testing projects

Change-Id: I6c2f2d37e41447dccd76b9f4426d00fd85cb1e3b
Signed-off-by: rexlee8776 <limingjiang@huawei.com>

update trex version for constants.so import bug

Previously before we disabled Trex in the unittests
we were hitting an error when running Python3.5,
see full description in 28209

https://gerrit.opnfv.org/gerrit/#/c/28209/

File "/home/jenkins/opnfv/slave_root/workspace/yardstick-verify-master/trex/scripts/external_libs/pyzmq-14.5.0/python3/fedora18/64bit/zmq/backend/cython/__init__.py", line 6, in <module>
    from . import (constants, error, message, context,
ImportError: cannot import name 'constants'

It looks like this was an actual upstream Trex bug
and it was fixed in

https://github.com/cisco-system-traffic-generator/trex-core/commit/9808fce2b0b3b5b7c9b28303e99486501a1cc10d
zmq: fix wrong constants.so (was used from 3.5 to both versions)
Yaroslav Brustinov <ybrustin@cisco.com>

This Trex fix should be in v2.20.

We don't test Trex in unitests, but people running
Trex on Python3 should hit this issue.

Change-Id: Ic914e48819d7fd3e951628f7c3d3778849da7d94
Signed-off-by: Ross Brattain <ross.b.brattain@intel.com>

Add uefi image support for yardstick

Add support for downloading and building an uefi single part image.
Keep three part image support if needed.
Keep modifications required for arm64, when using vivid.
Install and use parted required for GPT partitioning.

Change-Id: I1a9a20701e2fe1f6f644f2c687c5da2e09b69d89
Signed-off-by: Catalina Focsa <catalina.focsa@enea.com>

Merge "Split reporting_target from http_target in yardstick_verify"

env prepare check openrc already sourced

env prepare should check if openrc is sourced before
using os_fetch_utils to fetch openrc

JIRA: YARDSTICK-577

Change-Id: I0efb0bae3b408156b1133812c29583ab8c58d94b
Signed-off-by: rexlee8776 <limingjiang@huawei.com>