Bugfix: Failed executing command: 'free -s 1 -c 10'

JIRA: YARDSTICK-585

In CI when run tc070, there is a error: Failed executing command: 'free -s 1 -c 10'
Here it is the log:
Traceback (most recent call last):
   File
   "/usr/local/lib/python2.7/dist-packages/yardstick/benchmark/runners/duration.py",
   line 69, in _worker_process
   method(data)
   File
   "/usr/local/lib/python2.7/dist-packages/yardstick/benchmark/scenarios/compute/memload.py",
   line 126, in run
   result.update(self._get_mem_usage())
   File
   "/usr/local/lib/python2.7/dist-packages/yardstick/benchmark/scenarios/compute/memload.py",
   line 116, in _get_mem_usage
   result = self._execute_command(cmd)
   File
   "/usr/local/lib/python2.7/dist-packages/yardstick/benchmark/scenarios/compute/memload.py",
   line 70, in _execute_command
   cmd, stderr)
RuntimeError: ('Failed executing command: ', 'free -s 1 -c 10',u"free: seconds argument `1' failed\n")
And it is a bug of free. the -c option should in front of -s, so change the position will solve
this problem.

Also it has another bug:
'KeyError', there no 'cached' keyword, so I change it to 'buff/cache'.

Change-Id: I0ca16e8d8cc11c6a3b2f364cadbdb3ea367eee53
Signed-off-by: chenjiankun <chenjiankun1@huawei.com>

Merge "Yardstick Preliminary Documentation"

Merge "Bugfix: don't use jsonutils.load, use loads()"

Merge "Record test case names when run a task using API"

Merge "update trex version for constants.so import bug"

Merge "move external_network auto-assign to Heat context"

Merge "Bugfix: yardstick will create stacks with the same name when run using API in parallel"

fixes: use isinstance, fix logging, use dict literal

isinstance allows for matching with list and dict subclasses
as well and list and dict themselves

Use collections.Mapping for dict
We still have to use list, because iterable is too generic,
strings are iterable for example.

use dict literal for point

fix logging to use deferred interpolation

Change-Id: I4c9b27fd07b57139e86315e39f58d54cc18e402d
Signed-off-by: Ross Brattain <ross.b.brattain@intel.com>

Bugfix: yardstick will create stacks with the same name when run using API in parallel

JIRA: YARDSTICK-575

Currently yardstick will create stacks with the same name when run using
API in parallel.
The reason is there is a global variable in context base and the core
will always deploy the first context in Context.list. When run in
parallel, it will run in the one process. So yardstick will deploy
stacks with the same name.
The solution is do not use Context.list in yardstick core. And using a
local variable instead.
BTW, if we use API to call yardstick core, we can not config the output
way. So I parse yardstick.conf when task start. And I think we can
include scenario_cfg, context_cfg, yardstick_cfg in one config object
later so that we can get all config in one object.

Change-Id: I1ada4ef486bd252e78c3a2e49c6a39b3f8f16a7c
Signed-off-by: chenjiankun <chenjiankun1@huawei.com>

Bugfix: don't use jsonutils.load, use loads()

It looks like jsonutils.load uses a codec reader
to read from the file, but we already are using
Python 3.5 open() which should already do the UTF-8
decode itself.

    return json.load(codecs.getreader(encoding)(fp), **kwargs)C

When we use jsonutils.load() we get a TypeErorr when concating
str and bytes

2017-02-28 16:42:38,431 yardstick.cmd.commands.task task.py:61 ERROR
Traceback (most recent call last):
  File "yardstick/yardstick/cmd/commands/task.py", line 58, in do_start
    self._finish()
  File "yardstick/yardstick/cmd/commands/task.py", line 69, in _finish
    result = read_json_from_file(self.output_file).get('result')
  File "yardstick/yardstick/common/utils.py", line 136, in read_json_from_file
    return jsonutils.load(f)
  File "yardstick_venv3/lib/python3.5/site-packages/oslo_serialization/jsonutils.py", line 241, in load
    return json.load(codecs.getreader(encoding)(fp), **kwargs)
  File "/usr/lib/python3.5/json/__init__.py", line 265, in load
    return loads(fp.read(),
  File "yardstick_venv3/lib/python3.5/codecs.py", line 497, in read
    data = self.bytebuffer + newdata
TypeError: can't concat bytes to str

So switch back to jsonutils.loads() which does nothing if the
bytes are already decoded.

JIRA: YARDSTICK-584

Change-Id: I36acfda3df2b46d16a87f2741a04fe7ee8e8d89b
Signed-off-by: Ross Brattain <ross.b.brattain@intel.com>

Merge "Add uefi image support for yardstick"

Yardstick Preliminary Documentation

JIRA: YARDSTICK-554

align with opnfvdocs path structure about testing projects

Change-Id: I6c2f2d37e41447dccd76b9f4426d00fd85cb1e3b
Signed-off-by: rexlee8776 <limingjiang@huawei.com>

update trex version for constants.so import bug

Previously before we disabled Trex in the unittests
we were hitting an error when running Python3.5,
see full description in 28209

https://gerrit.opnfv.org/gerrit/#/c/28209/

File "/home/jenkins/opnfv/slave_root/workspace/yardstick-verify-master/trex/scripts/external_libs/pyzmq-14.5.0/python3/fedora18/64bit/zmq/backend/cython/__init__.py", line 6, in <module>
    from . import (constants, error, message, context,
ImportError: cannot import name 'constants'

It looks like this was an actual upstream Trex bug
and it was fixed in

https://github.com/cisco-system-traffic-generator/trex-core/commit/9808fce2b0b3b5b7c9b28303e99486501a1cc10d
zmq: fix wrong constants.so (was used from 3.5 to both versions)
Yaroslav Brustinov <ybrustin@cisco.com>

This Trex fix should be in v2.20.

We don't test Trex in unitests, but people running
Trex on Python3 should hit this issue.

Change-Id: Ic914e48819d7fd3e951628f7c3d3778849da7d94
Signed-off-by: Ross Brattain <ross.b.brattain@intel.com>

Add uefi image support for yardstick

Add support for downloading and building an uefi single part image.
Keep three part image support if needed.
Keep modifications required for arm64, when using vivid.
Install and use parted required for GPT partitioning.

Change-Id: I1a9a20701e2fe1f6f644f2c687c5da2e09b69d89
Signed-off-by: Catalina Focsa <catalina.focsa@enea.com>

Merge "Split reporting_target from http_target in yardstick_verify"

env prepare check openrc already sourced

env prepare should check if openrc is sourced before
using os_fetch_utils to fetch openrc

JIRA: YARDSTICK-577

Change-Id: I0efb0bae3b408156b1133812c29583ab8c58d94b
Signed-off-by: rexlee8776 <limingjiang@huawei.com>

Merge "fix: remove headers from generated files"

Merge "heat: replace dict key checking with .get()"

Merge "Re-enable floating IP tests for bgpvpn"

move external_network auto-assign to Heat context

if there are no external networks defined
then assign the external network to the first
network as determined by standard sorting

Change-Id: I9d32eca258f8e7de3d44cec4124c0e8c020c0b85
Signed-off-by: Ross Brattain <ross.b.brattain@intel.com>

Split reporting_target from http_target in yardstick_verify

JIRA: YARDSTICK-576

Currently the reporting_target reuse the http_target.
But if we want to custom reporting_target, the http_target is also change,
and the yardstick result will store in mongoDB.
So I add reporting_target to split them.

Change-Id: Ib0e4e8ec9a55f49027f9776931fdaa7dc194654b
Signed-off-by: chenjiankun <chenjiankun1@huawei.com>

stream default INFO, filehdr default DEBUG

The DEBUG log can be stored as file and pushed into artifacts.
Default sys.out level should be INFO. Stream level can be
changed to DEBUG if cli "-d" is enabled.
remove "-v" since it's not useful for a test framework

JIRA: YARDSTICK-507

Change-Id: I3caafd31a2caac73b0e3f33c2762c090e76c707e
Signed-off-by: rexlee8776 <limingjiang@huawei.com>

Re-enable floating IP tests for bgpvpn

Change-Id: I46e4e21787a9b0a3104b2a684d62f50681258205
Signed-off-by: Romanos Skiadas <rski@intracom-telecom.com>

heat: replace dict key checking with .get()

We init all the fields to None, so the default value
is None, which is what .get() returns when the key
is not present it the dictionary.

Replace

  if key in dict:
    self.val = dict[key]

with

  self.val = dict.get(key)

This also has the added beneifit of re-initializing
default values to None.

In idiomatic Python we do not check a dictionary twice
if we can avoid it.  Either use dict.get() with a default
value or catch the KeyError and do the correct thing.

Change-Id: If8d1caeb7288f888f02622d62e8db9f59f50717a
Signed-off-by: Ross Brattain <ross.b.brattain@intel.com>

fix: remove headers from generated files

experiment_[12].yaml are generated from templates
during the unittest, so they will be overwritten.

yardstick/vTC/apexlake/tests/data/generated_templates/vTC.yaml
was submitted by Vincenzo Riccobene in gerrit
https://gerrit.opnfv.org/gerrit/#/c/11333/
so assign copyright to Intel instead of invalid
user@TRAFCLASS-PACKET1.fuel.local

Change-Id: If516037c4f4c859e417ca12e6d5300e4e0a3817c
Signed-off-by: Ross Brattain <ross.b.brattain@intel.com>

Merge "BugFix: Adopt to latest result structure while parsing the results"

Merge "ci in huawei-pod1 do not run test case after tc074"

Merge "BugFix: update to paramiko 1.18.0 to fix TypeError"

heat context support affinity and anti-affinity

JIRA: YARDSTICK-566

Current Heat context support affinity and availability arguments
but not support affinity and anti-affinity.
Enhance Heat context to support affinity and anti-affinity:
1. can create heat server group with affinity/anti-affinity
2. each server could be specified which server group they are in

Change-Id: I46e7376fd116c6e109cb5dcb1c168460918e6d43
Signed-off-by: rexlee8776 <limingjiang@huawei.com>

Add common method of openstack in openstack_utils

JIRA: YARDSTICK-569

We have much redundancy code when using nova/neutron/glance... python client.
So I write this code in openstack_utils for calling.

Change-Id: I322b7577de4933246a15e6742ae5a28bea16eb02
Signed-off-by: chenjiankun <chenjiankun1@huawei.com>

Record test case names when run a task using API

JIRA: YARDSTICK-509

Currently we use influxdb as database and will not record test case name
when run a test suite. So if we must offer test case name if we want to
get result from API.
I will record test case name when run a test suite. So we needn't
offer test case any more when call for get result API.

Change-Id: I87ea4770422cbc46aa6671bfcc53bd4498825eef
Signed-off-by: chenjiankun <chenjiankun1@huawei.com>

Merge "Update missing license headers"

Merge "improving if conditions :)"

Merge "collectd: typo and call super()"

Merge "Add python-pip & flake8 package to install.sh"

BugFix: update to paramiko 1.18.0 to fix TypeError

with python 3 there is a paramiko error
due to .keys() usages in python 3

File "python3.5/site-packages/paramiko/ssh_exception.py", line 166, in __init__
  body = ', '.join([x[0] for x in addrs[:-1]
TypeError: 'dict_keys' object is not subscriptable

paramiko 1.16.0 tries to index addr.keys() but
addr.keys() is not a dict view in Python 3 and not a list
so we need to convert .keys() to a list, using sorted()

This was most recently fixed in
https://github.com/paramiko/paramiko/commit/0411010d55755913fa7bd5b0a9c719c8548549f4

which should be in paramiko 1.18.0

Change-Id: I6b10664611cab3b21d3aa33ecf1343ff134f59a1
Signed-off-by: Ross Brattain <ross.b.brattain@intel.com>

Merge "add grafana dashboard for os-nosdn-nofeature-ha"

add grafana dashboard for os-nosdn-nofeature-ha

JIRA: YARDSTICK-401

Change-Id: Ibe8eaaf6bf9d283e51ee3fb2a3062344179a11c6
Signed-off-by: rexlee8776 <limingjiang@huawei.com>
Signed-off-by: root <limingjiang@huawei.com>

Create Grafana dashboards according config file under root_path/dashboard

JIRA: YARDSTICK-570

Currently we only create ping Grafana dashboard when create Grafana
docker container.
Actually we need to create some default dashboards.

Change-Id: Icee975ad8c1c960b27625274c775f1716edfa03e
Signed-off-by: chenjiankun <chenjiankun1@huawei.com>

bottlenecks: stress ping yaml file bug fix

JIRA:YARDSTICK-565

This will remove the limit of "sla"
The "sla" will cause a error of bottlenecks.
so this patch will change it,
so bottlenecks could find the system bottleneck.

Change-Id: I8634e34841677a2032cebd26f1b40f6a0cb2bd39
Signed-off-by: liyin <liyin11@huawei.com>

ci in huawei-pod1 do not run test case after tc074

JIRA: YARDSTICK-568

https://build.opnfv.org/ci/view/yardstick/job/yardstick-compass-baremetal-daily-master/814/consoleFull
the test case tc075 and tc027 after tc074 does not run in the ci, which
is not correct.
the logs shows the suite quit after tc074 finishes.

The reason is:
In this patch: https://gerrit.opnfv.org/gerrit/#/c/26763/
I add a task_id to the context name, but in tc074, it do not have a
name.
It will cause a keyError.

Change-Id: I09608675d9dadcc3ff0d825ca63db3be5e414120
Signed-off-by: chenjiankun <chenjiankun1@huawei.com>

improving if conditions :)

Change-Id: I2fad46b07b252f898acfe116dd6542946b8a26a8
Signed-off-by: Deepak S <deepak.s@linux.intel.com>

Merge "Docs: Adding preliminary documentation for Network Service Benchmarking."

Add python-pip & flake8 package to install.sh

On a fresh system, we need "python-pip & flake8" to run
yardstick. Adding same to install.sh

Change-Id: I3e13ffdf53eed7e976e55e2b23afd1b1ea50ec33
Signed-off-by: Deepak S <deepak.s@linux.intel.com>

Docs: Adding preliminary documentation for Network Service Benchmarking.

This patch adds overview & installation instruction to get started on
VNF testing.

Change-Id: I73c9616d7154f701f542ff9a49c32a9516902ff4
Signed-off-by: Deepak S <deepak.s@linux.intel.com>

Merge "yardstick ping testcase yaml update"

Update missing license headers

Change-Id: I063fd37fe25754c94d164ae5a209d15b69322093
Signed-off-by: Deepak S <deepak.s@linux.intel.com>

Merge " add scenario to solve apex ci fail"

Merge "solve apex ci problem (new scenario)"

Merge "tc076 rst documentation"

 add scenario to solve apex ci fail

due to https://gerrit.opnfv.org/gerrit/#/c/27605/
os-odl_l2-bgpvpn-ha in apex has already been renamed to
be os-odl-bgpvpn-ha, so add a new one.

Change-Id: I167bf295b67b2dddbd3da2aa5a2dca666b3fa152
Signed-off-by: rexlee8776 <limingjiang@huawei.com>

solve apex ci problem (new scenario)

new scenario os-odl-gluon-noha in apex pod

Change-Id: I0151ce227e2a3ff476044f0b5c8d4ed61d20b21a
Signed-off-by: rexlee8776 <limingjiang@huawei.com>

yardstick ping testcase yaml update

JIRA:YARDSTICK-565

this patch will add a yaml file to sample floder.
This yaml will as the yaml file of bottlenecks stress test.
some ping test code will be update.

Change-Id: Icc336d5857f4484334bab61870b8568be887ec30
Signed-off-by: liyin <liyin11@huawei.com>

tc076 rst documentation

JIRA: YARDSTICK-534

Change-Id: Idcd8fb600d64c0300b5aaf9bd4108eca6c866526
Signed-off-by: rexlee8776 <limingjiang@huawei.com>

Merge "This Patch is used to add grafana config to opnfv dashboard for kvmfornfv_cyclictest_cpustress_idle,kvmfornfv_cyclictest_memorystress_idle and kvmfornfv_cyclictest_iostress_idle testcases"

Merge "Scenario is reporting result for last test only"

Merge "Bugfix: report date format wrong when upload result data to mongoDB"

Bugfix: report date format wrong when upload result data to mongoDB

JIRA: YARDSTICK-562

Currently we use the follow code to upload data to mongoDB:
report $scenario_status $start_date $stop_date
And the date format will be '%Y-%m-%d' while we want to it be '%Y-%m-%d
%H:%M:%S'ã

Change-Id: I07e601a6362c844a77f9b15a6bcd225ac2ab3f95
Signed-off-by: chenjiankun <chenjiankun1@huawei.com>

Merge "Context improvement: add support for configing node environment"

Context improvement: add support for configing node environment

JIRA: YARDSTICK-556

Currently we do can not config the node environment before heat create a
stack.
But in lots of scene, we need to config node environment before heat.
So I add support for it.

Change-Id: Iac1b74dc780eb40e6ab2c9cf04ed14e2b8f91ca8
Signed-off-by: chenjiankun <chenjiankun1@huawei.com>

Merge "Bugfix: AttributeError: 'dict' object has no attribute 'encode'"

Merge "New reliability/availability testcase - IP datagram error rate and etc."

Merge "NSBPerf: fix indent"

Merge "load_images: update flavor for _ovs_ scenarios"

Merge "pylint fixes: remove redundant parens, fix comparison order"

Merge "Update Openstack CLI Command in yardstick ha test framework configuration files and TC052"

Merge "set log file to store debug info"

Bugfix: AttributeError: 'dict' object has no attribute 'encode'

JIRA: YARDSTICK-557

If we run task with sample/ping.yaml
We will encounter below error, here is the log:
Traceback (most recent call last):
File "/usr/local/bin/yardstick", line 11, in <module>
load_entry_point('yardstick==0.1.dev0', 'console_scripts',
        'yardstick')()
File "/usr/local/lib/python2.7/dist-packages/yardstick/main.py",
line 49, in main
YardstickCLI().main(sys.argv[1:])
File "/usr/local/lib/python2.7/dist-packages/yardstick/cmd/cli.py",
line 167, in main
self._dispath_func_notask()
File "/usr/local/lib/python2.7/dist-packages/yardstick/cmd/cli.py",
line 145, in _dispath_func_notask
func(CONF.category)
File
"/usr/local/lib/python2.7/dist-packages/yardstick/cmd/commands/task.py",
line 45, in do_start
Task().start(param, **kwargs)
File
"/usr/local/lib/python2.7/dist-packages/yardstick/benchmark/core/task.py",
line 83, in start
self._run(scenarios, run_in_parallel, args.output_file)
File
"/usr/local/lib/python2.7/dist-packages/yardstick/benchmark/core/task.py",
line 131, in _run
runner = run_one_scenario(scenario, output_file)
File
"/usr/local/lib/python2.7/dist-packages/yardstick/benchmark/core/task.py",
line 410, in run_one_scenario
if is_ip_addr(scenario_cfg["target"]):
    File
    "/usr/local/lib/python2.7/dist-packages/yardstick/benchmark/core/task.py",
    line 358, in is_ip_addr
    ipaddress.ip_address(addr.encode('utf-8'))
    AttributeError: 'dict' object has no attribute 'encode'

Change-Id: Iba1570416bd8614e38c9e847de730a31d9ddedc2
Signed-off-by: chenjiankun <chenjiankun1@huawei.com>

Scenario is reporting result for last test only

JIRA: YARDSTICK-548

If executing Yardstick scenario with multiple tests, result to file is
reported only for the last test.
In attachment screen output and yardstick.out from following command
yardstick task start --suite tests/opnfv/test_suites/opnfv_smoke.yaml
--output-file /mnt/log/yardstick.out

Change-Id: I8aa446b284dca1bbd1667de2f476ddadfad1337f
Signed-off-by: chenjiankun <chenjiankun1@huawei.com>

NSBPerf: fix indent

Change-Id: Ic51168aa786a5ac5ed589c2c4d23882d76253343
Signed-off-by: Ross Brattain <ross.b.brattain@intel.com>

load_images: update flavor for _ovs_ scenarios

Update the nova flavor used for the following scenarios:
* os-nosdn-kvm_ovs_dpdk_bar-ha
* os-nosdn-kvm_ovs_dpdk-ha
without interfering with older scenario os-nosdn-ovs-noha.

Change-Id: Id641e57a5f41413a891d4335ce2d119a5e8088e9
Signed-off-by: Maryam Tahhan <maryam.tahhan@intel.com>

collectd: typo and call super()

by convention is it good to always call super() even
when inheriting from object

Change-Id: I0618a4957c9a3e9858b0fd964d7c9e663b31b97f
Signed-off-by: Ross Brattain <ross.b.brattain@intel.com>

Update Openstack CLI Command in yardstick ha test framework configuration files and TC052

JIRA: YARDSTICK-547

Change-Id: Idde2dc56436c9cf4b8696bfd0056ab4e47c97c9a
Signed-off-by: tjuyinkanglin <14_ykl@tongji.edu.cn>

Merge "Update Openstack CLI Command for Scenario-based HA Testcases which have multiple commands: yardstick tc025, tc050 ,tc051,  tc053, tc054"

Merge "Update CLI Command in yardstick TC019, TC045~TC048"

Merge "heat: minor fixes, don't use len > 0 and use next instead of [0]"

This Patch is used to add grafana config to opnfv dashboard for
kvmfornfv_cyclictest_cpustress_idle,kvmfornfv_cyclictest_memorystress_idle
and kvmfornfv_cyclictest_iostress_idle testcases

Change-Id: Ia49c33a658f342e96cb9cb3fbc499e56bb08ebd6
Co-Authored by:Rajitha <y.rajitha@tcs.com>
Signed-off-by:Shravani <shravani.p@tcs.com>

Merge "Bux: task_id parameter from API can not pass to yardstick core"

Update Openstack CLI Command for Scenario-based HA Testcases which have multiple commands: yardstick tc025, tc050 ,tc051,  tc053, tc054

JIRA: YARDSTICK-546

Change-Id: Id94b32f5e053f3f6a7c78980dce22b3aab7bbd13
Signed-off-by: tjuyinkanglin <14_ykl@tongji.edu.cn>

Merge "fix super() calls, must use explicit class name"

Merge "more logging fixes"

Merge "remove trex install from run_tests.sh."

Merge "heat: convert open to context manager"

Merge "heat: close file before parsing template"

Merge "vnf_generic: replace list comprehension with generator expression"

Merge "Bugfix: write_json_to_file: use json.dump with files"

Merge "nsb: move NSB root to constant, add unittest"

Merge "vnf_generic: convert sshmanager to class"

Merge "test_tg_text: fix indentation"

Merge "vnfdgen: replace six.iteritems() with .items()"

Merge "test_vnf_generic: fix unitests when files are present"

Merge "Bugfix: apex_lake: sort json keys for git"

Merge "test_env_action: use dict literal"

set log file to store debug info

so the debug info can be pushed into artifacts

JIRA: YARDSTICK-507

Change-Id: I35f50e69adc0125f6136aab3ca0e35e2d9500112
Signed-off-by: rexlee8776 <limingjiang@huawei.com>

Update CLI Command in yardstick TC019, TC045~TC048

JIRA: YARDSTICK-545

Change-Id: Ifd3348e029f0ddbfa0117b4eef4493d443a4de4d
Signed-off-by: tjuyinkanglin <14_ykl@tongji.edu.cn>

Merge "Push yardstick debug log into the artifacts"

BugFix: Adopt to latest result structure while parsing the results

Change-Id: I298ea69c86019936585df4bae30ce8ea12d179f4
Signed-off-by: Deepak S <deepak.s@linux.intel.com>

New reliability/availability testcase - IP datagram error rate and etc.

JIRA: YARDSTICK-534

This test case uses nstat to monitor network metrics provided by the kernel in
a host and calculate IP datagram error rate, ICMP message error rate, TCP
segment error rate and UDP datagram error rate.

Change-Id: I2fe6457bb5c95d0446c1463991ae31cc664b09f8
Signed-off-by: JingLu5 <lvjing5@huawei.com>

Bux: task_id parameter from API can not pass to yardstick core

JIRA: JIRA: YARDSTICK-531

Now in API entry the task_id parameter will not pass to yardstick core.
I fix it by pass task_id to yardstick.benchmark.core.task.start() method.

Change-Id: Icf58f2f68549ca3314d6ec0f118b360537126d41
Signed-off-by: chenjiankun <chenjiankun1@huawei.com>

Merge "KVMFORNFV: Implementing test suites for kvmfornfv ovs+dpdk+barometer scenarios."