Update /etc/hosts in yardstick cloud image

Adding the hostname to /etc/hosts prevents
some 'unable to resolve host' error messages.

Change-Id: I1fd16007955287d436e895d53db6ce19b0b6fe3e
Signed-off-by: Jo¶rgen Karlsson <jorgen.w.karlsson@ericsson.com>

Add cleanup trap to yardstick-img-modify

Fixes a problem with loopback devices not
beeing detached when the image build fails.

Change-Id: I3e422be4fb0157289a032c14700e184f58d544d9
Signed-off-by: Jo¶rgen Karlsson <jorgen.w.karlsson@ericsson.com>

Merge "part 2 :add coverage report in Jenkins for Yardstick"

Docker container for Yardstick CI part 2

Added test suit selection and an option to use
the HTTP Result API.

Part 1: https://gerrit.opnfv.org/gerrit/#/c/2201/

Change-Id: I1c25d07e46cd44e25f448706ff2dfc3b31cd7208
JIRA:-
Signed-off-by: Jo¶rgen Karlsson <jorgen.w.karlsson@ericsson.com>

Second commit of the vTC

JIRA: Yardstick-37
JIRA: Yardstick-137

The git clone process from the bitbucket repository is done using OAuth2 authentication now.
Various build bugs have been fixed.
Documentation has been updated, an architecture graph has been for better understanding.
README.rst has been moved to docs/source/vTC
along with an abbreviations.rst

Change-Id: I864a90026df81779f7935f33acfa26ac9fb7c50c
Signed-off-by: Akis Kourtis <akis.kourtis@iit.demokritos.gr>

Merge "Avoid the ValueError exception for a ping timeout."

Avoid the ValueError exception for a ping timeout.

In ping.py:
If ping a ip address timeout, the return value "stdout"
is null. And the code "rtt=float(stdout)" raises a
ValueError exception. The better handle is to avoid the
exception and log a ping timeout.

Change-Id: Ia2a3ff44c35dda1a700a5109f8e642a636e89bc6
Signed-off-by: wu.zhihui <wu.zhihui1@zte.com.cn>

Support NodeContext type

Initial NodeContext implementation to support BareMetal,
Controller, Compute scenarios.

Usage:

0) install yardstick
1) mkdir -p /etc/yardstick/nodes
2) cp <yardstick_repo>/etc/yardstick/nodes/pod.yaml.sample \
       /etc/yardstick/nodes/pod.yaml
3) edit /etc/yardstick/nodes/pod.yaml (make show ip, username,
       ssh key are configured correctly)
4) yardstick -d task start \
       <yardstick_repo>/samples/ping-node-context.yaml
5) cat /tmp/yardstick.out

Design etherpad link:
    https://etherpad.opnfv.org/p/yardstick_framework

JIRA: YARDSTICK-169

Change-Id: I3f6ade8243e68d88326f23ed213edb32c638ed32
Signed-off-by: QiLiang <liangqi1@huawei.com>

Extend lmbench scenario to measure memory bandwidth

Lmbench scenario has now two scripts and will choose between them,
based on whether the intention is to run memory latency or bandwidth
tests. Added also unit test file for this scenario.

JIRA: YARDSTICK-113

Change-Id: I2ba4dbef31f3cafbdb3c583ece5ed9512a906896
Signed-off-by: Kristian Hunt <kristian.hunt@gmail.com>

part 2 :add coverage report in Jenkins for Yardstick

this part is focus on script on run coverage test,not only show missing lines
but also show diff between your patch and master,
actually,it produce a html for coverage,but now ,it just on your local machine
extra missing lines is 10-lines,final target is 4-lines

JIRA:YARDSTICK-108

Change-Id: I550dff51d6f89562447e12127646155325e38a4a
Signed-off-by: kubi <jean.gaoliang@huawei.com>

record the total time of test case running

total time and one task time both will be put into console

JIRA:YARDSTICK-166

Change-Id: I1422355c5ca0228c11e6334c13bb13554bdca4af
Signed-off-by: kubi <jean.gaoliang@huawei.com>

Heat context code refactor part 2

Heat context code refactor to cater for the evolution of the
Yardstick framework.

Refactor runner_cfg host/target info handle, as specified at
https://etherpad.opnfv.org/p/yardstick_framework
step 4. Get general Context info (use Context.get).

Before this refactor host and target vm must have the same user name
and ssh key, that is not general enough for later extension.

test_case.yaml do NOT need to change.

JIRA: YARDSTICK-168

Change-Id: I5cfe868f3c6f633214ef550bc9676fe1de0709db
Signed-off-by: QiLiang <liangqi1@huawei.com>

Add updated version for template

This patch adds a second version for the template for test case
description, in table format.
Minor updates in the original version, opnfv logo added.

Jira:YARDSTICK-2

Change-Id: Ia9b2ba9c237d0ce8493e512663f95b73df210175
Signed-off-by: Ana C <ana.cunha@ericsson.com>

add lua script for RFC 2544 throughput on dpdk packet generator

First commit for ApexLake: the vTC Characterization Framework
The included file is a lua script for the calculation of the throughput for dpdk_pktgen

JIRA: YARDSTICK-35

Change-Id: I02d015cee5f6b0593d668498439893f9091f5a8b
Signed-off-by: Vincenzo Riccobene <vincenzox.m.riccobene@intel.com>

Update sla check for scenarios

This patch modify the question that SLA check result is not complete.

JIRA: YARDSTICK-172

Change-Id: I10438390baee92caf00dbfcdbdb833823ff8ce31
Signed-off-by: houjingwen <houjingwen@huawei.com>

fix for timeout on LF-POD2 (CI)

Change-Id: Ie2e72db9e7b88a4470ffda51dfc472959fe1bc8e
JIRA:-
Signed-off-by: Jo¶rgen Karlsson <jorgen.w.karlsson@ericsson.com>

Heat context code refactor

Heat context code refactor to cater for the evolution of the
Yardstick framework.

At test_case.yaml context segment add "type" to indicate the
context type, see samples/ping-heat-context.yaml for an example.
And the default context type is Heat, so the existing yaml file
do not need to change.

JIRA: YARDSTICK-168

Change-Id: Ida0ce12c17cd9b88d7acfb4c9eb1ac6986394b38
Signed-off-by: QiLiang <liangqi1@huawei.com>

Fix for netperf install in glance image

Fixes two issues in the chrooted environment:

- /proc must be mounted when installing certain packages.

- prevent services from starting when installing or updating
packages.

JIRA :-
Signed-off-by: Jo¶rgen Karlsson <jorgen.w.karlsson@ericsson.com>
Change-Id: Ia7180c190bf93c173ea93207ed323ca96662c029

Use result_collection_api to store test result

Execute a sample task file from Yardstick, push the test results
to MongodB provided by Releng using the common result api
provided by Functest.

Usage:

0) install yardstick

1) config yardstick
mkdir /etc/yardstick
cat << EOF >> /etc/yardstick/yardstick.conf
[DEFAULT]
debug = True
dispatcher = http

[dispatcher_http]
timeout = 5
target = http://213.77.62.197/results
EOF

2) run test
yardstick task start sample/fio.yaml

3) fetch result from remote result_collection_api
curl "http://213.77.62.197/results?case=Fio&installer=compass"

JIRA: YARDSTICK-132

Change-Id: I0996c6487c1900704380feb895555057a3f184e9
Signed-off-by: QiLiang <liangqi1@huawei.com>

add error handling when given failing script calls

JIRA:YARDSTICK-100

Change-Id: I1986b5e443abf186ef9c0235b66ada26c8574af1
Signed-off-by: wym_libra <yimin.wang@huawei.com>

Reorganize documentation in new structure

Remove the to-be-reorganized folder and reorganize
documentation in properly named subfolders.

Modified conf.py to reflect yardstick project name.

Modified index.rst with introduction about yardstick.

Templates were moved to new subfolder, no changes in
the content.

Jira:YARDSTICK-133

Change-Id: Iea5948733c57ff57eb946f44739b69d0e7291356
Signed-off-by: Ana C <ana.cunha@ericsson.com>

Add Cyclictest scenario and sample

Support measuring operating system's high resolution by using Cyclictest.

JIRA: YARDSTICK-122

Change-Id: I2e00ce117e263deaaf52cd2d663b845bd5b65432
Signed-off-by: QiLiang <liangqi1@huawei.com>

Merge "Support general configuration file"

Support general configuration file

Use openstack library oslo_config for parsing configuration options
from the command line and configuration files.
Refer http://docs.openstack.org/developer/oslo.config/ or rally
source code for more info on oslo_config library usage.

This patch is initially for test result dispatcher configuration,
but it is very general to use.

Usage:
  0) install yardstick
  1) mkdir /etc/yardstick
  2) cp <repo_root_dir>/etc/yardstick/yardstick.conf.sample \
        /etc/yardstick/yardstick.conf
  3) edit /etc/yardstick/yardstick.conf
  4) run `yardstick task start xxx` cmd

JIRA: YARDSTICK-61

Change-Id: I01677ef6e9ab7c1975aa193799195e850da73478
Signed-off-by: QiLiang <liangqi1@huawei.com>

Support for netperf

As agreed in the IRC meeting, use iperf for YARDSTICK-112;
support for netperf shall also be included in the framework (Yardstick-121).
bulk data test and req/rsp test are supportted by netperf

JIRA:YARDSTICK-121
Change-Id: I0e934dc067802c2792d751a19a187cd00ad8741b
Signed-off-by: kubi <jean.gaoliang@huawei.com>

Merge "Docker container for Yardstick CI"

Docker container for Yardstick CI

The Docker container is intended to be run by the CI pipeline but it
may also be used stand alone.

Building the docker image:
$ cd yardstick/ci/docker
$ make clean && make

Pushing image to docker hub:
$ docker login ... (credentials needed)
$ docker push opnfv/yardstick-ci (need to connect your account to opnfv)

The docker image must be manually built and pushed to the docker Hub.
This will probably be handled by gerrit triggers in the
future (including revision handling and tagging of images).

Example invocation:

            docker run \
               --privileged=true \
                -t \
                -e "INSTALLER_TYPE=fuel" \
                -e "INSTALLER_IP=10.20.0.2" \
                -e YARDSTICK_BRANCH="refs/changes/01/2201/7" \
                -e RELENG_BRANCH="master" \
                opnfv/yardstick-ci \
                run_benchmarks

Basic steps performed by the container:

    1. clone yardstick and releng repos
    2  setup OS credentials (releng scripts)
    3. install yardstick and dependencies
    4. build yardstick cloud image and upload it to glance
    5. upload cirros-0.3.3 cloud image to glance
    6. run yardstick test scenarios

If anything goes wrong in any of the steps above a non-zero exit
status is returned.

Some limitations:

Scenario results (yardstick.out) are currently discarded. A future
patch will take care of dumping the result to a database.

Currently the container only runs the ping sample scenario. Testsuite
execution (and selection) will be added in a future patch.

The container has only been tested against fuel installations.

Change-Id: I0bd29035082d3e283429c7392de8fc11b9fd777f
JIRA: YARDSTICK-136
Signed-off-by: Jo¶rgen Karlsson <jorgen.w.karlsson@ericsson.com>

Merge "Fio scenario support sla"

Add test suite functionality to task commands

This patch proposes a more permanent solution to replace the already
existing one (YARDSTICK-106).

A test suite is a .yaml file which consists of multiple task files which
are meant to run as a one set. Each test case in the test suite has to
specify the location of the test .yaml task file and can specify additional
task arguments or a task arguments file.

It is possible to specify the directory where the task files are located
in the suite file. If it is left unspecified then it defaults to
tests/opnfv/test_cases according to https://etherpad.opnfv.org/p/yardstick_folders

A Command line argument --suite is added to the task command. This
argument indicates that the intention is to run a test suite.

JIRA: YARDSTICK-107

Change-Id: I69508b3b536dd592b6240a2a32dd5d665e0ac4b4
Signed-off-by: Kristian Hunt <kristian.hunt@gmail.com>

Fio scenario support sla

JIRA: YARDSTICK-34

Change-Id: I782ba5845f8bd54a19bad078fe7be546400f7524
Signed-off-by: houjingwen <houjingwen@huawei.com>

add a key check to fix bug

JIRA:YARDSTICK-160

Change-Id: I2cfe91b30d0c906417234d5bf7787fb5dc568921
Signed-off-by: jean.gaoliang@huawei.com <jean.gaoliang@huawei.com>

Add testing packet delay variation between VMs

1)create test case("iperfs-jitter") for measuring packet delay variation
2)and modify "iperf3.py" to support it

JIRA:YARDSTICK-131

Change-Id: Ic3416a713b69dc7687f6f85ecc0b79da8dfb7ed9
Signed-off-by: wym_libra <yimin.wang@huawei.com>

Add QiLiang as committer

QiLiang email added to INFO file.

JIRA:-

Change-Id: I1703df8fb02f2570ddb47c9aaa5f4db362ed43ff
Signed-off-by: Ana C <ana.cunha@ericsson.com>

Fix the bug described in YARDSTICK-142

Delete two line codes in setup.py.
And add "easy_install -U setuptools" in README.rst.

JIRA: YARDSTICK-142

Change-Id: I254589b776a209e3ca9a18e76d910d7f49e2a01a

Add missing YAML document start boundaries

This patch adds YAML document start boundaries (YAML spec 4.3.2)
to samples, where the boundaries are missing.

JIRA: -

Change-Id: I6e67d4d73a449ad901392c017220a61f642716ac
Signed-off-by: Kristian Hunt <kristian.hunt@gmail.com>

Add functional tests in verify and merge

As Ana said ,"The first functional test should be as simple as a "Hello world",
 it shall be possible to run the "Hello world" test without using OpenStack."
so i just finish functional test framework and do functional test for subcommand
"runner"and"scenario" without using Openstack.

JIRA:YARDSTICK-103

Change-Id: I673ae61f9922536a685d32ae62e5ad5165472f9d
Signed-off-by: kubi <jean.gaoliang@huawei.com>

Fix bug in fio scenario

1) when duration>3600s in fio.yaml, ssh time out
2) sometimes the latency value in test result is null
3) update plot.py, fit for code update in fio.py
4) small bug in file.py (result output dump)

Add --output-format=json in default args, so fio command
can return json format data.

JIRA: YARDSTICK-143

Change-Id: Ie02977b8c9f11986a1eed66896b84d18db3d2211
Signed-off-by: houjingwen <houjingwen@huawei.com>

Modify iperf sample to use yardstick testing image

This patch will make the iperf sample test case consistent with other
test cases by using the yardstick-trusty-server image and making it
possible to run this test case "out of the box" without requiring the
modification of the sample file.

Change-Id: I9b0da0d94f9c33f07bca79067a1eb5d615e2c15a
JIRA: YARDSTICK-148
Signed-off-by: Kristian Hunt <kristian.hunt@gmail.com>

Structure output and make it less redundant

Note: this commit replaces:
      https://gerrit.opnfv.org/gerrit/#/c/976/8

Adjusts the JSON output of the runners to follow a different structure,
laid out below. It is based upon the patch above but is not using the
output manager.

The purpose is to provide a unified basic layout (as already existed),
while making long data series much less repetitive and more space
efficient.

OUTPUT FORMAT:

------------------------------------------------------------------------

RUNNER PREP - printed exactly once per runner per scenario.
Runner MUST print this before sending any RUNNER DATA output
{
    runner_id: <int>
    scenario_cfg: {
        <scenario and runner config>
    }
}

where
    runner_id: ID of the runner sending this block
    scenario_cfg: scenario and runner configuration

------------------------------------------------------------------------

RUNNER DATA
runner may print any number of these AFTER having printed a RUNNER PREP
{
    runner_id: <int>
    benchmark: {
        <measurements>
    }
}

------------------------------------------------------------------------

The runner_id currently is not unique across runners as it is assigned
by noting the runner process id in the underlying operating system.

A possible improvement would be to assign runner_id an UUID value
according to RFC 4122 (e.g. uuid.uuid4() in python).

------------------------------------------------------------------------

Other changes/cleanups in this patch:

- Removed the context argument from _worker_process as it was
  redundant. It contained a dictionary with the runner configuration
  but the same dictionary was already in included in the scenario_args argument.

- For clarity renamed scenario_args to scenario_cfg. scenario_cfg was
  the original name used in task.py and it changed name across function calls.

Change-Id: I17d96f37c7d3e24b0747d23fcad7509fa949d662
JIRA: YARDSTICK-59
Signed-off-by: Jo¶rgen Karlsson <jorgen.w.karlsson@ericsson.com>

Merge "Remove setting logger level to debug in scenarios"

Move documentation to new sphinx build

TODO: Reorganize documentation into properly named subfolders
TODO: Add logos to documentation (see index.rst for example)
Note you can see the results of this change via a link in the gerrit
comments below
NOTE: The merge job for your project has not been enabled, this code
will not go to the artifacts page upon a merge. you can merge it and
work on it in your own time, please contact me to enable the merge
(the merge job will make this documentation avaliable to the public on
artifacts.opnfv.org)
JIRA:RELENG-15

Change-Id: I8fd519393416e2ac2b3ada6fe0670aa4d038fc87
Signed-off-by: Aric Gardner <agardner@linuxfoundation.org>

Remove setting logger level to debug in scenarios

Logging level should be specified using a command line flag -v or -d
when running yardstick, rather than hardcoded into source code. If the
message is to be displayed whenever yardstick is executed regardless
of the verbosity level, then the message should be logged to warning
or error levels, instead of debug.

JIRA: YARDSTICK-95

Change-Id: Idc9b81b583f4999bfbc57893f0ab3c3675c70f71
Signed-off-by: Kristian Hunt <kristian.hunt@gmail.com>

Merge "Add test result dispatcher"

Merge "add coverage report in Jenkins for Yardstick."

Force apt-get to use ipv4 addresses

Workaround to prevent apt-get from using ipv6 addresses on LF POD.

JIRA: -
Change-Id: I58e31a01f03271cb716a76e5abed18d67d87a0a7
Signed-off-by: Jo¶rgen Karlsson <jorgen.w.karlsson@ericsson.com>

add coverage report in Jenkins for Yardstick.

since coverage report based on master, coverage configure file should be merged to master at first
then coverage shell script will be committed after coverage conf
As first part, this patch only include two configure files and one init file :
.testr.conf , .coveragerc, __init__.py

Change-Id: I073e65b641144e4878595f073cd37081e4a4940b
JIRA:YARDSTICK-108
Signed-off-by: kubi <jean.gaoliang@huawei.com>

Add support for building images on CentOS

This is a workaround for building on CentOS.

CentOS don't have nbd so guestfstool is used to mount the
ubuntu image.

The http sources has been changed to ftp as the apt-get
tool inside the Ubuntu image dont work well with http
sources when running on CentOS.

Change-Id: I23679ff034ea76782dcc73d3283cb70ebace5ee8
JIRA: YARDSTICK-136
Signed-off-by: Jo¶rgen Karlsson <jorgen.w.karlsson@ericsson.com>

Support to config external network by shell env

Example invocation:
$ export EXTERNAL_NETWORK=net04_ext
$ yardstick task start samples/ping.yaml

The default external network is "net04_ext"

external_net should not be possible set in yaml anymore.

JIRA: YARDSTICK-54

Change-Id: I8c7b2850801f312c6878e9a363b06cdc8ade09bf
Signed-off-by: QiLiang <liangqi1@huawei.com>

Add unit test for iperf3

Sample output from the iperf3 is read from a pre-generated json file.

Change-Id: I6e04c6bd2e61b841c7e5673cfa78aeb17220a5f9
JIRA:-
Signed-off-by: Kristian Hunt <kristian.hunt@gmail.com>

add support for Jinja2 in task file

Add support in task file for the template syntax based on Jinja2.

JIRA:YARDSTICK-101

Change-Id: I24be133ba590510612d97a1fce6c024e6edb57e4
Signed-off-by: kubi <jean.gaoliang@huawei.com>

Add unit test for logical model

Add unit tests for logical model (model.py). This test suite does not
include tests for unfinished functionality - some parts of methods or
in some cases whole methods with unresolved TODOs are not tested.

This test suite is not complete, for most methods only the default
case is tested.

JIRA:-

Change-Id: I0984fb3655513f5ad67dcc7436461990da9296e7
Signed-off-by: Kristian Hunt <kristian.hunt@gmail.com>

Add script for running yardstick tasks back-to-back

This script enables to run multiple yardstick tasks in the yardstick
daily build without having to change the Jenkins job in the releng
repository.

This script should be executed from the main yardstick directory just
as run_tests.sh.

If at least one of the tasks listed returns a non-zero value then the
script continues executing, but in the end will exit with value 1.

JIRA: YARDSTICK-106

Change-Id: I8a6bb7e6c03ec551709ff66a45aad7257fb36e92
Signed-off-by: Kristian Hunt <kristian.hunt@gmail.com>

FIO support variable iodepth

FIO storage performance varification support variable iodepth.

JIRA: YARDSTICK-119

Change-Id: Ib6af55c5fbcaa7727a7541b13053b5e4ce8d3203
Signed-off-by: houjingwen <houjingwen@huawei.com>

Merge "Add unit test for fio"

Add unit test for utils

Unit test case for utility function itersubclasses is from rally.
A separate test case is created for each utility function.

Running of unittest from run_test.sh is NOT enabled.

Change-Id: I47a8020a05b19eb3f1edcebde1042c732bff5561
Signed-off-by: Kristian Hunt <kristian.hunt@gmail.com>

Add test result dispatcher

This patch is the initial implementation of DB result storage.

Having implemented a dispathcer which enable user select different ways
to store test results according to different requirements. This patch
can support not only local file storage, but also remote storage by
using http request(it will call common-db-api when available). Later,
local DB sotrage will be supported.

This patch is raw and simple, which is implemented with reference to
openstack ceilometer.

Any comment is welcome.

JIRA: YARDSTICK-61

Change-Id: Icaf8369edfab5d05f0819eb02d5b05dc8a04d69d
Signed-off-by: QiLiang <liangqi1@huawei.com>

Add unit test for template_format.py

Unit test file for template_format.py originates from
python-heatclient. Dependency for testscenarios module is removed and
testtools module is replaced with python native unittest module.

Running of unittest from run_test.sh is NOT enabled.

JIRA: -

Change-Id: I14e77ce04763b503cc757fe7098d2c704a7ae22c
Signed-off-by: Kristian Hunt <kristian.hunt@gmail.com>

Add unit test for ssh

Unit test file for ssh.py originates from rally. It is modified to
be consistent with the ssh module used in yardstick - some tests for
missing functionality are removed and naming convention is changed
(ssh in yardstick vs sshutils in rally).

Running of unittest from run_test.sh is NOT enabled.

JIRA:-

Change-Id: I3ea554e3fbe6f1f906778f88ddd859424331c8df
Signed-off-by: Kristian Hunt <kristian.hunt@gmail.com>

Merge "Add unit test for pktgen"

Merge "Add iteration type for Runner"

Add dependencies to dev-env section in README.rst

Add paragraph for installing required dependencies to README.rst to
make setting up a new development environment easier and documented.

Moved existing command to install virtualenv to the new paragraph to
maintain integrity.

JIRA:-

Change-Id: I356611fbb92a5d2a556675e779a11308c22a8ceb
Signed-off-by: Kristian Hunt <kristian.hunt@gmail.com>

Add iteration type for Runner

A Iteration runner is roughly the same as a Duration runner but runs
for a configurable number of times/iterations instead of time.
Basically just the termination condition is different.
modify the unit and default value of iteration.
rename iteration to iterations
JIRA:YARDSTICK-49

Change-Id: I67f4014dc3cf923cd31cc2e990e2f7219bce40fe
Signed-off-by: kubi <jean.gaoliang@huawei.com>

Add support for generating graphs from output

Command line tool yardstick-plot is to be used to visualize results
gathered from yardstick framework's output file. Currently supports
plotting graphs from ping, pktgen, iperf3 and fio tests.

Yardstick-plot takes two arguments - input file and output folder
and both of them have defaults to fall to if left unspecified.

Supports having multiple different scenario types in an input file,
while assuming that all results from the same scenario type belong
to one graph. Thus, results plotted from a single scenario type
with different parameters are currently non-informative.

yardstick-plot is declared as an extra for yardstick in setup.py as
it is not required for all use cases of the yardstick framework.
It can be installed for example using command:
    $ pip install -e .[plot]
from the folder where setup.py is located.

Example invocation: yardstick-plot -i /tmp/yardstick.out -o /tmp/plots/

JIRA: YARDSTICK-65

Change-Id: Ic436ca360ba2496aa829ca817b1d9d5f3c944c6c
Signed-off-by: Kristian Hunt <kristian.hunt@gmail.com>

Add perf scenario and sample

Supports using perf software event counters. No hardware events are
currently supported. It is possible to add some load to the system
using the load parameter, otherwise the system will sleep while the
measurements are collected.

It is possible to configure SLA for any event measured.

Change-Id: Ic413d940093aadd10dc32888ea416aa94316a6fe
JIRA: YARDSTICK-51
Signed-off-by: Kristian Hunt <kristian.hunt@gmail.com>

Merge "Add lmbench scenario and sample"

Add lmbench scenario and sample

Supports measuring memory read latency using Lmbench.
SLA can be verified for maximum latency time in nanoseconds
compared against results from every measurement taken.

Change-Id: Ia187e68eaa03341ba14b6e9eb986afb1d00dd0f6
JIRA: YARDSTICK-89
JIRA: YARDSTICK-92
Signed-off-by: Kristian Hunt <kristian.hunt@gmail.com>

Make run_tests.sh verbose and enable unit tests

By default output from run_tests is verbose. This enables seeing the
error messages in Jenkins' console output when a job fails.

Output can alternatively be captured to a log file using an -f flag.
Example invocation for logging output to a file: $ ./run_tests.sh -f

Running of unittest from run_test.sh is enabled.

JIRA: YARDSTICK-102
      YARDSTICK-104

Change-Id: I3be7d7873cf75247980d97c3fbdf0bfdbabe53ad
Signed-off-by: Kristian Hunt <kristian.hunt@gmail.com>

Fix typo in runner output

Sequence and Arithmetic runners have an extra colon
in their 'sargs:' output. This commit removes that
unnecessary and incorrect character.

Change-Id: I9bb1af5397812318e94e3bd71c680605c4917c1a
JIRA: YARDSTICK-98
Signed-off-by: raindirve <seanw@kth.se>

Merge "Update pbr requirement version in setup.py"

Update pbr requirement version in setup.py

JIRA: YARDSTICK-96

Change-Id: Ic7e918b6d287725e2451da93aa8a36ec2b09ca0a
Signed-off-by: QiLiang <liangqi1@huawei.com>

Merge "Update example invocation of yardstick in main.py"

Fix a bug for algorithm of arithmetic runner.

since value will overstep the stop value under some condition

JIRA:YARDSTICK-97

Change-Id: I11656206fc9b576283d243a3be249276dba03759
Signed-off-by: kubi <jean.gaoliang@huawei.com>

Add unit test for fio

Sample output from fio_benchmark.bash is read from a string.
Running of unittest from run_test.sh is NOT enabled.

JIRA:-

Change-Id: If4f4d00cf215fa1d332260817a8a3e702e72fd7e
Signed-off-by: Kristian Hunt <kristian.hunt@gmail.com>

Add unit test for pktgen

Sample output from pktgen_benchmark.bash is read from a string.
Running of unittest from run_test.sh is NOT enabled.

JIRA:-

Change-Id: I51391df0726ed9e7486775d2cdd5583b305ea8e0
Signed-off-by: Kristian Hunt <kristian.hunt@gmail.com>

Update example invocation of yardstick in main.py

Example invocation in main.py is in accordance with change 40f49a4

JIRA:-

Change-Id: Id3b07e83db768c6d43f6a5bddc954448c9f1e6c4
Signed-off-by: Kristian Hunt <kristian.hunt@gmail.com>

Merge "Fix yardstick.out overwritten bug"

Add test case description template

Template states mandatory information for each
test case to be delivered by Yardstick Project.

JIRA: YARDSTICK-2

Change-Id: I16b98acc6689e24f8e6a85c356ee1b8991bd5276
Signed-off-by: Ana C <ana.cunha@ericsson.com>

Fix yardstick.out overwritten bug

The output of scenarios will be appended to the yardstick.out file.

JIRA: YARDSTICK-45

Change-Id: I185c6d2a8a534c8bb2b731bb84c47bdf4bad4427
Signed-off-by: panghao1 <shamrock.pang@huawei.com>

Fix bug in cli.py

Make sure log level set correctly.

JIRA: YARDSTICK-57

Change-Id: Icc0e100432ce773f70ee0ac9b18471f89849d990
Signed-off-by: kubi <jean.gaoliang@huawei.com>

bug fix: install ssh key resource files

JIRA: YARDSTICK-58

Change-Id: I6d930f8c35eb42a8e5f0f011dfa836496d68ff98
Signed-off-by: QiLiang <liangqi1@huawei.com>

Apply theme to server names in samples

By request, changed the misleading 'client' and 'server' designations
under context:servers in the sample files, to avoid misunderstandings
and convey the message that their names are irrelevant.

Uses the Greek pantheon as established in
https://gerrit.opnfv.org/gerrit/#/c/946/

JIRA: -
Change-Id: I28438340f7cbad679c2ffd4d147fbf0c7d2a379d
Signed-off-by: raindirve <seanw@kth.se>

Fix iperf3 target ipaddr and no options

1. Fixes runner failing because of key error in context 'target_ipaddr'.
2. Fixes type error when no options are specified in the task file
(for example as in the current iperf3 sample task file).

JIRA:-

Change-Id: I21a1dea4571c14dbb1f9862dcf70b078837ebf07
Signed-off-by: Kristian Hunt <kristian.hunt@gmail.com>

Add support for action hooks in runner config

pre-start and post-stop intention is to be used to gather
information about the target system.

single-shot and periodic-action intention is to perform
actions on the infrastructure or cloud resources. For example
server live migration or network interface down.

Example of what can be added in the runner section:

    pre-start-action:
        command: "heat stack-show demo"
    periodic-action:
        interval: 10
        command: "ifconfig vboxnet1"
    single-shot-action:
        after: 30
        command: "nova show goofy.demo"
    post-stop-action:
        command: "nova list"

pre-start and post-stop data are added into the output file.
periodic and single-shot are not because that would interfere with
the actual sampled data. Besides the intention is not to log statistics
but do things with the infrastructure such as server live migration.

TODO: add sections to the output file, something like pre, data & post

JIRA: YARDSTICK-46
Change-Id: Ia059813fb74733f86368aea9c7a20e5afb71d228
Signed-off-by: Hans Feldt <hans.feldt@ericsson.com>

Add support for measuring storage performance use fio

A simple test case is added that will test writes to ephemeral storage.
See samples/fio.yaml

The Fio test type can also be used to test block storage, just modify
the "filename" argument.

JIRA: YARDSTICK-34

Change-Id: I1758d2999f8a5fdd44726e1dfc3e9769ea39dad6
Signed-off-by: houjingwen <houjingwen@huawei.com>

Add new sequence runner

The "sequence" runner will use an input value of the test for every
run from a pre-defined list from the task file.
Example runner section of the task file:
    type: Sequence
    interval: 1
    scenario_option_name: packetsize
    sequence:
    - 100
    - 150
    - 200

JIRA: YARDSTICK-47

Change-Id: I5bde9b78cb356499c338ef3da26ac1783670887d
Signed-off-by: Kristian Hunt <kristian.hunt@gmail.com>

Rename server resources aligning with task file

In the task file we have cross referencing between servers (VMs).
This is done with DNS style naming. However servers created in the
cloud does not get the same type of name.

This patch aligns the cloud resource name with the one in the task file.
This prepares for running external scripts that takes server names as
input (see YARDSTICK-46)

The "instances" support in model.Server is not really working and
should be removed or fixed. No sample task file is using this
feature for now.

Change-Id: If2f752a82d224f07e4b5ee2361c1ff2454f39462
JIRA: -
Signed-off-by: Hans Feldt <hans.feldt@ericsson.com>

Add Pktgen test step duration

JIRA: YARDSTICK-48

Step duration for Pktgen can be configured for each step.

Change-Id: Ida6e2f7d8a1c7d86fb2e65389b5b56d5958d3ad9
Signed-off-by: Kristian Hunt <kristian.hunt@gmail.com>

Add support to list and show runners & scenarios

Example usage and output:

$ yardstick runner list
+------------------------------------------------------------------------------+
| Type             | Description
+------------------------------------------------------------------------------+
| Duration         | Run a scenario for a certain amount of time
| Arithmetic       | Run a scenario arithmetically stepping an input value
| Constant         | Run a scenario a certain number of times
+------------------------------------------------------------------------------+
$ yardstick runner show Duration
Run a scenario for a certain amount of time

If the scenario ends before the time has elapsed, it will be started again.

  Parameters
    duration - amount of time the scenario will be run for
        type:    int
        unit:    seconds
        default: 1 sec
    interval - time to wait between each scenario invocation
        type:    int
        unit:    seconds
        default: 1 sec

$ yardstick scenario list
+------------------------------------------------------------------------------+
| Type             | Description
+------------------------------------------------------------------------------+
| Iperf3           | Execute iperf3 between two hosts
| Pktgen           | Execute pktgen between two hosts
| Ping             | Execute ping between two hosts
+------------------------------------------------------------------------------+
$ yardstick scenario show Iperf3
Execute iperf3 between two hosts

By default TCP is used but UDP can also be configured.
For more info see http://software.es.net/iperf

  Parameters
    bytes - number of bytes to transmit
      only valid with a non duration runner, mutually exclusive with blockcount
        type:    int
        unit:    bytes
        default: 56
    udp - use UDP rather than TCP
        type:    bool
        unit:    na
        default: false
    nodelay - set TCP no delay, disabling Nagle's Algorithm
        type:    bool
        unit:    na
        default: false
    blockcount - number of blocks (packets) to transmit,
      only valid with a non duration runner, mutually exclusive with bytes
        type:    int
        unit:    bytes
        default: -

JIRA: -
Change-Id: If218e129a30af7e20792190003c214677e732252
Signed-off-by: Hans Feldt <hans.feldt@ericsson.com>

add new command line handler

New command line handler with pluggable classes.

Task subcommand added.

To run a scenario: yardstick -d task start samples/ping.yaml

$ yardstick -h
usage: yardstick [-h] [-V] [-d] [-v] {task} ...

Command-line interface to yardstick

optional arguments:
  -h, --help     show this help message and exit
  -V, --version  display version
  -d, --debug    increase output verbosity to debug
  -v, --verbose  increase output verbosity to info

subcommands:
  {task}

$ yardstick task -h
usage: yardstick task [-h] {start} ...

Task commands.

       Set of commands to manage benchmark tasks.

optional arguments:
  -h, --help  show this help message and exit

subcommands:
  {start}

$ yardstick task start -h
usage: yardstick task start [-h] [--keep-deploy] [--parse-only]
                            [--output-file OUTPUT_FILE]
                            taskfile

Start a benchmark scenario.

positional arguments:
  taskfile              path to taskfile

optional arguments:
  -h, --help            show this help message and exit
  --keep-deploy         keep context deployed in cloud
  --parse-only          parse the benchmark config file and exit
  --output-file OUTPUT_FILE
                        file where output is stored, default
                        /tmp/yardstick.out

JIRA :-
Signed-off-by: Jo¶rgen Karlsson <jorgen.w.karlsson@ericsson.com>
Change-Id: If0672594efa4c94c94ebb73f0bc97ecfe3e00c62

Fix ipaddress bug in main.py

Make sure argument to ip_address() is always unicode.

Change-Id: Id319134fb412ba0ba26c57b8b7285b60e7222a79
JIRA:-
Signed-off-by: Jo¶rgen Karlsson <jorgen.w.karlsson@ericsson.com>

Fix order of arguments in ping.py

The bash script expects 'destination' followed by 'option'

Change-Id: If1c42f867caaa05c794cc81acc34fdce1774eb7c
Signed-off-by: Jo¶rgen Karlsson <jorgen.w.karlsson@ericsson.com>

Add support for single server ping test

A simple test case is added that will ping an external server on
the internet. See samples/ping-ext-ip.yaml

Change-Id: I15eb3cb6ab9e5c1cf280f2aade2bf4c9646d6cd4
JIRA: -
Signed-off-by: Hans Feldt <hans.feldt@ericsson.com>

Merge "fix error in ping-serial yaml file"

fix error in ping-serial yaml file

Change-Id: Ibd98cdcc0ed56ab376d0c2f8f37d2b53e07f2d2b
JIRA:-
Signed-off-by: Jo¶rgen Karlsson <jorgen.w.karlsson@ericsson.com>

Merge "add unit test for ping"

add unit test for ping

Running of unittest from run_test.sh is NOT enabled.

JIRA:-
Change-Id: I741d63e8ab37570c3cf67353fafc7f5210382219
Signed-off-by: Jo¶rgen Karlsson <jorgen.w.karlsson@ericsson.com>

Add support for external HOT template

An external HOT template is a separate yaml file in native
Heat format HOT. The external template is referenced in the task
file and used as template for a "context". Parameters required at
template instantiation are also configured in the task file.
See new sample file ping-hot.yaml

Change-Id: Ie2b7ea96ea90b75ca4e08a29e2223ceeb1474724
JIRA: YARDSTICK-24
Signed-off-by: Hans Feldt <hans.feldt@ericsson.com>

Add support for building images

Two scripts are added. One that will be installed in user's PATH
and one that is an example of how to modify an image from within.

See README for example and script for more info

Change-Id: Iab743f6e9105d5ba872ffba0512ffee954c6d830
JIRA: YARDSTICK-28
Signed-off-by: Hans Feldt <hans.feldt@ericsson.com>

fix deploy without placement groups

Change-Id: Ibc18a2652d3e8f4656fc58d7a5b45daeb36178d1
JIRA: YARDSTICK-30
Signed-off-by: Jo¶rgen Karlsson <jorgen.w.karlsson@ericsson.com>

Add support for multiple contexts(stacks)

A list of contexts can be specified, cross referencing between
contexts is supported and shown in the added sample file.

TBD can placement group work between stacks?

Change-Id: I26dbe94e52ba0be5e49f50fd70540a57de2204cb
JIRA: YARDSTICK-31
Signed-off-by: Hans Feldt <hans.feldt@ericsson.com>