Merge "ssh.py: add flag to request for a pseudo terminal (pty) for ssh connection"

Merge "env: convert file open to context manager"

Merge "Increase Ping scenario ssh timeout limit to 600 seconds"

Merge "Bugfix: update Yardstick custom VM image name in user guide"

Merge "use context manager for stdin files and use _put_file_shell"

Merge "Add support for Storperf job status"

ssh.py: add flag to request for a pseudo terminal (pty) for ssh connection

For some VNFs we may want to send periodic commands, for example to
print statistics etc.

When you open a SSH connection, request a pseudo terminal (pty) which
allows passing of control characters to the connection.

JIRA: YARDSTICK-453

Change-Id: Ibfd4164e745f005d0e29f6efdc63076e1e220b60
Signed-off-by: Deepak S <deepak.s@linux.intel.com>

env: convert file open to context manager

always use context managers to open file

Change-Id: I2c894ea87a94789edbed4a4da1fa906b28556664
Signed-off-by: Ross Brattain <ross.b.brattain@intel.com>

Bugfix: update Yardstick custom VM image name in user guide

JIRA: YARDSTICK-451

Change-Id: Ie6e4a0b924f4ee047756b954e88c50621e0b596f
Signed-off-by: JingLu5 <lvjing5@huawei.com>

Merge "update grafana dashboard opnfv_yardstick_tc002"

update grafana dashboard opnfv_yardstick_tc002

JIRA: YARDSTICK-447

Change-Id: Iba97948eb9db2d8f22b31fdfc6e09570ed6b11b9
Signed-off-by: rexlee8776 <limingjiang@huawei.com>

Bugfix: create stack failed due to not export EXTERNAL_NETWORK environment viarable

JIRA: YARDSTICK-449

Now if we run prepare env, we will not source the EXTERNAL_NETWORK.
I will source the EXTERNAL_NETWORK after I get it.

Change-Id: I917fcecae2cac13b7511667c0687d10eccfac751
Signed-off-by: chenjiankun <chenjiankun1@huawei.com>

Change grafana default dashboard from ping to opnfv_yardstick_tc002

JIRA: YARDSTICK-447

Now the grafana default dashboard use the sample/ping.yaml test case.
I will change it to opnfv_yardstick_tc002 because it is the release test
case.

Change-Id: If20ca123d0407ad92b49f7d2dac98faa2a01e195
Signed-off-by: chenjiankun <chenjiankun1@huawei.com>

use context manager for stdin files and use _put_file_shell

requires https://gerrit.opnfv.org/gerrit/#/c/25183/

use new ssh method _put_file_shell to upload files.
We have to use _put_file_shell because we rely on ~/ path
expansions.  Eventually we should move to remote absolute
paths so we can use sftp upload.

For ssh.execute() replace open() with context manager

context managers were invented partly to control
freeing resources.  Opening files without closing
them will leak file descriptors.

The old standard method for closing files:

f = open('data.txt')
try:
    data = f.read()
finally:
    f.close()

was replaced with a context manager

with open('data.txt') as f:
    data = f.read()

Reference:  Raymond Hettinger's Pycon 2013 presentation:
https://speakerdeck.com/pyconslides/transforming-code-into-beautiful-idiomatic-python-by-raymond-hettinger-1

Video: https://youtu.be/OSGv2VnC0go?t=2522

Always use context managers for files

Update:
   rebased now that _put_file_shell was merged

Change-Id: Iabfc0e43aa3b7766d7c658115e13d21c31efb2a9
Signed-off-by: Ross Brattain <ross.b.brattain@intel.com>

Bugfix: create yardstick.conf file failed due to wrong config file path

JIRA: YARDSTICK-446

now the yardstick dispatcher config path is set to
/etc/yardstick/config.yaml which is wrong.
I will change it to /etc/yardstick/yardstick.conf

Change-Id: I4cd5436bf64f3b764f6bb102eff3443e765fffe9
Signed-off-by: chenjiankun <chenjiankun1@huawei.com>

Bugfix: easy_install -U setuptools go wrong due to the setuptools version

JIRA: YARDSTICK-445

Currently we do not set the setuptools version.
Now the setuptools version update to the 30.2.0, but when run
easy_install -U setuptools, it goes wrong.
So I set the setuptools version to 30.0.0

Change-Id: Id7ae232cce6d088355f71a7124688cb625d18457
Signed-off-by: chenjiankun <chenjiankun1@huawei.com>

Merge "argsAlreadyParsedError: arguments already parsed: cannot register CLI option"

Merge "fix SSH object examples to use correct context manager form"

Merge "import new _put_file_shell method from upstream rally"

Merge "Making nginx and uwsgi service start when run docker by using supervisor"

Merge "Bugfix: debug should be default off"

Add API and command support for yardstick env prepare

JIRA: YARDSTICK-406

Change-Id: Icf837a6f34a22158203566a43a6446fc269c096f
Signed-off-by: chenjiankun <chenjiankun1@huawei.com>

Making nginx and uwsgi service start when run docker by using supervisor

JIRA: YARDSTICK-444

We need web service start when docker run.
But now we add command in bashrc, so the web service start only if we
login in docker container.
So I use supervisor to make the web service start when docker run.

Change-Id: Ic77eb0e130ae7dbd82039c312649fed76b128513
Signed-off-by: chenjiankun <chenjiankun1@huawei.com>

Add API to create Grafana container

JIRA: YARDSTICK-441

Change-Id: Ia848c4af072915ef252e8e03100dd7a4e4a6c3c2
Signed-off-by: chenjiankun <chenjiankun1@huawei.com>

argsAlreadyParsedError: arguments already parsed: cannot register CLI option

JIRA: YARDSTICK-216

Change-Id: I0368a3d1c1f5eaf9f4ef2dcb519815241f377d24
Signed-off-by: chenjiankun <chenjiankun1@huawei.com>

Add support for sample testcase to get test result

JIRA: YARDSTICK-440

Change-Id: I15234e833353a33b063993b96f1f787ddf649720
Signed-off-by: chenjiankun <chenjiankun1@huawei.com>

Merge "vsperf: Enhanced vswitchperf configuration"

Add swagger support for Rest API

JIRA: YARDSTICK-439

Change-Id: I36ad0663455c51d635c4329f5cbb9da25d8042e1
Signed-off-by: chenjiankun <chenjiankun1@huawei.com>

Add API to run test case under samples directory

JIRA: YARDSTICK-432

Change-Id: I8ca6409449e2b960ac9f48c8eb8a6ae9959a4fc8
Signed-off-by: chenjiankun <chenjiankun1@huawei.com>

Merge "Clone the corresponding branch of the repo according to the job branch"

Merge "ssh.py: add flag to keep stdin open"

Merge "switch logging to proper usage"

Merge "Modify url mapping to make API more Restful"

Merge "Use flask jsonify method to return json result"

switch logging to proper usage

The logging methods do string interpolation themselves

From the reference:

https://docs.python.org/2/library/logging.html#logging.Logger.debug

  Logger.debug(msg, *args, **kwargs)

Logs a message with level DEBUG on this logger. The msg is the message format string, and the args are the arguments which are merged into msg using the string formatting operator. (Note that this means that you can use keywords in the format string, together with a single dictionary argument.)

There are two keyword arguments in kwargs which are inspected: exc_info which, if it does not evaluate as false, causes exception information to be added to the logging message. If an exception tuple (in the format returned by sys.exc_info()) is provided, it is used; otherwise, sys.exc_info() is called to get the exception informatio

The reason logging does string interpolation itselfs is to implement deferred interpolation.

String interpolation involves evaluating arguments, so it can introduce significant computation.  The logging module tries to be smart about deferring interpolation until the last possible moment.

The logging methods check isEnabledFor for the log level and won't interpolate if the level is not enabled.

https://github.com/python/cpython/blob/2.7/Lib/logging/__init__.py#L1178

     def warning(self, msg, *args, **kwargs):
        if self.isEnabledFor(WARNING):
            self._log(WARNING, msg, args, **kwargs)

logging actually waits to interpolate the string in LogRecord.getMessage()

https://github.com/python/cpython/blob/2.7/Lib/logging/__init__.py#L328
        if self.args:
            msg = msg % self.args

Change-Id: Ie09efe0a66881e19bd8119caa376075e605627a2
Signed-off-by: Ross Brattain <ross.b.brattain@intel.com>

import new _put_file_shell method from upstream rally

upstream openstack rally added new _put_file_* methods
we should use these

https://github.com/openstack/rally/blob/0.7.0/rally/common/sshutils.py#L270

Updates:
    imported rally test__put_file_shell unittests
    quote to prevent word split
    use -- guard
    only chmod on cat success

Change-Id: I357d1a66b5beddad8042958f4e55d67fc68929f6
Signed-off-by: Ross Brattain <ross.b.brattain@intel.com>

vsperf: Enhanced vswitchperf configuration

Original implementation of vsperf specific class
was changed to relfect recent vsperf changes. It is
now possible to modify any of vsperf's configuration
parameters via --test-param CLI argument. It means, that
it is possible to write a yardstick TC, which will define
all required vsperf configuration inside the YAML TC
definition.
Vsperf documentation related to yardstick usage and
sample TC files are located inside vsperf repository
and they were updated by a separate patch.

JIRA: VSPERF-422

Change-Id: I978d1c85ffeb3c90d9d47a20c6c0e0f68b437123
Signed-off-by: Martin Klozik <martinx.klozik@intel.com>
Reviewed-by: <sunshine.wang@huawei.com>
Reviewed-by: <lvjing5@huawei.com>
Reviewed-by: <jean.gaoliang@huawei.com>
Reviewed-by: <david.j.chou@intel.com>

Clone the corresponding branch of the repo according to the job branch

Make use of the ARG BRANCH given at build time

cmd="docker build --no-cache -t $DOCKER_REPO_NAME:$DOCKER_TAG
--build-arg BRANCH=$branch ."

Change-Id: I44d342bfa5499ebd119e9147695ea82853eb64b6
Signed-off-by: jose.lausuch <jose.lausuch@ericsson.com>

Bugfix: debug should be default off

JIRA: YARDSTICK-398

Change-Id: I8b2f776a9cf6d577150633999354db762fcb93ae
Signed-off-by: rexlee8776 <limingjiang@huawei.com>

Merge "centralize logging into root logger"

Merge "netperf_node test case improvement."

Modify url mapping to make API more Restful

JIRA: YARDSTICK-435

Change-Id: Ief767ceca2979494ec0b4ea4d197fd399352b856
Signed-off-by: chenjiankun <chenjiankun1@huawei.com>

BugFix: yardstick-docker-build-push failure

JIRA: YARDSTICK-434

Change-Id: I391403975bf4643c5658e666a165762d690c42bc
Signed-off-by: JingLu5 <lvjing5@huawei.com>

Use flask jsonify method to return json result

JIRA: YARDSTICK-433

Python json lib is very hard to parse when transport via network.
Flask jsonfiy is more easier to use.

Change-Id: I2afd5238d65bc474170c57d2f9307dc881ea4990
Signed-off-by: chenjiankun <chenjiankun1@huawei.com>

centralize logging into root logger

If we setup root logger correctly and have each
module logger propogate we shouldn't need individual
logger configuration

updates:
    lower paramiko to WARN level
    dispatcher/file.py was missing logging.handlers import
    purge all existing handlers and add our own handlers
    move everything back into yardstick/__init__.py so API can use it
    make _LOG_STREAM_HDLR global, so we can set loglevel on it whenever
    added api/server.py call to _init_logging
    removed old LOG_FORMATTER from cli.py
    only setLevel on yardstick logger

Change-Id: If000799590379d3407655a7d54378481a96ea3d4
Signed-off-by: Ross Brattain <ross.b.brattain@intel.com>

Merge "Bugfix: the API to get result do not work due to can't parse $"

Merge "Create API and command to create a influxDB container"

Merge "Decoupling prepare_env.sh and load_images.sh"

Bugfix: the API to get result do not work due to can't parse $

JIRA: YARDSTICK-429

The API to get result use $ to prevent sql injection. But it doesn't
work.

Change-Id: I130a847297f209fe26062317261f884c5665f5df
Signed-off-by: chenjiankun <chenjiankun1@huawei.com>

Create API and command to create a influxDB container

JIRA: YARDSTICK-425

This API is used to create a influxDB Container
Add command line to create a influxDB Container, too

Change-Id: If9c2d04b779924d492a5d5ea91f7968fa959570e
Signed-off-by: chenjiankun <chenjiankun1@huawei.com>

netperf_node test case improvement.

JIRA: YARDSTICK-423

In the netperf test testcase, input and output parameters are stipulated.
in this submit, add parameters as a output, you could write the output parameters at yaml file.
and the second is if there is a netperf software at target machine,
this machine won't install this software again.

Change-Id: If4def77acbbd5c97e7b5ce9c2e454ecb5bcb12bb
Signed-off-by: liyin <liyin11@huawei.com>

fix SSH object examples to use correct context manager form

change PseudoFile example to use io.RawIOBase baseclass

Change-Id: Ib5e3c844a0514274e5098061beb0ee6f8af97977
Signed-off-by: Ross Brattain <ross.b.brattain@intel.com>

Bugfix: dict don't have startwith method error when use API to run test case

JIRA: YARDSTICK-431

When use API to run test case and set the task-args args, it will
encounter a error of dict object do not have startwith method.
The reason is yardstick will only accept the str type.
So we need to change the dict to str.

Change-Id: I26aac35c477842ab9cd692bdacd401e68673b01d
Signed-off-by: chenjiankun <chenjiankun1@huawei.com>

Merge "Move requirement.txt from tests/ci/ to project root path"

Merge "contexts/node: default to pod.yaml"

Add support for Storperf job status

JIRA: YARDSTICK-419

The StorPerf now supports query the job "status", Yardstick's StorPerf testcase
need to support this feature. The "status" will be used for determining whether
a StorPerf workload is finished.

Change-Id: I9d8bca5f8cd209653204740df63fef4091ca43f5
Signed-off-by: JingLu5 <lvjing5@huawei.com>

Decoupling prepare_env.sh and load_images.sh

JIRA: YARDSTICK-430

The "prepare_env.sh" and “load_images.sh” have serious dependency.
The “load_images.sh” uses the "YARD_IMG_ARCH" variable which is defined in
the "prepare_env.sh" to choose the base ubuntu image version.
We want to decoupling these two scripts, so they can be invoked separately.

Change-Id: I30c1b4a65f73b1550fa5eb96366fe8b1d59251d7
Signed-off-by: JingLu5 <lvjing5@huawei.com>

bottlenecks test case support

JIRA: YARDSTICK-420

this is a test case yaml file for bottlenecks netperf test.
this file is different from tc073.
this yaml file add different type of input which is bottlenecks project
need.
and remove the action of netperf_remove.sh .

Change-Id: Ie3d75d111faa71e8f2e9ab04c0656d2291051e17
Signed-off-by: liyin <liyin11@huawei.com>

Merge "ArgsAlreadyParsedError: arguments already parsed: cannot register CLI option"

Merge "Update release note for Colorado 3.0"

Merge "Create API to get test case result"

ArgsAlreadyParsedError: arguments already parsed: cannot register CLI option

JIRA: YARDSTICK-216

When I call YardstickCLI  in flask, it will always encounter a
ArgsAlreadyParsedError if the API run test case more than two times.

In YardstickCLI, if I just call CONF.clear(), it will occur another
error due to other opts not unregister. I don’t know if the problem
is on the oslo.config side.

I solve the problem by unregister the opts.

Change-Id: Ic898c8d62625785ceb793c75e8210ac354ac63bf
Signed-off-by: chenjiankun <chenjiankun1@huawei.com>

Create API to get test case result

JIRA: YARDSTICK-416

Change-Id: I722566bb0e5bc5288cd6302559e56a3f92ebbeca
Signed-off-by: chenjiankun <chenjiankun1@huawei.com>

Fix the conflict in yardstick.conf between API and CI

JIRA: YARDSTICK-421

In the Docker image, the default dispatcher value in yardstick.conf is local influxDB.
But the CI will set another.
It will cause a conflict.
So I '>' to cover yardstick.conf file.

Change-Id: I7088682e952ee7bb84f6872a49a24296d676a9cb
Signed-off-by: chenjiankun <chenjiankun1@huawei.com>

Merge "Deployment for API"

Update release note for Colorado 3.0

Change-Id: Ic83a0b02ea1ca77b5073c80fada6d8f45ff2e399
Signed-off-by: JingLu5 <lvjing5@huawei.com>

Merge "influx: use urlsplit.hostname instead of netloc"

Merge "Upgrade yardstick VM image from Ubuntu 14.04 to 16.04"

Deployment for API

JIRA: YARDSTICK-418

Set yardstick.conf in /etc/yardstick/ to config yardstick output way
Set nginx config file
Set nginx service and uwsgi service start when boot

Change-Id: I5749042ae1b05feaf895cb0abffed7f9194b9cee
Signed-off-by: chenjiankun <chenjiankun1@huawei.com>

influx: use urlsplit.hostname instead of netloc

turns out urlsplit supports .hostname so we don't have to split netloc

Change-Id: I09614812296a216a369559bf55d66d94380feb94
Signed-off-by: Ross Brattain <ross.b.brattain@intel.com>

ssh.py: add flag to keep stdin open

For some VNFs we may want to send periodic commands, for example to print
statistics, but otherwise not write anything for long periods of time.

Currently when we can no longer read from stdin we close it.

A workaround is to constantly spam stdin with newlines to keep forcing
stdin open.  We don't want to have to do this, so add an enable flag to
keep stdin open.  If the caller wants to close stdin at some point it
can.

Change-Id: I9496022295dfd19804572e484fe4f170ca7d4ac3
Signed-off-by: Ross Brattain <ross.b.brattain@intel.com>

Create API to run test cases

JIRA: YARDSTICK-413

Change-Id: Ibf58b50b568fae3f2eea985b25ee33be0a3666b7
Signed-off-by: chenjiankun <chenjiankun1@huawei.com>

Move requirement.txt from tests/ci/ to project root path

JIRA: YARDSTICK-414

Change-Id: I63e4fe1f8cb11ce3d7d94ba999aa3d0597a7c28e
Signed-off-by: chenjiankun <chenjiankun1@huawei.com>

Merge "Yardstick installation unified (pip/setup)"

Merge "Add os-odl_l2-fdio-ha scenario support"

Merge "Add how to add/modify Yardstick Grafana dashboard in user guide"

Merge "convert networkcapacity to LF"

Yardstick installation unified (pip/setup)

JIRA: YARDSTICK-394

Change-Id: I486aa24121b2ad8d66cd6df97ca86ef826862c91
Signed-off-by: chenjiankun <chenjiankun1@huawei.com>

Merge "Create a constants.py to manage constant variable consistently"

Merge "Add task call entry in cli for REST API"

Merge "bugfix: ipv6 should log in controller node to setup"

convert networkcapacity to LF

JIRA: YARDSTICK-408

Change-Id: Iec9ce9ac991ee80f9396827c7caf9c7026e11e3f
Signed-off-by: Ross Brattain <ross.b.brattain@intel.com>

contexts/node: default to pod.yaml

We used to default to /etc/yardstick/nodes/pod.yaml but this was changed

Recently I got a weird error

2016-11-10 01:18:03,404 - INFO - yardstick.benchmark.contexts.node - Parsing pod file: /root/isb/yardstick/
[Errno 21] Is a directory: '/root/isb/yardstick/'

It looks like if file attr is not defined we default to self.file_path =
"" which leads to a path ending with a '/' which is a directory so we
get the weird Errno 21 error.

I think we want to default to pod.yaml in YARDSTICK_ROOT_PATH

JIRA: YARDSTICK-364

Change-Id: Iab1a2b935d1e380edc208af3ce4e4758e8424bfe
Signed-off-by: Ross Brattain <ross.b.brattain@intel.com>

add option to connect to non-standard ssh port

not all enviroments have port 22 enabled for SSH.

In particular for network isolation NAT and port forwarding may be used.

example pod.yaml:

nodes:
- ip: 10.2.45.145
  name: node1
  password: ''
  role: Controller
  ssh_port: 5000
  user: root
- ip: 10.2.45.145
  name: node2
  password: ''
  role: Controller
  ssh_port: 5001
  user: root
- ip: 10.2.45.145
  name: node3
  password: ''
  role: Controller
  ssh_port: 5002
  user: root

JIRA: YARDSTICK-407

Change-Id: I8f9d6e388f31d291dd15cb900d7f71f347e41ef6
Signed-off-by: Ross Brattain <ross.b.brattain@intel.com>

Upgrade yardstick VM image from Ubuntu 14.04 to 16.04

JIRA: YARDSTICK-365

This patch upgrades the base Ubuntu version of Yardstick VM image from
trusty(14.04) to xenial(16.04).

If you still want to use Ubuntu 14.04 to build Yardstick custom image you can
use command:
    sudo ./tools/yardstick-img-modify tools/ubuntu-server-cloudimg-modify.sh trusty

And now the "yardstick-trusty-server" is rename as "yardstick-image".

Change-Id: I0765f3aee2d17eea1ad2257d0f576cdb9ef2b18d
Signed-off-by: JingLu5 <lvjing5@huawei.com>

bugfix: ipv6 should log in controller node to setup

JIRA: YARDSTICK-363

Change-Id: Ic1f2ab98425512014d746a997b7356d3490c6b33
Signed-off-by: rexlee8776 <limingjiang@huawei.com>

Add task call entry in cli for REST API

JIRA: YARDSTICK-368

This is to add api entry for api, the way to use cli will not be changed
The command line will use main method, and the api will use api method
The **kwargs in do_start will receive the args from api entry

Change-Id: Ic487344436f4596cd2efd70e008c8ea862778f2e
Signed-off-by: chenjiankun <chenjiankun1@huawei.com>

Create a constants.py to manage constant variable consistently

JIRA: YARDSTICK-378

Change-Id: I527d4f60f2a2081730118bdbbea6c19fc093672f
Signed-off-by: chenjiankun <chenjiankun1@huawei.com>

Add how to add/modify Yardstick Grafana dashboard in user guide

JIRA: YARDSTICK-239

Change-Id: I2f628c2bb50418d87faf3dac0b5d006d44ea09b2
Signed-off-by: JingLu5 <lvjing5@huawei.com>

bugfix: tc027 results in tc037 time out

JIRA: YARDSTICK-363

Change-Id: Ic0186cd0678277b0b1b04a57a322f6193c1cf52e
Signed-off-by: rexlee8776 <limingjiang@huawei.com>

Merge "This patch is used to update the time range in dashboard config from "now-2d" to "now-7d" so that dashboard will display the data from past 7 days.Updated the refresh time to "1d""

This patch is used to update the time range in dashboard config
from "now-2d" to "now-7d" so that dashboard will display the data
from past 7 days.Updated the refresh time to "1d"

Change-Id: I4987eaa5e84de058841d34beb2124f7503f2f01b
Signed-off-by: Shravani <shravani.p@tcs.com>

Merge "committer retirement"

Bugfix:fix a bug that yardstick_key.pub cannot be found in Yardstick docker

JIRA: YARDSTICK-379

Change-Id: I8416a38c94e07f0f83cb74d920a7c4d22a0cd04a
Signed-off-by: JingLu5 <lvjing5@huawei.com>

Add os-odl_l2-fdio-ha scenario support

JIRA: YARDSTICK-373

Change-Id: Ia06ec788c50098cec0c22c6fb1eec97d7a4c9031
Signed-off-by: chenjiankun <chenjiankun1@huawei.com>

Merge "remove yardstick_key from the repo"

committer retirement

These 3 committers have retired for yardstick committers,
I'll forward the retirement mail to the tsc later.
- houjingwen@huawei.com
- wenjing_chu@dell.com
- liangqi1@huawei.com

Change-Id: Ibe03c7728b54caeb78f975295d757e11e7d373d7
Signed-off-by: kubi <jean.gaoliang@huawei.com>

Merge "Refine docs"

Adapt blacklist for Colorado 2.0

JIRA: YARDSTICK-377

Change-Id: Ia8f3c760c0c7e99ce8262c7076a187c45ac0efac
Signed-off-by: chenjiankun <chenjiankun1@huawei.com>

Merge "bugfix: update info error when rebase"