Add test case description and task file for TC019

Add test case description for Control node-OpenStack service down (TC019)
and test case .yaml task file.

** Please note that the SLA value has not yet been determined. **

JIRA: YARDSTICK-135

Change-Id: Id512159034929dc197d2c7fdf6cc672ecddfb996
Signed-off-by: wym_libra <yimin.wang@huawei.com>
(cherry picked from commit 32b39d0f576dc5c71678fd0b6b8feab6f2173939)

Workround for openstack nova bug

Notes: if placement_groups policy is "availability"
and > 2 servers in this group may still have this issue.

JIRA: YARDSTICK-200

Signed-off-by: QiLiang <liangqi1@huawei.com>
(cherry picked from commit 10e55c026879912a36247f8958c954cb7521f9e5)

Change-Id: I4b56ea63fc1adae6985c0d5101359299839cd86c

Include vTC overview in Yardstick documentation

This change includes the vTC overview in Yardstick configguide, the
original vTC/README has been renamed to 04-vTC-overview and added in the
configguide.

The vTC/abbreviations is deleted, all included in glossary.rst

Index and 03-list-of-tcs are updated.

JIRA:-

Change-Id: Ifc5cf1cc258dee6743af189f347e8adbbec6a32f
Signed-off-by: Ana C <ana.cunha@ericsson.com>
(cherry picked from commit 12521edea1e40e73e2fb04f4f230760de324521b)

Implementation of opnfv-yardstick-tc021 in Yardstick

Includes
 - Yardstick Scenario for integration with ApexLake
 - Yardstick Task .yaml file
 - Documentation

JIRA: YARDSTICK-219

Change-Id: I0554d0a211392902207ba9ceccf0b98dc3c2cdf1
Signed-off-by: Vincenzo Riccobene <vincenzox.m.riccobene@intel.com>
(cherry picked from commit e749d09788edbd1040dabb082e13bd1a1cbc3a7a)

Add vTC daily+weekly test suites

Change-Id: Id557b5ef4d686da041b8097e390c7e5b563a0c3c
JIRA:-
Signed-off-by: Jo¶rgen Karlsson <jorgen.w.karlsson@ericsson.com>
(cherry picked from commit 2b0c67e7b5984e200b92c134510e7e112cf30a35)

Implementation of opnfv-yardstick-tc020 in Yardstick

Includes
 - Yardstick Scenario for integration with ApexLake
 - Yardstick Task .yaml file
 - Documentation

JIRA: YARDSTICK-219

Change-Id: Ibbba1d9864e788fb6c81cc00c503e9f69e885651
Signed-off-by: Vincenzo Riccobene <vincenzox.m.riccobene@intel.com>
(cherry picked from commit 884e58ab48d0dcdc5e57b87ea181c0a4b8151fc8)

Implementation of yardstick-tc007 in Yardstick

Includes
- Yardstick Scenario for integration with ApexLake
- Yardstick Task .yaml file
- Documentation

JIRA: YARDSTICK-219

Change-Id: Ifa2555336098e68d0fad8045e2f759aed587ad92
Signed-off-by: Vincenzo Riccobene <vincenzox.m.riccobene@intel.com>
(cherry picked from commit bde7eae17a1fc9ec163451b8d62825daa2fec297)

Add apexlake package path

Workaround/hack to be able to use apexlake packages modules
and run unit tests without having to install apexlake.

Change-Id: Ibfa34f56bdb1cafa60d2090e16544a81badc2e85
Signed-off-by: Jo¶rgen Karlsson <jorgen.w.karlsson@ericsson.com>
(cherry picked from commit 5da3bbf2eb241b4550b8397b767123698bc3432a)

Implementation of yardstick-tc006 in Yardstick

Includes
 - Yardstick Scenario for integration with ApexLake
 - Yardstick Task .yaml file
 - Documentation

JIRA: YARDSTICK-219

Change-Id: Iabde8fa63f346cf1e4a02691f22d1761de79a239
Signed-off-by: Vincenzo Riccobene <vincenzox.m.riccobene@intel.com>
(cherry picked from commit 6f6ed9af46d616b073481799c157ed3bc88a8810)

IPv6 connectivity between nodes on the tenant network

Test case yaml and .rst file for ipv6

Change-Id: Ib9a554dc05445023687efb0ac608c7cbd0da4c21
Signed-off-by: kubi <jean.gaoliang@huawei.com>

Test case to measure processing speed(score)

run unixbench to get the score of processing performance
This patch includes the .yaml for the test case and the .rst for test case description.

JIRA:YARDSTICK-116

Signed-off-by: kubi <jean.gaoliang@huawei.com>
Change-Id: Ic75119d1db19dacc57edfa4dce607e0e29ae8db4
Signed-off-by: kubi <jean.gaoliang@huawei.com>
(cherry picked from commit db643f9a2a416c0888931a347488a51264350c8f)

Test Case 040 Verify Parser Yang-to-Tosca

running Parser Yang-to-Tosca module as a tool, validating output against expected outcome.
this patch is about task yaml and rst for test case description.
JIRA:YARDSTICK-224

Signed-off-by: kubi <jean.gaoliang@huawei.com>
Change-Id: Id254c5cf45de33b023bef889a58044a21ed0db43
Signed-off-by: kubi <jean.gaoliang@huawei.com>
(cherry picked from commit 45e85a7f6df63ca4ca702f519ca19e5bcbb1bc23)

Add missing yaml schema for TC037 and TC038

Change-Id: I299eb5a94afb8a29dee89938ff1d7b1bb7f43f3b
JIRA:-
Signed-off-by: Jo¶rgen Karlsson <jorgen.w.karlsson@ericsson.com>
(cherry picked from commit 7766def60d167a55e4a0fbbb3d94e5bfe6241e08)

Add test case description and task file for TC005

JIRA: YARDSTICK-93

Change-Id: I74adef0e6bae52a7080479d7054a92342f7324a7
Signed-off-by: QiLiang <liangqi1@huawei.com>
(cherry picked from commit 738fb0942c39e5f1ecad87ae9dd776f1019d2491)

Support run cyclictest on BareMetal

JIRA: YARDSTICK-122

Change-Id: I8144215059a9abea08314a4c1e6a733dcdf0df53
Signed-off-by: QiLiang <liangqi1@huawei.com>
(cherry picked from commit a33f57371c740e0ab749bfffa4d31c08ef5c5b74)

The secondi HA test case-shutdown controller

1) add "attacker_baremetal.py" for fault injection
2) modify the monitor to excute on remote node after ssh connection
3) move all shell scripts together

JIRA: YARDSTICK-182

Change-Id: Ibb9dc908224ddb8b99a0140b75c1a046503f6dfb
Signed-off-by: wym_libra <yimin.wang@huawei.com>
(cherry picked from commit 4f4edd840823ff6a0151e3f5220241183e27e560)

Rewrite the HA test case (2)

idea: refact the Monitor class in old file "monitor.py" with the base
class and sub-class.
detail:
1) the BaseMonitor is the base class of other monitor
2) each monitor run in independent process
3) there are two monitor("openstack-cmd" and "process") for the first test case
4) MonitorMgr class used to manager monitor process

JIRA: YARDSTICK-149

Change-Id: I2eede94481f740812212e6cb673d175b5f543c15
Signed-off-by: wym_libra <yimin.wang@huawei.com>
(cherry picked from commit 2733defda816a84d2b9c2e361a5970b9de4923f4)

running Parser Yang-to-Tosca module as a tool

with jnon and fatih's help, new docker image has been uploaded
so this part is about parser verify
validating output against expected outcome.

Change-Id: If50d241a5338888f14fd11a752dc72678e0c569b
JIRA:YARDSTICK-224
Signed-off-by: kubi <jean.gaoliang@huawei.com>
(cherry picked from commit d93f6ca5bf0d4f22ec0fd90eac1bf8b9c09db820)

Add TC037 to POD test suites

JIRA: YARDSTICK-213
Change-Id: I55ff36b02a0d0e0334505d68d361b8a14d36063c
Signed-off-by: Jo¶rgen Karlsson <jorgen.w.karlsson@ericsson.com>
(cherry picked from commit 45b1cc64209dec07475e5263469328231c524aa7)

support lxml for parser in docker container

this is part1 of patch, this part is to define dockefile,and wait a docker image to be uploaded
JIRA:YARDSTICK-224
Signed-off-by: kubi <jean.gaoliang@huawei.com>
Change-Id: Ia206c54ab2d964a94753abef0767b74d26259081
(cherry picked from commit e2027b26582a839dc5c25a54fc5621695b9026c0)

support for ipv6

JIRA:YARDSTICK-187

Change-Id: I1cecd400b4449a09d22d43f4a42e889f00dd4fe7
Signed-off-by: kubi <jean.gaoliang@huawei.com>
(cherry picked from commit cd80b44f3fd9b8c9e2afc51bc67d7a5cf34fb1c6)

Rename folders in yardstick/docs

Adapt the naming of the folders under yardstick/docs to the naming adopted by
the release documentation defined by opnfvdocs.

JIRA: -

Change-Id: Icc57720d585abbbf7252bcbf76e2f2a403cb1732
Signed-off-by: Ana C <ana.cunha@ericsson.com>
(cherry picked from commit 463a69e878d891b897fe70af15434615baf6a2e9)

Fix description for TC037 and TC038

Update rst files for TC037 and TC038 for latest template format.
Added TC037 and TC038 to index of test cases in 03-list-of-tcs.

JIRA: -

Change-Id: I32657b564ff1c393f8048a74e676b3f5791d6d0d
Signed-by: Ana C <ana.cunha@ericsson.com>
(cherry picked from commit 6e0daa70bfe87253da6658433f11313475e5e204)

Fix glance yardstick-image cmd in installation doc

Glance image-create command should use --os-image-api-version 1 flag
for the is-public argument.

JIRA: YARDSTICK-68

Change-Id: I43a60a7dac186ae7c586aa98b6e5de9821caee60
Signed-off-by: Kristian Hunt <kristian.hunt@gmail.com>
(cherry picked from commit 136762959413c038d2527c11efa8904c135f9278)

Add test case description and task file for TC038

JIRA: YARDSTICK-214

Change-Id: I3a2358e8c36755a684f09524bd6fc8af9bf43f60
Signed-off-by: Jo¶rgen Karlsson <jorgen.w.karlsson@ericsson.com>
(cherry picked from commit c27b74456831c0f7c827b4840649a898d66cd52f)

Add test case description and task file for TC037

JIRA: YARDSTICK-213

Change-Id: I3f1f521da6a824c96cbc8712a098c61ff6b0540d
Signed-off-by: Jo¶rgen Karlsson <jorgen.w.karlsson@ericsson.com>
(cherry picked from commit 605d252b9c72c0d41a720c45774d4481bb902c77)

InfluxDB dispatcher add more tags

- add runner_id tag
- add test case name tag
- add task_id tag

JIRA: YARDSTICK-212

Change-Id: I75c27e23942a6e2189019e94bfe8026a5fd67621
Signed-off-by: QiLiang <liangqi1@huawei.com>
Conflicts:
yardstick/dispatcher/influxdb.py
(cherry picked from commit 65e32e513544392ce84c190434d23281b5c1afd2)

Change-Id: Idcd582f96f2813e04d80a8c0677d9124b373fb48

update docs build dir names in .gitignore

Change-Id: Id4b1e2e87ac51b67f392417357b2693c76def457
Signed-off-by: Ryota MIBU <r-mibu@cq.jp.nec.com>

Initial InfluxDB dispatcher

Supports:
    - Basic influxDB write with timestamp
    - Add general result format func
    - Add UT

TODO:
    - refine database schema (e.g. add more tags) plan in another patch

JIRA: YARDSTICK-212

Change-Id: I1526568bbd850f1343135420ec59ed1b833bb99f
Signed-off-by: QiLiang <liangqi1@huawei.com>
(cherry picked from commit 99ba990d4a01c0f3f4837f11a24b695f4a2393d2)

Structure test case descriptions

This commit structures the test case descriptions.

The file index.rst lists the subsequent chapters.
01-introduction.rst contains an overview of the project and deliverables.
02-methodology.rst describes the methodology for the generic test cases.
03-list-of-tcs.rst contains a list of merged generic test cases and a
sub-chapter for the feature test cases.
Glossary extracts definitions and abbreviations.

TC001, TC002, TC008, TC009, TC010, TC012 were adapted to work for pdf.
Template testcase_description_v2_template.rst was adapted to work for pdf.

Change-Id: Ia11e27e5d508f1a784e2a412b50739e32b13797f
Signed-off-by: Ana C <ana.cunha@ericsson.com>
(cherry picked from commit 00296cd85133d4f38a510e7ad3ecb0ff3fe4d56c)

Fix ApexLake setup

Changes the directories where to store apexlake data in order to
allow a non super user to run the setup.

JIRA: YARDSTICK-35

Change-Id: I871b2ab793183887c86666bfe2241e3c26b4f427
Signed-off-by: Vincenzo Riccobene <vincenzox.m.riccobene@intel.com>

Fix some small things in ApexLake tests

JIRA: YARDSTICK-35

Change-Id: I280365dd64d2f6c00befb984acd0d4c9ca2645bd
Signed-off-by: Vincenzo Riccobene <vincenzo.m.riccobene@intel.com>
Signed-off-by: Vincenzo Riccobene <vincenzox.m.riccobene@intel.com>

Add yardstick daily suite config files for CI PODs

opnfv-jump-1: apex stable/brahmaputra branch
intel-pod5: joid stable/brahmaputra branch
intel-pod2: apex master branch
intel-pod6: joid master branch
intel-pod8: compass master branch

Change-Id: Ia659e10525863ee11854a266df58449c625c7f7c
Signed-off-by: Fatih Degirmenci <fatih.degirmenci@ericsson.com>

Remove data manager from ApexLake

Since the InfluxBD dispatcher is used to store the data, the apexlake data manager is not required anymore

JIRA: YARDSTICK-35

Change-Id: I8d85161814d83a991ee149532af0437e9c248445
Signed-off-by: Vincenzo Riccobene <vincenzo.m.riccobene@intel.com>
Signed-off-by: Vincenzo Riccobene <vincenzox.m.riccobene@intel.com>

Add test suite file for ZTE-NJ LAB.

JIRA: yardstick-210

Change-Id: Ib888b654e742761a8be1b263f643950ea02380f8
Signed-off-by: wu.zhihui <wu.zhihui1@zte.com.cn>

Add Dummy context and scenario type

Dummy Context Usage:

- if no context specified in the task file then automatically use
  Dummy Context

- or specify the context with type Dummy in the task file, like

    context:
      type: Dummy

Note: context without type name default use Heat Context.
      (e.g. samples/fio.yaml)

JIRA: -

Change-Id: I7f798a7260bdd6ac24902e2c835a3b121319fd8c
Signed-off-by: QiLiang <liangqi1@huawei.com>

Fix small things for integration of ApexLake with Yardstick

Changes small things required for the integration of ApexLake with Yardstick

JIRA: YARDSTICK-35

Change-Id: I6f92d738cb80e34108b76f900382e9c05ecabe70
Signed-off-by: Vincenzo Riccobene <vincenzox.m.riccobene@intel.com>

Complete all the code and files required to run ApexLake

Inludes the last files required by ApexLake for a complete execution.

JIRA: YARDSTICK-35

Change-Id: I4315b8081554c8fad98c8fa72f9e2796ecb9360b
Signed-off-by: Vincenzo Riccobene <vincenzox.m.riccobene@intel.com>

add scenario and sample file for Unixbench.

JIRA:YARDSTICK-184

Change-Id: Iedd4a3708e08305b1c8fa7a8e1766ceef03ab8bb
Signed-off-by: kubi <jean.gaoliang@huawei.com>

Add some other tests to ApexLake

Include some other tests to reach the required coverage

JIRA: YARDSTICK-35

Change-Id: Ie47b0ca9451d4dcc0f5e31ba98f8c38923689475
Signed-off-by: Vincenzo Riccobene <vincenzox.m.riccobene@intel.com>

Add Benchmarking Unit to ApexLake

Includes benchmarking unit to run benchmarks in ApexLake
Also includes tests.

JIRA: YARDSTICK-35

Change-Id: I67c62efd6cbe0883963e8c4ddc86d003b1d355ac
Signed-off-by: Vincenzo Riccobene <vincenzox.m.riccobene@intel.com>

Add Deployment Unit to ApexLake

Includes the deployment unit module used for deployment by Apexlake
Also includes tests

JIRA: YARDSTICK-35

Change-Id: Ia5c89f3cd03d53b1fc4e418215955fd91aff9d03
Signed-off-by: Vincenzo Riccobene <vincenzox.m.riccobene@intel.com>

Add API to configure and execute ApexLake

Add python module providing API for Yardstick to configure and execute
ApexLake and the test cases for the virtual Traffic Classifier.
Includes documentation.

JIRA: YARDSTICK-215

Change-Id: I87af59c715d789ac78c836123e9ed3d8e0036eec
Signed-off-by: Vincenzo Riccobene <vincenzo.m.riccobene@intel.com>
Signed-off-by: Vincenzo Riccobene <vincenzox.m.riccobene@intel.com>

Add test case description and task file for TC010

Add test case description for Memory Latency (TC010) and test case
.yaml task file.

JIRA: YARDSTICK-94

Change-Id: If7fb120868c9901fe097f310aa249e1fbc8a94ee
Signed-off-by: Kristian Hunt <kristian.hunt@gmail.com>

Fix lmbench memory read latency stop size

Stop size parameter's type should be float to allow for performing
measurements on only L1 and L2 cache if needed.

JIRA: -

Change-Id: Ibc4d052c343e9dcccf6101c6c949172bb5a0f9e1
Signed-off-by: Kristian Hunt <kristian.hunt@gmail.com>

To avoid breaking tests when monitor is set

Two runners, Arithemic and Sequence, broke running tests
even if SLA "monitor" was set. Changed these two runners
to work in similar fashion as the other two, i.e. that only
None can break. "assert" still asserts, and "monitor"
just logs but then continues.

Change-Id: Ic441761cad8747e5ecfcd0babe719c1aa23981e7
JIRA: -

Add yardstick daily task suite for Ericsson POD2

Change-Id: Ic0f7261dc07eb38d014a8790ac13e5310ec4ef8a
Signed-off-by: Fatih Degirmenci <fatih.degirmenci@ericsson.com>

Merge "Rewrite the HA test case (1)"

Adds new Yardstick test case TC009, Network Performance, Packet Loss

Similar to Yardstick TC001. Main difference is that each packet size
is run 10 times before next packet size.

JIRA: YARDSTICK-87

Change-Id: If0f59590dff9c8e5b86760667f01a373afe8aff0

Adds Yardstick test case TC008, Network Performance Extended Tests

New test case using pktgen tool. Based on TC001, but with additional
packet sizes and more repetitions of each test combination,
respectively. Test case takes approx.3 hours to complete.

Change-Id: Iba2de5efa33d6e2c960772fa5345595f6d7ab4e6
JIRA: YARDSTICK-80

Changes Arithmetic runner to accept several step parameters

The Arithmetic runner is modified to accept several named
parameters to iterate over in each scenario. Possible to chose
either to iterate through them in a nested-for-loop fashion
(default) or in a tupled loop fashion (combine i:th element
of each input). Still possible to only provide one parameter
to step/iterate over, as before.

All existing yaml files with Arithmetic types have been modified
to run the tests as before, and to provide same results as before
this change. The only change is in sample file pktgen.yaml to
provide a valid example of how to use this modification.

It is also possible to step backwards, i.e. start > stop, with
a negative step parameter value.

(Noticed that tests are terminated when there is SLA error
problems in "monitor" mode. Should be fixed in another commit)

Change-Id: Ib2ebd24b71dd55d6817cee8e67026a0dd13a9e17
JIRA: -

Add utility tools to ApexLake

Add utility tools and related tests to ApexLake
Fix also small things in all tests

JIRA: YARDSTICK-35

Change-Id: I76ab79b3b7ba3b48633517477b262f5bcdc743f0
Signed-off-by: Vincenzo Riccobene <vincenzox.m.riccobene@intel.com>

Rewrite the HA test case (1)

refactor the attacker implement.
1) BaseAttacker is added
2) a simple attacker named "kill-process" inherit the BaseAttacker
3) serviceha.py selects an attacker through the BaseAttacker by attacker name

JIRA: YARDSTICK-149

Change-Id: Ib718d5edc6b5e14bc3ea0592e0146468ff70b43e
Signed-off-by: wym_libra <yimin.wang@huawei.com>

Add TC001 and TC012 to POD test suites

Change-Id: I39d589bfc0652d51b7e6d9e139b83160bf7f3692
Signed-off-by: Jo¶rgen Karlsson <jorgen.w.karlsson@ericsson.com>

Adapt documentation to latest guidelines

Adapt Yardstick documentation according to the latest guidelines from the
Releng project.

The only change in test case description TC001 and TC002 is to remove logo.
The same for the test case description v2 template.

The previous version of test case description is deleted from repo.

The Yardstick_task_template is edited to keep line lenght 80 char.

This commit also adds index for docs/yardstick and for
docs/user_guides/framework.

The overview for the vTC .rst file has been fixed to enable the .pdf
generation.

Change-Id: Ib6480c3c29ce0f0ee22c9ad717439f6a293ab842
Signed-off-by: Ana C <ana.cunha@ericsson.com>

Add run_in_background attribute to scenarios

This change adds the possibility to run scenarios as "background
tasks".

Background scenarios/tasks:
  - are started before all "normal scenarios"
  - runs in parallel with "normal scenarios"
  - terminates when all "normal scenarios" have completed
    their tasks

They are intended as a way to perform background tasks, e.g. collect
data such as cpuload etc, in parallel with the execution of normal
benchmarking scenarios.

Note that we already have the 'run_in_parallel' attribute but
this attribute has a couple of issues and do not solve all the
uses cases.

Change-Id: I9c5230bfdbbb66030f57b658ce1db87ff2c2d62b
Signed-off-by: Jo¶rgen Karlsson <jorgen.w.karlsson@ericsson.com>

Add test case description and task file for TC012

Add test case description for Memory Bandwidth (TC012) and test case
.yaml task file.

JIRA: YARDSTICK-113

Change-Id: I6f2b0bb8c920f3ece3a41bac744cc1ec1fd35cbc
Signed-off-by: Kristian Hunt <kristian.hunt@gmail.com>

Add support to the test case required by YARDSTICK-146

Add supporto to ApexLake for the test case to validate the vTC instantiation on OpenStack

JIRA: YARDSTICK-146

Change-Id: Ib154bac19ec1c32a508682235478a3c7fc530299
Signed-off-by: Vincenzo Riccobene <vincenzox.m.riccobene@intel.com>

Add support to the test case required by YARDSTICK-145

Add support to ApexLake to the test case that validates the instantiation of the virtual Traffic Classifier within OpenStack

JIRA: YARDSTICK-145

Change-Id: I533712de36de4e40fdec15b2be2348fbb8c29dfc
Signed-off-by: Vincenzo Riccobene <vincenzox.m.riccobene@intel.com>

Adds new test case 001 for network performance

This commit contains almost all of Jira #79. Misses still to collect
all results in one single .json file, now everything is written to
/tmp/yardstick.out. However, this may not be needed at all once the
database for test result collection is in place.

Change-Id: I210a477c3b5a110e97a6220e68d3ddc31ccce93a
JIRA: YARDSTICK-79

add test suite for huawei us bare lab

JIRA:YARDSTICK-

Change-Id: I6e43383c1eafa13314ab7678d0e1d42ed063c57f
Signed-off-by: kubi <jean.gaoliang@huawei.com>

Add support to the test case required by YARDSTICK-36

Add support to ApexLake for the calculation of the throughput of the vTC in case of
noisy neighbors deployment, through the DPDK pktgen.

JIRA: YARDSTICK-36

Change-Id: I00950f967cac1f12f733a05af8166c757dc02e0a
Signed-off-by: Vincenzo Riccobene <vincenzox.m.riccobene@intel.com>

Add support to the test case required by YARDSTICK-35

Add to ApexLake the support to the calculation of the throughput for the vTC using DPDK pktgen.

JIRA: YARDSTICK-35

Change-Id: I2ead9522648d6955f64fd18c543dabf7f26e2490
Signed-off-by: Vincenzo Riccobene <vincenzo.m.riccobene@intel.com>
Signed-off-by: Vincenzo Riccobene <vincenzox.m.riccobene@intel.com>

Merge "Rename daily test suite files to match slave names on Jenkins"

Add bash script to change VLAN tag on packets

JIRA: YARDSTICK-35

Change-Id: I8cb5c05a0d33aac2bc90aa037843db67d2ab0e36
Signed-off-by: Vincenzo Riccobene <vincenzox.m.riccobene@intel.com>

Add Constant traffic generation LUA script for DPDK and PCAP files

Inlcude a LUA script that generates constant rate traffic for DPDK pktgen
Also include PCAP files of requested size (64, 128, 256, 512, 1024, 1280, 1518)

JIRA: YARDSTICK-35

Change-Id: I25c1a6a8763bd14fdf25450619a5e5bbd8e978db
Signed-off-by: Vincenzo Riccobene <vincenzox.m.riccobene@intel.com>

Create yardstick nova flavor for CI testing

Change-Id: I8aa3128fae8058551df3d1213e2eb234960477fb
Signed-off-by: Jo¶rgen Karlsson <jorgen.w.karlsson@ericsson.com>

Merge "Add full support to the DPDK packet generator"

Add 'nodes' attribute to the scenario definition

Defining the 'nodes' attribute which can include more node
not only 'host' and 'target'

Design etherpad link:
    https://etherpad.opnfv.org/p/yardstick_framework

JIRA:-

Change-Id: Ida18ebcda1c73c88d208aa11a10696d1063134ef
Signed-off-by: wym_libra <yimin.wang@huawei.com>

Add full support to the DPDK packet generator

Add packet generator base class (to support extensions of packet generators
Add the DPDK packet gen python wrapper and tests

JIRA: YARDSTICK-35

Change-Id: I2072801bcf077586b6abb45c5d452a346e2efe70
Signed-off-by: Vincenzo Riccobene <vincenzox.m.riccobene@intel.com>

Rename daily test suite files to match slave names on Jenkins

Change-Id: Ic4ee5d21f09fd324583f8a2c55e99684fbddd70b
Signed-off-by: Fatih Degirmenci <fatih.degirmenci@ericsson.com>

updates to use new doc toolchain

Change-Id: I5657d5b8758141ed1928e563ba7f99f3fb6a1133
Signed-off-by: Ryota MIBU <r-mibu@cq.jp.nec.com>

Fix for DNS problems on LF POD2 when building glance image

Add google DNS servers.

Change-Id: If365ff3940a87d64db88482a1354059f75284412
Signed-off-by: Jo¶rgen Karlsson <jorgen.w.karlsson@ericsson.com>

Adds new test case descriptions

Adds test case descriptions for JIRA issues number 6 (Network
Performance) and number 8 (Network Latency) in accordance to
version 2 of the test case description template.

Jira:YARDSTICK-6
Jira:YARDSTICK-8

Signed-off-by: Per Holmgren <per.q.holmgren@ericsson.com>
Change-Id: Ib6f4d08a1f7c6ba10f3f220d2bb3998311ecf203

Docker image cleanup

 - Renamed docker image 'opnfv/yardstick-ci' -> 'opnfv/yardstick'
   as recommended by project.
 - Added cirros image and releng repo to docker image in order to
   make it more usable in offline mode.
 - Renamed run_benchmarks to run_tests.sh
 - Moved some environment setups to a new file prepare_env.sh
 - Added daily test suites file for ericsson and LF pods.

Docker image is now built and pushed by releng script:
https://gerrit.opnfv.org/gerrit/gitweb?p=releng.git;a=blob;f=jjb/opnfv/opnfv-docker.sh

The ci/docker/Makefile file is not used by releng to build yardstick
image but the makefile can still be used to build and test docker
images locally.

Change-Id: If9d6740b39e91d145c587d8d5e2bd372d09a46a9
Signed-off-by: Jo¶rgen Karlsson <jorgen.w.karlsson@ericsson.com>

Add netifaces to dependencies

Netifaces package is used by oslo.utils but is not installed
automatically:

$ cd yardstick/
$ git checkout master
$ git pull
$ mkvirtualenv YS
$ easy_install -U setuptools
$ python setup.py develop
$ glance image-list
No module named netifaces
$ nova image-list
Traceback (most recent call last):
  File "/home/uabjnon/.virtualenvs/YS/bin/nova", line 9, in <module>
    load_entry_point('python-novaclient', 'console_scripts', 'nova')()
  File "build/bdist.linux-x86_64/egg/pkg_resources/__init__.py", line 568, in load_entry_point
  File "build/bdist.linux-x86_64/egg/pkg_resources/__init__.py", line 2720, in load_entry_point
  File "build/bdist.linux-x86_64/egg/pkg_resources/__init__.py", line 2380, in load
  File "build/bdist.linux-x86_64/egg/pkg_resources/__init__.py", line 2386, in resolve
  File "/home/uabjnon/.virtualenvs/YS/local/lib/python2.7/site-packages/python_novaclient-2.35.0-py2.7.egg/novaclient/shell.py", line 46, in <module>
    from novaclient import client
  File "/home/uabjnon/.virtualenvs/YS/local/lib/python2.7/site-packages/python_novaclient-2.35.0-py2.7.egg/novaclient/client.py", line 38, in <module>
    from oslo_utils import netutils
  File "/home/uabjnon/.virtualenvs/YS/local/lib/python2.7/site-packages/oslo.utils-3.1.0-py2.7.egg/oslo_utils/netutils.py", line 25, in <module>
    import netifaces
ImportError: No module named netifaces

Change-Id: Ie5e3dfad073d816ad982a56543eb3b77a818e029
Signed-off-by: Jo¶rgen Karlsson <jorgen.w.karlsson@ericsson.com>

Adds Heat Manger and tests to ApexLake

Adds to ApexLake a module that manages the connection with OpenStack Heat to trigger instantiation and termination of stacks.
Also Moves tests and bin directory in the right place.

JIRA: YARDSTICK-35

Change-Id: I0ea407a3129625a238fb4187896c65a2bcd02700
Signed-off-by: Vincenzo Riccobene <vincenzox.m.riccobene@intel.com>

Fix network property validation error

Fix for the validation error on port.properties.network
when deploying using OS Kilo or later.

Change-Id: I761cc958573d6eb8c909a08f186486f3ac93e816
JIRA: -
Signed-off-by: Jo¶rgen Karlsson <jorgen.w.karlsson@ericsson.com>

Add scenario for reading processor load

This scenario reads processor and system load statistics
and does not run any benchmark tests.

The scenario is intended to be run in parallell with
other scenarios in order to collect processor and system
load statistics.

System load is read from /proc/loadavg.

Processor usage stats is read using the 'mpstat' utility if
it has been installed on the host.

If 'mpstat' is not installed on the host processor usage stats
is read from /proc/stats.

Change-Id: I7156e0c941100023571db750de7540786a4fedb8
JIRA: YARDSTICK-181
Signed-off-by: Jo¶rgen Karlsson <jorgen.w.karlsson@ericsson.com>

Adds script to run tests and test for heat template generation

Adds to ApexLake the script to run the tests for the python modules of the project (they will be added later on).
It also adds the tests for heat template generation

JIRA: YARDSTICK-35

Change-Id: I3c7fcfe044b33130dd6a5d1285f3d6522eac58c6
Signed-off-by: Vincenzo Riccobene <vincenzox.m.riccobene@intel.com>

Remove etc and source folder from yardstick documentation

conf.py and logo will come from releng which is common for all projects.
The directory structure in docs folder has not been decided yet so this
change does not require you to change your current way of working.

Once this directory structure is decided by opnfvdocs and releng, the changes
need to be reflected back to all projects, including yardstick.

Change-Id: If0558474a819f4a44e34f790d26c5486751b8266
Signed-off-by: Fatih Degirmenci <fatih.degirmenci@ericsson.com>

Add initial installation documentation

This .rst file describes how to install Yardstick on Ubuntu14.04
or by using a Docker image.

JIRA: YARDSTICK-68

Change-Id: I9c5b3b2883c1e2bbbd3325ec40711fd9fec97cdb
Signed-off-by: Kristian Hunt <kristian.hunt@gmail.com>

Merge "A initial HA test case"

Add heat template generation module with required constants

Adds to ApexLake the support to the generation of the all the possible configurations and related heat templates.
Files containing constants have been added as well to support the module. They will also be useful for other modules of the framework.

JIRA: YARDSTICK-35

Change-Id: I9d33d5b11c586d40dbff199c21e428113bf3cdeb
Signed-off-by: Vincenzo Riccobene <vincenzox.m.riccobene@intel.com>

A initial HA test case

1)stop an openstack service
2)then monitor the corresponding api and check the availability of it
3)recovery the openstack service

JIRA: YARDSTICK-149

Change-Id: Id7b77d2f5c71844729c04f37442c8cfaa270ab12
Signed-off-by: wym_libra <yimin.wang@huawei.com>

Update /etc/hosts in yardstick cloud image

Adding the hostname to /etc/hosts prevents
some 'unable to resolve host' error messages.

Change-Id: I1fd16007955287d436e895d53db6ce19b0b6fe3e
Signed-off-by: Jo¶rgen Karlsson <jorgen.w.karlsson@ericsson.com>

Add cleanup trap to yardstick-img-modify

Fixes a problem with loopback devices not
beeing detached when the image build fails.

Change-Id: I3e422be4fb0157289a032c14700e184f58d544d9
Signed-off-by: Jo¶rgen Karlsson <jorgen.w.karlsson@ericsson.com>

Merge "part 2 :add coverage report in Jenkins for Yardstick"

Docker container for Yardstick CI part 2

Added test suit selection and an option to use
the HTTP Result API.

Part 1: https://gerrit.opnfv.org/gerrit/#/c/2201/

Change-Id: I1c25d07e46cd44e25f448706ff2dfc3b31cd7208
JIRA:-
Signed-off-by: Jo¶rgen Karlsson <jorgen.w.karlsson@ericsson.com>

Second commit of the vTC

JIRA: Yardstick-37
JIRA: Yardstick-137

The git clone process from the bitbucket repository is done using OAuth2 authentication now.
Various build bugs have been fixed.
Documentation has been updated, an architecture graph has been for better understanding.
README.rst has been moved to docs/source/vTC
along with an abbreviations.rst

Change-Id: I864a90026df81779f7935f33acfa26ac9fb7c50c
Signed-off-by: Akis Kourtis <akis.kourtis@iit.demokritos.gr>

Merge "Avoid the ValueError exception for a ping timeout."

Avoid the ValueError exception for a ping timeout.

In ping.py:
If ping a ip address timeout, the return value "stdout"
is null. And the code "rtt=float(stdout)" raises a
ValueError exception. The better handle is to avoid the
exception and log a ping timeout.

Change-Id: Ia2a3ff44c35dda1a700a5109f8e642a636e89bc6
Signed-off-by: wu.zhihui <wu.zhihui1@zte.com.cn>

Support NodeContext type

Initial NodeContext implementation to support BareMetal,
Controller, Compute scenarios.

Usage:

0) install yardstick
1) mkdir -p /etc/yardstick/nodes
2) cp <yardstick_repo>/etc/yardstick/nodes/pod.yaml.sample \
       /etc/yardstick/nodes/pod.yaml
3) edit /etc/yardstick/nodes/pod.yaml (make show ip, username,
       ssh key are configured correctly)
4) yardstick -d task start \
       <yardstick_repo>/samples/ping-node-context.yaml
5) cat /tmp/yardstick.out

Design etherpad link:
    https://etherpad.opnfv.org/p/yardstick_framework

JIRA: YARDSTICK-169

Change-Id: I3f6ade8243e68d88326f23ed213edb32c638ed32
Signed-off-by: QiLiang <liangqi1@huawei.com>

Extend lmbench scenario to measure memory bandwidth

Lmbench scenario has now two scripts and will choose between them,
based on whether the intention is to run memory latency or bandwidth
tests. Added also unit test file for this scenario.

JIRA: YARDSTICK-113

Change-Id: I2ba4dbef31f3cafbdb3c583ece5ed9512a906896
Signed-off-by: Kristian Hunt <kristian.hunt@gmail.com>

part 2 :add coverage report in Jenkins for Yardstick

this part is focus on script on run coverage test,not only show missing lines
but also show diff between your patch and master,
actually,it produce a html for coverage,but now ,it just on your local machine
extra missing lines is 10-lines,final target is 4-lines

JIRA:YARDSTICK-108

Change-Id: I550dff51d6f89562447e12127646155325e38a4a
Signed-off-by: kubi <jean.gaoliang@huawei.com>

record the total time of test case running

total time and one task time both will be put into console

JIRA:YARDSTICK-166

Change-Id: I1422355c5ca0228c11e6334c13bb13554bdca4af
Signed-off-by: kubi <jean.gaoliang@huawei.com>

Heat context code refactor part 2

Heat context code refactor to cater for the evolution of the
Yardstick framework.

Refactor runner_cfg host/target info handle, as specified at
https://etherpad.opnfv.org/p/yardstick_framework
step 4. Get general Context info (use Context.get).

Before this refactor host and target vm must have the same user name
and ssh key, that is not general enough for later extension.

test_case.yaml do NOT need to change.

JIRA: YARDSTICK-168

Change-Id: I5cfe868f3c6f633214ef550bc9676fe1de0709db
Signed-off-by: QiLiang <liangqi1@huawei.com>

Add updated version for template

This patch adds a second version for the template for test case
description, in table format.
Minor updates in the original version, opnfv logo added.

Jira:YARDSTICK-2

Change-Id: Ia9b2ba9c237d0ce8493e512663f95b73df210175
Signed-off-by: Ana C <ana.cunha@ericsson.com>

add lua script for RFC 2544 throughput on dpdk packet generator

First commit for ApexLake: the vTC Characterization Framework
The included file is a lua script for the calculation of the throughput for dpdk_pktgen

JIRA: YARDSTICK-35

Change-Id: I02d015cee5f6b0593d668498439893f9091f5a8b
Signed-off-by: Vincenzo Riccobene <vincenzox.m.riccobene@intel.com>

Update sla check for scenarios

This patch modify the question that SLA check result is not complete.

JIRA: YARDSTICK-172

Change-Id: I10438390baee92caf00dbfcdbdb833823ff8ce31
Signed-off-by: houjingwen <houjingwen@huawei.com>