Update release note for Danube.3.2

Note: This patch should be merger to stable branch.

Change-Id: I7f07a7c367fc387494f2313143a300fef85a8fd1
Signed-off-by: JingLu5 <lvjing5@huawei.com>

Bugfix: cannot run task if without yardstick.conf in danube

JIRA: YARDSTICK-776

In danube.0.3.0, if we do not have yardstick.conf and then run task directly,
we will get a RuntimeError, so yardstick.conf is must. This is not reasonable.
In this patch, I fix it. So we can run it without yardstick.conf

Change-Id: Ic069f67221da109db17cbd1bd51d299f6e267e6d
Signed-off-by: chenjiankun <chenjiankun1@huawei.com>

add release date

Change-Id: Icf12b7a59144754f65f67ed54a5c455a64c5042f
Signed-off-by: Ross Brattain <ross.b.brattain@intel.com>

Danube 3.1 release notes

Change-Id: I7032dd2348dd7212484a4a3cbd40e1d7698c8668
Signed-off-by: Ross Brattain <ross.b.brattain@intel.com>
(cherry picked from commit 9449bbf4608d74da8cf61cb4178c844a0095f78f)

yardstick env influxdb/grafana cmd support centos

JIRA: YARDSTICK-714

Currently yardstick env influxdb/grafana command do not support centos.
Because we use the gateway ip to get the service of influxdb and grafana.
But in centos, we can not access influxdb/grafana service via gateway ip.
In this patch, I use docker inspect to get the ip of influxdb and grafana.
So these command can support centos.

Change-Id: I4599cbbd0fe43de9cf08e5d9e74d31edbb742998
Signed-off-by: chenjiankun <chenjiankun1@huawei.com>

Use "OS_INSECURE" variable as the insecure mode indicator

Now we use "OS_CACERT" as the insecure mode indicator, it is better to use "OS_INSECURE".

Change-Id: I1406193e27510390b4b8fd8f4751d8361560172f
Signed-off-by: JingLu5 <lvjing5@huawei.com>
(cherry picked from commit a2176af5514fc55ad8421635ad70ce4f26890ed6)

Bugfix: amend the CLI to build yardstick-image manually

Change-Id: I8fbf0d6383375660c05e55d36fb0d2f91e1d8de8
Signed-off-by: JingLu5 <lvjing5@huawei.com>

Set TEST_DB_URL for storperf

JIRA: YARDSTICK-692

add the URL for the test results DB to the storperd_admin-rc
TEST_DB_URL=http://testresults.opnfv.org/test/api/v1
Also, add metadata JSON to the POST to /job API when creating the job:

Change-Id: Ib950f759d80e707bc49d9015bc120d985051f131
Signed-off-by: JingLu5 <lvjing5@huawei.com>
(cherry picked from commit 1c69f20b0f681ea66d68d077c7f85466363fee4d)

increase line length to 99

When line length is 79 I have to spend too much
time manually wrapping my code into unreadable junk

I can't use expressive tuple unpacking and I start
shortening variables and other bad tricks to decrease
the line length.

We have too many levels of indent to manage with 79

class:
  def:
     if:
         for:
              etc.

Change-Id: Ib2ce9cf887f9880c46815822c8d0e1a7806e53ca
Signed-off-by: Ross Brattain <ross.b.brattain@intel.com>
(cherry picked from commit 98fdb2810a7010edf0f12af0ed5d706df2af615c)

Bugfix: remove test.dbf file in recovery script

JIRA: YARDSTICK-696

Change-Id: I09b73079ff828c43040723794115bb07f74242e8
Signed-off-by: zshi <zshi@redhat.com>
(cherry picked from commit d578927cd63784616f11c4d669815192fd5fa336)

Add SRIOV support

A generic provider network solution is introduced. To identify whether a network specified in the test case is a provider network new attributes are introduced in the test case network section:

networks:
  test-net:
    cidr: '192.168.1.0/24'
    provider: "sriov"
    physical_network: 'physnet1'

If the "provider" attribute is present, the network is an existing provider network. If the value is "sriov", binding:vnic_type=direct is added to the interface in the heat deployment template. In orchestrator/heat.py, the interface creating functions are given a new parameter that tells if the network in use is a provider network. The benchmark/contexts/model.py is changed to store the value of the provider attribute from the test case and function calls to port creation is updated with the provider parameter. The same change is made in contexts/heat.py as well. Also calls for creating a new tenant network is replaced for creating a new provider network if the provider attribute is present.

Update-1: Change test_model.py
Update-2: Per comment, change comment style to """"
Update-3: Change test_heat.py
Update-4: Add unit test cases to pass coverage test
Update-5: Add SRIOV provider network example in opnfv_yardstick_tc008.yaml
Update-6: Per comment, remove empty line in orchestrator/test_heat.py
Update-7: Per comment, change comment lines in orchestrator/test_heat.py
Update-8: Add more unit test cases to pass coverage test
Update-9: Change to create SRIOV provider network on the fly so as to support co-current test runs
Update-10: Per comment, init physical_network to 'physnet1'

Change-Id: I76004c4fcc9bffcfd8ed021fd647e0cecb346ef4
JIRA: YARDSTICK-612
Signed-off-by: Jing Zhang <jing.c.zhang@nokia.com>
(cherry picked from commit f51ba41255d6ab2c03fd62a044d372b73b496459)

Bugfix: cacert should suppot insecure mode if needed

currently, we use env variable "OS_CACERT" to specify the location of
cert file. but if there's no cacert and use for personal verification,
it's better to also support insecure mode by set OS_CACERT=False

JIRA: YARDSTICK-616

Change-Id: I73b0860863bf6386f9114328c52594ef87e02fa3
Signed-off-by: rexlee8776 <limingjiang@huawei.com>
(cherry picked from commit aa477334a3cb2e49c4343f66bff44c89d7edcf24)

Bugfix: remove double quote around SECURE variable

JIRA: YARDSTICK-689

This patch remove the double quote around the SECURE varibale as it may cause the fowllowing error:
$ openstack "${SECURE}" image list
openstack: ' image list' is not an openstack command. See 'openstack --help'.
Did you mean one of these?
  access token create
  address scope create
  address scope delete
  address scope list
  address scope set
  address scope show
  aggregate add host
  aggregate create
  ...

Change-Id: Ibb22e85b3dd89b0e3b62821bd5ebe4f155886ffc
Signed-off-by: JingLu5 <lvjing5@huawei.com>
(cherry picked from commit b04755b5148daf36db436dc066e1bef2c93f1879)

Improve Yardstick user-guide

This patch adds a short description on how to use the "yardstick env prepare"
command in a Non-OPNFV installer environtment.

Change-Id: Idf54bf5318499d2b129a1445e0758e351945e755
Signed-off-by: JingLu5 <lvjing5@huawei.com>

Merge "HA testcase improvement" into stable/danube

Merge "temp freeze releng version for stable/danube workaround" into stable/danube

temp freeze releng version for stable/danube workaround

releng doesn't have a branch, so we need to freeze
the releng version.

There is an issue with releng fetch_os_creds.sh change

/home/opnfv/repos/releng/utils/fetch_os_creds.sh: line 75: BRANCH:
unbound variable

So we need to revert back to commit before this change

Change-Id: Ie8b0f68879a873aab584aa32b576d8b5ba602a13
Signed-off-by: Ross Brattain <ross.b.brattain@intel.com>

HA testcase improvement

This patch improve HA test case in the following aspects:
1. the "GeneralHA" type now will check if the target service process in the controller node.
2. support ignore server certificate
3. add debug log for recovering service failed
4. improve method to kill keystone process

Change-Id: I9ae7ab54391fe41d5d7f3e4951a7ac2e3ba75968
Signed-off-by: JingLu5 <lvjing5@huawei.com>
(cherry picked from commit 5b99f1532ec4d15258ec86e970acd2904954b3bc)

bugfix: storperf timeout in ci

JIRA: YARDSTICK-680

Change-Id: Ie405187b8ab085a9e4f40a7e7e7e661c94e83630
Signed-off-by: rexlee8776 <limingjiang@huawei.com>
(cherry picked from commit 6552d3b7b08c3b9dcaa8f44adc31d5028c00e863)

Merge "Adapt lmbench scripts for aarch64 nodes" into stable/danube

Merge "improve git code with devstack functions" into stable/danube

improve git code with devstack functions

if we aren't re-cloning we still need to make sure
we update the branch/tag/commit to the version from the remote

so we need to fetch and then checkout again

it is more complicated.  Dockerfile does a shallow
clone, so we don't get all the remote ref information.

To clone a random remote commit id we have to unshallow

Change-Id: If15f504b6ff2cfdfc8894fd3b37e687a19616714
Signed-off-by: Ross Brattain <ross.b.brattain@intel.com>

Adapt lmbench scripts for aarch64 nodes

LMBench shell scripts were invoking x86_64 executables.
This made them fail when executed on aarch64 nodes.
Added architecture detection and proper command call.

JIRA: ARMBAND-268

Change-Id: I8c9e87158631f7f5479adc2fda9558f9f7e54406
Signed-off-by: Alexandru Nemes <alexandru.nemes@enea.com>
(cherry picked from commit fd2b3173d21d34720f714e7e6358dafe7d1ada12)

ping: don't split if target_vm is a dict

If we run sample/ping-hot.yaml, it will encounter an AttributeError, log
see below:
Traceback (most recent call last):
File
"/usr/local/lib/python2.7/dist-packages/yardstick/benchmark/runners/duration.py",
line 69, in _worker_process
method(data)
File
"/usr/local/lib/python2.7/dist-packages/yardstick/benchmark/scenarios/networking/ping.py",
line 94, in run
target_vm_name = target_vm.split('.')[0]
AttributeError: 'dict' object has no attribute 'split'
Because here host and target will be a dict

JIRA: YARDSTICK-561

Change-Id: I4b7628bf20050d6d516a80efe3785f750d27c05e
Signed-off-by: Ross Brattain <ross.b.brattain@intel.com>
(cherry picked from commit eb142a953a59f447f1c186d2f58004fe354e4c4b)

Configure Yardstick flavor to give more RAM to ARM instances

Yardstick TC005 fails with errors that indicate low memory conditions:
"fio: error while loading shared libraries:
librbd.so.1: cannot map zero-fill pages"
Changing the yardstick flavor to give 1024MB of RAM instead of 512MB
made this test case work.

JIRA: ARMBAND-275

Change-Id: I2193802082c28edb20004964d2df3780eb5eccb7
Signed-off-by: Alexandru Nemes <alexandru.nemes@enea.com>
(cherry picked from commit 5c8e38667e17059db1c62dd21f868966a6b2a519)

Merge "Terminate openstack service process using kill command in HA test cases" into stable/danube

Fix configuration error in TC025

JIRA: YARDSTICK-647

Change-Id: Idc2a87d20a631c37f151cc945de155ef8855e9c3
Signed-off-by: tjuyinkanglin <14_ykl@tongji.edu.cn>
(cherry picked from commit c076c8372f32a88059783fbc993ab2ebb8967e2e)

Terminate openstack service process using kill command in HA test cases

JIRA: YARDSTICK-659

In some openstack environment, the service process cannot be killed by killall
command but can be terminate by kill command.
This patch is about to switch to use kill command in the
fault_process_kill.bash to kill processes.

Change-Id: Iec455ee56d3f31fb5c16de5994870d1acd33f41a
Signed-off-by: JingLu5 <lvjing5@huawei.com>
(cherry picked from commit dd42ba3cafb908246da5b90c8bbbc2c7d0beb801)

Merge "fix bug: multi monitor" into stable/danube

Imporve monitor_process pass criteria

JIRA: YARDSTICK-660

The monitor func()'s criteria in the monitor_process.py now is whether at least
one process of the specific controller node service is recovered. But in reality
is more resonable to use whether processes have been recoverd to it's original
amount. This patch is aiming at improving the isssue

Change-Id: I950ce2a89555801b96092735b0d670e892049927
Signed-off-by: JingLu5 <lvjing5@huawei.com>
(cherry picked from commit 37921fcd232cd2fbba9f45ef9fa5d8c912f54af6)

fix multi-monitor unitest hang

need to mock SSH.from_node().execute.return_value
because we switch most SSH calls to use from_node()
factory function

Change-Id: Ibea525c2fcc243d41de8ccbcd40bc98532d69006
Signed-off-by: Ross Brattain <ross.b.brattain@intel.com>
(cherry picked from commit 5271e612d427b29c2da84f8417f4192427ae3977)

Merge "increase monitor number in cases." into stable/danube

fix bug: multi monitor

JIRA: YARDSTICK-657

Change-Id: I77223cc43d529828cf3f763529019590c35b2fcb
Signed-off-by: HuanLi <lihuansse@tongji.edu.cn>
(cherry picked from commit 67b56f734f1d2bb77601c2e75e29fd351f70498e)

Merge "Add a new monitor type: MultiMonitor that can run any number of other monitors at the same time." into stable/danube

Add a new monitor type: MultiMonitor that can run any number of other monitors at the same time.

JIRA: YARDSTICK-397

Change-Id: Ic5cb79f0820029e306373abead1ea43fac9abee2
Signed-off-by: LiHuan <lihuanwk@126.com>
(cherry picked from commit 747a3260fef52fb5f7da337bc149ec202a05be6e)

Bugfix: change monitor command in tc019

JIRA: YARDSTICK-655

The original openstack command used for monitoring high availability openstack
nova-api service in tc019 is "nova image-list", the "openstack image list" command
used in tc019 now may not correctly show the nova-api service status.
This is patch swtich the monitor command to "openstack server list".

Change-Id: I8810f28b4328ceb4d911a3041a24774ae9cae8f0
Signed-off-by: JingLu5 <lvjing5@huawei.com>
(cherry picked from commit a5e13df9381c531716b1e41e7a9dedb130fc6e35)

increase monitor number in cases.

change cases to multi-monitor mode and improve monitor accuracy.

JIRA: YARDSTICK-397

Change-Id: I6840423dd83899b769df76fbee808f9bf5dc4cfd
Signed-off-by: HuanLi <lihuansse@tongji.edu.cn>
(cherry picked from commit ab7292a8e3060bf6feaa830b156089fa70854664)

Bugfix: Support HA test cases in TripleO

Change-Id: Ib1f6f45677e66ca88fb546ea0662f52588e9d336
Signed-off-by: JingLu5 <lvjing5@huawei.com>
(cherry picked from commit 67da8f2ddb5cbf14bbf0df48b10240ba6ebadbe9)

Bugfix: Local Openstack Operation in HA test frameworks

JIRA: YARDSTICK-635

Change-Id: Ic27517714db9325e7a3b1ef623c49af61c36b2b5
Signed-off-by: tjuyinkanglin <14_ykl@tongji.edu.cn>
(cherry picked from commit 2fb95fbb9380ea7ce92dcb32cd2f0789b9f91bdc)

Merge "standardize ssh auth" into stable/danube

Update release note for Danube.2.0

Change-Id: I573c156e86ce92eb82179a81d8106752e6421183
Signed-off-by: JingLu5 <lvjing5@huawei.com>

standardize ssh auth

we need to be following defautl paramiko rules,
first use pkey, then key_filenames (autodetecting ~/.ssh/ keys),
then password

We have too much boilerplate redudant code everywhere, we need
to standardize on a factory function that takes a node dict.

Using Python3 ChainMap we can layer overrides and defaults.

VNF descriptors have to default key_filename, password to Python None.
The only way to do this is to omit key values if the variable is not
defined, this way the dict will not have the value and it will
default to Python None

Add python2 chainmap backport

Updated unittest mocking to use ssh.SSH.from_node

Change-Id: I80b0cb606e593b33e317c9e5e8ed0b74da591514
Signed-off-by: Ross Brattain <ross.b.brattain@intel.com>
(cherry picked from commit 99abbb424007da2e01762f3c040a39c0157cbe1f)

Store packetsize in influxdb

This allows calculating throughput in Gbps.

Add: test_pktgen.py

Change-Id: I7e2132ec71985c14570ef18b952b2264ebf7abbc
JIRA: YARKSTICK-611
Signed-off-by: Jing Zhang <jing.c.zhang@nokia.com>
(cherry picked from commit 639450d91ab409f70b6f119291197da40b1d5f0b)

cyclictest: use raw strings to escape \[8

Change-Id: I36d93eacab2470f90af5653104ad5c07853411bf
Signed-off-by: Ross Brattain <ross.b.brattain@intel.com>
(cherry picked from commit 4a16c5c592f48953d0b6678376f540b54135d51c)

Merge "KVMFORNFV:Passing breaktrace option to cyclictest." into stable/danube

attacker_general: fix logging to use %s

Change-Id: Ib451d7883eb5df13cfe95477cea43c076ac0452a
Signed-off-by: Ross Brattain <ross.b.brattain@intel.com>
(cherry picked from commit 45f46d5220cbfa89224d55caf94a079fccd2679f)

KVMFORNFV:Passing breaktrace option to cyclictest.

This patch is used to add breaktrace option to monitor the latency
values while executing cyclictest test cases as a part of kvmfornfv
verify and daily jobs.

Change-Id: I035ea72a8946a9d3db37a6ee33ffbf3ca67834a2
Signed-off-by: Gundarapu Kalyan Reddy <reddyx.gundarapu@intel.com>
(cherry picked from commit 97c39be854022146b1c27fa2932bdc88a8781cf9)

Modify HA test cases and HA test script to support other installers

JIRA: YARDSTICK-633

Change-Id: I65fd1ba11504dc61485f83c3bcc93bec4d41883b
Signed-off-by: tjuyinkanglin <14_ykl@tongji.edu.cn>
(cherry picked from commit 27cc0643cf93f4b44c12fbdfcc3e0841d46214c4)

Merge "fix ha issue when run tc050~tc054 in ci" into stable/danube

Merge "run ha test case in compass pod" into stable/danube

fix ha issue when run tc050~tc054 in ci

JIRA: YARDSTICK-634

Change-Id: I46681c7e8afe391eef9c5309470028167e911950
Signed-off-by: rexlee8776 <limingjiang@huawei.com>
(cherry picked from commit 71bbbdb18b5f8621b8b4ed9aa0e4fcc1e8882085)

run ha test case in compass pod

JIRA: YARDSTICK-634

Change-Id: I586d5177598efeda8ac3937d1eb04cd5b97b6ec6
Signed-off-by: rexlee8776 <limingjiang@huawei.com>
(cherry picked from commit 5c4b29189bd69912c9bc356a15a46db764045537)

Bugfix: fix HA test case tc046

The original way to kill keystone service didn't work anymore.
this patch uses killall -u to kill keystone processes.

Change-Id: I553b716f17a5ab7e57630468517642a92f06dd27
Signed-off-by: JingLu5 <lvjing5@huawei.com>
(cherry picked from commit 909606466c50aab19017b6e6cedd3e213aff7c27)

Merge "operation_general: fix logging to use %s" into stable/danube

operation_general: fix logging to use %s

Change-Id: I1b37cbf07e8858ca3e75bb74c57fe84485ff4989
Signed-off-by: Ross Brattain <ross.b.brattain@intel.com>
(cherry picked from commit 37f600566c56542999529da47299c4caf54d073a)

Bugfix: fix multi-region support

When running with multiple regions we need to specify
the region when we select the endpoint.

the region is specified in the OS_REGION_NAME env variable

Change-Id: I37853dd42f6d9013d4475b5e3b2b9f97b6bdc8d0
Signed-off-by: Ross Brattain <ross.b.brattain@intel.com>
(cherry picked from commit 90032ba61345752b014002dda629f84c42780e6c)

Merge "Bugfix: fix HA testcases" into stable/danube

Merge "Bugfix: KeyError when using http dispatcher" into stable/danube

Merge "cachestat: use raw strings to escape \d" into stable/danube

Merge "bugfix: fix HA testcases" into stable/danube

Bugfix: KeyError when using http dispatcher

JIRA: YARDSTICK-632

When we use http dispatcher to output yardstick result.
It can upload data, but when we query the data, it get a KeyError.

Change-Id: I5410c207c68cff2621ff8184ae17daa4c286cea5
Signed-off-by: chenjiankun <chenjiankun1@huawei.com>
(cherry picked from commit 1f59f2e6769cc7ae6f3b73eb1ce8ee09f2929f72)

cachestat: use raw strings to escape \d

Change-Id: Iff40f7c938af0d7c148c708eed19095b140ccb8b
Signed-off-by: Ross Brattain <ross.b.brattain@intel.com>
(cherry picked from commit 6bdf476e43200fefb09a11ea1f6312ca8735fd52)

Bugfix: fix HA testcases

Change-Id: Ic930c59fcf3d7e53d385016051596b6563dca0d7
Signed-off-by: JingLu5 <lvjing5@huawei.com>
(cherry picked from commit 01261850ea2ea2cb92572c9cfcb2c64bfafe9cbe)

bugfix: fix HA testcases

Change-Id: Ib38e94610a108ff7195cefdfaf048e0f4fd894e8
Signed-off-by: JingLu5 <lvjing5@huawei.com>
(cherry picked from commit 6604cb5f2d6e3c819cb8488f1ad3468184822cf9)

Bugfix: yardstick env prepare cmd do not support other installer

JIRA: YARDSTICK-629

Currently yardstick env prepare do not support other installer.
I will add follow support:
1. Environment variable already exists: then do not fetch openrc file
and do not add EXTERNAL_NETWORK variable.
2. Already have openrc file in /etc/yardstick/openstack.creds: only
source this file in API.
3.Environment variable not exists and openrc file not in
/etc/yardstick/openstack.creds: fetch openrc file and append
EXTERNAL_NETWORK variable.

Change-Id: I4ce98f2e17ef8e0a0a1c33c3862ca301c53bb6c2
Signed-off-by: chenjiankun <chenjiankun1@huawei.com>
(cherry picked from commit 48ad9b5dfa80c8d05d07c6f7fa12d53deddcf3a2)

Merge "Bugfix: Make tc019 abd tc025 accept --task-args options to change pod.yaml" into stable/danube

Update virtualenv installation step in userguide

Change-Id: I0b3e8f22b6878c3b2cf1a54f3c39f2888406c508
Signed-off-by: JingLu5 <lvjing5@huawei.com>
(cherry picked from commit f6e13de54c5b71f9112c38b12f6c327af743d68a)

Bugfix: Make tc019 abd tc025 accept --task-args options to change pod.yaml

JIRA: YARDSTICK-628

Change-Id: I7d1b84232a7477a2854ef1625cc63521999eff65
Signed-off-by: xudan <xudan16@huawei.com>
(cherry picked from commit 3f7829f0f28ce4d517ea8654122ee0d686fddf3e)

Yardstick virtualenv support

JIRA: YARDSTICK-620

In the patch, I separate python-setuptools from install.sh
and separate appdirs from requirements.txt because there will be
error when install them in virtualenv.
Also I will update the documentation when this patch merged;

Change-Id: I99a532d1851983775869e7c5e8e65fd0229e86df
Signed-off-by: chenjiankun <chenjiankun1@huawei.com>
(cherry picked from commit bb365d411d88a71871993b4ed803c2ffbbcb79bf)

Bugfix: fix typo

Change-Id: I9b7cd5f94b1663af3b807ce24c941868b10d85d1
Signed-off-by: JingLu5 <lvjing5@huawei.com>
(cherry picked from commit a84dfcb92e1de313fea7841224be5a374a2d2184)

Merge "Bugfix: fix ubuntu image name typo" into stable/danube

Bugfix: fix ubuntu image name typo

Change-Id: I8722f2ddd096bc784f45d4bcf58ea6a84d319fb2
Signed-off-by: JingLu5 <lvjing5@huawei.com>
(cherry picked from commit 571ee6afca03120c393def421eb35a466f9a940b)

Bugfix: fix query job status in TC074

JIRA: YARDSTICK-621
The storperf job status query in TC074 didn' work properly. The cause is the
"type: status" is not passed in the URL. This patch also update storperf VM
image to xenial.

Change-Id: Idd9f501416b24612f6045a57ba2a95e2ed3a9572
Signed-off-by: JingLu5 <lvjing5@huawei.com>
(cherry picked from commit b2fb23ca8ccc1acedaa9156552af4ba347f24103)

pip install yardstick failed in Apex

JIRA: YARDSTICK-625

In Apex, yardstick uninstall and install via pip failed.
This bug blocks yardstick CI jobs.
This patch enables pip install yardstick in editable mode.
So the install_yardstick() in yardstick_verify is unnecessary.

Change-Id: If290dac5fee5584601064ae9753ae2340643d3ca
Signed-off-by: JingLu5 <lvjing5@huawei.com>
(cherry picked from commit d2cb7ce7331d8da4c3b5b70b09dac49cf65d1710)

Merge "Yardstick virtualenv support" into stable/danube

Yardstick virtualenv support

JIRA: YARDSTICK-620

Currently we recommend using docker to run yardstick.
And it is hard to use virtualenv to install yardstick.
So I modify install.sh in yardstick root path.
It will support using virtualenv to install yardstick(including API) in
linux.
In this patch, I make yardstick support read yardstick configuration
have priority over constants.

Change-Id: I9ea1241b228532a6497451e6c8f232173ddb783e
Signed-off-by: chenjiankun <chenjiankun1@huawei.com>
(cherry picked from commit b74d875134b988a26441d559a9e700aaa68d6a0c)

yardstick offline support

JIRA: YARDSTICK-597

Currently yardstick can not run offline.
In some case this will block the process, causing yardstick job failed
The reason is yardstick will pull the latest code when run in CI.
Actually we need not pull the latest code because the code in yardstick
is already the latest code.
So I remove them.
Also I check the environment variable and yardstick-image when fetch
openrc file and load images.

Change-Id: I797da272932ab5292aa40585c82c119aa71b8849
Signed-off-by: chenjiankun <chenjiankun1@huawei.com>
(cherry picked from commit 38df788fc4a683717a6e7cbd498fad1e7cbe7209)

Add opnfv_os-ovn-nofeature-noha_daily test suite

JIRA: YARDSTICK-624

Change-Id: Ia783bec53e4d889736db7e510d28c32377d4f9b2
Signed-off-by: JingLu5 <lvjing5@huawei.com>
(cherry picked from commit da47f4de9d57f40ecc7cedeac18c0d061bd21c84)

Bugfix: take test case modification into effect in load_images.sh

JIRA: YARDSTICK-622

Bug log: https://build.opnfv.org/ci/view/armband/job/yardstick-fuel-armband-baremetal-daily-danube/24/console

This error is because the file changes done in the load_images.sh is not updated.
After file modification, pip install -U . is required to tack changes into effect.

Change-Id: I8be3ffc963e3d5cec861b68a33efc2fa5bdabbd2
Signed-off-by: JingLu5 <lvjing5@huawei.com>

Merge "Set work directory in Yardstick container" into stable/danube

Refine documentation

Change-Id: Ic9a84954fdb18ac97afde01541b4c84157df8441
Signed-off-by: JingLu5 <lvjing5@huawei.com>

add yardstick_user_interface chapter in userguide

JIRA: YARDSTICK-618

Change-Id: I690c24d665016a381ae1ed7d8fa94d5a34bc1b1b
Signed-off-by: JingLu5 <lvjing5@huawei.com>
(cherry picked from commit 0ce79677b81b47a7f66e43af896cfa9632da6bee)

Bugfix: Error validating value 'cirros-0.3.5'

JIRA: YARDSTICK-607

some scenarios come with a Cirros-0.3.5 image, Yardstick's load_images.sh will
load a second cirros-0.3.5 image, causing the following error:
2017-03-27 07:42:58,317 yardstick.orchestrator.heat heat.py:449 INFO Creating stack 'demo-2ada98f3'
error: failed to deploy stack: 'ERROR: Property error: : resources.ares.demo-2ada98f3.properties.image: : Error validating value 'cirros-0.3.5': No images unique match found for
{'name': u'cirros-0.3.5'}

This patch fixs this error by skipping load cirros image if there already exist
one in the glance.

Change-Id: I4d43d82d331f6575efd4560be9b6be175e03cd1b
Signed-off-by: JingLu5 <lvjing5@huawei.com>
(cherry picked from commit 3f70095d15afb86567f885cbfbd89183d857f671)

Bugfix: Add test suite for opnfv_os-odl_l3-ovs-ha_daily scenario

JIRA: YARDSTICK-617

Apex has a new scenario 'opnfv_os-odl_l3-ovs-ha_daily' in CI.
This patch add yardstick test suite for this scenario.

Change-Id: I50eb84fb506e7cf87cbd6bcb67f3df6d185d8b6b
Signed-off-by: JingLu5 <lvjing5@huawei.com>
(cherry picked from commit 0e930373273dc76db929e8e885beb97e04636ad2)

Refine documentation

Change-Id: I0d3387a520e3decf51bb0f7db53996f148a611d0
Signed-off-by: JingLu5 <lvjing5@huawei.com>
(cherry picked from commit 2347f3977823bfd0c4b1fa832d9046b8a625596b)

Adding Labels

Labels serve as anchors/ refs when referenced from other documents
This patch adds labels to docs/*/*/index.rst

Change-Id: I046277771130cc6298636fb30f9d6dae7de224cf
Signed-off-by: rexlee8776 <limingjiang@huawei.com>
(cherry picked from commit 6509a1b7ce0cd16f17ea3116af25794938c93566)

Yardstick: User interface for Yardstick.

Currently Yardstick doesnt have any UI which gives detail analysis
of the test-results.
This commit generates a HTML page after the execution of a command
"yardstick report generate <task-ID> <TC-name>" which intern
can be executed after the execution of test-case.
Used: Highcharts.js for the graphs.

JIRA: YARDSTICK-280

Change-Id: Ic98cc348719f3922bff178f52e7944a4a931763a
Signed-off-by: Rajesh K <4k.rajesh@gmail.com>
(cherry picked from commit 25b21add71fcf7c2c795bd950b5117d69fac68fb)

Update cirros image to latest version

Change-Id: Iffa1e4529e5b6e9664ac503a5815ea9a034d7515
Signed-off-by: Michael Polenchuk <mpolenchuk@mirantis.com>
(cherry picked from commit 043727feabaf7cabb719dbd3d52274bcd0dbea66)

Set work directory in Yardstick container

JIRA: YARDSTICK-608

Set the work directory to /home/opnfv/repos in yardstick docker container to
help users better understand file structure.
This is a improvement related with document improvement.

Change-Id: Ief4b76e6d6898ceab4a546574f5a09d51eb0d945
Signed-off-by: JingLu5 <lvjing5@huawei.com>
(cherry picked from commit 343970dc9c6193e28863e4ab8bae801b5060ae6a)

Bugfix: improper license header in swagger docs

JIRA: YARDSTICK-609

In the patch:
https://gerrit.opnfv.org/gerrit/#/c/28833/

It update the license header, but it is improper to swagger yaml file.
The license information will show in swagger docs.
So I remove it.

Change-Id: Ib87f0f43a95e3b2145c4b59059c4573000f1997c
Signed-off-by: chenjiankun <chenjiankun1@huawei.com>
(cherry picked from commit 6e77001bcd07f30f9edcf4103528002f4c4ec536)

Bugfix:add storperf flavor for TC074

JIRA: YARDSTICK-604

the storperf container now uses a flavor called "storperf", if this flavor is
absent, stack creating process will fail. also the openstack variables that
passed to the storperf container also needs a update

Change-Id: Iab4be6491cc9b24526948e5571f0476ec885a93d
Signed-off-by: JingLu5 <lvjing5@huawei.com>
(cherry picked from commit 0691766d310e00d7f1cec763427db271076b5633)

Merge "Bugfix:HA test cases rely on dynamic ip addresses in fuel pods" into stable/danube

pathspec 'master' did not match any file(s) known to git

JIRA: YARDSTICK-605

On stable branch, exec_tests.sh will also try to git checkout master
branch, which cause error "pathspec 'master' did not match any file(s)
known to git." This is a remianing bug from the previous release.
see at:
https://build.opnfv.org/ci/view/yardstick/job/yardstick-apex-lf-pod1-daily-danube/62/console
This error occur in line 48.
But the reason is 'set -e'
If we set 'set -e':
'git checkout master && git pull' return 1 but it will go on executing;
but 'git checkout master' will return 1 and terminate immediately.
If we do not set, it will return 1 but will terminate immediately.
Actually we not need 'git checkout master' here because it is already in
stable/danube branch.
So I remove it.

Change-Id: I106a1da28cf2deee90ebcb25adaf638a210928ee
Signed-off-by: chenjiankun <chenjiankun1@huawei.com>

Bugfix:HA test cases rely on dynamic ip addresses in fuel pods

JIRA: YARDSTICK-602

change HA test cases to rely on dynamical generated pod.yaml in fuel pods

Change-Id: I0efb01489eb2dd94babf1a45bff2fbf6adef5f6e
Signed-off-by: JingLu5 <lvjing5@huawei.com>
(cherry picked from commit 6c414e6f46861f71aa68db43ffabcad2305f3f32)

Merge "yardstick offline support" into stable/danube

Merge "Add CPU pinning support for node context" into stable/danube

Merge "Add NUMA pinning support for node context" into stable/danube

yardstick offline support

JIRA: YARDSTICK-597

Currently yardstick can not run offline.
The reason is yardstick will pull the latest code when run in CI.
Actually we need not pull the latest code because the code in yardstick
is already the latest code.
So I remove them.

Change-Id: Ief87c529625ccaa26e758a2206318b3797bbfd74
Signed-off-by: chenjiankun <chenjiankun1@huawei.com>
(cherry picked from commit 52634e40e5668e2d8c031781d1b15b482b0511f4)

Update yardstick framework architecture in userguide

JIRA: YARDSTICK-590

This patch update the yardstick framework architecture in the userguide,
also fix some rst grammar mistakes

Change-Id: I84e7c24b4cd936a01f4c191e9f530f15f9f711de
Signed-off-by: JingLu5 <lvjing5@huawei.com>
(cherry picked from commit 7150e6bc49098937edcac0fa9fa108329c74af4a)

Bugfix: Could not load EntryPoint.parse when using 'openstack -h'

JIRA: YARDSTICK-599

Python-openstackclient 3.7.0 has a issus that cause -help info can not be
loaded properly when executing 'openstack -h' command.

Change-Id: I0a5f7a0943d56764b1c4d5d7335aa67b30f39b4c
Signed-off-by: JingLu5 <lvjing5@huawei.com>
(cherry picked from commit ff3501f28a80537cb9a2453708e2d3d62c4a3292)