Merge "Add some UT test cases and fix pep8 errors for cli and env_setup."

Add some UT test cases and fix pep8 errors for cli and env_setup.

JIRA:QTIP-89

Change-Id: I4a46898071001f679f1a032a560d605dffc8eb9f
Signed-off-by: zhifeng.jiang <jiang.zhifeng@zte.com.cn>

Merge "Update committer list"

Merge "Change the pod name from dell-us-testing-bm-1 to dell-pod1 in test_cases."

Merge "Run the test only when ping ok and try ping 20 times."

Change the pod name from dell-us-testing-bm-1 to dell-pod1 in test_cases.

JIRA:QTIP-94

Change-Id: Ic67a50af8b967592357ac1459bd61a5e3b27b654
Signed-off-by: zhifeng.jiang <jiang.zhifeng@zte.com.cn>

Update committer list

Change-Id: Ie2474a534f4ae5764f284bc865ec104d60f02032
Signed-off-by: Yujun Zhang <zhang.yujunz@zte.com.cn>

Run the test only when ping ok and try ping 20 times.

JIRA: QTIP-92

Change-Id: I270deb3b1d930d6805524d10826f5711b3e4787e
Signed-off-by: zhifeng.jiang <jiang.zhifeng@zte.com.cn>

Merge "Change the key in results to adapt to new testapi."

Merge "Patch the ssh-copy-id in fuel 9.0."

Change the key in results to adapt to new testapi.

JIRA:QTIP-86

Change-Id: Ifd5e8d678d3a310d23c561d806393dad0e2f3cfe
Signed-off-by: zhifeng.jiang <jiang.zhifeng@zte.com.cn>

Patch the ssh-copy-id in fuel 9.0.

JIRA:QTIP-69

Change-Id: I14066b15247431780b5df1efebcb8cc4232d3761
Co-Authored-By: yujun.zhang <zhang.yujunz@zte.com.cn>
Signed-off-by: zhifeng.jiang <jiang.zhifeng@zte.com.cn>

Merge "Change url to new testapi"

Merge "Add the tox.ini and requirement list so that we can start pep8 check by "tox -e pep8""

Change url to new testapi

JIRA:QTIP-86

Change-Id: Ib29ba4d0ae5e30c2aff0170893104d4685e8224a
Signed-off-by: zhifeng.jiang <jiang.zhifeng@zte.com.cn>

Fix the pep8 error in qtip.py and validate_yaml.py

JIRA:QTIP-89

Change-Id: Ifd760f74601dbc3e4d4c55108ed60a634f33cf49
Signed-off-by: zhifeng.jiang <jiang.zhifeng@zte.com.cn>

Add the tox.ini and requirement list so that we can start pep8 check by "tox -e pep8"

JIRA:QTIP-89

Change-Id: Iff0792e2503be73865aa21c2995f1fb2252442fb
Signed-off-by: zhifeng.jiang <jiang.zhifeng@zte.com.cn>

Merge "Add zte-pod1 test cases and  include proxy in playbooks."

Merge "Correct the wrong default public network name when install is 'fuel' and version is 8.0."

dos2Unix the pushtoDb.py file.

Change-Id: I507822e4ea02a4e5fecc7242482b76d9412eede4
Signed-off-by: zhifeng.jiang <jiang.zhifeng@zte.com.cn>

Add zte-pod1 test cases and  include proxy in playbooks.

JIRA:QTIP-75

Change-Id: I20cd348c292db9f2d7478d46183229544a604bbb
Signed-off-by: zhifeng.jiang <jiang.zhifeng@zte.com.cn>

Correct the wrong default public network name when install is 'fuel' and version is 8.0.

JIRA:QTIP-83

Change-Id: I2864105e525f095302fd5ddf0e96d2cf76248c1c
Signed-off-by: zhifeng.jiang <jiang.zhifeng@zte.com.cn>

Merge "Fix typo in README"

Merge "Clean up temporary files from repo"

Merge "Correct the wrong host name in default storage fio test_case"

Merge "This change fix the iperf server port 5201 dropped by iptables problem."

Merge "Read the proxy info from testcase, and set it to hosts when dhrystone benchmarks test."

Fix typo in README

Change-Id: I24403c75f810ee56142658ffe3d60a7113bab8bd
Signed-off-by: Yujun Zhang <zhang.yujunz@zte.com.cn>

Correct the wrong host name in default storage fio test_case

Change-Id: I14777b66dfd584cdce0602a229cab23a5460fc09
Signed-off-by: zhifeng.jiang <jiang.zhifeng@zte.com.cn>

Clean up temporary files from repo

Change-Id: Ib613c8570fd5502987b1fa977c961a62e041c8c2
Signed-off-by: Yujun Zhang <zhang.yujunz@zte.com.cn>

This change fix the iperf server port 5201 dropped by iptables problem.

modification:
- Delete "Getting Firewall entry number"
- Delete  "Removing entry number"
- Add "Allow iperf port in iptables input"

QTIP-77

Change-Id: If124d747468831218645920c31cb76463d1d17e2
Signed-off-by: zhifeng.jiang <jiang.zhifeng@zte.com.cn>

Read the proxy info from testcase, and set it to hosts when dhrystone benchmarks test.

modification:
  Write the git_proxy_pbook.yaml to set git proxy info in hosts or vms.
  Write the sys_proxy_pbook.yaml to set yum apt wget env proxy info in hosts or vms.
  Change the dhrystone.yaml to include proxy  and add the zte-pod1 /compute/dhrystone_bm.yaml.Tested and passed.Other playbooks did not include the proxy yet. I will test and push lately.

QTIP-74

Change-Id: Ia820bc32798b9f1f6f4165a111524e04c129a5df
Signed-off-by: zhifeng.jiang <jiang.zhifeng@zte.com.cn>

Change the args.benchmark which is not defined to benchmarks[items]

QTIP-76

Change-Id: Ia92268f296650331cec9baa876075b2708348ec5
Signed-off-by: zhifeng.jiang <jiang.zhifeng@zte.com.cn>

Add proxy info in sample-config.yaml and 03-usage-guide.rst

JIRA:QTIP-73

Change-Id: I4cf5ee2f1bd7eeb79076b505cc51d607516410ed
Signed-off-by: zhifeng.jiang <jiang.zhifeng@zte.com.cn>

Correct some spelling mistakes.

Change-Id: I990684afba696775abe07e8d4dd3ac4ade77cb61
Signed-off-by: zhifeng.jiang <jiang.zhifeng@zte.com.cn>

Changed upstream links for playbooks

Upsream links such as OpenSSL may break.
Changed these links to links hosted at
artifacts.opnfv.org so that links don't break
for B release branch

Change-Id: I9ca5cacf27030446dfa59717855f60dc1544b422
Signed-off-by: Nauman_Ahad <nauman.ahad@xflowresearch.com>

Resolved bug for Compass CI Jobs

Resolved problem for ssh into baremetal nodes.
Capability for CI Jobs through Apex also added

Change-Id: Ide34b97f97269750e8ec3d6f18ca693d28359223
Signed-off-by: Nauman_Ahad <nauman.ahad@xflowresearch.com>

Resolved bug for CI error

Args parameter causing error for CI.
IPs changed for compass pod on dell-us-testing-bm-1 pod

Change-Id: Ic1fcedc2cc623bda83b31e68db7979dc302d52f5
Signed-off-by: Nauman_Ahad <nauman.ahad@xflowresearch.com>

qtip: add user name in case of apex and make the changes in ansible
playbooks to cater for apex. Also reduce the verbosity for runnning
ansbile plays.

Change-Id: Id3a6da7bea3ede99f8a23e5fd0a2801987f9565b
Signed-off-by: MofassirArif <mofassir.arif@xflowresearch.com>

QTIP report generation docker dependencies resolved

Needed dependencies for report within  QTIP docker image
were resolved. Additionally, added an error check in case no
results are available for the report.

Change-Id: Ifd4ccd406555faf156e4274ca312e1ef55ed64b3
Signed-off-by: Nauman_Ahad <nauman_ahad@xflowresearch.com>

Modifed documentation to generate improved PDFs in tool chain

Modified the location for documentation files within the docs directory.
Index files modified to generate better PDFs

Change-Id: Ie21b1021a8d09013df48afc6d737d95ee8aeed92
Signed-off-by: Nauman_Ahad <nauman_ahad@xflowresearch.com>

qtip: apex integration, add heat-admin as user for apex nodes

Change-Id: If49136ba8edcaf1d721c4592b61a1b7cd5c79e87
Signed-off-by: MofassirArif <mofassir.arif@xflowresearch.com>

QTIP output report format fixed

In addtion to grahs, output report shows invidual testcase result details.

Change-Id: Id774eac340d12526fd317c1b4b00b51a22b114cf
Signed-off-by: Nauman_Ahad <nauman_ahad@xflowresearch.com>

Fixed issue with SSL and IPERF

Recent patches incorporating sudo led to an error

Change-Id: If0e3316fbebce774db43f5fdcb3ea5e322a28222
Signed-off-by: Nauman_Ahad <nauman_ahad@xflowresearch.com>

Bug Fixes for SSL index calculation

Index calcuation for SSL caused a ValueError when
converting to float due to the presence of
a trailing "k" character. This has ben resolved.

Change-Id: I6f7d061977a3a8cbc2aa1afe154df5eeec9feac8
Signed-off-by: Nauman_Ahad <nauman_ahad@xflowresearch.com>

add sudo changes for joid

Change-Id: Id31e687779be159cd3ad83cb3df2289054927074
Signed-off-by: MofassirArif <mofassir.arif@xflowresearch.com>

Fixed the index calculation for QTIP compute, network and storage suites

Earlier inaccurate index calculation updated.
Now indices take into account vm and bm cases

Change-Id: Icf2d7fc17ef765f5c0611b5371d57410ba155cb6
Signed-off-by: Nauman_Ahad <nauman_ahad@xflowresearch.com>

Corrected the openssl link

SSL playbooks failed, as openssl link became obsolete.
Updated the link in the ssl playbook

Change-Id: I8be4d4fd34656a44df718854a6a219084c2231e7
Signed-off-by: Nauman_Ahad <nauman_ahad@xflowresearch.com>

Fixed RAMSPEED and Whetstone bugs

After changes to incorporate "ubuntu" users for joid,
minor bugs in whetsotne and ramspeed playbooks.
These bugs were fixed.

Change-Id: I072b0b8390ad9e161e3ec2d1c9ff51e949f06cbb
Signed-off-by: Nauman_Ahad <nauman_ahad@xflowresearch.com>

Test_case name included in final json result file

Change-Id: Ic4059dd58d2c5c4e9f8a00a1c419dce0994bc1bc
Signed-off-by: Nauman Ahad <nauman.ahad@xflowresearch.com>

qtip: compass dependencies

Change-Id: Id4be468c5a1cef6d9b887f1114eab5af808455af
Signed-off-by: MofassirArif <mofassir.arif@xflowresearch.com>

qtip bug: storage playbook, update --become-user

Change-Id: I3de6f779dabef546e313f8264ceeb993f4220f46
Signed-off-by: MofassirArif <mofassir.arif@xflowresearch.com>

qtip: add condition for switching user to joid.

Change-Id: I9898a4eb21fb197a59fc72686d156eb4ef115388
Signed-off-by: MofassirArif <Mofassir_Arif@dellteam.com>

Pip requirements package changed

reportlab removed from pip requirements file
for Docker installation

Change-Id: Ife64de0041d9e549d02fa41cb8d4dca7296d6d80
Signed-off-by: Nauman_Ahad <Nauman_Ahad@dell.com>

Modified Dockerfile for Report Generation dependencies

Dependencies for matplotlib and reportlib were added in
the dockerfile
Signed-off-by: Nauman_Ahad <Nauman_Ahad@dell.com>
Change-Id: Icda969573447d328a221daacfcd7049ea51dedd2

Report Generation for QTIP

Creates a PDF file for QTIP, along with a graph of results

Change-Id: Iac66bf53cf8c41554d38e3a9d6cdfec236cff3ec
Signed-off-by: Nauman_Ahad <Nauman_Ahad@dell.com>

Merge "update: address for testing db"

update: address for testing db

Change-Id: I48b30fffd1de2512e4f46ee951a85299edc06a1c
Signed-off-by: MofassirArif <Mofassir_Arif@dellteam.com>

bug-fix: fix bug in docker run file, replace $$ with &&

Change-Id: Ic48483ae97aab2f844ee753cecf5fc3714a13cdb
Signed-off-by: MofassirArif <Mofassir_Arif@dellteam.com>

bug fix: result collection bug fix for docker images

Change-Id: Ia4ea09b90c7a4f4e3699af456c6d66e85661cc0b
Signed-off-by: MofassirArif <Mofassir_Arif@dellteam.com>

Resolving bug for result collection

For all benchmarks, the final ansible play to consolidate
json was failing in docker containers

Change-Id: I3611d74b7dbd38eccd46f9dcc982473f96b16157
Signed-off-by: Nauman_Ahad <Nauman_Ahad@dell.com>

Documents for QTIP Compute and Storage Testcases

Documents list storage and compute  benchmarks and testcases
included in B release for QTIP. Documents in .rst format

Change-Id: Ifb6d09552ba4ff9272110062cda9e66fb6c32fe6
Signed-off-by: Nauman_Ahad <Nauman_Ahad@dell.com>

docs: add docs for usage, introduction and iperf testcase

Change-Id: Ida3460ddd5d2b377351681e5f1d2457ec76ae95f
Signed-off-by: MofassirArif <Mofassir_Arif@dellteam.com>

Merge "bug fix: make installer specific changes for baremetal. cater for fuel"

bug fix: make installer specific changes for baremetal. cater
for fuel

Change-Id: Ie8c233873041238e3fc1aaaa653653552c7c7428
Signed-off-by: MofassirArif <Mofassir_Arif@dellteam.com>

Dummy patch to trigger docker build for qtip

Change-Id: I58f4b0ec9be88e743e76ec92c14423486ce626a2
Signed-off-by: Nauman_Ahad <Nauman_Ahad@dell.com>

Push to DB script for Jenkins Jobs

Added a script that could be called inside the docker
container to push results to DB.

Change-Id: I6b6496f5d670f415606afc605fc3bdc1c4e88fbb
Signed-off-by: Nauman_Ahad <Nauman_Ahad@dell.com>

qtip: remove white spaces

Change-Id: I1e90a91eaa9db8e90a87f2ee9cccb6999740b8b3
Signed-off-by: MofassirArif <Mofassir_Arif@dellteam.com>

bug fix in pushtodb

Change-Id: I2cba0a805275ebae8b79a968cc8d725dcc96504a
Signed-off-by: MofassirArif <Mofassir_Arif@dellteam.com>

run_qtip.sh fix

Renamed compute.txt to compute for run_qtip.sh
to reflect changes made in qtip repo

Change-Id: I4456ef305cfd01c039ce152b5fd6f6512204166d
Signed-off-by: Nauman_Ahad <Nauman_Ahad@dell.com>

Patch for fixing ramspeed result_transform bug

Inserted space in ramspd_transform.py file to overcome
key error while calculating result_index

Change-Id: I3f6d1295b9297aa5d9935f58b04703602a1c4b92
Signed-off-by: Nauman_Ahad <Nauman_Ahad@dell.com>

error handling for the files being input to the framework.
iperf bug fix for the bare metal testing, renamed all the iperf
config files. added more detail to the help.

Change-Id: I16cfb1c05599cd0b803e735e6a75083e3e6733ec
Signed-off-by: MofassirArif <Mofassir_Arif@dellteam.com>

Include Ramspeed Index calulcation

Ramspeed Index calculation included.
Additionally, error handling for suite indices calulcation
to ignore absent result files

Change-Id: I8b2360b0f16b6d3b7d8485e88a0c1f7f0787ad5a
Signed-off-by: Nauman_Ahad <Nauman_Ahad@dell.com>

Updated the code to accept compute instead of compute.txt

Change-Id: I06ce77e04db0e1c7d7de6c16b3a876740099e5ae
Signed-off-by: Mofassir <Mofassir_arif@Dellteam.com>

Changed name for lab of dell-us-deploying-bm-3

Changed name from dell-us-deploying-bm-3 to
dell-us-deploying-bm3 in testcases.
Removed duplicate ramspeed playbook file "ramspeedbench.yaml"

Change-Id: Ieb49a0466e6f86bb02990962b382696cc7ae3e31
Signed-off-by: Nauman_Ahad <Nauman_Ahad@dell.com>

Modifications to the index calculation script

Modifications to the index calulation script.
Key for each suite changed to "Index" from  "<suite> Index".
This is to reuse code for the dashboard.py file for QTIP

Change-Id: I6e8c8c268b7d9376b0f44d572ed022910e8ad4d9
Signed-off-by: Nauman_Ahad <Nauman_Ahad@dell.com>

Renamed test_case list files

Renamed test_case list files to remove *.txt at the end

Change-Id: Ibe1deb89a05bc9753189768f7d785767f140819e
Signed-off-by: Nauman_Ahad <Nauman_Ahad@dell.com>

Slight changes to the run_qtip.sh script

Modifications needed in run_qtip.sh for Jenkins Jobs
to run. Docker file changed too.
get_env.sh script location changed too.

Testcases for dell-us-deploying-bm-3 lab added along with the default testcase
directory

Change-Id: I293febda0ddd3d56d1c455fde220dc78a57b6c18
Signed-off-by: Nauman_Ahad <Nauman_Ahad@dell.com>

started work on the dashboard API

Change-Id: Ifbb16f20ff8a0821b790c0c44a1eae82875f9051
Signed-off-by: Mofassir <Mofassir_arif@Dellteam.com>

I have added the placeholder documentation files and
folders. They will be editted in time for the release

Change-Id: Id69392233399ad536b359da5733dfaa43a602443
Signed-off-by: Mofassir <Mofassir_arif@Dellteam.com>

QTIP Index calculation along with a script to run qtip from docker

Calculation of Result Indices for
1. Compute suite
2. Storage suite
3. Network suite

A script to run qtip from inside the docker container (for Jenkins Jobs)

Resolved bugs with ssl_trasform.py, sys info collection on ubuntu and
system information collection script

Change-Id: Ic5abb3dbd0012cd2257b588b1b3067a6677b1f5d
Signed-off-by: Nauman_Ahad <Nauman_Ahad@dell.com>

Storage Result Transformation script

Missed the Storage Result transformation script in earlier submit.
Submitted now

Change-Id: Ie33ee80529c816f16371fff5163784e42f6dba85
Signed-off-by: Nauman_Ahad <Nauman_Ahad@dell.com>

Scripts for inserting QTIP.pub key on installed nodes

1st script takes in the installer type and installer ip
2nd script to be called by the qtip framework while providing
the destionation node ip as an argument

Change-Id: I2b6b2828bc0f00a38ea2998fb389435fd5963cae
Signed-off-by: Nauman_Ahad <Nauman_Ahad@dell.com>

Resolved bug in sys_info_collection playbook

Change-Id: I2e1844a153af46b8837b266d92dd7a8183321ec2
Signed-off-by: Nauman_Ahad <Nauman_Ahad@dell.com>

Storage Benchmarks testcases along with result transformation script

JIRA QTIP-63

Testcases revised for the storage suite.
Result transformation script for Storage testcases addedx
System Information script modified to check for network testcases.

Change-Id: I6c2fe641432b7bd45097495051e41bab05b8979c
Signed-off-by: Nauman_Ahad <Nauman_Ahad@dell.com>

Minor changes to the code, to prep for code freeze.
the result format of iperf has been made consistent

Change-Id: Iede4b381ca2e5d7643bf6420f17684bbf2cc2921
Signed-off-by: Mofassir <Mofassir_arif@Dellteam.com>

Restructured QTIP directories and CLI

I have changed the arguments for the CLI and now QTIP
takes a file along withthe name of the lab to run on
Right now only the config files for the dell lab have
been added, These will increase when we make QTIP available
for other labs. I have also added the provision of changing
the public network from the config file and some leftover
files from previous verisons have been remove

Change-Id: Ifeb01d80099eab06dc77a7b2e07097ebb17a13a2
Signed-off-by: Mofassir Arif <Mofassir_arif@dellteam.com>

Dockerfile for QTIP docker container

Dockerfile for creating QTIP docker image
Installs needed dependencies to run QTIP

JIRA: QTIP-48

Change-Id: I29083856d9a22d35eb983249059a176dc29f34e7
Signed-off-by: Nauman_Ahad <Nauman_Ahad@dell.com>

Storage benchmarsk for QTIP

Inclusion of Fio filesystem benchmarks
Includes a fio.yaml playbook
A FIO job folder that contains information for the fio job
Additionally testcases for storage benchmarks can be found in
"test case" directory

JIRA: QTIP-46

Change-Id: Icb4a429f8754c9ed4ceec548d8ddc6062992c85d
Signed-off-by: Nauman_Ahad <Nauman_Ahad@dell.com>

Python packages to be installed in QTIP docker

A .pip file for installing python package dependencies
in QTIP container

JIRA: QTIP-48

Change-Id: I5e57b8e80863a00b28e843f6f38606e2c71cb3a0
Signed-off-by: Nauman_Ahad <Nauman_Ahad@dell.com>

Patch for SSH issues after introducing qtip key

Ansible issues for ssh for ssl
Made modifications to the ansible playbook file
Disabled sudo on the commands to be run on the local machine
Explicitly introduced the remote_user in the playbook

Change-Id: I547f48ac4a6f1dd4c0996bddda516896a8c3afb6
Signed-off-by: Nauman_Ahad <Nauman_Ahad@dell.com>

Script to modify key file permissions

I have added a script to change the file permissions of the
key files to 600 so that they can be used by the ssh agent
The duration of the sshtest has also been reduced to allow
the Jenkins Job to run/fail in a reasonable amount of time

Change-Id: I5446896619dfba3f3efb600b64628343d6378164
Signed-off-by: Mofassir Arif <Mofassir_arif@dellteam.com>

files allowed

Signe i-off-by: Mofassir Arif <Mofassir_arif@dellteam.com>

Change-Id: Idadec9f067ccec646abf15d79a683c7667732093

Merge "Removed Root previlages"

Removed Root previlages

QTIP now uses a key of its own to ssh into VMs
The ssh for the baremetal servers still needs work

Change-Id: I1aa37e07c4f9b3f7f4902d16cdbf74f39eb6c698
Signed-off-by: Mofassir Arif <Mofassir_arif@dellteam.com>
Conflicts:
.gitignore

Removed Root previlages

QTIP now uses a key of its own to ssh into VMs
The ssh for the baremetal servers still needs work

Change-Id: I1aa37e07c4f9b3f7f4902d16cdbf74f39eb6c698
Signed-off-by: Mofassir Arif <Mofassir_arif@dellteam.com>
Conflicts:
.gitignore

Merge "Networking Testcase: Iperf Implemented"

Networking Testcase: Iperf Implemented

The ansible playbooks as well as the config files
for the iperf throughput testing have been implemented.
Some changes have been made to the driver function for
the benchmarks. ansible now gets passed a json file.

Change-Id: Ibf4c0210ab9f6cbf9896ca69bf2fb6bda8a9925d
Signed-off-by: Mofassir Arif <mofassir@gmail.com>

Revert "Missing Result directory"

This reverts commit ae9f53f8f00342627f6d0124e53a285438c1ca4e.

Change-Id: I7751111dd9f497abf4d6021f07add4bffd6fe29e

Missing Result directory

Change-Id: Ida46c3a6559a63ca35cf85ca180af1cb65910439
Signed-off-by: Nauman_Ahad <Nauman_Ahad@dell.com>