Merge "This change fix the iperf server port 5201 dropped by iptables problem."

Merge "Read the proxy info from testcase, and set it to hosts when dhrystone benchmarks test."

This change fix the iperf server port 5201 dropped by iptables problem.

modification:
- Delete "Getting Firewall entry number"
- Delete  "Removing entry number"
- Add "Allow iperf port in iptables input"

QTIP-77

Change-Id: If124d747468831218645920c31cb76463d1d17e2
Signed-off-by: zhifeng.jiang <jiang.zhifeng@zte.com.cn>

Read the proxy info from testcase, and set it to hosts when dhrystone benchmarks test.

modification:
  Write the git_proxy_pbook.yaml to set git proxy info in hosts or vms.
  Write the sys_proxy_pbook.yaml to set yum apt wget env proxy info in hosts or vms.
  Change the dhrystone.yaml to include proxy  and add the zte-pod1 /compute/dhrystone_bm.yaml.Tested and passed.Other playbooks did not include the proxy yet. I will test and push lately.

QTIP-74

Change-Id: Ia820bc32798b9f1f6f4165a111524e04c129a5df
Signed-off-by: zhifeng.jiang <jiang.zhifeng@zte.com.cn>

Change the args.benchmark which is not defined to benchmarks[items]

QTIP-76

Change-Id: Ia92268f296650331cec9baa876075b2708348ec5
Signed-off-by: zhifeng.jiang <jiang.zhifeng@zte.com.cn>

Add proxy info in sample-config.yaml and 03-usage-guide.rst

JIRA:QTIP-73

Change-Id: I4cf5ee2f1bd7eeb79076b505cc51d607516410ed
Signed-off-by: zhifeng.jiang <jiang.zhifeng@zte.com.cn>

Correct some spelling mistakes.

Change-Id: I990684afba696775abe07e8d4dd3ac4ade77cb61
Signed-off-by: zhifeng.jiang <jiang.zhifeng@zte.com.cn>

Changed upstream links for playbooks

Upsream links such as OpenSSL may break.
Changed these links to links hosted at
artifacts.opnfv.org so that links don't break
for B release branch

Change-Id: I9ca5cacf27030446dfa59717855f60dc1544b422
Signed-off-by: Nauman_Ahad <nauman.ahad@xflowresearch.com>

Resolved bug for Compass CI Jobs

Resolved problem for ssh into baremetal nodes.
Capability for CI Jobs through Apex also added

Change-Id: Ide34b97f97269750e8ec3d6f18ca693d28359223
Signed-off-by: Nauman_Ahad <nauman.ahad@xflowresearch.com>

Resolved bug for CI error

Args parameter causing error for CI.
IPs changed for compass pod on dell-us-testing-bm-1 pod

Change-Id: Ic1fcedc2cc623bda83b31e68db7979dc302d52f5
Signed-off-by: Nauman_Ahad <nauman.ahad@xflowresearch.com>

qtip: add user name in case of apex and make the changes in ansible
playbooks to cater for apex. Also reduce the verbosity for runnning
ansbile plays.

Change-Id: Id3a6da7bea3ede99f8a23e5fd0a2801987f9565b
Signed-off-by: MofassirArif <mofassir.arif@xflowresearch.com>

QTIP report generation docker dependencies resolved

Needed dependencies for report within  QTIP docker image
were resolved. Additionally, added an error check in case no
results are available for the report.

Change-Id: Ifd4ccd406555faf156e4274ca312e1ef55ed64b3
Signed-off-by: Nauman_Ahad <nauman_ahad@xflowresearch.com>

Modifed documentation to generate improved PDFs in tool chain

Modified the location for documentation files within the docs directory.
Index files modified to generate better PDFs

Change-Id: Ie21b1021a8d09013df48afc6d737d95ee8aeed92
Signed-off-by: Nauman_Ahad <nauman_ahad@xflowresearch.com>

qtip: apex integration, add heat-admin as user for apex nodes

Change-Id: If49136ba8edcaf1d721c4592b61a1b7cd5c79e87
Signed-off-by: MofassirArif <mofassir.arif@xflowresearch.com>

QTIP output report format fixed

In addtion to grahs, output report shows invidual testcase result details.

Change-Id: Id774eac340d12526fd317c1b4b00b51a22b114cf
Signed-off-by: Nauman_Ahad <nauman_ahad@xflowresearch.com>

Fixed issue with SSL and IPERF

Recent patches incorporating sudo led to an error

Change-Id: If0e3316fbebce774db43f5fdcb3ea5e322a28222
Signed-off-by: Nauman_Ahad <nauman_ahad@xflowresearch.com>

Bug Fixes for SSL index calculation

Index calcuation for SSL caused a ValueError when
converting to float due to the presence of
a trailing "k" character. This has ben resolved.

Change-Id: I6f7d061977a3a8cbc2aa1afe154df5eeec9feac8
Signed-off-by: Nauman_Ahad <nauman_ahad@xflowresearch.com>

add sudo changes for joid

Change-Id: Id31e687779be159cd3ad83cb3df2289054927074
Signed-off-by: MofassirArif <mofassir.arif@xflowresearch.com>

Fixed the index calculation for QTIP compute, network and storage suites

Earlier inaccurate index calculation updated.
Now indices take into account vm and bm cases

Change-Id: Icf2d7fc17ef765f5c0611b5371d57410ba155cb6
Signed-off-by: Nauman_Ahad <nauman_ahad@xflowresearch.com>

Corrected the openssl link

SSL playbooks failed, as openssl link became obsolete.
Updated the link in the ssl playbook

Change-Id: I8be4d4fd34656a44df718854a6a219084c2231e7
Signed-off-by: Nauman_Ahad <nauman_ahad@xflowresearch.com>

Fixed RAMSPEED and Whetstone bugs

After changes to incorporate "ubuntu" users for joid,
minor bugs in whetsotne and ramspeed playbooks.
These bugs were fixed.

Change-Id: I072b0b8390ad9e161e3ec2d1c9ff51e949f06cbb
Signed-off-by: Nauman_Ahad <nauman_ahad@xflowresearch.com>

Test_case name included in final json result file

Change-Id: Ic4059dd58d2c5c4e9f8a00a1c419dce0994bc1bc
Signed-off-by: Nauman Ahad <nauman.ahad@xflowresearch.com>

qtip: compass dependencies

Change-Id: Id4be468c5a1cef6d9b887f1114eab5af808455af
Signed-off-by: MofassirArif <mofassir.arif@xflowresearch.com>

qtip bug: storage playbook, update --become-user

Change-Id: I3de6f779dabef546e313f8264ceeb993f4220f46
Signed-off-by: MofassirArif <mofassir.arif@xflowresearch.com>

qtip: add condition for switching user to joid.

Change-Id: I9898a4eb21fb197a59fc72686d156eb4ef115388
Signed-off-by: MofassirArif <Mofassir_Arif@dellteam.com>

Pip requirements package changed

reportlab removed from pip requirements file
for Docker installation

Change-Id: Ife64de0041d9e549d02fa41cb8d4dca7296d6d80
Signed-off-by: Nauman_Ahad <Nauman_Ahad@dell.com>

Modified Dockerfile for Report Generation dependencies

Dependencies for matplotlib and reportlib were added in
the dockerfile
Signed-off-by: Nauman_Ahad <Nauman_Ahad@dell.com>
Change-Id: Icda969573447d328a221daacfcd7049ea51dedd2

Report Generation for QTIP

Creates a PDF file for QTIP, along with a graph of results

Change-Id: Iac66bf53cf8c41554d38e3a9d6cdfec236cff3ec
Signed-off-by: Nauman_Ahad <Nauman_Ahad@dell.com>

Merge "update: address for testing db"

update: address for testing db

Change-Id: I48b30fffd1de2512e4f46ee951a85299edc06a1c
Signed-off-by: MofassirArif <Mofassir_Arif@dellteam.com>

bug-fix: fix bug in docker run file, replace $$ with &&

Change-Id: Ic48483ae97aab2f844ee753cecf5fc3714a13cdb
Signed-off-by: MofassirArif <Mofassir_Arif@dellteam.com>

bug fix: result collection bug fix for docker images

Change-Id: Ia4ea09b90c7a4f4e3699af456c6d66e85661cc0b
Signed-off-by: MofassirArif <Mofassir_Arif@dellteam.com>

Resolving bug for result collection

For all benchmarks, the final ansible play to consolidate
json was failing in docker containers

Change-Id: I3611d74b7dbd38eccd46f9dcc982473f96b16157
Signed-off-by: Nauman_Ahad <Nauman_Ahad@dell.com>

Documents for QTIP Compute and Storage Testcases

Documents list storage and compute  benchmarks and testcases
included in B release for QTIP. Documents in .rst format

Change-Id: Ifb6d09552ba4ff9272110062cda9e66fb6c32fe6
Signed-off-by: Nauman_Ahad <Nauman_Ahad@dell.com>

docs: add docs for usage, introduction and iperf testcase

Change-Id: Ida3460ddd5d2b377351681e5f1d2457ec76ae95f
Signed-off-by: MofassirArif <Mofassir_Arif@dellteam.com>

Merge "bug fix: make installer specific changes for baremetal. cater for fuel"

bug fix: make installer specific changes for baremetal. cater
for fuel

Change-Id: Ie8c233873041238e3fc1aaaa653653552c7c7428
Signed-off-by: MofassirArif <Mofassir_Arif@dellteam.com>

Dummy patch to trigger docker build for qtip

Change-Id: I58f4b0ec9be88e743e76ec92c14423486ce626a2
Signed-off-by: Nauman_Ahad <Nauman_Ahad@dell.com>

Push to DB script for Jenkins Jobs

Added a script that could be called inside the docker
container to push results to DB.

Change-Id: I6b6496f5d670f415606afc605fc3bdc1c4e88fbb
Signed-off-by: Nauman_Ahad <Nauman_Ahad@dell.com>

qtip: remove white spaces

Change-Id: I1e90a91eaa9db8e90a87f2ee9cccb6999740b8b3
Signed-off-by: MofassirArif <Mofassir_Arif@dellteam.com>

bug fix in pushtodb

Change-Id: I2cba0a805275ebae8b79a968cc8d725dcc96504a
Signed-off-by: MofassirArif <Mofassir_Arif@dellteam.com>

run_qtip.sh fix

Renamed compute.txt to compute for run_qtip.sh
to reflect changes made in qtip repo

Change-Id: I4456ef305cfd01c039ce152b5fd6f6512204166d
Signed-off-by: Nauman_Ahad <Nauman_Ahad@dell.com>

Patch for fixing ramspeed result_transform bug

Inserted space in ramspd_transform.py file to overcome
key error while calculating result_index

Change-Id: I3f6d1295b9297aa5d9935f58b04703602a1c4b92
Signed-off-by: Nauman_Ahad <Nauman_Ahad@dell.com>

error handling for the files being input to the framework.
iperf bug fix for the bare metal testing, renamed all the iperf
config files. added more detail to the help.

Change-Id: I16cfb1c05599cd0b803e735e6a75083e3e6733ec
Signed-off-by: MofassirArif <Mofassir_Arif@dellteam.com>

Include Ramspeed Index calulcation

Ramspeed Index calculation included.
Additionally, error handling for suite indices calulcation
to ignore absent result files

Change-Id: I8b2360b0f16b6d3b7d8485e88a0c1f7f0787ad5a
Signed-off-by: Nauman_Ahad <Nauman_Ahad@dell.com>

Updated the code to accept compute instead of compute.txt

Change-Id: I06ce77e04db0e1c7d7de6c16b3a876740099e5ae
Signed-off-by: Mofassir <Mofassir_arif@Dellteam.com>

Changed name for lab of dell-us-deploying-bm-3

Changed name from dell-us-deploying-bm-3 to
dell-us-deploying-bm3 in testcases.
Removed duplicate ramspeed playbook file "ramspeedbench.yaml"

Change-Id: Ieb49a0466e6f86bb02990962b382696cc7ae3e31
Signed-off-by: Nauman_Ahad <Nauman_Ahad@dell.com>

Modifications to the index calculation script

Modifications to the index calulation script.
Key for each suite changed to "Index" from  "<suite> Index".
This is to reuse code for the dashboard.py file for QTIP

Change-Id: I6e8c8c268b7d9376b0f44d572ed022910e8ad4d9
Signed-off-by: Nauman_Ahad <Nauman_Ahad@dell.com>

Renamed test_case list files

Renamed test_case list files to remove *.txt at the end

Change-Id: Ibe1deb89a05bc9753189768f7d785767f140819e
Signed-off-by: Nauman_Ahad <Nauman_Ahad@dell.com>

Slight changes to the run_qtip.sh script

Modifications needed in run_qtip.sh for Jenkins Jobs
to run. Docker file changed too.
get_env.sh script location changed too.

Testcases for dell-us-deploying-bm-3 lab added along with the default testcase
directory

Change-Id: I293febda0ddd3d56d1c455fde220dc78a57b6c18
Signed-off-by: Nauman_Ahad <Nauman_Ahad@dell.com>

started work on the dashboard API

Change-Id: Ifbb16f20ff8a0821b790c0c44a1eae82875f9051
Signed-off-by: Mofassir <Mofassir_arif@Dellteam.com>

I have added the placeholder documentation files and
folders. They will be editted in time for the release

Change-Id: Id69392233399ad536b359da5733dfaa43a602443
Signed-off-by: Mofassir <Mofassir_arif@Dellteam.com>

QTIP Index calculation along with a script to run qtip from docker

Calculation of Result Indices for
1. Compute suite
2. Storage suite
3. Network suite

A script to run qtip from inside the docker container (for Jenkins Jobs)

Resolved bugs with ssl_trasform.py, sys info collection on ubuntu and
system information collection script

Change-Id: Ic5abb3dbd0012cd2257b588b1b3067a6677b1f5d
Signed-off-by: Nauman_Ahad <Nauman_Ahad@dell.com>

Storage Result Transformation script

Missed the Storage Result transformation script in earlier submit.
Submitted now

Change-Id: Ie33ee80529c816f16371fff5163784e42f6dba85
Signed-off-by: Nauman_Ahad <Nauman_Ahad@dell.com>

Scripts for inserting QTIP.pub key on installed nodes

1st script takes in the installer type and installer ip
2nd script to be called by the qtip framework while providing
the destionation node ip as an argument

Change-Id: I2b6b2828bc0f00a38ea2998fb389435fd5963cae
Signed-off-by: Nauman_Ahad <Nauman_Ahad@dell.com>

Resolved bug in sys_info_collection playbook

Change-Id: I2e1844a153af46b8837b266d92dd7a8183321ec2
Signed-off-by: Nauman_Ahad <Nauman_Ahad@dell.com>

Storage Benchmarks testcases along with result transformation script

JIRA QTIP-63

Testcases revised for the storage suite.
Result transformation script for Storage testcases addedx
System Information script modified to check for network testcases.

Change-Id: I6c2fe641432b7bd45097495051e41bab05b8979c
Signed-off-by: Nauman_Ahad <Nauman_Ahad@dell.com>

Minor changes to the code, to prep for code freeze.
the result format of iperf has been made consistent

Change-Id: Iede4b381ca2e5d7643bf6420f17684bbf2cc2921
Signed-off-by: Mofassir <Mofassir_arif@Dellteam.com>

Restructured QTIP directories and CLI

I have changed the arguments for the CLI and now QTIP
takes a file along withthe name of the lab to run on
Right now only the config files for the dell lab have
been added, These will increase when we make QTIP available
for other labs. I have also added the provision of changing
the public network from the config file and some leftover
files from previous verisons have been remove

Change-Id: Ifeb01d80099eab06dc77a7b2e07097ebb17a13a2
Signed-off-by: Mofassir Arif <Mofassir_arif@dellteam.com>

Dockerfile for QTIP docker container

Dockerfile for creating QTIP docker image
Installs needed dependencies to run QTIP

JIRA: QTIP-48

Change-Id: I29083856d9a22d35eb983249059a176dc29f34e7
Signed-off-by: Nauman_Ahad <Nauman_Ahad@dell.com>

Storage benchmarsk for QTIP

Inclusion of Fio filesystem benchmarks
Includes a fio.yaml playbook
A FIO job folder that contains information for the fio job
Additionally testcases for storage benchmarks can be found in
"test case" directory

JIRA: QTIP-46

Change-Id: Icb4a429f8754c9ed4ceec548d8ddc6062992c85d
Signed-off-by: Nauman_Ahad <Nauman_Ahad@dell.com>

Python packages to be installed in QTIP docker

A .pip file for installing python package dependencies
in QTIP container

JIRA: QTIP-48

Change-Id: I5e57b8e80863a00b28e843f6f38606e2c71cb3a0
Signed-off-by: Nauman_Ahad <Nauman_Ahad@dell.com>

Patch for SSH issues after introducing qtip key

Ansible issues for ssh for ssl
Made modifications to the ansible playbook file
Disabled sudo on the commands to be run on the local machine
Explicitly introduced the remote_user in the playbook

Change-Id: I547f48ac4a6f1dd4c0996bddda516896a8c3afb6
Signed-off-by: Nauman_Ahad <Nauman_Ahad@dell.com>

Script to modify key file permissions

I have added a script to change the file permissions of the
key files to 600 so that they can be used by the ssh agent
The duration of the sshtest has also been reduced to allow
the Jenkins Job to run/fail in a reasonable amount of time

Change-Id: I5446896619dfba3f3efb600b64628343d6378164
Signed-off-by: Mofassir Arif <Mofassir_arif@dellteam.com>

files allowed

Signe i-off-by: Mofassir Arif <Mofassir_arif@dellteam.com>

Change-Id: Idadec9f067ccec646abf15d79a683c7667732093

Merge "Removed Root previlages"

Removed Root previlages

QTIP now uses a key of its own to ssh into VMs
The ssh for the baremetal servers still needs work

Change-Id: I1aa37e07c4f9b3f7f4902d16cdbf74f39eb6c698
Signed-off-by: Mofassir Arif <Mofassir_arif@dellteam.com>
Conflicts:
.gitignore

Removed Root previlages

QTIP now uses a key of its own to ssh into VMs
The ssh for the baremetal servers still needs work

Change-Id: I1aa37e07c4f9b3f7f4902d16cdbf74f39eb6c698
Signed-off-by: Mofassir Arif <Mofassir_arif@dellteam.com>
Conflicts:
.gitignore

Merge "Networking Testcase: Iperf Implemented"

Networking Testcase: Iperf Implemented

The ansible playbooks as well as the config files
for the iperf throughput testing have been implemented.
Some changes have been made to the driver function for
the benchmarks. ansible now gets passed a json file.

Change-Id: Ibf4c0210ab9f6cbf9896ca69bf2fb6bda8a9925d
Signed-off-by: Mofassir Arif <mofassir@gmail.com>

Revert "Missing Result directory"

This reverts commit ae9f53f8f00342627f6d0124e53a285438c1ca4e.

Change-Id: I7751111dd9f497abf4d6021f07add4bffd6fe29e

Missing Result directory

Change-Id: Ida46c3a6559a63ca35cf85ca180af1cb65910439
Signed-off-by: Nauman_Ahad <Nauman_Ahad@dell.com>

RAMSpeed Benchmarks Included along with Sys Info for Net testcases

RAMSpeed benchmark playbooks, result transformation scripts included.
System Information also included for Network Testcases
System Information Playbook checks for the type of testcase, and gathers
benchmark relevant information only (No Network Info for Compute TestCase)

JIRA: QTIP-54
JIRA: QTIP-38

Change-Id: I8612f06fedfaf7314552c06f388ea6c0cd23f1ee
Signed-off-by: Nauman_Ahad <Nauman_Ahad@dell.com>

Ansible compute benchmarks playbooks with system Info & result transform

Updated playbooks for SSL,DPI,Dhrystone,Whetstone
Also included python scripts for system information collection(compute
benchmarks) and result transformation into JSON files for the aforementioned
compute benchmarks

JIRA:QTIP-20
JIRA:QTIP-36
JIRA:QTIP-37
JIRA:QTIP-39
JIRA:QTIP-40
JIRA:QTIP-52

Change-Id: I3c099d71d8316c15f0619313bd4f9829a58f6e33
Signed-off-by: Nauman_Ahad <Nauman_Ahad@dell.com>

Python Framework for QTIP

Dhrystone Whetstone and DPI benchmarks have been implemented
CLI arguments have been implemented
test case are sorted based on category such as compute,network and storage
glance and heat client have been used to generate the stack.
automatic upload of QTIP image and delete function for existing stack before
creating new stack has been implemented
system information collecton and result generation has been implemented
JIRA: QTIP-17
Signed-off-by: Mofassir Arif <mofassir_arif@dell.com>
Change-Id: I4b7b134017723c30c771cc14d2edce33fcb8ba00

Example as code, documentation template for sphinx build

This code will be pushed to each project creating a docs/ directory
This servers as an example and template for you (the developers) to create
your own project documentation

Change-Id: I53a904d9340a8dda554cf219362123df765275b6
JIRA:RELENG-15
Signed-off-by: Aric Gardner <agardner@linuxfoundation.org>

Added full automation to scripts

Introduced Config.yaml file for each test case. User can modify these
to enter the details for the machines on which to run benchmarks.
This also leads to automation.

JIRA: QTIP-6

Change-Id: Ifecab13968148cbd9d8f352309be77b8ca2d30f2
Signed-off-by: Nauman Ahad <Nauman_Ahad@dell.com>

Added automation script, 2 test cases, Heat template for test case, Project INFO files

Structured existing playbooks into directories, added automations scripts and test cases which
were demonstrated in demo1. Basic Directoy structure also introduced. All hard coded values removed.

JIRA: QTIP-3

Change-Id: Icdceb0f125a5275d3dee7845a403e567d729dc26
Signed-off-by: Nauman Ahad <Nauman_Ahad@dell.com>

Computing benchmark playbooks  including dhrystone, whetstone and cachebench

Sample benchmarks for the first demo

JIRA:QTIP-3

Change-Id: I9f7fc9bcba84b875a481034e1593e0166d0b627a
Signed-off-by: Nauman_Ahad <Nauman_Ahad@dell.com>

Adding Git review

JIRA: 0000
Signed-off-by: Aric Gardner <agardner@linuxfoundation.org>

Initial empty repository