Disable tty in CI scripts to remove color in ansible output

This will make the console log more readable

Change-Id: Ia577d243d52449f580d34002e2052fa024e0f20d
Signed-off-by: Yujun Zhang <zhang.yujunz@zte.com.cn>

Merge "Nomination of committer promotion for Taseer Ahmed"

Merge "Update CLI docs for release E"

Update CLI docs for release E

Change-Id: I5f08251a71e62a0440db66da08506af7243b9704
Signed-off-by: Taseer Ahmed <taseer94@gmail.com>

Fix bug in ``qtip/scripts/quickstart.sh``

- line 29: error: command not found

Change-Id: I0256ae89aaf4938b883cfae72d30f73d43b1da76
Signed-off-by: Yujun Zhang <zhang.yujunz@zte.com.cn>

Freeze requirements for Euphrates

Change-Id: Ifbdd773235497373eba8ecc44b21c207441fe407
Signed-off-by: Yujun Zhang <zhang.yujunz@zte.com.cn>

Merge "Fix output path of testing results"

Nomination of committer promotion for Taseer Ahmed

Taseer is one of the active QTIP contributors in Euphrates release[1]
He has contributed a lot in qtip-cli[2]. It would be a great help to the
project to have him as a committer.

Current committers please vote +1/-1 for this nomination[3]

[1] http://stackalytics.com/?project_type=opnfv-group&metric=commits&module=qtip&release=pike
[2] https://git.opnfv.org/qtip/log/?qt=author&q=taseer94@gmail.com
[3] https://wiki.opnfv.org/display/DEV/Committer+Promotions

Change-Id: I019f3f3ba6303ad952b16da3e192ebc50a9f06dc
Signed-off-by: Yujun Zhang <zhang.yujunz@zte.com.cn>

Remove legacy entrypoints

Change-Id: I38379a6d13eadd1f0455562e5d0be9c7001de7ca
Signed-off-by: akhilbatra898 <akhil.batra@research.iiit.ac.in>

Merge "Add user and config guide for web portal"

Fix output path of testing results

Change-Id: I2a30dd39bb847868c8869904c8b28d2bf7d784e5
Signed-off-by: Yujun Zhang <zhang.yujunz@zte.com.cn>

Fix error in compute docker compose file

Change-Id: I7b002155214d3e81912c41aa28c7691681cff20c
Signed-off-by: Yujun Zhang <zhang.yujunz@zte.com.cn>

Fix script path error

Change-Id: I4b0e278d25604afa2a7fae43bf95554dfa5d21ad
Signed-off-by: Yujun Zhang <zhang.yujunz@zte.com.cn>

Fix error in CI job

Add /root/.ssh/ as SSH_CREDENTIALS

Change-Id: I9b9c8701be6245715644a11916a8f7df97ba5d0f
Signed-off-by: Yujun Zhang <zhang.yujunz@zte.com.cn>

Add user and config guide for web portal

Change-Id: I3acb8710d2f71265b40092f3f1917a133a063577
Signed-off-by: akhilbatra898 <akhil.batra@research.iiit.ac.in>

Fix output path

Change-Id: Ib3e5a310a561d9fdd11b503058ada4e937189a9d
Signed-off-by: Yujun Zhang <zhang.yujunz@zte.com.cn>

Merge "Refactor CI scripts"

Refactor CI scripts

- Move scripts executed inside container to qtip/scripts
- tests/ci is limited to setup the environment and start services

Change-Id: I454c715890601c6c6472006c2f0f6131695c2f51
Signed-off-by: Yujun Zhang <zhang.yujunz@zte.com.cn>

Merge "Mitigating for missing values in storage QPI."

Use minimal output

Easier to read the log message

Change-Id: I49d61aa666a261e3e3bf3795cfe4341dca865dcb
Signed-off-by: Yujun Zhang <zhang.yujunz@zte.com.cn>

Removed used setting in qtip package configuration

- benchmark folder has been removed
- opt file is not necessary for qtip install

Change-Id: I49e62d4447033ca478e76de2ed8c408c97d11fc7
Signed-off-by: Yujun Zhang <zhang.yujunz@zte.com.cn>

Mitigating for missing values in storage QPI.

- Update unit tests

Change-Id: I7bfe89dc6bbe1cafe13b2f3e4f9356a06a59c68b
Signed-off-by: Taseer Ahmed <taseer94@gmail.com>

Add system info for compute report.

Change-Id: Idb82940fa050bfe83652a8aabf36840b7b65c347
Signed-off-by: Taseer Ahmed <taseer94@gmail.com>

Merge changes from topic 'storage'

* changes:
  Keep tests/data consistent with repository structure
  Add score calculation module for storperf

Keep tests/data consistent with repository structure

- rename `benchmarks` in `tests/data` to `resources`
- delete obsoleted contents

JIRA: QTIP-258
Change-Id: I7f4ec1a1fc7b355922c7aee76851e7f0dd026f72
Signed-off-by: Yujun Zhang <zhang.yujunz@zte.com.cn>

Merge "Add developer guide for QTIP-WEB services"

Add score calculation module for storperf

Change-Id: I469ee4d768e16a27c3bde660bc1029d5a3507b72
Signed-off-by: Yujun Zhang <zhang.yujunz@zte.com.cn>

Fix bug that start_job script exit unexpectedly

When `set -o errexit` is enabled in script, the non-zero return value
from `diff` is considered as an error. But actually diff returns 1 when
difference is found. The error exit option should be disabled when dealing
`diff`.

Change-Id: I6270ec8f7036b3d752736a80474468e26a613585
Signed-off-by: Yujun Zhang <zhang.yujunz@zte.com.cn>

Add developer guide for QTIP-WEB services

Change-Id: Idadd343367841cfa9e10b5f6f3d3a9ccc0917d5a
Signed-off-by: akhilbatra898 <akhil.batra@research.iiit.ac.in>

Use legacy storperf images instead of master branch

The master branch of storperf is under refactoring and not stable
enough for integration. It introduces microservices and some linked
images is not built yet, e.g. storperf-graphite[1] which is required
by storperf-master is empty

[1] https://hub.docker.com/r/opnfv/storperf-graphite

Change-Id: Ie8522dae9073d163872be5742a290fd003698442
Signed-off-by: Yujun Zhang <zhang.yujunz@zte.com.cn>

Merge "Refactor storperf testing scripts into ansible role"

Merge "Skip container and docker image clean up"

Move storage-qpi proposal to devguide

Change-Id: I91402f15ac3fafce112c2568e0e3b8b3464ba1d5
Signed-off-by: Yujun Zhang <zhang.yujunz@zte.com.cn>

Refactor storperf testing scripts into ansible role

Change-Id: Ifbfe0818a528dbd9b2c176acf39450ca480e931a
Signed-off-by: Yujun Zhang <zhang.yujunz@zte.com.cn>

Skip container and docker image clean up

- This helps to use the cache on CI pod and reduce build time.
- Dangling containers and docker images will be cleaned up in a
separate periodic job.

Change-Id: Ifa756714698c71b8dde0cbe089661936e94e8a17
Signed-off-by: Yujun Zhang <zhang.yujunz@zte.com.cn>

Some Optimizations

- remove container and image without -f
- remove duplicated code from verify_storage.sh, replaced by
the script launch_containers_by_testsuite.sh
- move the common sentences from periodic.sh to
launch_containers_by_testsuite.sh
- add 'QTIP' as prompt for print messages

Change-Id: Ia9aa61a3b60c1049af3499a06f2c6cd0dc181552
Signed-off-by: zhihui wu <wu.zhihui1@zte.com.cn>

Merge "Setup CI job for storage benchmarking on apex"

Setup CI job for storage benchmarking on apex

The script "launch_containers_by_testsuites.sh" helps to
launch containers according to TEST_SUITE. e.g. compute or
storage.

JIRA: QTIP-265

Change-Id: Ib7210d68600cc092e3322ddaab4cdf7913428647
Signed-off-by: zhihui wu <wu.zhihui1@zte.com.cn>

Merge ceph info roles

Change-Id: I83be70cf24be2a9da0a0f82e44810b1e9ff2b3b8
Signed-off-by: Yujun Zhang <zhang.yujunz@zte.com.cn>

Add example storage benchmarking project running on zte-pod4

TODO: add project generator for storage benchmarking

Change-Id: Ibed1e1ce2fc3948b08564f19b6bc680c88bf039a
Signed-off-by: Yujun Zhang <zhang.yujunz@zte.com.cn>

Merge "refactor storperf scripts structure"

Merge "Fix compute CI job"

refactor storperf scripts structure

- Run qtip and storperf containers by docker-compose
- Cope the current patch changes into qtip container for verification
- Run the script run_storage_qpi.sh for storperf test

Change-Id: Ic140fb7531d270b9c62bcd72f5dbc13917534daf
Signed-off-by: zhihui wu <wu.zhihui1@zte.com.cn>

Merge "Create entry script for CI"

Fix compute CI job

Change-Id: I86b2638b7e6ba2e8c4c6ba98b4cad8506d9d5c7c
Signed-off-by: Yujun Zhang <zhang.yujunz@zte.com.cn>

Merge "Migrate contents from benchmarks to resources"

Merge "Add basic ui"

Migrate contents from benchmarks to resources

Change-Id: I189c3d5224ec58ad63851d173b94204b273c3696
Signed-off-by: Yujun Zhang <zhang.yujunz@zte.com.cn>

Create entry script for CI

Change-Id: I2ff57203d298e33b8c390b59aea9866e1f607e23
Signed-off-by: Yujun Zhang <zhang.yujunz@zte.com.cn>

Merge "compute-qpi CI scripts"

Merge "Fix permission issue on apex"

compute-qpi CI scripts

- Move compute-qpi ci scripts in releng repos to qtip repos.
- Support apex
- Introduce TEST_SUITE

JIRA: QTIP-65

Change-Id: I3633463e1bb5226ebcaffb4b53a3c56b433f6efb
Signed-off-by: zhihui wu <wu.zhihui1@zte.com.cn>

Add basic ui

- Repos Listing
- Creation and updation
- Running Benchmarking
- Listed and detailed view of logs
- Add django management command to import frontend dependencies

Change-Id: If6f7dbc1fc18b022d9dda7a76f76dfee1c110450
Signed-off-by: akhilbatra898 <akhil.batra@research.iiit.ac.in>

bugfix: install the missing package openssh-client

Change-Id: Ie0889a8e3cd5ae30765353329320aed938749e46
Signed-off-by: zhihui wu <wu.zhihui1@zte.com.cn>

Fix permission issue on apex

root privilege is required for ceph commands

Change-Id: Idf42342d0035359d6bcb475d12ea0808d5d26802
Signed-off-by: Yujun Zhang <zhang.yujunz@zte.com.cn>

Merge "refactor: run storperf scripts in qtip container"

refactor: run storperf scripts in qtip container

The preious storperf scripts can only be run based on the host.
This patch will make them run in qtip container.

JIRA: QTIP-248

README.md will tell you how to use these scripts.

Change-Id: I4d2d51f859499e6e56ae8692d880cbde27297b82
Signed-off-by: zhihui wu <wu.zhihui1@zte.com.cn>

Merge "Optimize Dockerfile"

Merge "Fix bug in apex inventory"

Optimize Dockerfile

- Add new packages what storperf scripts need : curl and wget
- Minimize the number of layers
- ansible is already in requirements.txt, delete the apt-get commands

Change-Id: Ie04d6618737146674396a7c005a247829f06c1d9
Signed-off-by: zhihui wu <wu.zhihui1@zte.com.cn>

Merge "Refactor QPI module"

Refactor QPI module

- Delete outdated code

Change-Id: I0505d3ccc1ea76078f4d307f7d5ef66777ff6eb7
Signed-off-by: Taseer Ahmed <taseer94@gmail.com>

Fix bug in apex inventory

The default user for overcloud should be heat-admin

JIRA: QTIP-267
Change-Id: Ie868b1a925ca0eaa0292bdfb99d0e328e820f8aa
Signed-off-by: Yujun Zhang <zhang.yujunz@zte.com.cn>

install setuptools's latest version in container

See https://build.opnfv.org/ci/view/qtip/job/qtip-docker-build-push-master/398/console

Change-Id: I4e975e77e3361cfb468cba0c10cecc21c14c2517
Signed-off-by: zhihui wu <wu.zhihui1@zte.com.cn>

Fix bug in running storperf.sh when WORKSPACE is defined

When working directory changes, the script and default configuration
will not be found.

Change-Id: Iab6e4f9b014c12a863498de42553b043357aa876
Signed-off-by: Yujun Zhang <zhang.yujunz@zte.com.cn>

Merge "Find nova vs. vm mapping relation"

Merge "Replace example with test result from zte apex virtual pod"

Merge "revert the usage of qgrid since it is not supported by nbviewer"

Find nova vs. vm mapping relation

Find nova vs. vm mapping relation, and save it to a
json file named "nova_vm.json"

JIRA: QTIP-253

Change-Id: Ib9b6356525d78cd69752843ff65425a4628bd160
Signed-off-by: zhihui wu <wu.zhihui1@zte.com.cn>

Merge "run storperf test by using these scripts"

run storperf test by using these scripts

Local test with apex is OK.

JIRA:QTIP-248

Change-Id: I47c55ddd88f9722ce83b73a4d7ec91ece2aab2ed
Signed-off-by: zhihui wu <wu.zhihui1@zte.com.cn>

Replace example with test result from zte apex virtual pod

Change-Id: I69fe891bcedca43688dd438ecbe7ac0b45d0c1ba
Signed-off-by: Yujun Zhang <zhang.yujunz@zte.com.cn>

revert the usage of qgrid since it is not supported by nbviewer

Change-Id: I870bc80064fa202beab6e4715e4f197826bee8c2
Signed-off-by: Yujun Zhang <zhang.yujunz@zte.com.cn>

Merge "Deprecate library qtip.driver"

Merge "Add section headers to user guide"

Merge "Deprecate plan and metric loader"

Merge "Add system information and test condition proposal for storage QPI."

Merge "Add ceph-network-info role to get the cluster network info and interface network info from ceph nodes."

Deprecate plan and metric loader

- qtip test plan is now automaticlly generated by `qtip create`. The
  original way of loading plans is no longer valid
- metric specs are now embedded in qpi spec, no separated loader are
  required now

JIRA: QTIP-258
Change-Id: I768d75b014163ce060faff00f415a1cdc437ce73
Signed-off-by: Yujun Zhang <zhang.yujunz@zte.com.cn>

Deprecate library qtip.driver

It was a temporary solution in Danube and deprecated in Euphrates

JIRA: QTIP-258
Change-Id: Ib0f06df52c4e0220720ac7d525da6e438c29e7fd
Signed-off-by: Yujun Zhang <zhang.yujunz@zte.com.cn>

Add section headers to user guide

Change-Id: If037d2424ad350fa422f3d5fc75648bf9bcbec90
Signed-off-by: Yujun Zhang <zhang.yujunz@zte.com.cn>

Merge "Update userguide for command completion."

Merge "Implement benchmark running and logging the output"

Implement benchmark running and logging the output

- Run benchmark by adding new tasks
- Modify Task model to have log as log files
- Add new urls for respective views
- Module for running benchmarks in background
- Updating status of tasks
- Listing and detailed log of all tasks
- Add corresponding html templates

Change-Id: I244d1bb74949eeb470c738363f6917191e0f052d
Signed-off-by: akhilbatra898 <akhil.batra@research.iiit.ac.in>

Merge "Fix verification failure caused by connexion version"

Merge "Add ceph-cache-info role to get the ceph client cache info from ceph nodes."

Update userguide for command completion.

JIRA: QTIP-210

Change-Id: I3fa62d6da49e5d5c4c65ec997c85d1666ee0f425
Signed-off-by: Taseer Ahmed <taseer94@gmail.com>

Fix verification failure caused by connexion version

Change-Id: I68534806c43e0eda69905e6890837dadd31140fe
JIRA: QTIP-259
Signed-off-by: Yujun Zhang <zhang.yujunz@zte.com.cn>

Merge "Add ceph-disk-info role to get the ceph disk and journal info from ceph nodes."

Add system information and test condition proposal for storage QPI.

JIRA: QTIP-246

Change-Id: Icdd3663ea4db89554055e97b411f5cb935504aea
Signed-off-by: Zhifeng Jiang <jiang.zhifeng@zte.com.cn>

Add ceph-disk-info role to get the ceph disk and journal info from ceph
nodes.

JIRA: QTIP-254

Change-Id: Iee21ea600abef6f889ba4c3b5f71fd6fb96f570b
Signed-off-by: zhifeng.jiang <jiang.zhifeng@zte.com.cn>

Add ceph-cache-info role to get the ceph client cache info from ceph
nodes.

JIRA: QTIP-254

Change-Id: I3dc9671da038db792807b8cd55859ffa60619670
Signed-off-by: zhifeng.jiang <jiang.zhifeng@zte.com.cn>

Merge "Update release note for Danube 3.0"

Add ceph-network-info role to get the cluster network info and interface
network info from ceph nodes.

JIRA: QTIP-254

Change-Id: Ibf37d60e4a15e4238df2f702eee47cb114808106
Signed-off-by: zhifeng.jiang <jiang.zhifeng@zte.com.cn>

Merge "Add "NODE_NAME" in "envs" otherwise it will fails when docker run."

Merge "Add further enhancements into compute-report"

Merge "Add Authentication and Basic CRUD for Repos"

Merge "Beautify table and figure output"

Add further enhancements into compute-report

- Show results for all sections
- Rotate x-axis to 45 degree to avoid overlap

Change-Id: Id30b11937a27d3c6fff2b8ad8c9bf3aefbddb404
Signed-off-by: Taseer Ahmed <taseer94@gmail.com>

Update release note for Danube 3.0

Change-Id: I7474ad539fd3066010f804747bad2819deb5564b
Signed-off-by: Yujun Zhang <zhang.yujunz@zte.com.cn>
(cherry picked from commit 79f16fd2a2cd2ae6e93e0f18aa87f5c1a24354f2)