dovetail tool: change the way to get the functest result file

Functest has changed it's way to generate the local result file.
see Gerrit: https://gerrit.opnfv.org/gerrit/#/c/28513/
Dovetail needs to do some adaptions to fit this change.

JIRA: DOVETAIL-350

Change-Id: I681f74832f582f26c8874f7d2726c8588f430612
Signed-off-by: xudan <xudan16@huawei.com>

Merge "dovetail tool: use python new-style classes which inherit from object"

Merge "bugfix of dovetail tool userguide document"

Merge "dovetail tool: report.py bugfix and tempest skipped testcase added"

dovetail tool: report.py bugfix and tempest skipped testcase added

JIRA: DOVETAIL-343

1, bugfix
https://build.opnfv.org/ci/view/dovetail/job/dovetail-compass-virtual-debug-master/lastSuccessfulBuild/artifact/results/dovetail_report.txt
test result error
2, skipped testcase in tempest added
3, two testcase in tempest full testsuite added in debug.yml to debug

Change-Id: I6bf371d3384e3755d6a41d951cfc9d1a55e00ab3
Signed-off-by: MatthewLi <matthew.lijun@huawei.com>

bugfix of dovetail tool userguide document

Change-Id: I33eea93ca0db018a5f79041152516fa48b94ba46
Signed-off-by: MatthewLi <matthew.lijun@huawei.com>

dovetail tool: bugfix: cannot load pre/post condition from config file

JIRA: DOVETAIL-342

Change-Id: If98905b6724c0a990d789a7ce914aeecac72d7c4
Signed-off-by: xudan <xudan16@huawei.com>

Merge "Change to use "pip install -r requirements.txt" to install deps."

dovetail tool: functest different testsuite support and yardstick testcase added

JIRA: DOVETAIL-186

Change-Id: Id0eec6652c9595c660436dec89a309a77b16bc03
Signed-off-by: MatthewLi <matthew.lijun@huawei.com>

Change to use "pip install -r requirements.txt" to install deps.

At the change of DOVETAIL-183, dovetail uses requirements.txt to
install python dependency file so this change is following it.

Change-Id: I6cb2420274f385224b517950ddfdf1cf0e764350
Signed-off-by: Tomofumi Hayashi <tohayash@redhat.com>

Merge "dovetail tool userguide document"

dovetail tool: use python new-style classes which inherit from object

JIRA: DOVETAIL-187

Change-Id: Id6fa50a3a3cec7a18d27ca8feb383b53836a339b
Signed-off-by: xudan <xudan16@huawei.com>

dovetail tool: modify function exec_cmd to force it to flush the buffer

1. force to flush the buffer line by line
2. remove the progress bar since it will stay in the screen if using the cli
   command JIRA: DOVETAIL-173, which will be ugly.

JIRA: DOVETAIL-172

Change-Id: I47b823c7e0bce955a50086613a656c83ab7707e3
Signed-off-by: xudan <xudan16@huawei.com>

dovetail tool userguide document

JIRA: DOVETAIL-182

Change-Id: Icbfa347dda3840520484d10b9d539da9c8f1d31c
Signed-off-by: MatthewLi <matthew.lijun@huawei.com>

bugfix for delete unnecessary file

Change-Id: I14b1556eb117d2111ebe85e73b8c33820db39a3e
Signed-off-by: MatthewLi <matthew.lijun@huawei.com>

Merge "dovetail tool: format improvement"

dovetail tool: change to git repo then pbr.version can be get inside docker

JIRA: DOVETAIL-184

Change-Id: I6d466dc34de027faab1aa74f66cc6c8e453111d1
Signed-off-by: MatthewLi <matthew.lijun@huawei.com>

dovetail tool: format improvement

Change-Id: Ibf0bb781c0f0b6be73526bf45231040e68510f76
Signed-off-by: MatthewLi <matthew.lijun@huawei.com>

dovetail tool: bugfix for pip install

JIRA: DOVETAIL-183

1)pip install [options] [-e] <local project path> ...
pip install [options] <archive url/path> ...
2)vim added in Dockerfile, which is convinience for offline usage

Change-Id: I986dc7cd3e872cf026d2e69f7298028a6cbfe9a6
Signed-off-by: MatthewLi <matthew.lijun@huawei.com>

Merge "dovetail tool: delete unnecessary prepare_env.py"

dovetail tool: delete unnecessary prepare_env.py

JIRA: DOVETAIL-181

Change-Id: I6e79467b829b4ae1d815bdb9ead0b930f0338cd2
Signed-off-by: MatthewLi <matthew.lijun@huawei.com>

Update Dockerfile

- Update pip version. The version of pip which is installed
by apt-get is too low.

- use "pip install -r reuirements.txt" to install requirements
package.

Change-Id: I94f94cab58cdb0d8e926c5dfbdbf9c9a66545dac
Signed-off-by: wu.zhihui <wu.zhihui1@zte.com.cn>

Merge "dovetail tool: switch logging to proper usage"

dovetail tool: command line

JIRA: DOVETAIL-173

details please see https://wiki.opnfv.org/display/dovetail/Dovetail+Command+Line

Change-Id: Iff04b0df8c4e6310d35a45b9c8ba3c7b3b5e1105
Signed-off-by: MatthewLi <matthew.lijun@huawei.com>

dovetail tool: switch logging to proper usage

JIRA: DOVETAIL-178

Change-Id: Ica814d4ff634c9159e4ecca888b8cc0f6c16e624
Signed-off-by: MatthewLi <matthew.lijun@huawei.com>

Merge "dovetail tool: remove old image when pulling new one successfully"

dovetail tool: bugfix of pbr installation in requirements.txt and Dockerfile

JIRA: DOVETAIL-175

Change-Id: I1f16742a59d5b016dcef6b574df45486c244c751
Signed-off-by: MatthewLi <matthew.lijun@huawei.com>

dovetail tool: remove old image when pulling new one successfully

1. split function pull_image into four functions, get_image_id, pull_image_only,
   remove_image and pull_image.
2. after pulling new version of the image, remove the old one with tag <none>.

JIRA: DOVETAIL-171

Change-Id: I2d2a9d6a8bc2308d434d0a3c76aa24bf5b39bfd7
Signed-off-by: xudan <xudan16@huawei.com>

release tag support

JIRA: DOVETAIL-170

Change-Id: Id56e30fdb3fb5b652e2145dd406b71986997f200
Signed-off-by: MatthewLi <matthew.lijun@huawei.com>

Merge "dovetail tool: reorganize function prepare_cmd in testcase.py"

dovetail tool: reorganize function prepare_cmd in testcase.py

1. move the common statements in prepare_cmd of class FunctestTestcase and
   Testcase into parse_cmd.

JIRA: DOVETAIL-163

Change-Id: I61a0a24b47cfc9e8d49ca9c62fafbac7cce21111
Signed-off-by: xudan <xudan16@huawei.com>

Merge "dovetail tool: bugfix CI job dovetail-merge-master fail"

Merge "dovetail tool: bugfix functest prepare_env fail"

dovetail tool: bugfix CI job dovetail-merge-master fail

JIRA: DOVETAIL-156

Change-Id: I3453571568494850049eb7956387ee7e275934af
Signed-off-by: xudan <xudan16@huawei.com>

Merge "dovetail tool: flake8 support in tox"

Merge "dovetail tool: use command 'debug' to control both 'debug' and 'CON_DEBUG'"

dovetail tool: bugfix functest prepare_env fail

JIRA: DOVETAIL-169

Change-Id: I7ede8713c16b084255f691505a39db122fdbe8ea
Signed-off-by: xudan <xudan16@huawei.com>

[dovetail tool]check and get results for each cmd

JIRA: DOVETAIL-166

Check the results of each cmds executed in test case
1. the results of pre_condition, post_condition, cmds need to be checked,
   so it can get a quick fail, dont need to go through the next step
2. it's more accurate to show where error occurred as early as possible
3. get results from shell scripts

Change-Id: I5c1e59839c55b92de0e83e7e1eb552aa364b3f80
Signed-off-by: Leo Wang <grakiss.wanglei@huawei.com>

dovetail tool: flake8 support in tox

JIRA: DOVETAIL-168

Change-Id: I1659e906c8ec810b6e21cc13da4e54a06d5ab80b
Signed-off-by: MatthewLi <matthew.lijun@huawei.com>

dovetail tool: fully tox supported

JIRA: DOVETAIL-165

1, fully tox supported
2, previous easy setup abandoned
3, CI verify job changed accordingly
4, unittest bug fix

this should merge after
https://gerrit.opnfv.org/gerrit/#/c/26297/

results see
https://etherpad.opnfv.org/p/dovetail_report

Change-Id: I52ce3999fcde7e817854e4a39f4111eef081bc78
Signed-off-by: MatthewLi <matthew.lijun@huawei.com>

Merge "updated the process flow of function exec_cmd"

dovetail tool: use command 'debug' to control both 'debug' and 'CON_DEBUG'

JIRA: DOVETAIL-167

Change-Id: Ieb35f6aa2a6868af7d6dad5727bb3b345709275a
Signed-off-by: xudan <xudan16@huawei.com>

Merge "bugfix for duration missed"

dovetail tool: .cache added in gitignore

please see
https://gerrit.opnfv.org/gerrit/#/c/26299/
patch set 3

Change-Id: I32dd107e0e8704482e1cdb659a02b774cb7d8482
Signed-off-by: MatthewLi <matthew.lijun@huawei.com>

bugfix for duration missed

JIRA: DOVETAIL-162

Change-Id: Idc78790e49ab3e3552d45b902cfdf8cc37fd2847
Signed-off-by: MatthewLi <matthew.lijun@huawei.com>

Merge "dovetail tool: bugfix about setup dovetail"

Merge "dovetail tool: move conf/dovetail_config.py into utils/"

[dovetail tool] fetch openstack rc files without installer info

JIRA: DOVETAIL-157

dovetail tool must not depend on any installers or any SUT, so openstack rc files need to be provided to eliminate this dependency.
1. input parameters "SUT_IP"/"SUT_TYPE" must be optional, may be finally will be removed
2. new parameter "creds" to specify the file used to get access to openstack of SUT

Change-Id: I877efb2a6abc198c32ed6d52b9418a35597d5867
Signed-off-by: Leo Wang <grakiss.wanglei@huawei.com>

updated the process flow of function exec_cmd

separate the log expressions to other functions
removed statements that not necessary
output error detail info in exception

Change-Id: I721611d61dee83eb5f40ee954d433073114e231a
JIRA: DOVETAIL-161
Signed-off-by: Ryan.RCS <lihainong@huawei.com>

Merge "dovetail tool: document for dovetail CLI"

dovetail tool: show progress during executing test cases

1. the utils exec_cmd() will take a long time for some cmds such as executing
   test cases and pull images.
2. if the time is longer than 3 seconds, progress bar will be shown on the
   screen.

JIRA: DOVETAIL-159

Change-Id: I4ae04d6e884853d843baf8f547394247f4165377
Signed-off-by: xudan <xudan16@huawei.com>

dovetail tool: bugfix about setup dovetail

1. change the entry_points of setup.cfg into dovetail.run:main
2. after setup the command 'dovetail -d true --testsuite debug' can just be
   successfully executed under folder dovetail/dovetail. That is mainly because
   of the load functions of testcase.py using relative paths.
3. using absolute path instead of relative path can support the command
   successfully executed under any path.

JIRA: DOVETAIL-154

Change-Id: I4a2ad39a1a60e7e63efc55515781d27b823aa894
Signed-off-by: xudan <xudan16@huawei.com>

Merge "add example test area"

Merge "dovetail tool: fix docker version of client mismatches with server in Docker image"

add example test area

1. use this config to support example test case

Change-Id: I3fda73c408ed4b2bfb75aac52e0292fa4de9161b
Signed-off-by: Leo Wang <grakiss.wanglei@huawei.com>

dovetail tool: move conf/dovetail_config.py into utils/

1. move conf/dovetail_config.py into utils/
2. change the open file path in dovetail_config.py
3. do some modification about all 'from conf.dovetail_config import ***'

JIRA: DOVETAIL-158

Change-Id: I7670e6de993899e4e2a604cbc501dc3339896ef1
Signed-off-by: xudan <xudan16@huawei.com>

Merge "[dovetail tool] support shell scripts for testcase validation"

[dovetail tool] support shell scripts for testcase validation

JIRA: DOVETAIL-46

1. for now a testcase has two kinds of validation types(functest, yardstick),
and it is not enough to check the complete funcionality
2. add new validation type(shell) for extra validation of the test case to make
result more accurate and more convincing.

Change-Id: I5c049a71f11cca71a7914f8af704c1983aba3dca
Signed-off-by: Leo Wang <grakiss.wanglei@huawei.com>

Merge "dovetail tool: improve cli to update non-envs automatically"

[dovetail tool] support shell scripts for testcase validation

JIRA: DOVETAIL-46

1. for now a testcase has two kinds of validation types(functest, yardstick),
and it is not enough to check the complete funcionality
2. add new validation type(shell) for extra validation of the test case to make
result more accurate and more convincing.

Change-Id: I60c1b54335b94e0cb150232432adb958b8f5a143
Signed-off-by: Leo Wang <grakiss.wanglei@huawei.com>

dovetail tool: fix docker version of client mismatches with server in Docker image

JIRA: DOVETAIL-160

errors see
https://build.opnfv.org/ci/view/dovetail/job/dovetail-fuel-arm-pod3-debug-master/4/console

Change-Id: I812453fa7ac26cfdf66609c1ca4ac96e29ca7e02
Signed-off-by: MatthewLi <matthew.lijun@huawei.com>

dovetail tool: improve cli to update non-envs automatically

1. modify cmd_config.yml
  a. change 'env' and 'non-env' into 'config' and 'control'
  b. add subsection 'path' for each block in 'config'
  c. delete 'DEPLOY_SCENARIO' and 'DEPLOY_TYPE'
  d. use 'func_tag' and 'yard_tag' to control container's tag
2. if cmd in config
  a. if its path is envs, it will be used to update envs in dovetail_config
  b. if its path is non_envs, it will be used to update other value in the dict

JIRA: DOVETAIL-70

Change-Id: I1cf9bfcd1a19294a390a85bce6e458ce50672b7f
Signed-off-by: xudan <xudan16@huawei.com>

Merge "bugfix of document error"

bugfix of document error

JIRA: DOVETAIL-155

errors can refer to
https://build.opnfv.org/ci/job/opnfv-docs-verify-master/3727/console

Change-Id: I19e96239c8183bafca731477723615caff71388b
Signed-off-by: MatthewLi <matthew.lijun@huawei.com>

[dovetail tool] support shell scripts for testcase validation

JIRA: DOVETAIL-46

1. for now a testcase has two kinds of validation types(functest, yardstick),
and it is not enough to check the complete funcionality
2. add new validation type(shell) for extra validation of the test case to make
result more accurate and more convincing.

Change-Id: I45dca6b8dbd888757da163189d261f6e4dba5034
Signed-off-by: Leo Wang <grakiss.wanglei@huawei.com>

bugfix for flake8 format

error log see https://build.opnfv.org/ci/view/dovetail/job/dovetail-merge-master/58/console

Change-Id: I7f5a7f290d82e79249561322259aa5e72186e126
Signed-off-by: MatthewLi <matthew.lijun@huawei.com>

Merge "[WIP] Migrate to tox based environment"

[WIP] Migrate to tox based environment

Migrate the custom setup.py to a more formal setup
environment using tox, in the same way that OpenStack
configures their projects.

Adds metadata to tox.ini from the setup.py file, and breaks
out the dependencies from setup.py into requirements.txt
and test-requirements.txt.

Executes flake8 testing for pep8 coverage.

Defaults to using Python 2 for the environment.

Change-Id: Ieaea7d9f3dc227febd8fb1dc9142d478ba197a92
Signed-off-by: Leif Madsen <lmadsen@redhat.com>
Signed-off-by: zshi <zshi@redhat.com>

Merge "Add more document and fix dockerfile for CentOS"

Merge "dovetail tool: add debug option to control the log level showing in screen"

[dovetail tool]: move config info from .py to config .yml file

JIRA: DOVETAIL-145

Change-Id: Ia9b3c678f1a491e5daf2d280f05904ead3b0a296
Signed-off-by: MatthewLi <matthew.lijun@huawei.com>

Add more document and fix dockerfile for CentOS

Add how to build container from dockerfile and add missing config
for CentOS dockerfile. This fix is verified that functest/yeardstick
are called successfully under debug/proposed_tests testsuite.

Change-Id: Icb31331ecd78b8fccd69ac960c24340b605e54bf
Signed-off-by: Tomofumi Hayashi <tohayash@redhat.com>

2 config files description documents

JIRA: DOVETAIL-50

Change-Id: I65c618ce3de78677b9e66a1c2d7f0af705e80cfb
Signed-off-by: MatthewLi <matthew.lijun@huawei.com>

Merge "[RFC]Add dockerfile to support dovetail in CentOS"

Merge "Copy the jumphost ssh key into the container"

dovetail tool: document for dovetail CLI

1. document for developers about how to add or delete commands by modifying
   cmd_config.yml file.
2. document for users about how to run dovetail tool with CLI

JIRA: DOVETAIL-25

Change-Id: Iecf9d7a230e694bdda5634a87f7e5ddf7b7a57fd
Signed-off-by: xudan <xudan16@huawei.com>

Copy the jumphost ssh key into the container

When functest runs against Apex it needs to ssh from the container
to the undercloud to get the keystonerc file so it can authenticate
to the overcloud.

Change-Id: Iea3273d4d1611733f167ffab0b2a75330c413edc
Signed-off-by: Dan Radez <dradez@redhat.com>

[RFC]Add dockerfile to support dovetail in CentOS

JIRA: DOVETAIL-151

This diff introduces an optional dovetail dockerfile based on CentOS.
It provides users to have an alternative way to execute dovetail.
It should be just a optional, so we should keep docker/Dockerfile
as official one with dockerhub's image and we do not build docker images
in CI phase for now.

Change-Id: Ia694bcd49f65ff2bc175c1da3b42fbfa19b022a1
Signed-off-by: Tomofumi Hayashi <tohayash@redhat.com>
Signed-off-by: Zenghui Shi <zshi@redhat.com>

dovetail tool: add unit test into script unittest.sh

1. Since JIRA: DOVETAIL-55 has been merged, unit tests can't pass without
   load_config_files().
2. Fix the bug by adding load_config_files().
3. Add run_tests() into script unittest.sh to include all unit tests in
   tests/unit.

JIRA: DOVETAIL-149

Change-Id: I7bdb0732fefde3a3f3b82441b4cc7e46ece66a1e
Signed-off-by: xudan <xudan16@huawei.com>

dovetail tool: add debug option to control the log level showing in screen

1. add debug option in cmd_config.yml for controling log showing in screen.
2. rename existent DEBUG as CON_DEBUG because it is used for functest/yardstick
   container to control the log level.
3. fix the bug in function update_config_envs(). If one key is not in system's
   envs, os.environ[key] get an error with ErrorKey.

JIRA: DOVETAIL-148

Change-Id: If3d75109f51e2e91743b8f1134a76da42e57383a
Signed-off-by: xudan <xudan16@huawei.com>

Merge "dovetail tool: reorganize statements in class DovetailConfig"

Merge "dovetail tool: add brackets to print message for consistency"

Merge "dovetail tool: fix unittest bugs"

Merge "[WIP] dovetail report improvement"

[WIP] dovetail report improvement

JIRA: DOVETAIL-49

1)details please refer to
  https://wiki.opnfv.org/display/dovetail/Dovetail+Reports
2)results please refer to one example
  https://etherpad.opnfv.org/p/dovetail_report

Change-Id: I63a1ba3b6aa1ffe5fa043a11cd3777dd0e8d52d9
Signed-off-by: MatthewLi <matthew.lijun@huawei.com>

bugfix: Add BRANCH Argument in the Dockerfile

JIRA: DOVETAIL-147

1) BRANCH argument added to fix bug in CI
2) docker to use latest version, since BRANCH added not works with old version

Change-Id: Icb0144896389b0cb7ac80e1fb0338825be50d5b1
Signed-off-by: MatthewLi <matthew.lijun@huawei.com>

dovetail tool: fix unittest bugs

JIRA: DOVETAIL-143

1) fix unittest import module path
2) add create_log in setup

Change-Id: Ic894fa971b4a5091affb36e8e6aac05e0e8623fb
Signed-off-by: zshi <zshi@redhat.com>

Merge "dovetail tool: run.py execution always wipes of results files"

dovetail: modify process flow in function update_envs()

bugfix task DOVETAIL-144
1. If run command "python run.py" without options, e.g. --SUT_TYPE, --SUT_IP,
env values will be updated by os enviromental parameter.
2. If run command "python run.py" with options, no update from os enviromental
parameter.

JIRA: DOVETAIL-144

Change-Id: Id3bde7546722a5f4defe52d4f00609d7049a288b
Signed-off-by: wu.zhihui <wu.zhihui1@zte.com.cn>

Merge "fix flake8 test error for ez_setup.py"

dovetail tool: run.py execution always wipes of results files

1. move function clean_results_dir() into run.py
2. call this function at the beginning of function main()
3. this can only work correctly after all log initializations packaged,
   see JIRA: DOVETAIL-56 and gerrit https://gerrit.opnfv.org/gerrit/#/c/24059/

JIRA: DOVETAIL-80

Change-Id: I1cdda8f6d43f21c45c0537868cb7ed10d14ea9df
Signed-off-by: xudan <xudan16@huawei.com>

dovetail tool: reorganize statements in class DovetailConfig

1. move some statements in class DovetailConfig into function
   load_config_files()
2. call load_config_files() in run.py
3. this can only work correctly after moving clean_results_dir() into run.py,
   see JIRA:DOVETAIL-80 and gerrit https://gerrit.opnfv.org/gerrit/#/c/24929/

JIRA: DOVETAIL-55

Change-Id: I217c1c21dc6ba8849da7c00564f62d3c22cdc391
Signed-off-by: xudan <xudan16@huawei.com>

dovetail tool: To exec testsuite loading after command line arguments is True

JIRA: DOVETAIL-142

Change-Id: I1d8a444580755b4f4d9a0f7098b4b17ea66d6f58
Signed-off-by: MatthewLi <matthew.lijun@huawei.com>

Merge "dovetail tool: change CI_DEBUG to DEBUG"

dovetail tool: package all logger initialization

1. For container.py, parser.py, report.py and testcase.py, they use functions
   in classes to create loggers. So each class will have its own logger.
2. run.py will create all the loggers by create_logs() function before the use
   of them. So logs will not be initialized until the call of create_logs().
3. Move logger in run.py into function main().

JIRA: DOVETAIL-56

Change-Id: I53de090df270cc7a34762ff99cbc9115cfb09465
Signed-off-by: xudan <xudan16@huawei.com>

Merge "dovetail tool: testarea argument added"

Merge "Backend rest api mechanism"

dovetail tool: add brackets to print message for consistency

Change-Id: I74c0aefb7ada960aac55aed15aab6b7b9984154e
Signed-off-by: zshi <zshi@redhat.com>

fix flake8 test error for ez_setup.py

Change-Id: Ibb764a41bac05599645d283c5fe3dbe409b2b006
Signed-off-by: zshi <zshi@redhat.com>

dovetail tool: change CI_DEBUG to DEBUG

JIRA: DOVETAIL-42

1) change 'CI_DEBUG' to 'DEBUG' in cmd_config.yml
   and dovetail_logger.py
2) assign 'DEBUG' env value to 'CI_DEBUG' when
   updating functest and yardstick parameter 'envs'

Change-Id: I6d6130e394fddf11d83be619f2c9684bf8c859f9
Signed-off-by: zshi <zshi@redhat.com>