add defcore/ha testcases to proposed_tests

JIRA: DOVETAIL-398
JIRA: DOVETAIL-399

1. this testsuite will run in community CI, see
https://gerrit.opnfv.org/gerrit/#/c/33509/
2. HA testcases please see
https://wiki.opnfv.org/pages/viewpage.action?pageId=8684344
3. vimops testcases deleted, since it's covered in defcore

Change-Id: Ied9c8867e0aa99e33fd213030e6471aa5cfb86e8
Signed-off-by: MatthewLi <matthew.lijun@huawei.com>

fix tox error

see logs

https://build.opnfv.org/ci/job/dovetail-verify-master/560/console

Change-Id: Ifa66087c4c8fcbaae809aae380587a4f03eded6c
Signed-off-by: MatthewLi <matthew.lijun@huawei.com>

Merge "put dovetail test result back in log and not generte report file"

set dovetail.log level by command line

JIRA: DOVETAIL-400

1. set both the dovetail.log and screen log level by command --debug.
2. if --report http://testapi_url:port/api/v1/, change it into
      --report http://testapi_url:port/api/v1

Change-Id: I7cf697d4ac9072fc2d302a67ccde0f452d84be8f
Signed-off-by: xudan <xudan16@huawei.com>

put dovetail test result back in log and not generte report file

Change-Id: I2da5e7844f5ce034d4c0cfaa4592e6cd47002049
Signed-off-by: MatthewLi <matthew.lijun@huawei.com>

Merge "fix click and pytz package version"

fix click and pytz package version

JIRA: DOVETAIL-376

Change-Id: Ia269ca7cdd34c71b4531b28e42e40415190ae398
Signed-off-by: MatthewLi <matthew.lijun@huawei.com>

directory update

JIRA: DOVETAIL-395

1. since plugfest has its own plan, the files are removed

Change-Id: I4989d1e0e1af483205733b3130e3f1152a8933c7
Signed-off-by: hongbotian <hongbo.tianhongbo@huawei.com>

Merge "dovetail tool: bugfix: test cases are erroneously judged"

dovetail tool: bugfix: test cases are erroneously judged

JIRA: DOVETAIL-375
JIRA: DOVETAIL-390

1. defcore test cases are erroneously judged because of:
   a) defcore results json data lack some keys
   b) some sub-testcases' names are the same as the prefix of another sub-testcases.
2. this patch removes the extra keys and judge sub-testcases accurately.
3. remove "store_type" in functest_config.yml and yardstick_config.yml.
4. change some log levels from info to debug.

Change-Id: I5f126e70309409cac66ef9a0909f1573d325098b
Signed-off-by: xudan <xudan16@huawei.com>

Merge "refstack: add manually method to let user can set its tempest.conf and defcore.txt"

refstack: add manually method to let user can set its tempest.conf and defcore.txt

JIRA: DOVETAIL-394

for refstack, userguide is listed in https://gerrit.opnfv.org/gerrit/#/c/33049/
in CI, use the automate way to generate tempest.conf to let refstack run against SUT, i.e., defcore.tc001.yml
will provide a way to let user can let refstack run against SUT manually, i.e. defcore.tc002.yml
since the tempest.conf autometely generated may not satisfied with SUT, users can adjust its tempest.conf to let the defcore testcases pass.

Change-Id: I5ed212c9c6d864d352d1c497ea039cc553461158
Signed-off-by: MatthewLi <matthew.lijun@huawei.com>

dovetail tool: show progress during executing test cases

JIRA: DOVETAIL-159

1. It takes long time to execute test cases that most of users think it hangs there,
   so a progress is needed to show the test is running.
2. add dynamic progress during execution
3. it' s a fake progress only showing the test is alive,
   not to show the percentage of completion.

Change-Id: I0294659f79e8e09d1bcdd36d8f391d933e35b635
Signed-off-by: xudan <xudan16@huawei.com>

Merge "fix yardstick openrc location"

Merge "bugfix of pbr after updating"

fix yardstick openrc location

since yardstick changes its openrc location
see
https://gerrit.opnfv.org/gerrit/#/c/32861/

Change-Id: Ib85910fe5521fb398c47e389e2baf127342b1c0b
Signed-off-by: MatthewLi <matthew.lijun@huawei.com>

Merge "refstack result parse"

refstack result parse

JIRA: DOVETAIL-375

1, together with other testsuite from functest, such as tempest etc.
this should merge after https://gerrit.opnfv.org/gerrit/#/c/31313/
2, delete some unnecessary definition
3, bugfix of docker cp inside container, see
   https://build.opnfv.org/ci/view/dovetail/job/dovetail-compass-baremetal-debug-master/361/console
4, disable tempest testcaes since changed to refstack_defcore

Change-Id: I67503e348af4a3f697f1b4106bfe81c05add8aa0
Signed-off-by: MatthewLi <matthew.lijun@huawei.com>

Merge "dovetail tool: check push_to_db success or fail"

dovetail tool: change results dir into $DOVETAIL_HOME/results

JIRA: DOVETAIL-381

Now DoveTail's results dir is defined in $DOVETAIL_HOME/dovetail/conf/dovetail_config.yml,
and its default value is /home/opnfv/dovetail/results.

Since customer's jumphost may not have this dir and they don't want to create it,
Dovetail needs to change this dir into $DOVETAIL_HOME/results.

Change-Id: I616fb2da87bcfaabfd78d8762897e378168f694d
Signed-off-by: xudan <xudan16@huawei.com>

dovetail tool: check push_to_db success or fail

JIRA: DOVETAIL-380

If Functest fails to push results to db, there is just an error log in functest.log
Dovetail needs to know the failure.
Dovetail will get the results from db with keys, build_tag and testcase.
If it can get the results data, it means push_to_db success.

Fix the duration time wrong.

Change-Id: If03bdf0ceb2f1a9d422381cdf06e1fd207358bd5
Signed-off-by: xudan <xudan16@huawei.com>

bugfix of pbr after updating

JIRA: DOVETAIL-388

Change-Id: I3611624c955fa735aabfd00b456bd7f8455080e5
Signed-off-by: MatthewLi <matthew.lijun@huawei.com>

Merge "dovetail tool: change function pull_image"

Merge "dovetail tool: set a unique build_tag for each DoveTail test"

Merge "dovetail tool: support centos 7"

dovetail tool: refstack testcase integration

JIRA: DOVETAIL-370

Change-Id: I60c9f431358f848e24abcb865c4b2ca8c3b2d843
Signed-off-by: MatthewLi <matthew.lijun@huawei.com>

dovetail tool: support centos 7

JIRA: DOVETAIL-383

The script launch_db.sh can just support ubuntu now.
Make it support centos 7.

Change-Id: Ic6123ac82cb81bacb2d0c2d394619b8d8d7b3296
Signed-off-by: xudan <xudan16@huawei.com>

dovetail tool: set a unique build_tag for each DoveTail test

JIRA: DOVETAIL-379

1. create a uuid for each test, and set build_tag=daily-master-<uuid>
2. the reason it starts with "daily_master" is that it's the requirement of
   functest when push data to DB.

Change-Id: I9a59d5695a9f0d83bf4330379f1949a2a04f876c
Signed-off-by: xudan <xudan16@huawei.com>

dovetail tool: change function pull_image

JIRA: DOVETAIL-378

1. test_runner checks the result of cmd "pull image". If fail to pull,
   then break the running.
2. pull_image will return None when there are errors, otherwise return image name.
3. if there is an old image named the same as the new one, the old one's tag
   will be changed into <none>. In this case, the old image needs to be removed.
4. if there are some containers using this old image, the remove will be skipped
   rather than logging error.

Change-Id: I940cb18911112d5e13f3c14f87ddbdbaced3538a
Signed-off-by: xudan <xudan16@huawei.com>

Draft one of the test specification.

JIRA: DOVETAIL-352

Needs a lot more work, but the directory tree and layout are according to our
needs in order to have this published as a CVP document.  Will push patches
to restructure the repo according to the new requirements later.

Change-Id: I9d4316407c94bc3096d322f6206eccf236d349da
Signed-off-by: ChristopherPrice <christopher.price@ericsson.com>

dovetail tool: offline support

JIRA: DOVETAIL-164

usage:
dovetail run --testsuite <testsuite> --offline
1,if --offline given, can run offline by using local docker images
(if there is no images, will get an error in log, images can be
pulled from dockerhub or downloaded from artifacts.opnfv.org )
2,if --offline not given, will run online, which means
pull docker image from dockerhub

Change-Id: I87ab35c82e59fb13a7a88c38d233e89285efc4d3
Signed-off-by: MatthewLi <matthew.lijun@huawei.com>

dovetail tool: Add an option cmd for pushing results into DB

JIRA: DOVETAIL-373

1. add an option --report/-r to choose the report type.
2. "-r file" will store results with files.
3. "-r http://192.168.135.2:8000/api/v1" will push results into DB.
   The DB url can replaced by user's local DB or official DB.
4. Default report type is defined as "report_dest" in dovetail_config.yml.
5. Yardstick can't push results of one testcase into DB now, so both "-r file"
   and "-r http://..." will be regarded as "file".

Change-Id: Ieaa017ab59c5b15235bf306ef57cdc56beb22af8
Signed-off-by: xudan <xudan16@huawei.com>

Launch a local TESTAPI DB instance

JIRA: DOVETAIL-374

User may want to dry run the test, and does not intend to upload test results to OPNFV DB.
So dovetail provide a way to launch a local TESTAPI DB instance, then user can upload test results to this local db, and browse test results locally.

Change-Id: I17b6153c9a308bd3cd59a2450c415200496cb855
Signed-off-by: Leo Wang <grakiss.wanglei@huawei.com>

bugfix of package error

JIRA: DOVETAIL-376

Change-Id: I91e0efff01d445e3f74718d730c8ff48c6413b26
Signed-off-by: MatthewLi <matthew.lijun@huawei.com>

Merge "dovetail tool: Bugfix about the prepare_env of yardstick and get the yardstick.log"

dovetail tool: remove installer and CI related variables

JIRA: DOVETAIL-371

1. remove all the envs in functest_config.yml and yardstick_config.yml
2. remove all relative cmds in cmd_config.yml
3. remove all the envs when running a new functest/yardstick container
4. add some variables just for functest pushing results to db
5. get the external network name for yardstick
6. make --debug/-d just control the log level shown on the screen
7. set requests=2.10.0 since python-openstackclient needs
   'requests!=2.12.2,!=2.13.0,>=2.10.0'

Change-Id: I9f941e09d067fc95a14c3c9be1374f41df4a9a16
Signed-off-by: xudan <xudan16@huawei.com>

dovetail tool: Bugfix about the prepare_env of yardstick and get the yardstick.log

1. For Fuel, yardstick prepare_env.sh will fail when
   pwd != /home/opnfv/repos/yardstick
2. Modify yardstick_config.yml in Dovetail to change pwd to that path.
3. Use log file /tmp/yardstick/yardstick.log created by cmd "yardstick task start"
   rather than redirecting the console output to yardstick.log.

JIRA: DOVETAIL-363

Change-Id: Ie0475cfabc66e342be868f0924a5fccd6fa74b58
Signed-off-by: xudan <xudan16@huawei.com>

dovetail tool: change name of credentials from creds to openrc

1. change file name from openstack.creds to openrc.sh
2. change the cmd --creds to --openrc/-o
3. now the path of --openrc can be relative path no restrict to abspath
4. remove the useless "work_dir" in dovetail_config.yml

JIRA: DOVETAIL-369
JIRA: DOVETAIL-367

Change-Id: I2592438eef060f84132ff7fa226aea93ea947362
Signed-off-by: xudan <xudan16@huawei.com>

Merge "dovetail tool: bugfix for dovetail report and docker build"

dovetail tool: Bugfix about the creds path in yardstick conf file

JIRA: DOVETAIL-355

Change-Id: I04a74caa080e0fd2ea11648f8085947ef8d556b1
Signed-off-by: xudan <xudan16@huawei.com>

dovetail tool: bugfix for dovetail report and docker build

JIRA: DOVETAIL-353
JIRA: DOVETAIL-354

related patch: https://gerrit.opnfv.org/gerrit/#/c/29049/

Change-Id: Ic871abbda62dead7cf5e23e6117c9885d637c7fb
Signed-off-by: MatthewLi <matthew.lijun@huawei.com>

Merge "dovetail tool: skip testcase status added"

dovetail tool: change the way to get the functest result file

Functest has changed it's way to generate the local result file.
see Gerrit: https://gerrit.opnfv.org/gerrit/#/c/28513/
Dovetail needs to do some adaptions to fit this change.

JIRA: DOVETAIL-350

Change-Id: I681f74832f582f26c8874f7d2726c8588f430612
Signed-off-by: xudan <xudan16@huawei.com>

dovetail tool: skip testcase status added

JIRA: DOVETAIL-344

1) testcase status, True/False --> PASS/SKIP/FAIL,
   so skipped testcase in tempest can be figured out
   details can be seen in
   https://etherpad.opnfv.org/p/dovetail_report
2) some variable name changed more readable, such as
   passed-->testcase_passed failed--> prepare_failed
3) "dovetail report" minor amend according to 1)

Change-Id: Ibe8e50693fc474d78e7d0fb89257f34703248579
Signed-off-by: MatthewLi <matthew.lijun@huawei.com>

Merge "dovetail tool: use python new-style classes which inherit from object"

Merge "bugfix of dovetail tool userguide document"

Merge "dovetail tool: report.py bugfix and tempest skipped testcase added"

dovetail tool: report.py bugfix and tempest skipped testcase added

JIRA: DOVETAIL-343

1, bugfix
https://build.opnfv.org/ci/view/dovetail/job/dovetail-compass-virtual-debug-master/lastSuccessfulBuild/artifact/results/dovetail_report.txt
test result error
2, skipped testcase in tempest added
3, two testcase in tempest full testsuite added in debug.yml to debug

Change-Id: I6bf371d3384e3755d6a41d951cfc9d1a55e00ab3
Signed-off-by: MatthewLi <matthew.lijun@huawei.com>

bugfix of dovetail tool userguide document

Change-Id: I33eea93ca0db018a5f79041152516fa48b94ba46
Signed-off-by: MatthewLi <matthew.lijun@huawei.com>

dovetail tool: bugfix: cannot load pre/post condition from config file

JIRA: DOVETAIL-342

Change-Id: If98905b6724c0a990d789a7ce914aeecac72d7c4
Signed-off-by: xudan <xudan16@huawei.com>

Merge "Change to use "pip install -r requirements.txt" to install deps."

dovetail tool: functest different testsuite support and yardstick testcase added

JIRA: DOVETAIL-186

Change-Id: Id0eec6652c9595c660436dec89a309a77b16bc03
Signed-off-by: MatthewLi <matthew.lijun@huawei.com>

Change to use "pip install -r requirements.txt" to install deps.

At the change of DOVETAIL-183, dovetail uses requirements.txt to
install python dependency file so this change is following it.

Change-Id: I6cb2420274f385224b517950ddfdf1cf0e764350
Signed-off-by: Tomofumi Hayashi <tohayash@redhat.com>

Merge "dovetail tool userguide document"

dovetail tool: use python new-style classes which inherit from object

JIRA: DOVETAIL-187

Change-Id: Id6fa50a3a3cec7a18d27ca8feb383b53836a339b
Signed-off-by: xudan <xudan16@huawei.com>

dovetail tool: modify function exec_cmd to force it to flush the buffer

1. force to flush the buffer line by line
2. remove the progress bar since it will stay in the screen if using the cli
   command JIRA: DOVETAIL-173, which will be ugly.

JIRA: DOVETAIL-172

Change-Id: I47b823c7e0bce955a50086613a656c83ab7707e3
Signed-off-by: xudan <xudan16@huawei.com>

dovetail tool userguide document

JIRA: DOVETAIL-182

Change-Id: Icbfa347dda3840520484d10b9d539da9c8f1d31c
Signed-off-by: MatthewLi <matthew.lijun@huawei.com>

bugfix for delete unnecessary file

Change-Id: I14b1556eb117d2111ebe85e73b8c33820db39a3e
Signed-off-by: MatthewLi <matthew.lijun@huawei.com>

Merge "dovetail tool: format improvement"

dovetail tool: change to git repo then pbr.version can be get inside docker

JIRA: DOVETAIL-184

Change-Id: I6d466dc34de027faab1aa74f66cc6c8e453111d1
Signed-off-by: MatthewLi <matthew.lijun@huawei.com>

dovetail tool: format improvement

Change-Id: Ibf0bb781c0f0b6be73526bf45231040e68510f76
Signed-off-by: MatthewLi <matthew.lijun@huawei.com>

dovetail tool: bugfix for pip install

JIRA: DOVETAIL-183

1)pip install [options] [-e] <local project path> ...
pip install [options] <archive url/path> ...
2)vim added in Dockerfile, which is convinience for offline usage

Change-Id: I986dc7cd3e872cf026d2e69f7298028a6cbfe9a6
Signed-off-by: MatthewLi <matthew.lijun@huawei.com>

Merge "dovetail tool: delete unnecessary prepare_env.py"

dovetail tool: delete unnecessary prepare_env.py

JIRA: DOVETAIL-181

Change-Id: I6e79467b829b4ae1d815bdb9ead0b930f0338cd2
Signed-off-by: MatthewLi <matthew.lijun@huawei.com>

Update Dockerfile

- Update pip version. The version of pip which is installed
by apt-get is too low.

- use "pip install -r reuirements.txt" to install requirements
package.

Change-Id: I94f94cab58cdb0d8e926c5dfbdbf9c9a66545dac
Signed-off-by: wu.zhihui <wu.zhihui1@zte.com.cn>

Merge "dovetail tool: switch logging to proper usage"

dovetail tool: command line

JIRA: DOVETAIL-173

details please see https://wiki.opnfv.org/display/dovetail/Dovetail+Command+Line

Change-Id: Iff04b0df8c4e6310d35a45b9c8ba3c7b3b5e1105
Signed-off-by: MatthewLi <matthew.lijun@huawei.com>

dovetail tool: switch logging to proper usage

JIRA: DOVETAIL-178

Change-Id: Ica814d4ff634c9159e4ecca888b8cc0f6c16e624
Signed-off-by: MatthewLi <matthew.lijun@huawei.com>

Merge "dovetail tool: remove old image when pulling new one successfully"

dovetail tool: bugfix of pbr installation in requirements.txt and Dockerfile

JIRA: DOVETAIL-175

Change-Id: I1f16742a59d5b016dcef6b574df45486c244c751
Signed-off-by: MatthewLi <matthew.lijun@huawei.com>

dovetail tool: remove old image when pulling new one successfully

1. split function pull_image into four functions, get_image_id, pull_image_only,
   remove_image and pull_image.
2. after pulling new version of the image, remove the old one with tag <none>.

JIRA: DOVETAIL-171

Change-Id: I2d2a9d6a8bc2308d434d0a3c76aa24bf5b39bfd7
Signed-off-by: xudan <xudan16@huawei.com>

release tag support

JIRA: DOVETAIL-170

Change-Id: Id56e30fdb3fb5b652e2145dd406b71986997f200
Signed-off-by: MatthewLi <matthew.lijun@huawei.com>

Merge "dovetail tool: reorganize function prepare_cmd in testcase.py"

dovetail tool: reorganize function prepare_cmd in testcase.py

1. move the common statements in prepare_cmd of class FunctestTestcase and
   Testcase into parse_cmd.

JIRA: DOVETAIL-163

Change-Id: I61a0a24b47cfc9e8d49ca9c62fafbac7cce21111
Signed-off-by: xudan <xudan16@huawei.com>

Merge "dovetail tool: bugfix CI job dovetail-merge-master fail"

Merge "dovetail tool: bugfix functest prepare_env fail"

dovetail tool: bugfix CI job dovetail-merge-master fail

JIRA: DOVETAIL-156

Change-Id: I3453571568494850049eb7956387ee7e275934af
Signed-off-by: xudan <xudan16@huawei.com>

Merge "dovetail tool: flake8 support in tox"

Merge "dovetail tool: use command 'debug' to control both 'debug' and 'CON_DEBUG'"

dovetail tool: bugfix functest prepare_env fail

JIRA: DOVETAIL-169

Change-Id: I7ede8713c16b084255f691505a39db122fdbe8ea
Signed-off-by: xudan <xudan16@huawei.com>

[dovetail tool]check and get results for each cmd

JIRA: DOVETAIL-166

Check the results of each cmds executed in test case
1. the results of pre_condition, post_condition, cmds need to be checked,
   so it can get a quick fail, dont need to go through the next step
2. it's more accurate to show where error occurred as early as possible
3. get results from shell scripts

Change-Id: I5c1e59839c55b92de0e83e7e1eb552aa364b3f80
Signed-off-by: Leo Wang <grakiss.wanglei@huawei.com>

dovetail tool: flake8 support in tox

JIRA: DOVETAIL-168

Change-Id: I1659e906c8ec810b6e21cc13da4e54a06d5ab80b
Signed-off-by: MatthewLi <matthew.lijun@huawei.com>

dovetail tool: fully tox supported

JIRA: DOVETAIL-165

1, fully tox supported
2, previous easy setup abandoned
3, CI verify job changed accordingly
4, unittest bug fix

this should merge after
https://gerrit.opnfv.org/gerrit/#/c/26297/

results see
https://etherpad.opnfv.org/p/dovetail_report

Change-Id: I52ce3999fcde7e817854e4a39f4111eef081bc78
Signed-off-by: MatthewLi <matthew.lijun@huawei.com>

Merge "updated the process flow of function exec_cmd"

dovetail tool: use command 'debug' to control both 'debug' and 'CON_DEBUG'

JIRA: DOVETAIL-167

Change-Id: Ieb35f6aa2a6868af7d6dad5727bb3b345709275a
Signed-off-by: xudan <xudan16@huawei.com>

Merge "bugfix for duration missed"

dovetail tool: .cache added in gitignore

please see
https://gerrit.opnfv.org/gerrit/#/c/26299/
patch set 3

Change-Id: I32dd107e0e8704482e1cdb659a02b774cb7d8482
Signed-off-by: MatthewLi <matthew.lijun@huawei.com>

bugfix for duration missed

JIRA: DOVETAIL-162

Change-Id: Idc78790e49ab3e3552d45b902cfdf8cc37fd2847
Signed-off-by: MatthewLi <matthew.lijun@huawei.com>

Merge "dovetail tool: bugfix about setup dovetail"

Merge "dovetail tool: move conf/dovetail_config.py into utils/"

[dovetail tool] fetch openstack rc files without installer info

JIRA: DOVETAIL-157

dovetail tool must not depend on any installers or any SUT, so openstack rc files need to be provided to eliminate this dependency.
1. input parameters "SUT_IP"/"SUT_TYPE" must be optional, may be finally will be removed
2. new parameter "creds" to specify the file used to get access to openstack of SUT

Change-Id: I877efb2a6abc198c32ed6d52b9418a35597d5867
Signed-off-by: Leo Wang <grakiss.wanglei@huawei.com>

updated the process flow of function exec_cmd

separate the log expressions to other functions
removed statements that not necessary
output error detail info in exception

Change-Id: I721611d61dee83eb5f40ee954d433073114e231a
JIRA: DOVETAIL-161
Signed-off-by: Ryan.RCS <lihainong@huawei.com>

Merge "dovetail tool: document for dovetail CLI"

dovetail tool: show progress during executing test cases

1. the utils exec_cmd() will take a long time for some cmds such as executing
   test cases and pull images.
2. if the time is longer than 3 seconds, progress bar will be shown on the
   screen.

JIRA: DOVETAIL-159

Change-Id: I4ae04d6e884853d843baf8f547394247f4165377
Signed-off-by: xudan <xudan16@huawei.com>

dovetail tool: bugfix about setup dovetail

1. change the entry_points of setup.cfg into dovetail.run:main
2. after setup the command 'dovetail -d true --testsuite debug' can just be
   successfully executed under folder dovetail/dovetail. That is mainly because
   of the load functions of testcase.py using relative paths.
3. using absolute path instead of relative path can support the command
   successfully executed under any path.

JIRA: DOVETAIL-154

Change-Id: I4a2ad39a1a60e7e63efc55515781d27b823aa894
Signed-off-by: xudan <xudan16@huawei.com>

Merge "add example test area"

Merge "dovetail tool: fix docker version of client mismatches with server in Docker image"

add example test area

1. use this config to support example test case

Change-Id: I3fda73c408ed4b2bfb75aac52e0292fa4de9161b
Signed-off-by: Leo Wang <grakiss.wanglei@huawei.com>

dovetail tool: move conf/dovetail_config.py into utils/

1. move conf/dovetail_config.py into utils/
2. change the open file path in dovetail_config.py
3. do some modification about all 'from conf.dovetail_config import ***'

JIRA: DOVETAIL-158

Change-Id: I7670e6de993899e4e2a604cbc501dc3339896ef1
Signed-off-by: xudan <xudan16@huawei.com>

Merge "[dovetail tool] support shell scripts for testcase validation"