Merge "dovetail tool: reorganize dovetail_config.py and modify related files"

[Dovetail Tool] Prepare env fail due to dependency on pyyaml

JIRA:DOVETAIL-92

root cause:
1. import dovetail_logger while it depends on dovetail_config
2. dovetail_config import yaml
3. yaml is not installed yet
action:
1. remove dovetail_logger

Change-Id: I51f5e8bab2451639a4a9ebf1978fe8a292df1704
Signed-off-by: Leo Wang <grakiss.wanglei@huawei.com>

dovetail tool: upstream functest env preparation and CLI adaption

1. Functest has changed it's directory structure, so cmds in
   functest_config.yml cannot run successfully.
2. Use functest CLI to prepare and run test cases instead of running
   prepare_env.py or run_tests.py.

JIRA: DOVETAIL-40

Change-Id: I7907dd70fd671efbed5f4132c0d76d6eb90b63eb
Signed-off-by: xudan <xudan16@huawei.com>

dovetail tool: reorganize dovetail_config.py and modify related files

1. move all sentencs and functions into class DovetailConfig
2. delete dict container_config for it has been replaced by dovetail_config
2. modify files that import dovetail_config, including container.py, parser.py,
   report.py, run.py, dovetail_logger.py and testcase.py

JIRA: DOVETAIL-55

Change-Id: Ib5ca3cadd751075c879f39e8cb2eb2e0adcef6aa
Signed-off-by: xudan <xudan16@huawei.com>

Merge "Fix option handling in case of no '--tag' option."

Merge "dovetail tool: cleanup the result directory before running"

dovetail tool: cleanup the result directory before running

1. Jenkins will fail with error
   rm: cannot remove '/home/opnfv/dovetail/results': Device or resource busy
2. The reason is that Jenkins will mount this directory before running
3. The effective solution is removing all contents in this directory rather
   than removing this mounted directory

JIRA: DOVETAIL-38

Change-Id: Ic32ea19341ad2048322ec11a4abc48e13019a7bb
Signed-off-by: xudan <xudan16@huawei.com>

dovetail tool: replace the hard-coded "Tescase" and modify some classmethod

JIRA: DOVETAIL-45

1. In the testcase.py file, we replace the hard-coded "Tesecase" with "cls" or "self" based on
   the specific contexts.
2. For all the four committed files, we modify some classmethod into staticmethod because each
   method is basically just a function, called syntactically like a method, but without access
   to the object and its' internals (attributes and other methods).

Change-Id: Ieb452f476a2d33ae9aca4c904ae7d2c92b68689e
Signed-off-by: Linghui Zeng <linghui.zeng@huawei.com>

Fix option handling in case of no '--tag' option.

In case of default, 'None' is in kwargs['tag'] so need to
check it in option handling. The code is to fix it.

Change-Id: Iaadf7e6f0f064dda819970346a810a6a8b47c74c
Signed-off-by: Tomofumi Hayashi <tohayash@redhat.com>

Merge "dovetail tool: reorganize prepare_env.py"

Merge "generate report data for reuse"

Merge "Add "docker tag" option for each testcase containers."

generate report data for reuse

JIRA: DOVETAIL-22

1. report text is string, can not be reused by other module,
2. generate report data first, then this data can be uploaded
   to database or be translated to report text

Change-Id: Ieecd87c827537c825c87a0db4ff170ae490d75ae
Signed-off-by: Leo Wang <grakiss.wanglei@huawei.com>

dovetail tool: reorganize prepare_env.py

1. add main function and move statements into it

JIRA: DOVETAIL-57

Change-Id: I69158fa64ffc10668fc39835de434f0b44b8754a
Signed-off-by: xudan <xudan16@huawei.com>

Add "docker tag" option for each testcase containers.

JIRA: DOVETAIL-69

This commit is to add new option to specify docker tags for
each test containers, such as '--TAG "functest:stable"'.

Change-Id: Ica11e16abfb21649a3eea9c7d7d5cd31502d2e21
Signed-off-by: Tomofumi Hayashi <tohayash@redhat.com>

dovetail tool: 2 config files, compliance_set and proposed_tests

JIRA: DOVETAIL-50

1)'proposed_tests.yml' is added, which runs as the total tests run.
  The 'compliance_set.yml' will run as dovetail certification tests;
2)ipv6 test cases added accroding to 'docs/testsuites/ipv6/ipv6_all_testcases',
  tc026 missed temporarily,yardstick ipv6tc026 only supports 2 installers by now

according to https://wiki.opnfv.org/display/dovetail/Dovetail+Test+Cases
3)vimops001-006 added for VIM images operation test cases
4)nfvi001-002 added for vping ssh/userdata in fucntest

5)more test cases can be added in future in proposed_tests.yml,
 besides, the test cases can be adjusted in future in proposed_tests.yml

Change-Id: I8a8634583549a802f6f64fbea651e7be4efa361c
Signed-off-by: MatthewLi <matthew.lijun@huawei.com>

Merge "dovetail tool: ensure sub_testcase_list and testcase are not None"

Merge "dovetail tool: os name bugfix"

Merge "dovetail tool: cleanup result directory before running"

dovetail tool: os name bugfix

JIRA: DOVETAIL-54

bug: in some envs, return value platform_os is Ubuntu rather than ubuntu.

Change-Id: I6a2aa964d00eff9f336f8204071a05a6b5f11134
Signed-off-by: MatthewLi <matthew.lijun@huawei.com>

dovetail tool: ensure sub_testcase_list and testcase are not None

JIRA: DOVETAIL-52

1) save return value of testcase.sub_testcase() in sub_testcase_list
for multiple calls later
2) ensure sub_testcase_list is not called with None value
3) ensure testcase is not called with None value
4) identify None testcase with 'Undefined' in dovetail_report.txt

Change-Id: Ifcf0c0846dc788575310f29932a4757752f1e3a3
Signed-off-by: zshi <zshi@redhat.com>

Merge "dovetail tool: Add cli mechanism for changing envs at run-time"

Merge "dovetail tool: rename report_file_path variable"

Merge "dovetail tool: Cleanup functest_conf.yml"

Merge "Add more distro support when preparing environment"

Merge "dovetail tool: ignore file amended"

dovetail tool: cleanup result directory before running

JIRA: DOVETAIL-38

1. Do cleaning at the beginning of each run.
2. Since some files and folders have the 'root root' privilege,
   no command except cmd 'sudo rm -rf <results_dir>' can work.

Change-Id: If8cd5c8c9c35434af2a5fa38575c06f83f0afc4d
Signed-off-by: xudan <xudan16@huawei.com>

dovetail tool: Add cli mechanism for changing envs at run-time

JIRA: DOVETAIL-23

1. Add file cmd_config.yml for defining arguments and options.
2. Using python click module to add and parse cmds in cmd_config.yml
3. Using envs options to update envs in yardstick/functest config file

Change-Id: Ie513c0f0a1ed76f29408419a4bcbbcf21334bb3f
Signed-off-by: xudan <xudan16@huawei.com>

dovetail tool: ignore file amended

JIRA: DOVETAIL-37

1)as much as possible to stay the same
2)*.mo deleted since no C used in this repo
3)unittest-log.txt added, it can be produced by using unittest.sh -f
4)document related added, including *.sw?, CI related /docs_build/ /docs_ouput/, results dir
5)other personal habit will not included in this

Change-Id: I1e3c95d74f99c212838a987f1705af3902f6f58d
Signed-off-by: MatthewLi <matthew.lijun@huawei.com>

dovetail tool: Add unit tests for 'parser' module

JIRA: DOVETAIL-45

1. Add two '__init__.py' files for packages
2. Add two test functions in 'test_parser.py' to verify the function
   of the method 'parser_cmd'
3. 'test_testcase.yaml' is used in 'test_parser.py'

Change-Id: Ic3e2e6e67bcac3276fe47ec5584c0d9632b5286a
Signed-off-by: mathsyouth <linghui.zeng@huawei.com>

dovetail tool: Cleanup functest_conf.yml

JIRA: DOVETAIL-43
JIRA: DOVETAIL-44

1) remove result_dir
2) remove pre_cmd, exec_cmd, post_cmd

Change-Id: Iea8173026b1f467011a40c6954581f25cd5e1912
Signed-off-by: zshi <zshi@redhat.com>

Merge "dovetail tool: developer userguide document"

Add more distro support when preparing environment

Change-Id: I3ff4419e38872bc28e59699a11080777ea596dc3
Signed-off-by: zshi <zshi@redhat.com>

dovetail tool: developer userguide document

JIRA: DOVETAIL-28

1) documents are reorganized, all dovetail tool related documents are moved to /docs/dovetailtool
2) some sections are rewritten to make it more clear

Change-Id: Ib0c23b8c1771eb6de7d6cc264c101e8e26ed3d1f
Signed-off-by: MatthewLi <matthew.lijun@huawei.com>

dovetail tool: rename report_file_path variable

the value assigned to report_file_path is a file
name, not a path.

Change-Id: I338ae2bb5e836d26c711bfa9144f16d06c08deb7
Signed-off-by: zshi <zshi@redhat.com>

Simplify getting pre_condition cmds

Change-Id: I8ca04cbdc4236e9ff754bad816bb7282673b5b55
Signed-off-by: zshi <zshi@redhat.com>

dovetail tool : add @classmethod to post_condition_cls

JIRA: DOVETAIL-39

Turn post_condition_cls to classmethod function which will
be consistent with pre_condition_cls

Change-Id: If8457035493f2ed93bdae5be5f22a57255b2c474
Signed-off-by: zshi <zshi@redhat.com>

update the committer email address

JIRA: DOVETAIL-36

Update the email addrees for Wenjing Chu

Change-Id: I61e378bba703806cef0cb829b855b822671ddbbe
Signed-off-by: hongbotian <hongbo.tianhongbo@huawei.com>

Get envs from environment variables to test multi-SUT

JIRA: DOVETAIL-32

currently envs variable is hard-coded to specific values
which are not suitable for multi-SUT platform, fix it by
reading it from environment variable. this commit is for
apex installer testing purpose.

Change-Id: I2163b96208d42a91f2795de6a55b276b803dc5e8
Signed-off-by: zshi <zshi@redhat.com>

Merge "[dovetail_tool] Fix the python style scanned by flake8"

[dovetail_tool] Fix the python style scanned by flake8

JIRA: DOVETAIL-34

Change-Id: Ib9a6dd254f1d77b0cbbfa66e8e1e44df1ce14a4b
Signed-off-by: xudan <xudan16@huawei.com>

Merge "Add documentation for dovetail tool"

dovetail tool: setup.py added and path error amend

JIRA: DOVETAIL-26

1)ez_setup.py setup.py is added
2)flake8 is there, then format check can be easily achived in CI later
3)path error amend see details in DOVETAIL-33

Change-Id: Ic19dbac852694adaeecf5cdf6c2ae7c9ea9dbb33
Signed-off-by: MatthewLi <matthew.lijun@huawei.com>

preparation for setup.py

JIRA: DOVETAIL-26

1)change the directory scripts to dovetail, to make it unified in OPNFV and for setup.py
2)change the paths accordingly
3)this should be first merged, since docker is changed, then to add setup.py and run the local test

Change-Id: I65974bde17f310ebbfe3c025532b05dae8752945
Signed-off-by: MatthewLi <matthew.lijun@huawei.com>

Merge "Add yardstick crawler and checker for the results of testcase"

Add documentation for dovetail tool

JIRA:DOVETAIL-28

Change-Id: I2478655d951a65a11f39e9ceba10969e56274cc3
Signed-off-by: Leo Wang <grakiss.wanglei@huawei.com>

Add yardstick crawler and checker for the results of testcase

JIRA: DOVETAIL-18

Change-Id: Idaad0ee4f8e6304f18fa478f1cded6e256cb12fd
Signed-off-by: xudan <xudan16@huawei.com>

Remove scripts in dovetail and use yarstick scripts to prepare environment

JIRA: DOVETAIL-20

Change-Id: I46a095d5714245a9399e3a33c72f5f4bc77a18bf
Signed-off-by: xudan <xudan16@huawei.com>

Merge "Use template to unify commands in functest/yardstick"

Use template to unify commands in functest/yardstick

JIRA: DOVETAIL-19

1. use jinja2 to unify commands in config files
2. it simplify the process of test execution, put the dissimilarity in config
3. add precondition/postcondition for functest/yardstick config

Change-Id: Ib996b11ea065b61910b34b78191bb7b1ffd92e59
Signed-off-by: Leo Wang <grakiss.wanglei@huawei.com>

Merge "IPv6 test cases: Test case specification document example"

IPv6 test cases: Test case specification document example

JIRA: DOVETAIL-9

1. We are keeping the test methodology simple and easy.
   We are reusing existing tests as much as we can from
   IPv6 projects and Tempest API and Scenario tests, which
   are run in FuncTest and Yardstick.

2. We modified "testplan.rst" to briefly describe the test plan,
   i.e. current IPv6 test cases for platform compliance, which
   have passed FuncTest and Yardstick test in Arno and Brahmaputra
   releases. We also leave room for additional IPv6 test cases if
   there are more contributions down the road

3. Original "designspecification.rst", "testprocedure.rst" and
   "testspecification.rst" are not applicable any more here. The
   test design, setup, and execution procedure related specification
   are covered by each test case.

4. Thus "index.rst" only covers "testplan.rst" and the list of test cases.

5. Two examples of test case specification documents are provided
   "ipv6.tc001.specification.rst"
   "ipv6.tc026.specification.rst"

6. A complete set of current IPv6 test cases are listed in
   "ipv6_all_testcases.rst". Once template is agreed, we will converted
   it into specific test case document.

For more background of IPv6, and its features and technical details, please see:
   https://wiki.opnfv.org/display/ipv6/IPv6+Home
   http://artifacts.opnfv.org/ipv6/docs/installationprocedure/index.html

Change-Id: I7e47c73c0f02a407df278c93a3da2142b5cc86e5
Signed-off-by: Bin Hu <bh526r@att.com>

Move copyfile to container and remove hard-code

JIRA: DOVETAIL-17

Change-Id: Id4ad126169cf83c6c72a7b599f3309f0f930e461
Signed-off-by: xudan <xudan16@huawei.com>

save dovetail report to disk

JIRA: DOVETAIL-16

Change-Id: I8aab0b34425b698fee556ef97d3b0942b1b149d2
Signed-off-by: Leo Wang <grakiss.wanglei@huawei.com>

change workdir of docker container for ci

JIRA: DOVETAIL-15
 - change workdir to /home/opnfv/dovetail/scripts for ci

Change-Id: Ib289fb3e2e7af09a4a3a1fb7b124876155d811e7
Signed-off-by: Leo Wang <grakiss.wanglei@huawei.com>

Merge "add prototype of dovetail tool"

add prototype of dovetail tool

JIRA: DOVETAIL-12

Change-Id: I1ee120ed8199589e1e7cbce9cbb55036e9e5f7ea
Signed-off-by: Leo Wang <grakiss.wanglei@huawei.com>

add dockerfile of dovetail tool

JIRA:DOVETAIL-13
  - add dockerfile

Change-Id: I82d74013fef9b9203b531a1ba944e014d77a25cd
Signed-off-by: Leo Wang <grakiss.wanglei@huawei.com>

Proposing a Dovetail test suite structure for IPv6

Adding the first draft of the IPv6 test suite.
This patch attempts to start the documentation according to the
proposal on https://wiki.opnfv.org/pages/viewpage.action?pageId=6827269
The text is neither complete nor accurate at this stage, this patch
is intended to establish a concrete dialog for how we structure our
test suites and reference test cases.

Change-Id: I156ddafa3e8b7630390523864490426fc742eb3a
Signed-off-by: ChristopherPrice <christopher.price@ericsson.com>

project document reorganization

JIRA: DOVETAIL-7

Change-Id: Ic17a05ea15858f6f93f112f26b532339f5904178
Signed-off-by: MatthewLi <matthew.lijun@huawei.com>

Remove trailing spaces

Upodated INFO file for RST formatting.

Change-Id: I6a81e832a311096d70acabe3dba20e8736d74ea7
Signed-off-by: ChristopherPrice <christopher.price@ericsson.com>

Initial test plan structure for Brahmaputra

Created the initial structure for the plugfest test plan.
* Created a base directory and document structure
* Created contributor guidelines
* Created test case template
* adjusted for: http://artifacts.opnfv.org/releng/docs/how-to-use-docs/documentation-example.html
* cp: reformatted the directories and structure to use the RST format
  * (we cannot review odt format in our toolchain, so use rst)
* cp: added an index.rst structure to establish structure without numbering
* cp: will ad anothe job to include dovetail in the docs toolchain

Change-Id: I4ef997da51b3b85e391629d6e08fadf87257fc6a

updates to use new doc toolchain

Change-Id: If30334be2bdb0e1dc869f3aaf17fe94d5cccf7d8
Signed-off-by: Ryota MIBU <r-mibu@cq.jp.nec.com>

Promoting Hongbo to project lead for dovetail.

Change-Id: I4d8d63748b8abf8f9af4b8f6daa71d56f0b92c5a
Signed-off-by: ChristopherPrice <christopher.price@ericsson.com>

Adding INFO and LICENSE for review

Change-Id: I3c11e92b16cbe633b755ad7ec4e45b13c2a0a79c
Signed-off-by: Aric Gardner <agardner@linuxfoundation.org>

Initial empty repository