Update user guide including testing, api, cli guide docs

JIRA: DOVETAIL-796

Signed-off-by: xudan <xudan16@huawei.com>
Change-Id: I5dd491726ca2c7d0a85dc17af7a25b776c1c38a9

Update the result check for rally tests

JIRA: DOVETAIL-790

Change-Id: Ia3bacf307cd2543820eae86733f76a472e34ead2
Signed-off-by: xudan <xudan16@huawei.com>

Fix exception when running HA tests without pod.yaml

1. use volumes '-v' to map files/directories which may be non-existing
2. use mounts '--mount' to map files/directories which couldn't be non-existing

JIRA: DOVETAIL-789

Change-Id: I2184e5baed3d1491a2df4d3a1a77a11e3e9b4fc8
Signed-off-by: xudan <xudan16@huawei.com>

Change NFVI version of Dovetail tool from 2019.0x to 2019.12

JIRA: DOVETAIL-788

Change-Id: I4b31be68f03525ffc03a2ce906909f25d863b6bb
Signed-off-by: xudan <xudan16@huawei.com>

Update git patch script for new tempest version

Change-Id: I0d511e3e4570fed5d2afb09335fcbe7d90a2ab5f
Signed-off-by: xudan <xudan16@huawei.com>

Refact API module

Change-Id: Ifa01fcbb848d3218619c1f8e726f26476773ce2f
Signed-off-by: xudan <xudan16@huawei.com>

Update API to python3 and add some addtional APIs

Update the unit test case to fix the py27 failure.

Change-Id: Ic75b8fc037c320ec5599eb007dcee43788e32807
Signed-off-by: xudan <xudan16@huawei.com>

Add Functest Networking SFC tests

Add in the Dovetail project the networking-sfc tests
which are part of Functest project (functest-smoke container).

Signed-off-by: Panagiotis Karalis <panos.pkaralis@gmail.com>
Change-Id: Id57d00e62000e47303f1678347acc3a5fda6dec7

Update check list with Hunter

According to the results on CI, it needs to change the check list here.
https://build.opnfv.org/ci/view/dovetail/job/dovetail-fuel-baremetal-proposed_tests-optional-hunter/12/artifact/results/neutron_tempest_plugin_api_logs/

Change-Id: I6225331e1738e0f3a8ea0771c7a751a1fa3b15a1
Signed-off-by: xudan <xudan16@huawei.com>

bugfix: stree test failed

Shouldn't change the command from python to python3 to run stress test,
because this command is run in bottlenecks container and it hasn't transfer to
python3 yet.

Change-Id: I6875d855e75ae72e647e70c2feb34ed2cda38f15
Signed-off-by: xudan <xudan16@huawei.com>

Update blacklist scenario to match any scenarios

Functest has supported regrex of scenario in tempest tests.
See patch https://gerrit.opnfv.org/gerrit/c/functest/+/68399

Change-Id: Ia59d1ed02ac5a4a8dff6aa06270de421b8533cb6
Signed-off-by: xudan <xudan16@huawei.com>

Bugfix: got an error on ci when rally tests failed

see https://build.opnfv.org/ci/view/dovetail/job/dovetail-fuel-baremetal-proposed_tests-optional-hunter/10/console

Change-Id: I7c9b0426603c22a2ef5f4b15ca26fbc0768bd19f
Signed-off-by: xudan <xudan16@huawei.com>

Update all redirected links in Dovetail docs

The pod ld-build2 only has python 3.6 installed, so change the tox env to be 3.6
Other pods has python 3.5 to verify pep8, py35 ...

Change-Id: I0289d7ce96ffa49dd08ce4b855fe071a5e608cbf
Signed-off-by: xudan <xudan16@huawei.com>

Fault fixing for cmd_exec util method

When the 'dovetail run' command is assigned, the error
"TypeError: must be str, not bytes" is appeared.

Due to a different handling of strings in the Python3, this error
is appeared during of command execution (i.e. exec_cmd method).

Each piece of the string should be decoded, before it will be
appended to the rest one.

Signed-off-by: Panagiotis Karalis <panos.pkaralis@gmail.com>
Change-Id: I65629f3f76cc3e44f3926a744d00791ef588d2aa

Move the proj to python3

The aim of this patch is to upgrade python version
of this project from python2 to python3.

Signed-off-by: Panagiotis Karalis <panos.pkaralis@gmail.com>
Change-Id: I3d3ef01176fda1b23a0542a24625be2f3368c40e

Introduce XCI installer

After the expression of the need to run the dovetail tool
over the XCI installer, the investigation to that direction has
been started.

The aim of this patch is to introduce the relevant impact either
on dovetail's code or on dovetail's documentation.

JIRA: DOVETAIL-766

Change-Id: I6931506cb80baa4fa4288141ba86a858bc4215b0
Signed-off-by: Panagiotis Karalis <pkaralis@intracom-telecom.com>

Use assertEqual instead of assertEquals

DeprecationWarning: Please use assertEqual instead

Change-Id: I84db84e85a8a43486109bb948258e57c8b86fdfb
Signed-off-by: xudan <xudan16@huawei.com>

Add portal_key_file into all test case yml files

Change-Id: If111a8cc56c31ec3e22b090aca92ff56d41f7e01
Signed-off-by: xudan <xudan16@huawei.com>

Add validation disabled/enabled to results.json

Change-Id: I918f85c5ac89cf2745efa8513946a2b5ab8638b1
Signed-off-by: xudan <xudan16@huawei.com>

Add run tests API

Change-Id: I456d5d1459faa20d9dd8afd0c235a4bb6cbfbcce
Signed-off-by: xudan <xudan16@huawei.com>

Update Dovetail for XCI and Functest Hunter

All info are recorded in etherpad
https://etherpad.opnfv.org/p/Dovetail_XCI_TCs

Change-Id: Iec54ecca63ef9d83a2e6cceb4c8664a9d107eab4
Signed-off-by: xudan <xudan16@huawei.com>

Update OVP Support Email Address

As the portals have moved from the opnfv.org domain to lfnetworking.org,
the support address has changed as well from 'verified' to
'ovp-support'.

Change-Id: I341093992e456ac90580b3b96206a402f98bf2d2
Signed-off-by: Trevor Bramwell <tbramwell@linuxfoundation.org>

Update the Certification Workflow document

These changes are at the request of Brandon Wick.

Change-Id: Ieb4ea0164656e349451820071dc0c3d3f9bf67ac
Signed-off-by: Trevor Bramwell <tbramwell@linuxfoundation.org>

Add Swagger UI for dovetail API

Change-Id: If8f515b02f0372955739dd580967a3198930e98b
Signed-off-by: xudan <xudan16@huawei.com>

Update osinterop check list with Hunter scope

Change-Id: If8ca533772ad85a3789f5f448adbeb16491c23b0
Signed-off-by: xudan <xudan16@huawei.com>

Update trunk port list with Hunter and using blacklist

1. Using blacklist to avoid running some sub test cases
2. Update the sub test cases according to Functest Hunter scope

Change-Id: I61d6d796dcdfe0fef41ba7578d0f8f2221414686
Signed-off-by: xudan <xudan16@huawei.com>

Use Functest blacklist to exclude the sub test cases of patrole

1. using blacklist to exclude some sub test cases
2. update the patrole scope according to Hunter using patrole 0.4.0

Change-Id: I32de419e482cf2f2d7289dba48155f3d09fdec91
Signed-off-by: xudan <xudan16@huawei.com>

Add RESTful APIs into Dovetail container

JIRA: DOVETAIL-774

Change-Id: Ifb934eaeda52c1d316d80d9bb9c1890ffb71049c
Signed-off-by: xudan <xudan16@huawei.com>

Bugfix: Fix Dovetail 2 bugs found with CI results

There are 2 bugs found with CI results of functest.tempest.neutron_tempest_plugin_api
and all HA test cases.
Yardtsick conf file does't mapping the keyfile to Yardstick container, so all
HA test cases got SSHERROR.
Also remove some useless debug msg to make dovetail.log more concise.

Change-Id: I63c12d1b91ed5f8f8a893689384685ca9215f367
Signed-off-by: xudan <xudan16@huawei.com>

Change the OVP version to ovp.2019.0x

The OVP version is updated from ovp.2018.09 to ovp.2019.0x

Change-Id: Ibbfe186f791c521155173fd405b0147844893cf8
Signed-off-by: Panagiotis Karalis <pkaralis@intracom-telecom.com>

Fix doc link error

Change-Id: I405acb86132eb4f430e6df63e890b404af052ec7
Signed-off-by: xudan <xudan16@huawei.com>

Change Functest version from gambia to hunter

Change-Id: I9842467035572e869a92099f11288c6b9d773600
Signed-off-by: xudan <xudan16@huawei.com>

Remove sdnvpn test cases

Functest removed test case 'bgpvpn' from scope of Hunter release.
Also remove them from Dovetail for next release.

The original link of refstack is invalid now. Changing it to interop link.

Change-Id: I5b686496e106d688b8b3768401be95ac58fa2122
Signed-off-by: xudan <xudan16@huawei.com>

Fix the verdict of sub test cases

Error to group skipped sub test cases to passed one.
Example:
Skipped sub test case will be parsed as passed in following case.

skipped sub test case:
tempest.api.network.test_routers.RoutersTest.test_create_show_list_update_delete_router

passed sub test case list includes this one:
tempest.api.network.test_routers.RoutersTest.test_add_remove_router_interface_with_subnet_id

Then the skipped one will be checked as pass.

JIRA: DOVETAIL-775

Change-Id: I449f4968c23a9def1177a7c9645e5dcb89b2ec30
Signed-off-by: xudan <xudan16@huawei.com>

Add License

Many files in Dovetail repo are lacking of License after LF scanning.
Add all of them except the following files:
1. docker/Dockerfile.aarch64.patch
2. 0001-Allow-additional-properties-in-API-responses.patch
3. docs/images/dovetail_offline_mode.xcf
4. docs/images/dovetail_onfline_mode.xcf
5. all png files
6. all empty files

Change-Id: If1a0b7c2d35d6682c87c4eb9106e1998dc4ca3bc
Signed-off-by: xudan <xudan16@huawei.com>

Change HEAT package from .tag.gz to be .zip

As Trevor Lovett suggests, the Heat file is a zip file. So users need to package
it different only for Dovetail testing.
It will be better to change it to be .zip to keep it the same as what they do.

JIRA: DOVETAIL-770

Change-Id: I5338720c5e1363081e1f8cdce33391a969f1cd97
Signed-off-by: xudan <xudan16@huawei.com>

Failed to upload results to ONAP portal

The results.json file generated by running
'dovetail run --testsuite xxx' is different from the one
generated by running 'dovetail run --testcase xxx'.
The former can be uploaded to ONAP portal successfully
but the latter one can't.
The main reason is that the latter one lacking of 'vnf_type'.
Keep the results.json with the same format for both running
one test suite or several test cases.

JIRA: DOVETAIL-769

Change-Id: I46af84f9f229f9e601439f68c9ed9df9477d002b
Signed-off-by: Panagiotis Karalis <pkaralis@intracom-telecom.com>

Update user guide

Change-Id: I595975d13630c81c5d15ac0051225143d0394ba4
Signed-off-by: xudan <xudan16@huawei.com>

Push CI results to OPNFV test DB

In order to use OPNFV test results page to do the ayalysis of all OVP test cases,
it needs to push all results generated by Dovetail CI jobs to test DB and then
using http://testresults.opnfv.org/test/#/results to check all results.
The following data must contain in the POST body:
1. project_name
2. case_name
3. details
4. installer
5. scenario
6. pod_name
7. build_tag
8. criteria
9. start_date
10. stop_date
11. version

JIRA: DOVETAIL-767

Change-Id: I925ae249e24efd7bfb1c68a69150e9c22f0cdf36
Signed-off-by: xudan <xudan16@huawei.com>

Stamatis stepping down.

https://lists.opnfv.org/g/opnfv-tech-discuss/message/22993

Change-Id: Ibce504958dce88bb20d22b7be2e9ca2478a626fe
Signed-off-by: Aric Gardner <agardner@linuxfoundation.org>

Fix VVP test case

This patch adds check for no environment variables provided to
container configuration. Furthermore, it changes the check results
file to a list of check result files.

Change-Id: I2112ee1fd4b3156608d8a27dd3b9c90dbe35a24c
Signed-off-by: Stamatis Katsaounis <mokats@intracom-telecom.com>
Co-Authored-By: Panagiotis Karalis <pkaralis@intracom-telecom.com>

Improve Dockerfile

This patch improves the Dockerfile which produces the Dovetail image.

Change-Id: I65e65f155afe237b11c668e6486e48b55cc7e96c
Signed-off-by: Stamatis Katsaounis <mokats@intracom-telecom.com>

Replace subprocess commands with Docker SDK

JIRA: DOVETAIL-752

This patch replaces all python subprocess commands with the
Docker SDK relevant commands.

Change-Id: Iac7caffd80a863a8a022247d735b2a7f2792e49d
Signed-off-by: Stamatis Katsaounis <mokats@intracom-telecom.com>

Update tempest bgpvpn test case

For functest.tempest.bgpvpn, it has been run by Functest networking-bgpvpn since
Functest Gambia. Also the test list has been updated.

Using Functest smoke image to run networking-bgpvpn test case.
The test case list can be found here:
http://testresults.opnfv.org/test/api/v1/results?case_name=networking-bgpvpn&version=gambia

Change-Id: I18dd0fa24011c8805c2138d0efcb74474051c6c8
Signed-off-by: xudan <xudan16@huawei.com>

Calculate checksum for input VNF

This patch adds checksum information inside ONAP related test case run
results. The checksum is produced by the VNF input which can either be
a CSAR file or an archive of Heat templates.

Change-Id: I0ed58bdc9cc4031da08fd2ac220ef294520ef447
Signed-off-by: Stamatis Katsaounis <mokats@intracom-telecom.com>

Add Neutron Tempest plugin API tests

Add in the Dovetail project the Neutron Tempest plugin API tests
which are part of Functest project.
Including the 547 sub-tests as first phase of this integration.

JIRA: DOVETAIL-764

Change-Id: Idbebe8191fc788e8d62c4a4f95e159d9538c6e19
Signed-off-by: Panagiotis Karalis <pkaralis@intracom-telecom.com>

Update release note and user guide before tagging ovp-2.2.0

Change-Id: I1b1a1c96db933dc54242a226a6b8ea4a58147a14
Signed-off-by: xudan <xudan16@huawei.com>

Update tempest compute list

For Functest Gambia, it uses tempest with the commit ID
https://github.com/opnfv/functest/blob/stable/gambia/docker/smoke/Dockerfile#L5

Then there is one sub test case in this compute list that needs to be updated.

Change-Id: Ie38627853e1a69094764c72479c2b0f2dd796bbf
Signed-off-by: xudan <xudan16@huawei.com>

Add Functest Rally test cases

This patch adds all Rally testcases of Functest to Dovetail.

Change-Id: I8b20bce9966e924fd5aac41bde5a30442394db05
Signed-off-by: Stamatis Katsaounis <mokats@intracom-telecom.com>

Update python requirements

JIRA: DOVETAIL-754

This patch removes unused python requirements and updates the versions
of the remaining to be equal with upper constraints of OpenStack
Queens version.

Change-Id: Iefb9321b56c3e2004bf73a1b57919f898a5f8bdd
Signed-off-by: Stamatis Katsaounis <mokats@intracom-telecom.com>

Fix the verdict of TC in sub-testcase list result

When the sub-test case list is defined, in the dovetail results,
each test case is appeared with the its verdict next to its name.
Once a sub-testcase is passed, the verdict PASS is appeared next
to the name of sub testcase.
Once a sub-testcase is skipped or failed, the verdict FAIL is
appeared next to the name of sub-testcase.

This fix updates the code so that the verdict of skipped and failed
sub test cases to be appeared respectively next to its sub-tsetcase
name.

JIRA: DOVETAIL-763

Change-Id: Ib05b3793a57acbaa67b89321a840ae11251c2417
Signed-off-by: Panagiotis Karalis <pkaralis@intracom-telecom.com>

Provide a list of check results files instead of one

This patchs gives the ability to provide more than one check results
file. Furthermore, it does not alter the behavior of the existing tests
but prepares dovetail to be able to fetch information from many
sources.

Change-Id: I23cd23d2908ad6bdddd94b977813d0e81dc0c05a
Signed-off-by: Stamatis Katsaounis <mokats@intracom-telecom.com>

Archive rally.log instead of tempest.log for tempest based tests

Change-Id: Ibdacdd92c225aa3972eefc6112a118f2a4e6652c
Signed-off-by: xudan <xudan16@huawei.com>

Require 100% Coverage

This patch applies strict requirement for full coverage of python
code as an acceptance criterion.

Change-Id: Ib6dad44eb4e270efba912ce482676c360da15d84
Signed-off-by: Stamatis Katsaounis <mokats@intracom-telecom.com>

Add a doc introducing dovetail framework

This doc is used to introduce Dovetail framework and how to develop with this
framework.

JIRA: DOVETAIL-757

Change-Id: I3c56ce56151580d0e2aebf3485a55f4c7a23c8b6
Signed-off-by: xudan <xudan16@huawei.com>

Update the check list of osinterop sub test cases

Functest Gambia transfer OpenStack interop version from 2017.09 to 2018.02.
The test cases executed by Functest has increased to 217.
Adding the other 17 new test cases into Dovetail check list when parsing the results.

The detailed info of all sub test cases are recorded in rally.log instead of
tempest.log. So change the archive log to be rally.log.

Change-Id: I1f6fa5e1ff2ec47872836a0bd0ad19531135e41c
Signed-off-by: xudan <xudan16@huawei.com>

Remove deprecated ONAP lifecycle test case

This patch removes the ONAP lifecycle deprecated test case.
Furthermore, it clears helper functions as well as unwanted
configuration.

Change-Id: Ib958457cf120ffb641a72be028d3a031741c44c6
Signed-off-by: Stamatis Katsaounis <mokats@intracom-telecom.com>

Add a quick start guide for ONAP VNF tests with Dovetail

JIRA: DOVETAIL-759

Change-Id: Id1032d758b618803f09d036dfa9ef8fd54ada6ce
Signed-off-by: xudan <xudan16@huawei.com>

Add ONAP Heat testsuite

This patch adds a testsuite for running ONAP Heat test cases.

Change-Id: I25a35a776dd58570379c9a493dffffc53677a396
Signed-off-by: Stamatis Katsaounis <mokats@intracom-telecom.com>

Dynamic results version and vnf type recognition

This patch makes it able to fetch the version from the testsuite.
Furthermore, in case of ONAP test cases it adds the vnf_type to the
produced results.json file in order to be parsed from the results
portal. Finally, it creates a testuite for ONAP TOSCA related tests.

Change-Id: I613358c445cfe62730b98fee5e8c6fba7d322e90
Signed-off-by: Stamatis Katsaounis <mokats@intracom-telecom.com>

Add ONAP VVP Heat Template validation tests

Change-Id: I9a3d56932ce41191901381831013768d1c57a749
Signed-off-by: Stamatis Katsaounis <mokats@intracom-telecom.com>

Add ONAP VNF SDK verification tests

Please refer to env_config.sh.onap.sample when testing it.
The guide of preparing local env for onap package validation can be found here
https://gerrit.onap.org/r/#/c/75119

Change-Id: I39d6b11544847756126623a7eb3b953dc800c470
Signed-off-by: xudan <xudan16@huawei.com>

Simplify project conf files

1. use copy commands instead of pre_copy
2. remove redundant items in project conf files
3. make the volume mapping clearer

Change-Id: I6c6aa58fac65d7e40105e0a54f6544ee5c47db31
Signed-off-by: xudan <xudan16@huawei.com>

make item 'extra_container' available for every project

The item 'extra_container' used to be available for Bottlenecks only.
Make it open for Dovetail framework.

Change-Id: If4f2c032924447b97e401d497aca0309c0f5d847
Signed-off-by: xudan <xudan16@huawei.com>

Enable ShellRunner

1. fix the bug 'ShellRunner' object has no attribute 'archive_logs'
2. remove the testarea_supported because it's not very necessary for the test
   cases themselves and can make it a little more simple to add a test case
   with new test area

JIRA: DOVETAIL-750

Change-Id: I71ee74615200376adca2a0db040753e5fce329bc
Signed-off-by: xudan <xudan16@huawei.com>

Update the docs of patrole

JIRA: DOVETAIL-756

Change-Id: Iad2bd02f3991aa3b551b8065ee25cf7b3213c423
Signed-off-by: xudan <xudan16@huawei.com>

Move 2 sub test cases in patrole to optional list

JIRA: DOVETAIL-756

Change-Id: I8931f4b0c83acca24b5220d16e935194d4bc8ae7
Signed-off-by: xudan <xudan16@huawei.com>

Integrate k8s test casses

In order to integrate k8s test cases, Dovetail framework should do some
refactor and make it more general for k8s test cases as well as ONAP ones.
Integrate 2 k8s test cases.

JIRA: DOVETAIL-748

Change-Id: Ibd87754ffb5fb29f6b4ce79232af860c2ed2da9c
Signed-off-by: xudan <xudan16@huawei.com>

Add User Guide per installer - APEX

Trying to install the dovetail project on APEX, some instructions
have been found that are not clear enough.
The aim of introduction of new folder and user guide documents for
each installer is to make a dovetail deployment easier, using tips
and advices that are applicable for each installer respectively.

JIRA: DOVETAIL-743

Change-Id: I907b694d859164031b170cb0c7bb4f69b9ec889b
Signed-off-by: Panagiotis Karalis <pkaralis@intracom-telecom.com>

Add missing unit tests for report file

JIRA: DOVETAIL-724

This patch adds unit tests for report file methods of Dovetail which were
missing.

Change-Id: I2ba7c8f9fcfb962988b2904b01538e9f89a0d849
Signed-off-by: Stamatis Katsaounis <mokats@intracom-telecom.com>

Add missing unit tests for run file

JIRA: DOVETAIL-724

This patch adds unit tests for run file methods of Dovetail which were
missing.

Change-Id: I1700c8c97430899abdc2b752a3dcbd4d09a334ac
Signed-off-by: Stamatis Katsaounis <mokats@intracom-telecom.com>

Add missing unit tests for testcase file

JIRA: DOVETAIL-724

This patch adds unit tests for Tescases classes methods of Dovetail
which were missing.

Change-Id: Ie1b665249ce8afaa76b59b0dbe7f132e404a5569
Signed-off-by: Stamatis Katsaounis <mokats@intracom-telecom.com>

Add missing unit tests for test_runner file

JIRA: DOVETAIL-724

This patch adds unit tests for Runners classes methods of Dovetail
which were missing.

Change-Id: Ib985a44db86be02a7b9cefb8deca187bb50e78cc
Signed-off-by: Stamatis Katsaounis <mokats@intracom-telecom.com>

Add missing unit tests for container file

JIRA: DOVETAIL-724

This patch adds unit tests for container class methods of Dovetail
which were missing.

Change-Id: Iaba3bbfbb8838278e20ac9f63ef6e01f9ada1cbc
Signed-off-by: Stamatis Katsaounis <mokats@intracom-telecom.com>

Add missing unit tests for cli files

JIRA: DOVETAIL-724

This patch adds unit tests for cli methods of Dovetail which were
missing.

Change-Id: I99c584007659401e298e58aebb1764df1c543894
Signed-off-by: Stamatis Katsaounis <mokats@intracom-telecom.com>

Add missing unit tests for utils files

JIRA: DOVETAIL-724

This patch adds unit tests which were missing from dovetail code base.
Furthermore it updates the test_parser existing unit test. Finally,
it fixes some minor issues in dovetail_utils itself.

Change-Id: I8fd7cd4f6b1ede11664914746d2279f062511639
Signed-off-by: Stamatis Katsaounis <mokats@intracom-telecom.com>

Improve tox testing

This patch removes unused test requirements. In addition, it runs
coverage together with unit tests by py.test. In addition, it adds
sone docs links which were missing. Finally, it adds coverage reports
to .gitignore file.

Change-Id: I68e65781b17929c60fbb3f4c318b1366c35d185f
Signed-off-by: Stamatis Katsaounis <mokats@intracom-telecom.com>

Remove the offline scripts

As we discussed in Dovetail weekly meeting, there is no need to maintain
all the offline scripts.

Change-Id: I360d1a211856626af91310f142c1777a77398a12
Signed-off-by: xudan <xudan16@huawei.com>

Update BGPVPN and VNF test cases

Due to change to Functest Gambia, bgpvpn and vnf test cases failed.
Update the testcases.yaml according to Functest's new format.

Change-Id: Ia5d9ba291161f7da84a0aadf241e9ab81d83cfa9
Signed-off-by: xudan <xudan16@huawei.com>

Update classes in report.py

Change-Id: Ia17bf7ef3e304eef7b3f0b2f7aa04e3be75bc8c3
Signed-off-by: xudan <xudan16@huawei.com>

Update tests based on tempest_custom

All tempest_custom test cases should be updated and defined with the new
test case config yaml file.

Change-Id: Iaff99fcfcef61060a8ca02819cac2763c4bdd2a0
Signed-off-by: xudan <xudan16@huawei.com>

Update classes in testcase.py

1. Remove the functions which are not called anywhere
2. Change some class methods to be static methods and instance methods

Change-Id: I2e754cdff61aa34ffe899e352653ff767d4ac69d
Signed-off-by: xudan <xudan16@huawei.com>

Update class in container.py

Change-Id: I4fb24f86c6d15aea5a62baaca20531b2891437ff
Signed-off-by: xudan <xudan16@huawei.com>

CI verify jobs failed due to the update of tox

The LF pod used to run the CI verify jobs have updated the version of tox.
So the CI verify jobs failed.
See https://build.opnfv.org/ci/view/dovetail/job/dovetail-merge-master/476/console

Fix the python format errors
Ignore error 'W503 line break before binary operator'.

Change-Id: Ic2df070447bbea39c877ce7a394d733a95064bb1
Signed-off-by: xudan <xudan16@huawei.com>

Stop redefine testcases.yaml for some test cases

1. For Functest healthcheck, patrole, refstack_defcore, neutron_trunk and vping
   test cases, stop to redefine testcases.yaml.
2. For VNF and bgpvpn, they still have scenario dependencies for Functest.
   How to handle them are still under consideration.
3. For other tempest test cases, they rely on tempest_custom. Leave them
   under discussion.

JIRA: DOVETAIL-673

Change-Id: Ibd10c9883d8df3749f4a93e280deaca77fe6bc00
Signed-off-by: xudan <xudan16@huawei.com>

New PTL for Dovetail

This patch is used as a basis for voting on the new Dovetail PTL.  After
the nomination period [1] has ended, there is one candidate [2].

In order to complete the PTL election process, all Dovetail committers
shall review this patch and cast a vote (-1, +1). The voting period ends
in a week from now on October 24. The vote passes if a majority of
committers +1 this patch.

[1] https://lists.opnfv.org/g/opnfv-tech-discuss/message/22133
[2] https://lists.opnfv.org/g/opnfv-tech-discuss/message/22145

Change-Id: Iacf53f5c0bbe7e0c5f3c47131569be72ed8623ec
Signed-off-by: Georg Kunz <georg.kunz@ericsson.com>

Change to Gambia version by using latest docker images

Functest use gambia tag. Other projects use their latest one.

Change-Id: Ibbfde50727149822d8331d998f6b4e173f19e244
Signed-off-by: xudan <xudan16@huawei.com>

Committer promotion for Panos and Stamatis

Panos and Stamatis have significantly contributed to Dovetail and
projects utilized by Dovetail (e.g. Functest, Dovetail-webporal). Hence,
I'd like to propose their promotion to committer.

Panos:
https://gerrit.opnfv.org/gerrit/#/q/owner:%22Panagiotis+Karalis+%253Cpkaralis%2540intracom-telecom.com%253E%22

Stamatis:
https://gerrit.opnfv.org/gerrit/#/q/owner:%22Stamatis+Katsaounis+%253Cmokats%2540intracom-telecom.com%253E%22

Change-Id: Ibed0a5e3dc387d9de63c201db902133bd813c041
Signed-off-by: Georg Kunz <georg.kunz@ericsson.com>

Bugfix: There is an exception when crawling Yardstick results

If there is no pod.yaml, the results data looks like,
{"status": 2, "result": "[Errno 2] No such file or directory: u'/home/opnfv/userconfig/pre_config/pod.yaml'"}

It will get an exception when reading value from file,
File "/usr/local/lib/python2.7/dist-packages/dovetail/report.py", line 327, in crawl_from_file
criteria = data['result']['criteria']
TypeError: string indices must be integers

https://build.opnfv.org/ci/view/dovetail/job/dovetail-apex-baremetal-default-mandatory-master/52/console

Change-Id: I73ca3e5ae73433a2dc139789df4d67e8c583be08
Signed-off-by: xudan <xudan16@huawei.com>

Delete the invalid url which causes jenkins-ci failed

For Functest, it uses Shade instead of openstack python client.
Remove the link of openstack python client and replace with shade.

Change-Id: I5660ecdc243468a1da7854cde3a98ce424dbffe4
Signed-off-by: xudan <xudan16@huawei.com>

Update link to participation form

Change-Id: Ice4ac73f8ea7253e5ad510796486afa129f26699
Signed-off-by: Georg Kunz <georg.kunz@ericsson.com>

Updating the container tags of the test projects

Setting the container versions of the test tools to a specific release
tag.

Change-Id: I3422be006ff80035cecc9ec22eba50b02ed97be6
Signed-off-by: Georg Kunz <georg.kunz@ericsson.com>

Eliminating docs build warning

Eliminating a build warning from the Tempest volume description and
aligning its layout with other test case descriptions.

Change-Id: Idb9ba8d77ef3cb7e14a5b24a8a81622fa0e3e30d
Signed-off-by: Georg Kunz <georg.kunz@ericsson.com>

Updating the link to the updated participation form

Updating all links to the new participation form.

Change-Id: I41811fff3516ed5c8c91fbee16a3b50d432258d4
Signed-off-by: Georg Kunz <georg.kunz@ericsson.com>

Reviewers Guide document for fraser release.

Images have been updated to depict the latest changes
in Dovetail Web portal.

Change-Id: I4dc928141856fab34670272fcc465bea3f6156db
Signed-off-by: dimitris.tsiolakis <dmts@intracom-telecom.com>

Adapting local docs build and remove build warnings

The OPNFV docs project will remove its submodules and enable local docs
builds. This patch prepares the Dovetail repo according to the official
transition guide:

https://docs.opnfv.org/en/latest/how-to-use-docs/local-build-transition.html

This patch also applies syntactical changes which eliminate the sphinx
doc build warnings.

Change-Id: Ief8fd2d1c3e39b232d214a9ab392879ee4a492c8
Signed-off-by: Georg Kunz <georg.kunz@ericsson.com>

Align testcase formats and complete volume testcase descriptions.

Change-Id: Ie7497f6e5ef79726d8cbbcd9f05bffa2aac6c8b8
Signed-off-by: louie.long <longyu805@163.com>

Update code base and docs to 2018.09

The official name of the next release is going to be 2018.09.
We need to rename all occurrences of 2018.08 in the code base,
the documentation, and the web portal.

JIRA: DOVETAIL-740

Change-Id: Ie0e532d6671b7590454e9afd960a2934f313a022
Signed-off-by: xudan <xudan16@huawei.com>

Remove neutron trunk test cases with href links

There is a bug with neutron when using href links to get url.
This is fixed with Pike.

This is the patch,
https://review.openstack.org/#/c/356707/

These are the related files of Ocata and Pike,
https://github.com/openstack/neutron/blob/stable/ocata/neutron/api/api_common.py#L68
https://github.com/openstack/neutron/blob/stable/pike/neutron/api/api_common.py#L95

There are 2 test cases in neutron trunk related to this.
Remove these 2 test cases since Dovetail should support 4 versions from M to P.

Change-Id: I8aac88e4688157def1d6642eaa64bba56dde49ba
Signed-off-by: xudan <xudan16@huawei.com>

Enable the web portal to show all endpoints

The endpoints info for the 2018.08 has been changed.

The web portal needs some adaptions for the new data format.

It keeps the same as 2018.01 and doesn't need to change dovetail-webportal.

JIRA: DOVETAIL-725

Change-Id: I74cde3aa6032c7afac4b6ce1d2146e09a0f99fe5
Signed-off-by: xudan <xudan16@huawei.com>