Require 100% Coverage

This patch applies strict requirement for full coverage of python
code as an acceptance criterion.

Change-Id: Ib6dad44eb4e270efba912ce482676c360da15d84
Signed-off-by: Stamatis Katsaounis <mokats@intracom-telecom.com>

Add a doc introducing dovetail framework

This doc is used to introduce Dovetail framework and how to develop with this
framework.

JIRA: DOVETAIL-757

Change-Id: I3c56ce56151580d0e2aebf3485a55f4c7a23c8b6
Signed-off-by: xudan <xudan16@huawei.com>

Update the check list of osinterop sub test cases

Functest Gambia transfer OpenStack interop version from 2017.09 to 2018.02.
The test cases executed by Functest has increased to 217.
Adding the other 17 new test cases into Dovetail check list when parsing the results.

The detailed info of all sub test cases are recorded in rally.log instead of
tempest.log. So change the archive log to be rally.log.

Change-Id: I1f6fa5e1ff2ec47872836a0bd0ad19531135e41c
Signed-off-by: xudan <xudan16@huawei.com>

Remove deprecated ONAP lifecycle test case

This patch removes the ONAP lifecycle deprecated test case.
Furthermore, it clears helper functions as well as unwanted
configuration.

Change-Id: Ib958457cf120ffb641a72be028d3a031741c44c6
Signed-off-by: Stamatis Katsaounis <mokats@intracom-telecom.com>

Add a quick start guide for ONAP VNF tests with Dovetail

JIRA: DOVETAIL-759

Change-Id: Id1032d758b618803f09d036dfa9ef8fd54ada6ce
Signed-off-by: xudan <xudan16@huawei.com>

Add ONAP Heat testsuite

This patch adds a testsuite for running ONAP Heat test cases.

Change-Id: I25a35a776dd58570379c9a493dffffc53677a396
Signed-off-by: Stamatis Katsaounis <mokats@intracom-telecom.com>

Dynamic results version and vnf type recognition

This patch makes it able to fetch the version from the testsuite.
Furthermore, in case of ONAP test cases it adds the vnf_type to the
produced results.json file in order to be parsed from the results
portal. Finally, it creates a testuite for ONAP TOSCA related tests.

Change-Id: I613358c445cfe62730b98fee5e8c6fba7d322e90
Signed-off-by: Stamatis Katsaounis <mokats@intracom-telecom.com>

Add ONAP VVP Heat Template validation tests

Change-Id: I9a3d56932ce41191901381831013768d1c57a749
Signed-off-by: Stamatis Katsaounis <mokats@intracom-telecom.com>

Add ONAP VNF SDK verification tests

Please refer to env_config.sh.onap.sample when testing it.
The guide of preparing local env for onap package validation can be found here
https://gerrit.onap.org/r/#/c/75119

Change-Id: I39d6b11544847756126623a7eb3b953dc800c470
Signed-off-by: xudan <xudan16@huawei.com>

Simplify project conf files

1. use copy commands instead of pre_copy
2. remove redundant items in project conf files
3. make the volume mapping clearer

Change-Id: I6c6aa58fac65d7e40105e0a54f6544ee5c47db31
Signed-off-by: xudan <xudan16@huawei.com>

make item 'extra_container' available for every project

The item 'extra_container' used to be available for Bottlenecks only.
Make it open for Dovetail framework.

Change-Id: If4f2c032924447b97e401d497aca0309c0f5d847
Signed-off-by: xudan <xudan16@huawei.com>

Enable ShellRunner

1. fix the bug 'ShellRunner' object has no attribute 'archive_logs'
2. remove the testarea_supported because it's not very necessary for the test
   cases themselves and can make it a little more simple to add a test case
   with new test area

JIRA: DOVETAIL-750

Change-Id: I71ee74615200376adca2a0db040753e5fce329bc
Signed-off-by: xudan <xudan16@huawei.com>

Update the docs of patrole

JIRA: DOVETAIL-756

Change-Id: Iad2bd02f3991aa3b551b8065ee25cf7b3213c423
Signed-off-by: xudan <xudan16@huawei.com>

Move 2 sub test cases in patrole to optional list

JIRA: DOVETAIL-756

Change-Id: I8931f4b0c83acca24b5220d16e935194d4bc8ae7
Signed-off-by: xudan <xudan16@huawei.com>

Integrate k8s test casses

In order to integrate k8s test cases, Dovetail framework should do some
refactor and make it more general for k8s test cases as well as ONAP ones.
Integrate 2 k8s test cases.

JIRA: DOVETAIL-748

Change-Id: Ibd87754ffb5fb29f6b4ce79232af860c2ed2da9c
Signed-off-by: xudan <xudan16@huawei.com>

Add User Guide per installer - APEX

Trying to install the dovetail project on APEX, some instructions
have been found that are not clear enough.
The aim of introduction of new folder and user guide documents for
each installer is to make a dovetail deployment easier, using tips
and advices that are applicable for each installer respectively.

JIRA: DOVETAIL-743

Change-Id: I907b694d859164031b170cb0c7bb4f69b9ec889b
Signed-off-by: Panagiotis Karalis <pkaralis@intracom-telecom.com>

Add missing unit tests for report file

JIRA: DOVETAIL-724

This patch adds unit tests for report file methods of Dovetail which were
missing.

Change-Id: I2ba7c8f9fcfb962988b2904b01538e9f89a0d849
Signed-off-by: Stamatis Katsaounis <mokats@intracom-telecom.com>

Add missing unit tests for run file

JIRA: DOVETAIL-724

This patch adds unit tests for run file methods of Dovetail which were
missing.

Change-Id: I1700c8c97430899abdc2b752a3dcbd4d09a334ac
Signed-off-by: Stamatis Katsaounis <mokats@intracom-telecom.com>

Add missing unit tests for testcase file

JIRA: DOVETAIL-724

This patch adds unit tests for Tescases classes methods of Dovetail
which were missing.

Change-Id: Ie1b665249ce8afaa76b59b0dbe7f132e404a5569
Signed-off-by: Stamatis Katsaounis <mokats@intracom-telecom.com>

Add missing unit tests for test_runner file

JIRA: DOVETAIL-724

This patch adds unit tests for Runners classes methods of Dovetail
which were missing.

Change-Id: Ib985a44db86be02a7b9cefb8deca187bb50e78cc
Signed-off-by: Stamatis Katsaounis <mokats@intracom-telecom.com>

Add missing unit tests for container file

JIRA: DOVETAIL-724

This patch adds unit tests for container class methods of Dovetail
which were missing.

Change-Id: Iaba3bbfbb8838278e20ac9f63ef6e01f9ada1cbc
Signed-off-by: Stamatis Katsaounis <mokats@intracom-telecom.com>

Add missing unit tests for cli files

JIRA: DOVETAIL-724

This patch adds unit tests for cli methods of Dovetail which were
missing.

Change-Id: I99c584007659401e298e58aebb1764df1c543894
Signed-off-by: Stamatis Katsaounis <mokats@intracom-telecom.com>

Add missing unit tests for utils files

JIRA: DOVETAIL-724

This patch adds unit tests which were missing from dovetail code base.
Furthermore it updates the test_parser existing unit test. Finally,
it fixes some minor issues in dovetail_utils itself.

Change-Id: I8fd7cd4f6b1ede11664914746d2279f062511639
Signed-off-by: Stamatis Katsaounis <mokats@intracom-telecom.com>

Improve tox testing

This patch removes unused test requirements. In addition, it runs
coverage together with unit tests by py.test. In addition, it adds
sone docs links which were missing. Finally, it adds coverage reports
to .gitignore file.

Change-Id: I68e65781b17929c60fbb3f4c318b1366c35d185f
Signed-off-by: Stamatis Katsaounis <mokats@intracom-telecom.com>

Remove the offline scripts

As we discussed in Dovetail weekly meeting, there is no need to maintain
all the offline scripts.

Change-Id: I360d1a211856626af91310f142c1777a77398a12
Signed-off-by: xudan <xudan16@huawei.com>

Update BGPVPN and VNF test cases

Due to change to Functest Gambia, bgpvpn and vnf test cases failed.
Update the testcases.yaml according to Functest's new format.

Change-Id: Ia5d9ba291161f7da84a0aadf241e9ab81d83cfa9
Signed-off-by: xudan <xudan16@huawei.com>

Update classes in report.py

Change-Id: Ia17bf7ef3e304eef7b3f0b2f7aa04e3be75bc8c3
Signed-off-by: xudan <xudan16@huawei.com>

Update tests based on tempest_custom

All tempest_custom test cases should be updated and defined with the new
test case config yaml file.

Change-Id: Iaff99fcfcef61060a8ca02819cac2763c4bdd2a0
Signed-off-by: xudan <xudan16@huawei.com>

Update classes in testcase.py

1. Remove the functions which are not called anywhere
2. Change some class methods to be static methods and instance methods

Change-Id: I2e754cdff61aa34ffe899e352653ff767d4ac69d
Signed-off-by: xudan <xudan16@huawei.com>

Update class in container.py

Change-Id: I4fb24f86c6d15aea5a62baaca20531b2891437ff
Signed-off-by: xudan <xudan16@huawei.com>

CI verify jobs failed due to the update of tox

The LF pod used to run the CI verify jobs have updated the version of tox.
So the CI verify jobs failed.
See https://build.opnfv.org/ci/view/dovetail/job/dovetail-merge-master/476/console

Fix the python format errors
Ignore error 'W503 line break before binary operator'.

Change-Id: Ic2df070447bbea39c877ce7a394d733a95064bb1
Signed-off-by: xudan <xudan16@huawei.com>

Stop redefine testcases.yaml for some test cases

1. For Functest healthcheck, patrole, refstack_defcore, neutron_trunk and vping
   test cases, stop to redefine testcases.yaml.
2. For VNF and bgpvpn, they still have scenario dependencies for Functest.
   How to handle them are still under consideration.
3. For other tempest test cases, they rely on tempest_custom. Leave them
   under discussion.

JIRA: DOVETAIL-673

Change-Id: Ibd10c9883d8df3749f4a93e280deaca77fe6bc00
Signed-off-by: xudan <xudan16@huawei.com>

New PTL for Dovetail

This patch is used as a basis for voting on the new Dovetail PTL.  After
the nomination period [1] has ended, there is one candidate [2].

In order to complete the PTL election process, all Dovetail committers
shall review this patch and cast a vote (-1, +1). The voting period ends
in a week from now on October 24. The vote passes if a majority of
committers +1 this patch.

[1] https://lists.opnfv.org/g/opnfv-tech-discuss/message/22133
[2] https://lists.opnfv.org/g/opnfv-tech-discuss/message/22145

Change-Id: Iacf53f5c0bbe7e0c5f3c47131569be72ed8623ec
Signed-off-by: Georg Kunz <georg.kunz@ericsson.com>

Change to Gambia version by using latest docker images

Functest use gambia tag. Other projects use their latest one.

Change-Id: Ibbfde50727149822d8331d998f6b4e173f19e244
Signed-off-by: xudan <xudan16@huawei.com>

Committer promotion for Panos and Stamatis

Panos and Stamatis have significantly contributed to Dovetail and
projects utilized by Dovetail (e.g. Functest, Dovetail-webporal). Hence,
I'd like to propose their promotion to committer.

Panos:
https://gerrit.opnfv.org/gerrit/#/q/owner:%22Panagiotis+Karalis+%253Cpkaralis%2540intracom-telecom.com%253E%22

Stamatis:
https://gerrit.opnfv.org/gerrit/#/q/owner:%22Stamatis+Katsaounis+%253Cmokats%2540intracom-telecom.com%253E%22

Change-Id: Ibed0a5e3dc387d9de63c201db902133bd813c041
Signed-off-by: Georg Kunz <georg.kunz@ericsson.com>

Bugfix: There is an exception when crawling Yardstick results

If there is no pod.yaml, the results data looks like,
{"status": 2, "result": "[Errno 2] No such file or directory: u'/home/opnfv/userconfig/pre_config/pod.yaml'"}

It will get an exception when reading value from file,
File "/usr/local/lib/python2.7/dist-packages/dovetail/report.py", line 327, in crawl_from_file
criteria = data['result']['criteria']
TypeError: string indices must be integers

https://build.opnfv.org/ci/view/dovetail/job/dovetail-apex-baremetal-default-mandatory-master/52/console

Change-Id: I73ca3e5ae73433a2dc139789df4d67e8c583be08
Signed-off-by: xudan <xudan16@huawei.com>

Delete the invalid url which causes jenkins-ci failed

For Functest, it uses Shade instead of openstack python client.
Remove the link of openstack python client and replace with shade.

Change-Id: I5660ecdc243468a1da7854cde3a98ce424dbffe4
Signed-off-by: xudan <xudan16@huawei.com>

Update link to participation form

Change-Id: Ice4ac73f8ea7253e5ad510796486afa129f26699
Signed-off-by: Georg Kunz <georg.kunz@ericsson.com>

Updating the container tags of the test projects

Setting the container versions of the test tools to a specific release
tag.

Change-Id: I3422be006ff80035cecc9ec22eba50b02ed97be6
Signed-off-by: Georg Kunz <georg.kunz@ericsson.com>

Eliminating docs build warning

Eliminating a build warning from the Tempest volume description and
aligning its layout with other test case descriptions.

Change-Id: Idb9ba8d77ef3cb7e14a5b24a8a81622fa0e3e30d
Signed-off-by: Georg Kunz <georg.kunz@ericsson.com>

Updating the link to the updated participation form

Updating all links to the new participation form.

Change-Id: I41811fff3516ed5c8c91fbee16a3b50d432258d4
Signed-off-by: Georg Kunz <georg.kunz@ericsson.com>

Reviewers Guide document for fraser release.

Images have been updated to depict the latest changes
in Dovetail Web portal.

Change-Id: I4dc928141856fab34670272fcc465bea3f6156db
Signed-off-by: dimitris.tsiolakis <dmts@intracom-telecom.com>

Adapting local docs build and remove build warnings

The OPNFV docs project will remove its submodules and enable local docs
builds. This patch prepares the Dovetail repo according to the official
transition guide:

https://docs.opnfv.org/en/latest/how-to-use-docs/local-build-transition.html

This patch also applies syntactical changes which eliminate the sphinx
doc build warnings.

Change-Id: Ief8fd2d1c3e39b232d214a9ab392879ee4a492c8
Signed-off-by: Georg Kunz <georg.kunz@ericsson.com>

Align testcase formats and complete volume testcase descriptions.

Change-Id: Ie7497f6e5ef79726d8cbbcd9f05bffa2aac6c8b8
Signed-off-by: louie.long <longyu805@163.com>

Update code base and docs to 2018.09

The official name of the next release is going to be 2018.09.
We need to rename all occurrences of 2018.08 in the code base,
the documentation, and the web portal.

JIRA: DOVETAIL-740

Change-Id: Ie0e532d6671b7590454e9afd960a2934f313a022
Signed-off-by: xudan <xudan16@huawei.com>

Remove neutron trunk test cases with href links

There is a bug with neutron when using href links to get url.
This is fixed with Pike.

This is the patch,
https://review.openstack.org/#/c/356707/

These are the related files of Ocata and Pike,
https://github.com/openstack/neutron/blob/stable/ocata/neutron/api/api_common.py#L68
https://github.com/openstack/neutron/blob/stable/pike/neutron/api/api_common.py#L95

There are 2 test cases in neutron trunk related to this.
Remove these 2 test cases since Dovetail should support 4 versions from M to P.

Change-Id: I8aac88e4688157def1d6642eaa64bba56dde49ba
Signed-off-by: xudan <xudan16@huawei.com>

Enable the web portal to show all endpoints

The endpoints info for the 2018.08 has been changed.

The web portal needs some adaptions for the new data format.

It keeps the same as 2018.01 and doesn't need to change dovetail-webportal.

JIRA: DOVETAIL-725

Change-Id: I74cde3aa6032c7afac4b6ce1d2146e09a0f99fe5
Signed-off-by: xudan <xudan16@huawei.com>

Update test list for OS interop tests

The OpenStack Interop WG has recently deprecated [1] 4 cinder volume
reservation tests. As a result, they are not part of Functest's set of
interop tests anymore. This patch cleans up the test case validation
list for the web portal.

[1] https://review.openstack.org/#/c/583970/

Change-Id: I183602b099cb4d44c6cb3d21af6acaa4d3ee01ca
Signed-off-by: Georg Kunz <georg.kunz@ericsson.com>

Remove identity v2 TCs,not supported by Functest

As Functest does not support identity v2 anymore,
it does not make sense to try to run tempest identity v2 tests.
They need to be removed correspondingly.

JIRA: DOVETAIL-735

Change-Id: I09c06faf52893cc535bbed1fd406b81a7665e787
Signed-off-by: Panagiotis Karalis <pkaralis@intracom-telecom.com>

Reviewer guide update for OVP 2018.08 release

JIRA: DOVETAIL-701

Change-Id: I940bdd16762dd36ee338f41e5b2aab352c70600f
Signed-off-by: dimitris.tsiolakis <dmts@intracom-telecom.com>

Updating OVP addendum doc for 2018.09 release

Updating the OVP addendum document for the next release.

JIRA: DOVETAIL-733

Change-Id: I7b7679f96bff4837f69769bb71256bc30602dced
Signed-off-by: Georg Kunz <georg.kunz@ericsson.com>

Updating test case requirements

Updating the test case requirements document to match the new test case
naming convention which was introduced for the 2018.08 release.
Additionally, minor syntactic fixes.

Change-Id: I34b4b90eb4f8bab4f59df2415c98c27169e98332
Signed-off-by: Georg Kunz <georg.kunz@ericsson.com>

Release notes for OVP 2018.08 release

JIRA: DOVETAIL-700

Change-Id: I6835a6d6987d8e45c85fab851304a455db3ab0d6
Signed-off-by: dimitris.tsiolakis <dmts@intracom-telecom.com>

Change Bottlenecks volume mapping

If mapping to host's /tmp, it won't clean all .log and .out files before
run a new test. It causes the results file including all previous results.
See https://build.opnfv.org/ci/view/dovetail/job/dovetail-apex-baremetal-default-mandatory-master/26/artifact/results/stress_logs/bottlenecks.stress.ping.out/*view*/
It will affect the results check.

Mapping to DOVETAIL_HOME/results/bottlenecks, which will always be cleaned
before running another test.

Change-Id: I22bfc871d6f041ae38308bf8e8f685993a376973
Signed-off-by: xudan <xudan16@huawei.com>

Shortening headings and testing building of docs

This patch shortens the headings and is used to test if the docs
tool chain builds the right version.

Change-Id: Ibc162be1b46ff787a90510c360881234391c5ba7
Signed-off-by: Georg Kunz <georg.kunz@ericsson.com>

Add a volume mapping for Bottlenecks

All results files including the .out files are stored in Yardstick /tmp
Need to map that with host's /tmp to parse the results.

JIRA: DOVETAIL-727

Change-Id: I5a81e6e6bdf79b2e0074df505deb425c37b93300
Signed-off-by: xudan <xudan16@huawei.com>

Bottlenecks SSH connectivity broken

For ping, it set the ssh login username to be ubuntu.
So need to use ubuntu image rather than cirros.

JIRA: DOVETAIL-727

Change-Id: Iaac8c8280a464efe3a431d4eb260c4a0a626e12d
Signed-off-by: xudan <xudan16@huawei.com>

Rename ovp.next to be ovp.2018.08

Change-Id: I32aaee370512c3d7c8d6e1fbb6ef25aebc5d483f
Signed-off-by: xudan <xudan16@huawei.com>

Test case descriptions for Tempest smoke tests

Adding a high-level description of the Tempest smoke tests.
As agreed on the last Dovetail call, we are aiming for a relatively low
level of detail and instead point to available documentation. As the
tests themselves are quite simple of read, this is the best,
most concise, and up-to-date version of documentation we can find.

JIRA: DOVETAIL-599

Change-Id: I985592c55fd415e254e70db6c6480c7bf3670a29
Signed-off-by: dimitris.tsiolakis <dmts@intracom-telecom.com>

Update cli reference guide

JIRA: DOVETAIL-713

Change-Id: Ie740c8bf24c297c2537b23e1d35e0b4d40cd3e35
Signed-off-by: xudan <xudan16@huawei.com>

Remove one sub test cases from neutron trunk

There is one sub test case that can't work correctly on Mitaka,

neutron.tests.tempest.api.test_trunk.TrunkTestJSON.test_create_update_trunk_with_description

It will get a 'Bad request' error.
Details: {u'message': u"Unrecognized attribute(s) 'description'",
u'type': u'HTTPBadRequest', u'detail': u''}.

That's mainly because of that,

For Mitaka, there's only several extension resources that support
attribute 'description', which is 'security_group_rules', 'security_groups',
'ports', 'subnets', 'networks', 'routers', 'floatingips' and 'subnetpools'.
All other extension resources including trunk port can't create with description.

See https://github.com/openstack/neutron/blob/mitaka-eol/neutron/extensions/standardattrdescription.py#L22

For Newton, all subclasses of class 'HasStandardAttributes' support
the attribute 'description' including class Trunk.

See https://github.com/openstack/neutron/blob/newton-eol/neutron/extensions/standardattrdescription.py#L49,
https://github.com/openstack/neutron/blob/newton-eol/neutron/db/standard_attr.py#L158
and
https://github.com/openstack/neutron/blob/newton-eol/neutron/services/trunk/models.py#L26

JIRA: DOVETAIL-723

Change-Id: Ifdfea7c54a1888d933c8ddd78a6feea1db93368c
Signed-off-by: xudan <xudan16@huawei.com>

Update user guide

JIRA: DOVETAIL-710

Change-Id: If6150e75202851e80b3b945743eca3362dba69c7
Signed-off-by: xudan <xudan16@huawei.com>

Remove 2 sub test cases from neutron_trunk check list

1. neutron.tests.tempest.api.test_trunk.TrunkTestJSON.test_create_update_trunk
This test case will get the value of key 'revision_number' [1],
While this is a new extension for Newton and not support by Mitaka.
Please refer to the history of neutron github and the differences between
mitaka tag [3] (which has no file revisions.py) and newton [4].

2. neutron.tests.tempest.api.test_trunk.TrunkTestJSON.test_show_trunk_has_project_id
This test case requires extension 'project-id' [5], while this is also a new
extension for Newton. Please refer to the history of neutron [6] and the difference
between mitaka tag [3] (which has no file project_id.py) and newton [7].

Also it is a little unreasonable to check both tenant_id and project_id.
For some products, they may only have either tenant_id or project_id (not both).
Has sent an email to the neutron_trunk team but get no feedback until now.

[1] https://github.com/openstack/neutron/blob/stable%2Fpike/neutron/tests/tempest/api/test_trunk.py#L123
[2] https://github.com/openstack/neutron/commits/newton-eol/neutron/extensions/revisions.py
[3] https://github.com/openstack/neutron/tree/mitaka-eol/neutron/extensions
[4] https://github.com/openstack/neutron/blob/newton-eol/neutron/extensions/revisions.py
[5] https://github.com/openstack/neutron/blob/stable%2Fpike/neutron/tests/tempest/api/test_trunk.py#L110
[6] https://github.com/openstack/neutron/commits/newton-eol/neutron/extensions/project_id.py
[7] https://github.com/openstack/neutron/blob/master/neutron/extensions/project_id.py

JIRA: DOVETAIL-723

Change-Id: Idb4a56d47148b14ae4674549f98b1be65e9b8f15
Signed-off-by: xudan <xudan16@huawei.com>

Clean results directory to reduce the size of the package uploaded

JIRA: DOVETAIL-726

Change-Id: I57cb14cd5fe03a51e1691d7b48359bdd9b472ae4
Signed-off-by: xudan <xudan16@huawei.com>

Create a test case descriptions for Patrole RBAC tests

JIRA: DOVETAIL-682

Change-Id: I37bb5ea2ba5b68407541e3e9d90d760e1720d3e7
Signed-off-by: xudan <xudan16@huawei.com>

Test case description for Yardstick HA case

This is test case description for HA
test neutron-l3-agent. Yardstick TC058.

JIRA: DOVETAIL-637

Change-Id: I90e0225e6f086982da9f6ea686fbc8c179f45984
Signed-off-by: Mika Rautakumpu <mika.rautakumpu@nokia.com>

Test case descriptions for SNAPS smoke tests

Adding a high-level description of the SNAPS smoke tests.
As agreed on the last Dovetail call, we are aiming for a relatively low
level of detail and instead point to available documentation. As the
tests themselves are quite simple of read, this is the best,
most concise, and up-to-date version of documentation we can find.

JIRA: DOVETAIL-630

Change-Id: I38b072e29ec4cfe50baf0ac3350ea1a1d3e8d67a
Signed-off-by: dimitris.tsiolakis <dmts@intracom-telecom.com>

Test case descriptions for Neutron Trunk Port tests

Adding a high-level description of the Neutron trunk port tempest tests.
As agreed on the last Dovetail call, we are aiming for a relatively low
level of detail and instead point to available documentation. As the
tempest tests themselves are quite simple of read, this is the best,
most concise, and up-to-date version of documentation we can find.

JIRA: DOVETAIL-684

Change-Id: I76801b34f974bf7c77fded3ffa5588b7e5b2803c
Signed-off-by: Georg Kunz <georg.kunz@ericsson.com>

First test case description for HA tests

This is one of three test case descriptions from jira
ticket. Test case description is TC010 it is TC056 in
yardstick.

JIRA: DOVETAIL-605

Change-Id: I70afa882a667a6932aa7ec29bc5e0621b43fa0a4
Signed-off-by: Mika Rautakumpu <mika.rautakumpu@nokia.com>

Dovetail should update testcases.yaml file

It failed to run trunk_port test case because of the wrong class name.
See CI results

https://build.opnfv.org/ci/view/dovetail/job/dovetail-compass-baremetal-default-mandatory-fraser/7/artifact/results/tempest_logs/dovetail.tempest.neutron_trunk_ports.functest.log/*view*/

Update the testcases.yaml file based on the latest version of Functest Fraser.

JIRA: DOVETAIL-715

Change-Id: Ib102d1489d1e5610a04d76aab0553d5171ec3d3e
Signed-off-by: xudan <xudan16@huawei.com>

Renaming test cases to include test framework names

Replacing the generic "dovetail" prefix of the testcase definitions with
the name of the OPNFV test framework which hosts the test.

JIRA: DOVETAIL-719

Signed-off-by: Georg Kunz <georg.kunz@ericsson.com>
Change-Id: I8f90423b8908197bdc7adddf82c61ff394893f52

Dovetail failed to archive tempest.log and tempest-report.html files

It failed to archive tempest.log and tempest-report.html files.
See CI results
https://build.opnfv.org/ci/view/dovetail/job/dovetail-compass-baremetal-default-mandatory-fraser/7/artifact/results/

That's because the path of them have been changed
1. from tempest to tempest_custom
2. from refstack to refstack_defcore

There seems to be no file bgpvpn.log, remove the copy operation.

JIRA: DOVETAIL-714

Change-Id: I77d88124a44d3e5d869ada209760f69d1f6553bf
Signed-off-by: xudan <xudan16@huawei.com>

Delete 2 sub test cases from patrole

These 2 test cases failed on OSP10 with reasons
1. Provided object does not match schema 'image': u'shared'
   is not one of ['public', 'private']
2. Provided object does not match schema 'image': u'community'
   is not one of ['public', 'private']

'shared' and 'community' was added in the Image API v2.5

https://developer.openstack.org/api-ref/image/v2/index.html#images

JIRA: DOVETAIL-704

Change-Id: Ie7ab06d5e2abe7bde25fdb7318abe341f0119bc7
Signed-off-by: xudan <xudan16@huawei.com>

Update bottlenecks conf

1. Copy a ubuntu image to Bottlenecks to support offline
2. Add an env DEPLOY_SCENARIO to bottlenecks to support DPDK
3. Set push results to DB False

JIRA: DOVETAIL-706
JIRA: DOVETAIL-707

Change-Id: I81f293bb9fddc63fd8be455546ba4642ca670fc7
Signed-off-by: xudan <xudan16@huawei.com>

Create a test specification for vIMS test case

New test specification has been created for dovetail project.
Test descriptions is related to cloudify_ims test case of functest
project.

JIRA: DOVETAIL-699

Change-Id: I033351ad7cf83256bd7a9e208a7ce406d5a4cd2b
Signed-off-by: Panagiotis Karalis <pkaralis@intracom-telecom.com>

Cleaning up proposed-tests test suite

We have moved all newly proposed tests to the next OVP test suite, so
these tests do not need to be in here anymore - and do not need to be
run in CI.

Change-Id: I5f51b76a37b706c5b4abc75272ad799a72841f67
Signed-off-by: Georg Kunz <georg.kunz@ericsson.com>

Move OVP web portal code to a separate repo

The new repo for web portal is https://gerrit.opnfv.org/gerrit/dovetail-webportal

JIRA: DOVETAIL-671

Change-Id: Iac085abc3d175b9a091d70d0448af56c7a6845e9
Signed-off-by: xudan <xudan16@huawei.com>

Making the results file a proper json file

The results.json file is currently not a properly formated json file,
but contains one json structure per line/testcase. Whit this change, all
test results are being collected at runtime and then written to a
properly formated json file at the end of a test run.

Moreover, this patch introduces 'mandatory' and 'optional' sections to
the test suites definition files in order to clearly indicate if a test
is part of the corresponding test scope.

The web portal needs to be adapted accordingly to be able to read the
new results file.

JIRA: DOVETAIL-672

Change-Id: Id0706c7e82622fc9c2c2fece26b2d6c07c1580be
Signed-off-by: Georg Kunz <georg.kunz@ericsson.com>

Delete skipped sub test cases from patrole and neutron_trunk check list

According to Apex, Compass, Fuel CI results, delete the skipped sub test cases
from patrole and trunk_port check list.

JIRA: DOVETAIL-703

Change-Id: I86e3036a287d9cf56d78e43f92ce0d9ffed5941c
Signed-off-by: xudan <xudan16@huawei.com>

Remove functest_testsuite and functest_testcase in dovetail_config.yml

The 2 sections 'functest_testsuite' and 'functest_testcase' are used by
all Functest test cases.

They aim to parse the results of Tempest sub test cases.

Remove them, and check the sub test case list,
1. if it's empty, that means no need to check sub test cases
2. if it is not empty, check the sub test cases one by one.

Additional, remove some useless keys in dovetail_config.yml

JIRA: DOVETAIL-658

Change-Id: Ic829264b0c8eaedd8e2b3fa55b38a34644482c20
Signed-off-by: xudan <xudan16@huawei.com>

Create test case descriptions for Bottlenecks stress test

This is coming from the former patch
https://gerrit.opnfv.org/gerrit/#/c/37715/

JIRA: DOVETAIL-631

Change-Id: Ibe090fefaa92cb3fe6d7c3d96296724e8cfbcf1d
Signed-off-by: xudan <xudan16@huawei.com>

Update test suite ovp.next

Update test suite ovp.next according to the latest OVP scope.
Modify Dovetail daily jobs to run all the scope.
There should be 2 jobs.
One for all mandatory test cases and the other for all optional ones.
That's mainly because of that the total executed time will be too large
(more than 300 minutes). Then the job will always failed because of time out.
It's hard to enlarge the time because it's already larger than common 3 hours.
Split it into 2 jobs can avoid the time out issue and make the results
clearer for reviewing.

JIRA: DOVETAIL-694

Change-Id: Ie0ea6221868941781af1477f7c7719f7cb4351a4
Signed-off-by: xudan <xudan16@huawei.com>

Create a test specification for vEPC test case

New test specification has been created for dovetail project.
Test descriptions is related to vEPC test case.

JIRA: DOVETAIL-679

Change-Id: I72228f7f59a4aa704a620351ad8727c1b948dc66
Signed-off-by: Panagiotis Karalis <pkaralis@intracom-telecom.com>

Test case description for BGPVPN Tempest API tests

Adding test case descriptions for the BGPVPN API tests which are
implemented as Tempest plugin in the networking-bgpvpn repository. These
tests have already been integrated for Euphrates into Functest test and
are hence a candidate for inclusion in the test scope of the OVP
Euphrates release as extension of the existing SDNVPN test cases.

JIRA: DOVETAIL-598

Change-Id: Id8578ed1e198ddbde967793737c69a5940c22475
Signed-off-by: Georg Kunz <georg.kunz@ericsson.com>

Update cirros image for bottlenecks

The fraser-based OPNFV tools use the newer cirros-0.4.0 image and we
hence only ask users to download this version in the user guide.
This updates the bottlenecks test to comply with this.

Change-Id: I5a94d6a7196ae04e00150dc17a4a16add2d3fef6
Signed-off-by: Georg Kunz <georg.kunz@ericsson.com>

Remove the yardstick_tag and functest_tag

These 2 commands can't work now.
Also there is no need to support them, so remove them.

JIRA: DOVETAIL-695

Change-Id: I6707c7fc1d19fe06690cd14ef39f9d421d00a2bc
Signed-off-by: xudan <xudan16@huawei.com>

Enable OVP tests to run on a DPDK-enabled system

DPDK-enabled NFVIs require support for hugepages which
in turn is configured by means of extra_specs in flavors.
Currently, Functest enables hugepage support if the name
of the scenario contains the substring "ovs".

Dovetail allows end users to run all tests on DPDK-enabled systems
and the documentation has been updates accordingly.

JIRA: DOVETAIL-665

Change-Id: If4898da168f8b4c69a045ef3b00b8a8862f29b0c
Signed-off-by: Panagiotis Karalis <pkaralis@intracom-telecom.com>

CI ERROR - File contains violation on test_runner

Proposed solution by CI server:
"Avoid dangerous file parsing & serialization libs, use yaml.safe_load"

Change-Id: Iff9764601bc135cec271e16444d0bbbb4da8d459
Signed-off-by: Panagiotis Karalis <pkaralis@intracom-telecom.com>

New test specs for ha database/controller_restart

New test specifications have been created for dovetail project.
Test descriptions are related to test cases:
- dovetail.ha.database
- dovetail.ha.controller_restart

JIRA: DOVETAIL-680
JIRA: DOVETAIL-681

Change-Id: I632cb69f9166a46e76f38a467f078fe5f31b63b3
Signed-off-by: Panagiotis Karalis <pkaralis@intracom-telecom.com>

Add dovetail-webportal repo to INFO file Listing

Change-Id: I429e5bb1dffb1c63301ad5e9aba34d08d788ca27
Signed-off-by: Trevor Bramwell <tbramwell@linuxfoundation.org>

Update all existing test specifications

1. Update the names of 2 vping test cases
2. Update the names of 8 ha test cases
3. Update the sub test cases within osinterop 2017.09
4. Split IPv6 into ipv6_api and ipv6_scenario
5. Update the names of sdnvpn test cases
6. Update the names of 4 tempest scenario test cases
7. Remove forwardingpackets

JIRA: DOVETAIL-685

Change-Id: I0d91b8a0477576e18581eb2788fdb666063c89b7
Signed-off-by: xudan <xudan16@huawei.com>

Adapt Yardstick fraser

Yardstick fraser has changed from openstack python client to shade.
OS_INSECURE is not a key for shade.
It needs to be OS_VERIFY.

Change-Id: I0973853d0527b04ec371ad4f6ce2f6c67ef50ccf
Signed-off-by: xudan <xudan16@huawei.com>

Fix syntax error on clean_results_dir method

Change-Id: I9f33bb320452efab79be5a22e625efac820183eb
Signed-off-by: Panagiotis Karalis <pkaralis@intracom-telecom.com>

Splitting the networking tests in API and scenario tests

Split the networking tempest test case in Tempest API tests and scenario
tests. The API tests will be promoted to mandatory while the scenario
tests will remain optional.

JIRA: DOVETAIL-678

Change-Id: I03022316076809536782e82fd531d98f45105caa
Signed-off-by: Georg Kunz <georg.kunz@ericsson.com>

Removing unused test suite and updating debug test suite

The compliance_set test suite is not used. Updating the description of
the debug test suite.

Change-Id: Id2c3ca922ffb083f3443e00e5ca1a0648aec3e4a
Signed-off-by: Georg Kunz <georg.kunz@ericsson.com>

Update licence headers to comply with guidelines

Updating the licence headers to comply with the community guidelines [1]
and anteater checks.

[1] https://wiki.opnfv.org/display/DEV/Contribution+Guidelines#ContributionGuidelines-License

Change-Id: Idec787e32daf76c0b1bd6108977b78828125da5e
Signed-off-by: Georg Kunz <georg.kunz@ericsson.com>

Splitting IPv6 tests in API and scenario tests

Spliting the IPv6 test case in Tempest API tests and scenario tests. The
API tests will be promoted to mandatory while the scenario tests will
remain optional.

JIRA: DOVETAIL-677

Change-Id: If3dca5ecf2ce5c9e02de5c6d45e674da029b609f
Signed-off-by: Georg Kunz <georg.kunz@ericsson.com>

Fixing a typo in the API validation warning of the web portal.

Change-Id: I0489d1e2fbd53bc90c24781a9d62140e2299c5a4
Signed-off-by: Georg Kunz <georg.kunz@ericsson.com>

Update OVP portal docker images for missing package

- The missing futures packages was added in patch:
https://gerrit.opnfv.org/gerrit/#/c/58833/
- The patch above does resolve the issue and has
been valdiated on a development instance.

- The issue was likely introduced in patch
https://gerrit.opnfv.org/gerrit/#/c/56623/

Change-Id: I850947e386024e6b65514bdb518799c359234811
Signed-off-by: Eddie Arrage <eddie.arrage@huawei.com>

Add Missing Futures Package

This is needed by the motor package.

Change-Id: Ie19958040bc026b834fd3891da3a205cb248df92
Signed-off-by: Trevor Bramwell <tbramwell@linuxfoundation.org>