[ovp-web] Modify new web portal header to reflect program name change

JIRA: DOVETAIL-569

CVP is officially being renamed to 'OPNFV Verified Program'. We will
adopt the acronym OVP instead of CVP. The new web portal header needs to
modified to OPNFV Verified Program.

Change-Id: I0ee1780b4e544dce4cf0b029733d1318a7c4e8fb
Signed-off-by: grakiss <grakiss.wanglei@huawei.com>

Bugfix: pass/not pass filter not work in result-report page

The reason is there are some conflict with jquery.js and ng-model.
So ng-model not work.

Change-Id: I01ccd0e297d1a89aff8f78d7fb0a63a0e2114f63
Signed-off-by: grakiss <grakiss.wanglei@huawei.com>

Remove all alias tempest test cases in osinterop test specificaion docs

1. Some tempest test cases have alias test cases because of the different
   versions of tempest.
2. However, Dovetail fixes the version of tempest to be 14.0.0 in its first
   release. So the number of test cases that can be executed in osinterop
   is always 205. And for different SUTs, the 205 test cases are all the same.
3. In this situation, there is no need to list the alias test cases.
4. Just list all the 205 test cases which will not confuse users when they
   reading dovetail docs.

JIRA: DOVETAIL-566

Change-Id: I5e39dd82314833c8c0a6c1732c990f671ae64420
Signed-off-by: xudan <xudan16@huawei.com>

[cvp-web] Add initial CVP Portal homepage content for release

JIRA: DOVETAIL-563

The CVP portal homepage needs to be modified to support launch
activities. An initial iteration between OPNFV marketing has occurred.
Attached is a deck that outlines a basic left navigation menu and home
content.
We can focus on creating the left navigation and content outlined on
slide 7. The links for the left navigation aren't all flushed out.
Please leave Release Information/CVP Registry link href's blank for now
until we define content for those pages.

Change-Id: I84b8cfb996d336ef666d5a5f6aaabc0d5eebc37b
Signed-off-by: grakiss <grakiss.wanglei@huawei.com>

Remove one sub test case from dovetail.tempest.tc004

1. Currently, dovetail.tempest.tc004 has 13 sub test cases defined in its
   config file and specification document of the test case. All these
   sub test cases are picked from tempest based on it's version 15.0.0.
2. For Dovetail 1st release, it fixes the version of Functest to be
   opnfv/dovetail:cvp.0.5.0, and Functest integretes tempest 14.0.0
   in this version and it's E release.
3. There is one sub test case in dovetail.tempest.tc004 that is new in
   tempest 15.0.0, so it can not be recognized and executed by Functest D
   and E release. It is 'test_server_connectivity_cold_migration_revert'.
4. Remove this sub test case from dovetail.tempest.tc004. This means remove it
   from the test case config file and specification document.

JIRA: DOVETAIL-561

Change-Id: Ia927af040794c7027a741a282ed75fe401f99ff1
Signed-off-by: xudan <xudan16@huawei.com>

[cvp-web] Bugfix: Total num of test cases should be fixed

JIRA: DOVETAIL-552

The total num of test cases is decided by the number of the test cases
users uploaded to the Web now.
The total num should be fixed. For example, the total num of mandatory
test cases should be 215. The total num of optional test cases should be
63.

Change-Id: I6f7055bbeceb80f831af7d800b1a5aca4e165c45
Signed-off-by: grakiss <grakiss.wanglei@huawei.com>

[cvp-web] Admin can approve and not approve results

JIRA: DOVETAIL-562

According to the CVP workflow, once a result has been submitted to review,
the admin will send email to all reviewers to get the comment (+1 / -1).
Enable admin to approve/not approve the result after he gets the feedback from all reviewers.
Otherwise, the result will always be in 'review' status.

Change-Id: Ic3ace3c7284c70e9a8186d03e6cd88c91ecc76f9
Signed-off-by: grakiss <grakiss.wanglei@huawei.com>

Include full date in name of compressed result file

The name of the compressed result file included a timestamp according
to the pattern "day_hour_minute". This is a rather uncommon timestamp
and can cause confusion. This patch changes the timestamp to a more
common "YearMonthDay-HourMinute" format.

Please note: Please check if this change has an impact on the web
portal.

Change-Id: Ife41050bc1d5ca6942706b756d03a1d0d251ae41
Signed-off-by: Georg Kunz <georg.kunz@ericsson.com>

Just enable withdraw for the one who submit to review (onwer)

JIRA: DOVETAIL-559

Just enable withdraw for the one who submit to review (onwer).

Change-Id: I4f073fa00930c8f211239ee42034bb40c1af1f91
Signed-off-by: grakiss <grakiss.wanglei@huawei.com>

[cvp-web] Can't submit the same results to review from different users

JIRA: DOVETAIL-560

Can't submit the same results to review from different users.

Change-Id: I4a3dcc2dc8a817653ac9da6f93722659e04c89a1
Signed-off-by: grakiss <grakiss.wanglei@huawei.com>

[cvp-web] Bugfix:return 500 when upload a tarball file with no results.json

JIRA: DOVETAIL-558

The Web portal will return 500 code when upload a tarball file with no results.json
When all test cases failed or report with wrong DB url, there may be no results.json.
Check this and alert users instead of returning 500 status code.

Change-Id: Ie13d9c3c62044c525f5dbb3fca9b6123d0b5acce
Signed-off-by: grakiss <grakiss.wanglei@huawei.com>

bugfix: hosts info is wrongly processed

changes:
1. add usage example in hosts.yaml.sample
2. fix /etc/hosts from wrong format {'hostname': 'ip'} to
   the right 'ip hostnames'
3. fix --add-hosts from wrong usage --add-host {'hostname': 'ip'} to
   the right --add-host='hostnames':ip
4. support per ip mapping mutiple hostnames, which is also
   in line with /etc/hosts schema

JIRA: DOVETAIL-556

Change-Id: I92e8cb0fd3476b61f5c73a69e34c4a66aef51d6e
Signed-off-by: SerenaFeng <feng.xiaowei@zte.com.cn>

Remove redundant log when launch local DB

The script launch_db.sh will print "Already Exists" logs when the DB has been
initialized by the data stored in JumpHost.
Ignore this kind of logs because it won't affect the launch of the DB but
it will confuse users.

JIRA: DOVETAIL-557

Change-Id: I23616b10bbadc49888731e943d0a4ee4425045f5
Signed-off-by: xudan <xudan16@huawei.com>

Remove style.css for License issue

style.css is GPL 3.0 License based, we need to remove it.
The origin css file is as bellow:
    https://www.opnfv.org/wp-content/themes/salient/style.css?ver=4.8.3

So I remove style.css, and write a new css file to replace it.

Change-Id: I78a572f74c71081052767622903b371e22e158a4
Signed-off-by: grakiss <grakiss.wanglei@huawei.com>

Added a license metadata line to specify Apache-2.0

Change-Id: Ic5c3c3e2bbc2cff54f291fcd77bf9b5741f9f606
Signed-off-by: rpaik <rpaik@linuxfoundation.org>

[cvp-web] Bugfix: use '_id' as the primary key of the data rather than the 'Test ID'

JIRA: DOVETAIL-554

It allows different users to upload the same results now.
So the 'Test ID' is not unique in this situation.
Use '_id' as the primary key which can uniquely identify one data.

Change-Id: I852ee116f36a6a86e9b4350183e39ee00f8b99de
Signed-off-by: grakiss <grakiss.wanglei@huawei.com>

[cvp-web] Bugfix: Results shared by email are not shown on non-reviewer's pages

JIRA: DOVETAIL-551

The CVP web portal can support share with name and
share with email address.
But when sharing with email, the pages of non-reviewers
will not show the results shared by others.

Change-Id: I94451448cc60d1f7a3472d756c502200757a16a8
Signed-off-by: grakiss <grakiss.wanglei@huawei.com>

[cvp-web] Allow accounts with role 'reviewer' to submit resuts

JIRA: DOVETAIL-549

Accounts within the CVP portal with the role 'reviewer'
cannot submit test results currently.
While reviewers cannot review their own results,
they should be able to submit results.
Many within the Dovetail community will be serving
multiple roles as testers and reviewers.

Change-Id: I762aeec64bb2b207c582aa79e0ad1bd5a635fd19
Signed-off-by: grakiss <grakiss.wanglei@huawei.com>

Tag dovetail cvp.0.9.0

JIRA: DOVETAIL-550

Change-Id: I871ec1fdf8d33efe3ed00602d0184c7b35896c17
Signed-off-by: xudan <xudan16@huawei.com>

Bugfix: Failed to build local DB on Centos

1. The scripts for building local DB and testapi service just work on Ubuntu.
2. For Centos, they fails to do that.
3. This is mainly because of that Centos can't use the IP of the JumpHost
   to connect the DB and testapi. It needs to use the internal IPs of the
   DB container and the testapi container.
4. Change the IPs in the scripts to be the containers' internal IPs.

JIRA: DOVETAIL-548

Change-Id: I71aed82cb620b58bcd43ace61497db65c5bd7ecc
Signed-off-by: xudan <xudan16@huawei.com>

Minor docs change to test docs integration

This is minor patch which updates the documentation in the dovetail
repo in order to test the toolchain integration in opnfvdocs.

Change-Id: Id91c57d1a38cf02d8ed4653bc9eddb7081f025e7
Signed-off-by: Georg Kunz <georg.kunz@ericsson.com>

Modify reference to online mode

Changed reference to online mode to refer to installation rather than
uploading results from Test Host to CVP portal directly, as current
text is misleading.

Change-Id: I9439d340beabb76f04b7782243c050064753a8ec
Signed-off-by: Eddie Arrage <eddie.arrage@huawei.com>

Update the user guide environment diagrams

Updated the test user guide diagrams with the correct CVP portal
web link and removed direct connection between the Test host and
the CVP server. Online and offline mode refer to installation of
Dovetail docker and dependent images.

Change-Id: If2fb62d105557a41b156b90a3d9c956185be0b7c
Signed-off-by: Eddie Arrage <eddie.arrage@huawei.com>

Get SUT's endpoint info

Get the admin endpoints of all service.

JIRA: DOVETAIL-546

Change-Id: Ie0ac3bc5b4eb0885046e207b73217994a4f0e358
Signed-off-by: xudan <xudan16@huawei.com>

Get hardware info of SUT

Hardware info:
Use ansible to get all hardware info from all nodes.

JIRA: DOVETAIL-540

Change-Id: I6a2dde1b2ebae2af8f702008c23110ebe63cc06f
Signed-off-by: xudan <xudan16@huawei.com>

Bugfix: remove redundancy line

There is a redundancy line in result page when auto merge.
We need to remove it.

Change-Id: I31a754d881584be5a715ddcf6f1f32b25158dfca
Signed-off-by: grakiss <grakiss.wanglei@huawei.com>

Remove approve / no approve options for reviewers

Distinguish results shared or submitted from a tester

JIRA: DOVETAIL-544
JIRA: DOVETAIL-545

[cvp-web]There is consensus within C&C committee to move towards a
simpler means of voting by reviewers. We will use email voting (+1) on
the [cvp@opnfv.org|mailto:cvp@opnfv.org] email alias. For now, can we
disable the approve / not approve options in the drop-down in the
'Operation' column of the results? We can revisit this feature in the
future after some experience with the manual method.

[cvp-web]When a user shares or submits results, the recipient of
those results (share target or reviewer) do not know where the results
originated from. To remedy this issue, we will add a column labeled
'Owner' to the 'My Results' table that shows the email address or the
sending party?

Change-Id: I586b01ad113d898fe3d5824025df9877118fa622
Signed-off-by: grakiss <grakiss.wanglei@huawei.com>

[cvp-web] Show some SUT hardware info in 'My Results'

[cvp-web] Show SUT endpoint in web page

JIRA: DOVETAIL-541
JIRA: DOVETAIL-547

Show some SUT hardware info that dovetail concern in 'My Results' web page.
Show the info of all endpoints get from Dovetail tool in the web page.

Change-Id: Ibc465396e17b7c22678e3948fa2f659cbff6f323
Signed-off-by: grakiss <grakiss.wanglei@huawei.com>

[web-cvp] Trigger an email when admin submit an application form

JIRA: DOVETAIL-542

Trigger an email to cvp@opnfv.org when admin submit an application form.

Change-Id: Ie73d5a6380b5f5d1b0507564dc1f067047284f99
Signed-off-by: grakiss <grakiss.wanglei@huawei.com>

Add test case name into tempest testspecification docs

1. All test cases' testspecification docs have no info about test case names.
2. User don't know which test case to run when they just want to run
   one special test case.
3. Add the info into testspecification docs.

JIRA: DOVETAIL-530

Change-Id: I0ebe1b3b98be5609503814ea2a0cf71aefd06d35
Signed-off-by: xudan <xudan16@huawei.com>

Remove obsolete developer documents

Some developer documents are now old and suggested to be removed.

Change-Id: Ifa26a1535d57a560a0525eafa300ae087feb3191
Signed-off-by: Eddie Arrage <eddie.arrage@huawei.com>

Tag dovetail with cvp.0.8.0

JIRA: DOVETAIL-536

Change-Id: I7a947b1aa57728e6add1d0ca881a6a62a46c0913
Signed-off-by: xudan <xudan16@huawei.com>

Ignore Tox Error E722

1. After updating tox from 2.5 to 2.9, pep8 failed.
2. https://build.opnfv.org/ci/job/dovetail-verify-master/1018/console
3. The Error is 'E722 do not use bare except'.
4. It needs to change all 'except:' into 'except Exception:'.
5. This won't affect Dovetail, so just ignore this Error.
6. Dovetail next release will consider to fix this error.

JIRA: DOVETAIL-537

Change-Id: Ic3c7be4667685fc94025a47c3b17d07a087565da
Signed-off-by: xudan <xudan16@huawei.com>

System preparation guide

Change-Id: I4fc982d7037466b48424b7ce97d6207fbe44a09b
Signed-off-by: Wenjing Chu <chu.wenjing@gmail.com>

Fixing references and layout in the docs

This patchset introduces labels for documentation-internal references
and replaces footnote-style citations with inline hyperlinks.

Additional minor changes for a nicer rendering of bullet lists.

JIRA: DOVETAIL-521

Change-Id: Ic847fc05d546d673dadc7b8efee86fcb688133f5
Signed-off-by: Georg Kunz <georg.kunz@ericsson.com>

Use functest clean module to do the sdnvpn resources cleanup

1. If there throw an exception during the test of one sdnvpn test case,
   it will not do the clean.
2. Then there are many resources left, such as network, subnet, server...
3. This is a bug of sdnvpn see JIRA: SDNVPN-184
4. The patch for fixing this bug https://gerrit.opnfv.org/gerrit/#/c/44777/
5. Currently, use functest module "functest openstack clean" to clean the SUT.

JIRA: DOVETAIL-524

Change-Id: I629fc6fdc9e4c95960f6122358ff219a467d441b
Signed-off-by: xudan <xudan16@huawei.com>

Bugfix: the sdnvpn DB initialization information lacks two test cases

1. The SDNVPN DB initialization information lacks two test cases,
   functest_testcase_4 and functest_testcase_8.
2. So the results of these 2 test cases cannot be pushed into DB.
3. Add these 2 test cases info to DB.

JIRA: DOVETAIL-535

Change-Id: I1c6d049b942806924f15dd106452fd9b4d554454
Signed-off-by: xudan <xudan16@huawei.com>

Bugfix: build docker image failed

1. When build Dovetail docker image, the job failed.
2. https://build.opnfv.org/ci/view/dovetail/job/dovetail-docker-build-push-master/279/console
3. That's because the setuptools version is old.
4. It needs to upgrade setuptools in the Dockerfile.

JIRA: DOVETAIL-534

Change-Id: If37a4d7c3b57ea79903565fd880c5447da97b13b
Signed-off-by: xudan <xudan16@huawei.com>

Add testsuite cvp.0.8.0 for Beta tests

1. Now there is a testsuite proposed_tests for beta tests which may
   cause some confusions.
2. Copy all test cases to testsuite cvp.0.8.0 for beta testers to use.
3. Update userguide with testsuite cvp.0.8.0

JIRA: DOVETAIL-528

Change-Id: I35bc7dee6e07a9125a4c1991b0049f6e2d705cc5
Signed-off-by: xudan <xudan16@huawei.com>

[web-cvp]Additional columns in ‘My Results’

JIRA: DOVETAIL-532

1. original filename
2. user editable label

Change-Id: I1566cecb3d8ceacc14167bb2fb7fa41508f293be
Signed-off-by: grakiss <grakiss.wanglei@huawei.com>

[web-cvp]share result by email

JIRA: DOVETAIL-529

It may be easier to get other people's email than his user id

Change-Id: Ia5f9aa72d3c79bd3f5e69dad98b3f188cdaafc3d
Signed-off-by: grakiss <grakiss.wanglei@huawei.com>

[web-cvp]Direct drill-down for failed tests

JIRA: DOVETAIL-531

people may want to directly drill-down to the exact log file of each results, instead of searching in piles of log files.

Change-Id: I6e18b8d57739fd695e20ee29147e796de5c9e404
Signed-off-by: grakiss <grakiss.wanglei@huawei.com>

Updating test case requirements document

This patchset addresses review comments which were not incorporated in
the previous version of the test case requirements description.
Additionally, the text has been wrapped to 80 character lines.

Change-Id: If817f6c44d94870d915791a1a11916ffe4871f06
Signed-off-by: Georg Kunz <georg.kunz@ericsson.com>

Term refstack is mentioned in dovetail Testing User Guide

Remove refstack.log from the userguide because the refstack.log has been
renamed dovetail.osinterop.tc00X.log

JIRA: DOVETAIL-519

Change-Id: Icd0bd82ef78437ab96201e58b93e0a6997f9618a
Signed-off-by: xudan <xudan16@huawei.com>

Add dovetail tool CLI document

According to the wiki page, add the CLI document.
https://wiki.opnfv.org/display/dovetail/Dovetail+Command+Line

JIRA: DOVETAIL-509

Change-Id: I6a32446cd4c1bcad83465b1f2e12d5c1487e954e
Signed-off-by: xudan <xudan16@huawei.com>

SDNVPN test cases resources left may effect the next test cases

Move SDNVPN test cases after tempest test cases, then the resources left will
not effect tempest test cases.

JIRA: DOVETAIL-524

Change-Id: I815ae7f3a3be0225be1e9695f13d4552946bffb5
Signed-off-by: xudan <xudan16@huawei.com>

[web-cvp]failed to build docker image due to setuptools version

JIRA: DOVETAIL-526

error on docker build, upgrade the setuptools:
error in cryptography setup command: Invalid environment marker: python_version < '3'

Change-Id: If3b2b2ecd3a3e23f66cacb6a2048f15f1715dcd4
Signed-off-by: grakiss <grakiss.wanglei@huawei.com>

[web-cvp]add a api to fecth logs of backend api

JIRA: DOVETAIL-525

provide a easy way to fetch  logs of backend apis

Change-Id: I72054a6e155e6970254ed391dfa8b25943eceb35
Signed-off-by: grakiss <grakiss.wanglei@huawei.com>

Merge "[web-cvp]fix api&web service in dockerfiles"

[web-cvp]fix api&web service in dockerfiles

JIRA: DOVETAIL-523

api&web services is not running due to packages installation errors

Change-Id: I5175d987dfda3cefe28a3a37754acc9fc8d7bc13
Signed-off-by: grakiss <grakiss.wanglei@huawei.com>

Merge "[web-cvp]missing files in web sites"

[web-cvp]missing files in web sites

JIRA: DOVETAIL-522

some files missing due to incorrect .gitignore settings

Change-Id: I4d81842afcb6f2734abeebbdcde56ec5b3e1655b
Signed-off-by: grakiss <grakiss.wanglei@huawei.com>

Merge "Cvp application form"

Merge "[web-cvp]osinteros is counted as optional test case"

Merge "[web-cvp]failed to expand test results"

Cvp application form

Change-Id: I4bb0cea49179c7171ce766c52814f765e05ce9f8
Signed-off-by: Wenjing Chu <chu.wenjing@gmail.com>

Merge "Update user guide with the local DB operations"

[web-cvp]osinteros is counted as optional test case

JIRA: DOVETAIL-518

'defcore' is changed to 'osinterop', counted as optional test case

Change-Id: Ic5322c498869dcef9597530e343b053aebc376cf
Signed-off-by: grakiss <grakiss.wanglei@huawei.com>

[web-cvp]failed to expand test results

JIRA: DOVETAIL-517

When click on the "expand" button, nothing happens.

Change-Id: Ibe1554baf047d56fa07e27e936c15b2664326382
Signed-off-by: grakiss <grakiss.wanglei@huawei.com>

Update user guide with the local DB operations

If users want to store results or upload results to CVP web portal, they
need to build local DB adn testapi service.
Should add more introduction about the local DB and testapi in the user guide.

JIRA: DOVETAIL-504

Change-Id: I6493169b54104af8d7207d28fad93afedeae0b1b
Signed-off-by: xudan <xudan16@huawei.com>

Merge "Tag dovetail with cvp.0.7.0"

Tag dovetail with cvp.0.7.0

docker image used
1. opnfv/yardstick: danube.3.2
2. opnfv/functest: cvp.0.5.0
3. opnfv/bottlenecks: cvp.0.4.0
4. opnfv/testapi: cvp.0.5.0
5. opnfv/dovetail:web.cvp.0.7.0
6. opnfv/dovetail:api.cvp.0.7.0
7. opnfv/dovetail: cvp.0.7.0

main changes
1. [cvp-web]correct dockerfile
2. [cvp-web]remove useless docker-compose yaml
3. Bugfix: sdnvpn test cases failed due to wrong module name
4. Support to run mandatory or optional test cases separately
5. [cvp-web]remove workflow on homepage
6. add api&web services for cvp
7. Don't generate tar file when run without pushing results to DB
8. Make Yardstick log level can be set by CLI
9. Update the script for building local DB and testapi
10. Bugfix: tar results dir cannot be parsed by web portal
11. Replacing references to "DefCore"
12. Updating the test specification document with iterative inprovements
13. Dovetail tool replaces defcore with osinterop
14. Clearer structuring current and future test scope of CVP addendum
15. Adding a stub document for a CVP reviewer guide
16. Clarify criteria for testcase inclusion as running in Functest/CI
17. And additional clarifications.
18. add more information for the Identity testcases in the refstack
19. Doc: update user guide due to add new test cases and features

For more information, refer to https://wiki.opnfv.org/display/dovetail/Running+history+for+the+dovetail+tool

JIRA: DOVETAIL-516

Change-Id: Ic65073fd749c1bcdbd0946d081ba2d2fe9105057
Signed-off-by: xudan <xudan16@huawei.com>

Disable get DB schema in Dockerfile

Dovetail provides files for init local DB.
No need to get schema from opnfv DB when building docker image.

Change-Id: I05fbf4f65f3a94bb3a36fe3c140ad7bff58a4f15
Signed-off-by: xudan <xudan16@huawei.com>

Merge "[cvp-web]correct dockerfile"

Merge "[cvp-web]remove useless docker-compose yaml"

[cvp-web]correct dockerfile

JIRA: DOVETAIL-515

correct dockerfile, git clone from dovetail

Change-Id: I1dee7f8ae5278f55bcf5928bbf88cdb079388494
Signed-off-by: grakiss <grakiss.wanglei@huawei.com>

Merge "Bugfix: sdnvpn test cases failed due to wrong module name"

Bugfix: sdnvpn test cases failed due to wrong module name

SDNVPN test cases failed due to wrong module name.
The module name needs to be changed into "sdnvpn.test.functest.testcase_1"
Refer to patch https://gerrit.opnfv.org/gerrit/#/c/41385/
Currently Dovetail uses functest:cvp.0.5.0 which uses module name "testcase_1".

JIRA: DOVETAIL-510

Change-Id: I3232760d3af34125c7da71a5d2c62ca32693c82b
Signed-off-by: xudan <xudan16@huawei.com>

Merge "Support to run mandatory or optional test cases separately"

[cvp-web]remove useless docker-compose yaml

JIRA: DOVETAIL-514

remove useless docker-compose yaml

Change-Id: Ic754488611571c3464515772680ad94bbe5651ea
Signed-off-by: grakiss <grakiss.wanglei@huawei.com>

[cvp-web]remove workflow on homepage

JIRA: DOVETAIL-513

remove workflow on homepage, add a link to workflow instead

Change-Id: Id8e551d4c593a2104c7cc8eb55468e9c29b5052a
Signed-off-by: grakiss <grakiss.wanglei@huawei.com>

Merge "add api&web services for cvp"

add api&web services for cvp

JIRA: DOVETAIL-512

add api&web services for cvp

Change-Id: I9ef9525e980fe61dc3108035ef9a3ff8783b2697
Signed-off-by: grakiss <grakiss.wanglei@huawei.com>

Merge "Don't generate tar file when run without pushing results to DB"

Merge "Make Yardstick log level can be set by CLI"

Don't generate tar file when run without pushing results to DB

1. Dovetail generate a tar file for uploading results to CVP web portal.
2. If users don't run with option --report, it shouldn't generate the tar file.
   Because users can not upload results to CVP if they don't run with --report.
3. If it generates the tar file when user run dovetail without --report,
   the tar file is invalid because it lacks of results.json.

JIRA: DOVETAIL-511

Change-Id: I4d21f21f0b278962564d810369df03100b38f003
Signed-off-by: xudan <xudan16@huawei.com>

Merge "Update the script for building local DB and testapi"

Update the script for building local DB and testapi

1. When test dovetail, users can build local DB and testapi to store and
   report the results.
2. The script for building local DB and testapi needs some updates.

JIRA: DOVETAIL-507

Change-Id: I8bc96bfea27f424468cafaa2e05894065ef44ad9
Signed-off-by: xudan <xudan16@huawei.com>

Bugfix: tar results dir cannot be parsed by web portal

The directory tree of results tar file is wrong, so web portal cannot parse it.
Reset the tar file.

JIRA: DOVETAIL-508

Change-Id: I8475323294e84ca51242b700570926d5c0177390
Signed-off-by: xudan <xudan16@huawei.com>

Make Yardstick log level can be set by CLI

1. Currently, the log level of yardstick is DEBUG and cannot be modified.
2. Make it can be changed from CLI.
3. When use dovetail run --debug, can see all Yardstick logs (including DEBUG)
   in dovetail.log.
4. When run without debug option, cannot see Yardstick debug logs in
   dovetail.logs.
5. yardstick.log always doesn't include debug logs.

JIRA: DOVETAIL-506

Change-Id: Iaafb61232a22e16fff2fa4605bf7e262b022085e
Signed-off-by: xudan <xudan16@huawei.com>

Support to run mandatory or optional test cases separately

1. Currently, dovetail can run a test suite or a test area in that test suite.
2. The test areas in one test suite are not divided into optional and mandatory.
3. Split them and support to run just mandatory or optional.
4. Support to run multiple test areas.

JIRA: DOVETAIL-505

Change-Id: I42cd7b4e11c3e3674c806e9bc999b782bf5c85c6
Signed-off-by: xudan <xudan16@huawei.com>

Merge "Replacing references to "DefCore""

Dovetail tool replaces defcore with osinterop

Rename the "defcore" test area to "osinterop".
The DefCore working group has been
renamed OpenStack InterOp Working Group some time ago.

JIRA: DOVETAIL-499

Change-Id: I144af767632c8fb83859e5e04b6427bb1a538348
Signed-off-by: xudan <xudan16@huawei.com>

Clearer structuring current and future test scope of CVP addendum

This patchset attempts to more clearly structure the outcome of the
scope analysis by having dedicated "in scope" and "future scope"
sections

Change-Id: I6a42a8ac4495fa4e2e5e773a7f594704d9cc1e28
Signed-off-by: Georg Kunz <georg.kunz@ericsson.com>

Replacing references to "DefCore"

This patch removes all references to the outdated term "DefCore"
in the Dovetail documentation. The DefCore working group has been
renamed OpenStack InterOp Working Group some time ago.

This patch also proposes renaming the "defcore" test area to
"osinterop".

JIRA: DOVETAIL-499

Change-Id: I7bb2ca33cb1eaf17c3ca0fc79a4f923e5886ece4
Signed-off-by: Georg Kunz <georg.kunz@ericsson.com>

Merge "Clarify criteria for testcase inclusion as running in Functest/CI And additional clarifications."

Merge "add more information for the Identity testcases in the refstack"

Merge "Doc: update user guide due to add new test cases and features"

tag dovetail with 0.6.0

docker image used
opnfv/yardstick: danube.3.2
opnfv/functest: cvp.0.5.0
opnfv/bottlenecks: cvp.0.4.0
opnfv/testapi: cvp.0.6.0
opnfv/dovetail:web.cvp.0.6.0
opnfv/dovetail:api.cvp.0.6.0
opnfv/dovetail: cvp.0.6.0
main changes
Merge all test specification docs about test area tempest and defcore
Merge addendum doc and workflow doc
Remake aarch64 patch for Dovetail container
Remove some tempest test cases that are not too common
Add additional Tempest API test cases into test case tempest.tc005
persist db file in host for mongo container
add nginx to host static files
add a sample tempest_conf.yaml file into userconfig
Add a patch to set ha SLA to be 30 seconds
Modify logs
Bugfix: the config files in useeconfig will cover user's config
Bugfix: functest only keeps the last test case's log
Bugfix: pre_condition cmds is just executed once
For more information, refer to https://wiki.opnfv.org/display/dovetail/Running+history+for+the+dovetail+tool

JIRA: DOVETAIL-497

Change-Id: I74626bbf65ce0121cc7b53394c85694e15df8484
Signed-off-by: xudan <xudan16@huawei.com>

Merge "Add a patch to set ha SLA to be 30 seconds"

Modify logs

JIRA: DOVETAIL-498

Change-Id: Ie98fc89cc840b557aa4186c6c2bee2d610432af0
Signed-off-by: xudan <xudan16@huawei.com>

Merge "Add test area 'forwarding packets through virtual networks in data path'"

Add a patch to set ha SLA to be 30 seconds

1. According to ha test specification doc, the SLA of process recover time
   is 30 seconds.
2. However, the SLA in Yardstick test cases are all 20 seconds.
3. Add a patch to change the SLA in yardstick test cases.

JIRA: DOVETAIL-496

Change-Id: Ib8f229fdfbb3289bf70d6ee900132b3db3a21b17
Signed-off-by: xudan <xudan16@huawei.com>

Merge "Test case specification for VIM Network"

Doc: update user guide due to add new test cases and features

There has been added some new test cases and features, so user guide should be
updated according to the latest dovetail version.
- Add introduction about https (with cacert and without cacert)
- Add introduction about adding hosts' info
- Add introduction about downloading cirros images
- Add introduction about special configurations for running defcore and
  tempest test cases
- Add introduction about how to check defcore and tempest failed test cases

JIRA: DOVETAIL-493

Change-Id: I13aca4ee433056bd21590743a412d5d95f45fec4
Signed-off-by: xudan <xudan16@huawei.com>

Merge "Remake aarch64 patch for Dovetail container"

Add test area 'forwarding packets through virtual networks in data path'

JIRA: DOVETAIL-473

According to Dovetail addendum doc, add one test area about basic cloud
capability 'forwarding packets through virtual networks in data path'.

Add the test specification about this test area.

Change-Id: I26416ecca6b89a94cf48ba0f55308df0fa6e1677
Signed-off-by: xudan <xudan16@huawei.com>

Add test area 'simple virtual machine resource scheduling on multiple nodes'

JIRA: DOVETAIL-473

According to Dovetail addendum doc, add one test area about basic cloud
capability 'simple virtual machine resource scheduling on multiple nodes'.

Add the test specification about this test area.

Change-Id: I7a5ff426442424dbc364a68296facb0bac6401ca
Signed-off-by: xudan <xudan16@huawei.com>

Merge "Add test area 'correct behavior after common virtual machine life cycles events'"

Merge "Test case specification for VIM Image"