Decoupling Yardstick Docker config items from source code

There are some special Docker setting items when creating
Yardstick Docker Containers.
1. Remove the extra settings which are required by Yardstick Danube.
2. Remove the settings for pushing results to DB because Dovetail
   plan to disable this function.
3. Move the other special Functest settings to config files.

JIRA: DOVETAIL-640

Change-Id: Ic2d90393e227d7886b14d805eaa307b7aef56e4a
Signed-off-by: xudan <xudan16@huawei.com>

Support to specify docker image for each test case

1. Currently each type of test cases will use one docker image.
2. For example,
   Functest test cases use opnfv/functest-restapi:euphrates
   Yardstick uses opnfv/yardstick:opnfv-5.1.0
3. It needs to support to specify the docker image for each test case.
4. For example,
   vping test cases use opnfv/functest-smoke:euphrates
   sdnvpn uses opnfv/functest-features:euphrates
5. The benefit of this is that these docker images are well verified
   by Functest CI and from Functest plan, they may not support
   functest-restapi docker image in its future release.

JIRA: DOVETAIL-638

Change-Id: I8a30eea2233aeff809af2e241b6c939194397832
Signed-off-by: xudan <xudan16@huawei.com>

Removing outdated patch for Yardstick HA tests

This patch was needed to modify the timeout values of the HA test cases
in Yardstick for the Danube release. In Euphrates, the timeout values
have been fixed upstream, so the patch is not needed anymore. The code
for applying the patch was already removed in
https://gerrit.opnfv.org/gerrit/#/c/51997/

Change-Id: I67cceb57c063378d77f6cbc720bc6464d2be4aed
Signed-off-by: Georg Kunz <georg.kunz@ericsson.com>

Fixed typos in the license header

Change-Id: Ib2aae63dd7576a8458f068250e9b6dda8678a1fd
Signed-off-by: rpaik <rpaik@linuxfoundation.org>

Decoupling Functest Docker config items from source code

There are some special Docker setting item when creating Functest Containers.
1. Remove the extra settings which are required by Functest Danube.
2. Remove the settings for pushing results to DB because
   Dovetail plans to disable this function.
3. Move the other special Functest settings to config files.

JIRA: DOVETAIL-639

Change-Id: Ibc4090b5c0aafdf9ed64e65a9a92e34a12a16df5
Signed-off-by: xudan <xudan16@huawei.com>

Integrate dovetail with ONAP

Change-Id: I6a1fa5f27df2f5127eb00156b3135dc79caf5e77
Issue-ID: DOVETAIL-629
Signed-off-by: Moshe <moshehoa@amdocs.com>

Exemption process for disabling strict API validation

This document describes an exemption process for disabling strict API
response validation.

JIRA: DOVETAIL-617

Change-Id: I690efdcae7dd15a6c0781a837a62677904836fca
Signed-off-by: Georg Kunz <georg.kunz@ericsson.com>

Disable restricts of sdnvpn test cases

1. The original testcases.yaml file of Functest restricts sdnvpn test cases
   to run on Fuel, Apex or Netvirt on bgpvpn scenario.
https://github.com/opnfv/functest/blob/master/functest/ci/testcases.yaml#L278
2. Dovetail has a testcases.yaml file to allow sdnvpn test cases run on
   any commercial SUTs.
https://github.com/opnfv/dovetail/blob/master/etc/userconfig/testcases.yaml#L113

Change-Id: I0d5ed5b22e55dc3dc0fe584dc57b28239334b7de
Signed-off-by: xudan <xudan16@huawei.com>

substitute image copy with docker volume

Change-Id: Ie470d03bd168c909fd02c316523049c67a6bb095
Signed-off-by: SerenaFeng <feng.xiaowei@zte.com.cn>

Bugfix: Failed to get the hardware info

The directory of userconfig has changed from
/home/opnfv/dovetail/dovetail/userconfig to /etc/dovetail/userconfig.

Change-Id: Id3e8b1f3e9299e9263a4adf3456b6733fdb62e11
Signed-off-by: xudan <xudan16@huawei.com>

Add process info to pod.yaml to specify the info of a special process

1. Many HA test cases try to kill special processes with their name.
2. Then they check corresponding openstack services and
   the status of processes' recovery.
3. For different SUTs, the names of the processes and the hosts' names
   may be different.
4. So there is a requirement for Dovetail tool to provide one way to
   allow users to specify all the infos about process name and its host name.
5. All process infos can be added into file DOVETAIL_HOME/user_config/pod.yaml
6. The infos include 'attack_process' and 'attack_host' for each HA test cases.
7. If not given in this file, will use Yardtsick default values.

JIRA: DOVETAIL-627

Change-Id: I83cee991f72a8685080ed562597c70d73002623a
Signed-off-by: xudan <xudan16@huawei.com>

Separate valid docker tags for functest and yardstick

Specifying separate valid docker tags for functest and yardstick for
input validation.

DOVETAIL-592

Change-Id: I3365cdbd9ab521bf1368750c3f34b6863b3f7ec8
Signed-off-by: Georg Kunz <georg.kunz@ericsson.com>

Bugfix: it crashes when check_tc_result returns None

The function 'check_tc_result' may return 'None'.
In this case it will throw an exception because of
https://github.com/opnfv/dovetail/blob/master/dovetail/run.py#L65

The exception is like
Traceback (most recent call last):
File "/usr/local/lib/python2.7/dist-packages/dovetail/run.py", line 339, in <module>
main()
File "/usr/local/lib/python2.7/dist-packages/click/core.py", line 716, in _call_
return self.main(*args, **kwargs)
File "/usr/local/lib/python2.7/dist-packages/click/core.py", line 696, in main
rv = self.invoke(ctx)
File "/usr/local/lib/python2.7/dist-packages/click/core.py", line 889, in invoke
return ctx.invoke(self.callback, **ctx.params)
File "/usr/local/lib/python2.7/dist-packages/click/core.py", line 534, in invoke
return callback(*args, **kwargs)
File "/usr/local/lib/python2.7/dist-packages/dovetail/run.py", line 304, in main
duration = run_test(testsuite_yaml, testarea, logger, kwargs)
File "/usr/local/lib/python2.7/dist-packages/dovetail/run.py", line 65, in run_test
if stop_on_fail['criteria'] == "FAIL" and kwargs['stop']:
TypeError: 'NoneType' object has no attribute '_getitem_'

JIRA: DOVETAIL-622

Change-Id: I9e612b380c3dfb148692074a3bf8eb31875213ac
Signed-off-by: xudan <xudan16@huawei.com>

simplify file existence check with os.path.isfile()

Change-Id: I89d15e18c588c27ab41596119d5288cba6e4e02d
Signed-off-by: SerenaFeng <feng.xiaowei@zte.com.cn>

leverage data_files to eliminate so many hardcoded abs_path_seekings

1. mv conf/ userconfig/ compliance/ patch to etc/
2. after installation etc/ will be put under /etc/dovetail
3. leveraging /etc/dovetail in coding

Change-Id: Icf9cb00ff7fc7cf35755f60d3e258b23e2c70839
Signed-off-by: SerenaFeng <feng.xiaowei@zte.com.cn>

Adding SDNVPN tempest test cases to proposed_tests suite

Adding the SDNVPN Tempest API test cases of the SDNVPN project to the
proposed_tests suite to allow for running these tests in the CI pipeline for
validating their suitability for inclusion in the OVP Euphrates release.

JIRA: DOVETAIL-608

Change-Id: Ic12db1584a2540a14979094c65fc128c6020ecea
Signed-off-by: Georg Kunz <georg.kunz@ericsson.com>

Remove Whitespace from CVP Docker README

Change-Id: Ic880258ef8ffbcbdcf3452419dd385227567a5a3
Signed-off-by: Trevor Bramwell <tbramwell@linuxfoundation.org>

Bugfix: Dovetail tool will crash when hosts.yaml file with incorrect format

If the hosts.yaml file is like,
—
hosts_info:
192.168.141.101:

it will raise an exception,
File "/usr/local/lib/python2.7/dist-packages/dovetail/utils/dovetail_utils.py",
line 227, in add_hosts_info
names=hostnames)
File "/usr/local/lib/python2.7/dist-packages/python_hosts/hosts.py",
line 54, in _init_
raise Exception('Address and Name(s) must be specified.')
Exception: Address and Name(s) must be specified.

If the hosts.yaml file is empty, it will crash with,
File "/usr/local/lib/python2.7/dist-packages/dovetail/container.py",
line 174, in create
if hosts_yaml['hosts_info']:
TypeError: 'NoneType' object has no attribute '_getitem_'

JIRA: DOVETAIL-621

Change-Id: I547928e514b3294c048379459c07df89879fbb03
Signed-off-by: xudan <xudan16@huawei.com>

Removing old INFO file

The INFO file has been replaced by the INFO.yaml file.

Change-Id: I818697134cbb380a318237fdf593d7b6bf95ec04
Signed-off-by: Georg Kunz <georg.kunz@ericsson.com>

Removal of Wenjing Chu from the list of committers

https://lists.opnfv.org/pipermail/opnfv-tech-discuss/2018-February/020497.html

Change-Id: Ic2b536551d919e9b66f41ba00dd6dc8b71d93f7b
Signed-off-by: Georg Kunz <georg.kunz@ericsson.com>

Update CVP Docker Compose Configuration

- Uses extra files config.env, vhost.env to hold environment variables
  for docker configuration.

- Provides samples for these config that can be copied and modified to
  fit deployment requirements.

- Updates the docker images to the newest releases.

Change-Id: Ibe9b8597edfb38940297433708497c244200d0af
Signed-off-by: Trevor Bramwell <tbramwell@linuxfoundation.org>

Adapt Bottlenecks Euphrates framework

Bottlenecks stress test needs some adaptions about Bottlenecks
Euphrates release.

JIRA: DOVETAIL-587

Change-Id: Ia447143c8f08924ac1b190ee0173f39e462c5dfa
Signed-off-by: xudan <xudan16@huawei.com>

Removal of Dave Neary from the list of committers

Change-Id: I06b1e53bca44f5486a64977edef8b0e53072c625
Signed-off-by: Georg Kunz <georg.kunz@ericsson.com>

Add Functest cloudify_ims test case into proposed_tests test suite

Add cloudify_ims test case into proposed_tests test suite.
Then this test case can be run by Dovetail on CI.

JIRA: DOVETAIL-603

Change-Id: I5ab832002388f0916e04beef9d630de2cb37df59
Signed-off-by: xudan <xudan16@huawei.com>

Update OVP logo and branding guide link

- Update the OPNFV Verified logo for OVP portal home page
- Update branding guide link in OVP portal left side navigation

Change-Id: I77ead3e68b34d30d55fd07f0e4a176c5ae71852e
Signed-off-by: Eddie Arrage <eddie.arrage@huawei.com>

Committer promotion Dan Xu and removal of Leo Wang

Contributions Dan Xu:
Dan Xu has been almost exclusively doing the development for the
Dovetail tool, CI integration, and the practical validation of test case
candidates.
https://gerrit.opnfv.org/gerrit/#/q/owner:%22Dan+Xu+%253Cxudan16%2540huawei.com%253E%22

Leo Wang has announced that he is stepping down as committer from the
project. Thank you for your contributions to the project.
https://lists.opnfv.org/pipermail/opnfv-tsc/2018-February/004130.html

Change-Id: I14032657b057bdd3da1f9c3514b3c27e34dbafc0
Signed-off-by: Georg Kunz <georg.kunz@ericsson.com>

Add 3 new HA test cases into proposed_tests test suite

Add 3 new HA test cases into proposed_tests test suite and running them on CI.
For the current 8 HA test cases and 3 other HA test cases plans to add,
do some adaptions for the Yardstick Euphrates release.
1. Don't need the bugfix patch anymore.
2. The data format has changed, and has done some adaptions.
3. For Yardstick Euphrates, if setting OS_INSECURE=True, it needs to set
   OS_CACERT=False
4. Test case tc011 needs a image and flavor to create the stack.

JIRA: DOVETAIL-614
JIRA: DOVETAIL-586

Change-Id: I9da8c8316246b9edee0d81ad18422ae6018becaf
Signed-off-by: xudan <xudan16@huawei.com>

Add a function to check the cacert file

1. Currently it won't pass the cacert file to other containers if the
   OS_AUTH_URL is http not https.
2. However, even though the OS_AUTH_URL is http, it still needs cacert file
   somewhere for Functest and Rally.
3. This problem is found on Fuel Euphrates.
4. Add a function to check whether the cacert file exists.
5. If exists, pass it to testing project containers.

JIRA: DOVETAIL-616

Change-Id: Ied7bcc72e8f1c738bbce32c18096ca13641d3cd7
Signed-off-by: xudan <xudan16@huawei.com>

Add Functest test case snaps_smoke into proposed_tests test suite

Add snaps_smoke into proposed_tests test suite.
Then this test case can be run by Dovetail on CI.

JIRA: DOVETAIL-596

Change-Id: I8fc4bb656bcac551ae4b693dbc4d817b665c6111
Signed-off-by: xudan <xudan16@huawei.com>

Add stop on failure logic and CLI option

- Improve test execution control by adding stop on failure flag
- Modify test check function to return value regardless of whether
report or local file option is employed
- Modify run test loop to check for failure after every test case
if stop flag set

Change-Id: I27a4f3aaaa8b8cb8c52eb3f092f52048980abb44
Signed-off-by: Eddie Arrage <eddie.arrage@huawei.com>

Auto Generated INFO.yaml file

INFO.yaml meant to be machine readable.
This file was auto generated from an ldap lookup
and your projects INFO file.

Meeting times are not currently filled out.
please ammend this patchset to complete

Going forward comitter promotions should be done
against this file.

PTLs:
Must be merged for you to gain delete access on
testresults.opnfv.org

If project_lead: is missing (my script could not parse)
please amend with same from commiters section eg:

project_lead: &opnfv_dovetail_ptl
    name: 'Lead Name'
    email: 'lead email'
    id: 'lead lfid'
    company: 'lead company'

Change-Id: Ie151ba96dd6b6c7d0d8e74e1462e35133a7c235f
Signed-off-by: agardner <agardner@linuxfoundation.org>

Add ablity to config EXTERNAL_NETWORK in env_config.sh

- EXTERNAL_NETWORK env variable can be explicitly set
- If set, the value will be used in Yardstack configuration
- Otherwise, previous method of using output from
'openstack network list' will still be employed

Change-Id: I9d8b4a69ff3f5093c034823cc95e92e151bfade6
Signed-off-by: Eddie Arrage <eddie.arrage@huawei.com>

Add default to --report CLI option

- Try new license header to deal with anteater failure

- Ability to specify 'default' as argument to --report, which
fetches host IP automatically and forms URL with 8000 as testapi
port
- This should not break the previous behavior of report option,
if default option not specified

Change-Id: I1e05bb52cf4fc211c59796d4e763e2e04177b406
Signed-off-by: Eddie Arrage <eddie.arrage@huawei.com>

Add all tempest smoke test cases into debug test suite

Add all tempest smoke test cases into debug test suite.
Then these test cases can be run by Dovetail on CI.
The results of CI will help to choose sub test cases from tempest smoke.

Here use tempest_custom to run all tempest smoke test cases because it can
support to run a custom defined sub test cases list.
for Functest tempest_smoke_serial, it always runs whole tempest smoke
test cases and can't be a subset.

JIRA: DOVETAIL-595

Change-Id: Id6358691d2bdef149f16775ce84dcfbf12f5e568
Signed-off-by: xudan <xudan16@huawei.com>

Adapt Functest E release Framework

Use opnfv/functest-restapi:euphrates.
Adapt Functest E framework for all Functest test cases.
1. All path of functest and sdnvpn has been changed.
2. Sdnvpn can clean resources by itself with E release, no need to clean again.
3. Add a file testcases.yaml to overwrite the file in functest container,
   then it can support to run tempest_custom i.e. ipv6 and tempest in OVP.

JIRA: DOVETAIL-584

Change-Id: I3ba9aa8e80becaa99cc89c8db4b39acbb89dfda4
Signed-off-by: xudan <xudan16@huawei.com>

Change dovetail tool version to be ovp.1.0.0

Change-Id: Ieb32dbda8fd16942312900cb99a27f734e57d91b
Signed-off-by: xudan <xudan16@huawei.com>

Update OVP workflow document

- Fix typos and word changes

- Remove editor's note
- Adopt rewording suggestions

- Add back toc that was inadvertently deleted

- Modify to reflect process used during beta and current OVP web portal
usage
- Remove reference to application form and use online participation form
instead. Add new fields required in participation form

Change-Id: Ia51b7674315467e01081015b3aa780ec03652ebd
Signed-off-by: Eddie Arrage <eddie.arrage@huawei.com>

Bugfix: Cannot change SUT version in the new uploaded test

If we upload a new test, we can't modify the SUT version.
The reason is we must predefine the model.

Change-Id: I8822b078c25a015dd4cc4becfdaae141aed66359
Signed-off-by: chenjiankun <chenjiankun1@huawei.com>

Align container tags and test suite configuration yaml for initial release

Change default container tag to be:
1. Functest ovp.1.0.0
2. testapi ovp.1.0.0

Add test suite ovp.1.0.0 and set it to be the default test suite.

Comment out bottlenecks CLI for initial release.

JIRA: DOVETAIL-580

Change-Id: I956e49e43fc7ba0176c14079b7228089db5dc108
Signed-off-by: xudan <xudan16@huawei.com>

Fix rendering issues with release notes

- Fix test case listing and another bullet

Change-Id: I46b0cff945176f464322f06737dc5c10f977598e
Signed-off-by: Eddie Arrage <eddie.arrage@huawei.com>

Add release notes for OVP 2018.01 / Dovetail 1.0.0

- Second pass
- Incorporated most comments
- Added missing links for participation form, governance guidelines,
terms & conditions
- Added links for test collection framework and testscope

- Initial draft of release notes

Change-Id: Ib805513011d917e4ecd0096e51f2d63c898d7142
Signed-off-by: Eddie Arrage <eddie.arrage@huawei.com>

Modify title and references in guidelines addendum doc

- Add 2018.01 to title to match reviewer guide, release notes, etc. as
this document may change per release
- Modify link for Governance Guidelines to reflect ratified doc on
opnfv.org domain

Change-Id: Ifdaa287b2919c44d408aa0ddd0b164b8ca4f406d
Signed-off-by: Eddie Arrage <eddie.arrage@huawei.com>

Remove a sub test case under dovetail.tempest.tc004

- Fixed vping, ha, sdnvpn test case names to match test specs
- Removed aliases from VIM operations and matched test case
name changes in patch https://gerrit.opnfv.org/gerrit/#/c/47691/4
- CVP to OVP name change

- A test case was removed from tempest tc004 because of the Tempest
version from 15 to 14. A reference to it was still in this doc.

Change-Id: If2e07e15b48ae6bca5ac0e262aead784cd67cd0f
Signed-off-by: Eddie Arrage <eddie.arrage@huawei.com>

[ovp-web] Modify OVP home page left-side navigation links

JIRA: DOVETAIL-579

Under the 'Governance & Workflow' left-side navigation category:
Modify 'Overview' link href from:
https://www.opnfv.org/compliance-verification-program-cvp
to:
https://www.opnfv.org/verified
Modify link text for 'Application Form' to 'Participation Form'
Modify link href for above from:
http://docs.opnfv.org/en/latest/submodules/dovetail/docs/testing/user/certificationworkflow/ApplicationForm.html
to:
https://na3.docusign.net/Member/PowerFormSigning.aspx?PowerFormId=e03e78d7-c32e-47d3-8292-350b747a0105

Add another link right below the 'Governance' link named 'Terms & Conditions'. The href for this links is:
https://www.opnfv.org/wp-content/uploads/sites/12/2018/01/OVP-Terms-and-Conditions-011918.pdf

Under the 'Training Resources' left-side navigation category:
Modify link text for 'Dovetail Test Tool User Guide' to 'OVP / Dovetail User Guide'
Modify link href for above from:
http://docs.opnfv.org/en/latest/submodules/dovetail/docs/testing/user/userguide/testing_guide.html
to:
http://docs.opnfv.org/en/stable-danube/submodules/dovetail/docs/testing/user/userguide/testing_guide.html

Modify 'Test Specifications' link href from:
http://docs.opnfv.org/en/latest/submodules/dovetail/docs/testing/user/testspecification/
to:
http://docs.opnfv.org/en/stable-danube/submodules/dovetail/docs/testing/user/testspecification/

Modify 'Dovetail CLI' link href from:
http://docs.opnfv.org/en/latest/submodules/dovetail/docs/testing/user/userguide/cli_reference.html
to:
http://docs.opnfv.org/en/stable-danube/submodules/dovetail/docs/testing/user/userguide/cli_reference.html

Modify 'OVP Guidelines Addendum' link href from:
http://docs.opnfv.org/en/latest/submodules/dovetail/docs/testing/user/cvpaddendum/index.html
to:
http://docs.opnfv.org/en/stable-danube/submodules/dovetail/docs/testing/user/ovpaddendum/index.html

Under the 'Release Information' left-side navigation category:

For the '2018.01 Release Notes' link, specify the href as
http://docs.opnfv.org/en/stable-danube/submodules/dovetail/docs/release/release-notes/index.html

Change-Id: Ia4d2cc9f4c3c9874b3c328658bb4bce643aa4c6c
Signed-off-by: chenjiankun <chenjiankun1@huawei.com>

Don't allow user change SUT version to None after submitting

We don't allow SUT version to be None when submitting test.
So we also not allow user to change it to Nonw after submitting.

In this patch, I also make the result table self-adaption.

Change-Id: I5c391592dcbdbd9eb8697e44d7bb5dda41431bd6
Signed-off-by: chenjiankun <chenjiankun1@huawei.com>

Update OVP home page text

JIRA: DOVETAIL-582

We received new text from OPNFV marketing for the home page of the OVP web portal. Text title and body are pasted below.

OPNFV is offering an OPNFV Verified Program (OVP) that verifies products and services with the "OPNFV Verified" mark.

The OPNFV Verified program demonstrates the readiness and availability of commercial products based on OPNFV. Verified products and services submitted by vendors and service providers become compliant by implementing explicitly defined interfaces, behaviors and key features while retaining distinct and value-added innovations across features and capabilities.
Navigate through the links in the left-hand menu to learn more and get started. You'll find step-step-instructions as well as a participation form. Use this portal to upload your test results when ready. Please send any questions to verified@opnfv.org.

Change-Id: I5f6dd67fc187d7557a0b4cce6dd7391479e66b2b
Signed-off-by: chenjiankun <chenjiankun1@huawei.com>

Transfer Danube reviewer guidelines from wiki

The reviewer guidelines will be created per release, where the
CVP/Dovetail releases are aligned to OPNFV releases. The guidelines
outlined in this initial document are for the Danube release.

Updated reviewer guidelines

- Updated to account for issue where mandatory total always shows 215
in current version of web portal; removed one diagram and amended another
- First section title change and wording for test area results

- Removed white space
- Added SUT info section and diagrams
- Modified reference to cvp.opnfv.org with verified.opnfv.org
- Modified reference to cvp@opnfv.org with verified@opnfv.org
- Modified diagram filenames to reflect program name change
- Changed CVP references to OVP and Danube to 2018.01
- Remove TODO for granting marks and escalation - this info is in other docs

Change-Id: I01fc568ce6713d3c60daf339a2630e56e8dbcfcb
Signed-off-by: Eddie Arrage <eddie.arrage@huawei.com>

Changing CVP to OVP in the documentation

Due to the name change from 'CVP' to 'OVP', the documentation has to be
updated.

Change-Id: Id934e8fc07f60802f7aa6b3d295d268c4c9b71f8
Signed-off-by: Georg Kunz <georg.kunz@ericsson.com>

Update test user guide to improve usability

- Modify hosts.yaml syntax to match patch by Serena
- Modify result file references for new timestamp patch by Georg
- Revise online/offline diagrams for OVP name change
- Add XCF GIMP source files for diagrams with layers for new elements

- New changes for cvp.0.9.0 to ovp.1.0.0
- Remove reference to bottlenecks container for now
- Modify section/heading structure
- Incorporate comments: results.json vs. result files
- Incorporate comments: online/offline install headings
- Incorporate comments: remove IP from launch_db.sh
- Incorporate comments: remove sudo for wget
- Incorporate comments: pod.yaml for SUT HW info
- Incorporate comments: test case to config file requirement
- Incorporate comments: suggested changes to env_config.sh

- Modify the sequence of the guide to reflect installation steps
- Outline all required configuration files earlier in the guide
- Highlight configuration file key entries and pitfalls
- Improve requirements for pod.yaml file for HA
- Improve online/offline install instructions
- Call out Dovetail docker run command and explain options
- Clarify when testapi and local db ports need to be changed
- Explain the dovetail run --testsuite and --testarea arguments
more clearly
- Improve --report option and default result result behavior
- Make CVP portal a separate section
- Explain CVP portal workflow to reflect current state of interface
- Update references to cvp.0.8.0 with cvp.0.9.0

Change-Id: I41857c1b07c211a95f19c99054ca414351c75c20
Signed-off-by: Eddie Arrage <eddie.arrage@huawei.com>

Bugfix: pass/not pass filter not work in results-report page

For now if we click the pass/not pass filter, the user can also
see the not pass/pass data in the page.

Change-Id: I8bf696e615bedbb93714d457b3eb502a4ed1d923
Signed-off-by: chenjiankun <chenjiankun1@huawei.com>

[ovp-web] Add SUT version number to OVP portal

JIRA: DOVETAIL-572

We currently have a label column in the OVP test result view. This
allows users to attach a custom label field to their results. It is at
the users discretion to fill out this field.
We need a separate SUT version column to track the product version
number being submitted for official review. The field can be left blank
when users upload and share results in a private manner. However, the
OVP portal must check that this new 'SUT version' field is populated
before results are officially submitted for review. An error message
prompting the user to fill out this field if it is blank must be
implemented when users submit results for review.

Change-Id: I1ca915423a56e8173a3a13f1b84b066cf91d9291
Signed-off-by: chenjiankun <chenjiankun1@huawei.com>

[Bugfix] Local summary with wrong results when Tempest failed at the SetupClass

When Tempest test cases failed at the SetupClass, the record is the class name
of the test cases rather than the name of the test cases.
The local summary will say they are passed wrongly.

JIRA: DOVETAIL-575

Change-Id: Iec879378770017eddd37e9a99346d980355bb6e2
Signed-off-by: xudan <xudan16@huawei.com>

[bugfix] easy_install: not found

Remove easy_install because it will be installed later.

Change-Id: I29f425e0a5784b581a5b65ea5c8f8db66fc9dc8e
Signed-off-by: xudan <xudan16@huawei.com>

Fix aarch64 patch for Dovetail container

Change-Id: I3746136e9002a14eea81c38ea54cbbad7fa68da1
Signed-off-by: xudan <xudan16@huawei.com>

Change a to an

Change-Id: Id2b9c2a6718047dace2a84ffa68efa387cb22500
Signed-off-by: xudan <xudan16@huawei.com>

Bugfix: SSLError when login with linux fundation account

It is a quick fix.

Change-Id: I72aabd5dd682074546259582cc91ba055d1decbe
Signed-off-by: grakiss <grakiss.wanglei@huawei.com>

Add License for the python scripts in folder offline

Change-Id: I9c585f132c10ef726cd859e4abe3c9a874cbe0bc
Signed-off-by: xudan <xudan16@huawei.com>

[ovp-web] Use new program logo/text for OVP portal home page

JIRA: DOVETAIL-570

OPNFV marketing has provided new logos for OVP that will be incorporated
on the portal home page and attached to this issue. The 'Infrastructure'
logo must by used. The other two logos (Application, Lab) currently on
the development site must be removed for now.

Position the new logo in the upper-left side and position the blurb
language to the right of it. The new blurb language to swap in (all
uniform, non-bold font) is provided below:

    The OPNFV Verified program (OVP) demonstrates the readiness and
    availability of commercial products based on OPNFV. Verified products
    and services submitted by vendors and service providers become compliant
    by implementing explicitly defined interfaces, behaviors and key
    features while retaining distinct and value-added innovations across
    features and capabilities. The OPNFV Verified program grants products
    and services with the "OPNFV Verified" mark. Get started with your OVP
    application today.

Change-Id: Iaf4172fe61ea46133c474207f77ba24b841211e4
Signed-off-by: grakiss <grakiss.wanglei@huawei.com>

[ovp-web] Modify new web portal header to reflect program name change

JIRA: DOVETAIL-569

CVP is officially being renamed to 'OPNFV Verified Program'. We will
adopt the acronym OVP instead of CVP. The new web portal header needs to
modified to OPNFV Verified Program.

Change-Id: I0ee1780b4e544dce4cf0b029733d1318a7c4e8fb
Signed-off-by: grakiss <grakiss.wanglei@huawei.com>

Bugfix: pass/not pass filter not work in result-report page

The reason is there are some conflict with jquery.js and ng-model.
So ng-model not work.

Change-Id: I01ccd0e297d1a89aff8f78d7fb0a63a0e2114f63
Signed-off-by: grakiss <grakiss.wanglei@huawei.com>

Remove all alias tempest test cases in osinterop test specificaion docs

1. Some tempest test cases have alias test cases because of the different
   versions of tempest.
2. However, Dovetail fixes the version of tempest to be 14.0.0 in its first
   release. So the number of test cases that can be executed in osinterop
   is always 205. And for different SUTs, the 205 test cases are all the same.
3. In this situation, there is no need to list the alias test cases.
4. Just list all the 205 test cases which will not confuse users when they
   reading dovetail docs.

JIRA: DOVETAIL-566

Change-Id: I5e39dd82314833c8c0a6c1732c990f671ae64420
Signed-off-by: xudan <xudan16@huawei.com>

[cvp-web] Add initial CVP Portal homepage content for release

JIRA: DOVETAIL-563

The CVP portal homepage needs to be modified to support launch
activities. An initial iteration between OPNFV marketing has occurred.
Attached is a deck that outlines a basic left navigation menu and home
content.
We can focus on creating the left navigation and content outlined on
slide 7. The links for the left navigation aren't all flushed out.
Please leave Release Information/CVP Registry link href's blank for now
until we define content for those pages.

Change-Id: I84b8cfb996d336ef666d5a5f6aaabc0d5eebc37b
Signed-off-by: grakiss <grakiss.wanglei@huawei.com>

Remove one sub test case from dovetail.tempest.tc004

1. Currently, dovetail.tempest.tc004 has 13 sub test cases defined in its
   config file and specification document of the test case. All these
   sub test cases are picked from tempest based on it's version 15.0.0.
2. For Dovetail 1st release, it fixes the version of Functest to be
   opnfv/dovetail:cvp.0.5.0, and Functest integretes tempest 14.0.0
   in this version and it's E release.
3. There is one sub test case in dovetail.tempest.tc004 that is new in
   tempest 15.0.0, so it can not be recognized and executed by Functest D
   and E release. It is 'test_server_connectivity_cold_migration_revert'.
4. Remove this sub test case from dovetail.tempest.tc004. This means remove it
   from the test case config file and specification document.

JIRA: DOVETAIL-561

Change-Id: Ia927af040794c7027a741a282ed75fe401f99ff1
Signed-off-by: xudan <xudan16@huawei.com>

[cvp-web] Bugfix: Total num of test cases should be fixed

JIRA: DOVETAIL-552

The total num of test cases is decided by the number of the test cases
users uploaded to the Web now.
The total num should be fixed. For example, the total num of mandatory
test cases should be 215. The total num of optional test cases should be
63.

Change-Id: I6f7055bbeceb80f831af7d800b1a5aca4e165c45
Signed-off-by: grakiss <grakiss.wanglei@huawei.com>

[cvp-web] Admin can approve and not approve results

JIRA: DOVETAIL-562

According to the CVP workflow, once a result has been submitted to review,
the admin will send email to all reviewers to get the comment (+1 / -1).
Enable admin to approve/not approve the result after he gets the feedback from all reviewers.
Otherwise, the result will always be in 'review' status.

Change-Id: Ic3ace3c7284c70e9a8186d03e6cd88c91ecc76f9
Signed-off-by: grakiss <grakiss.wanglei@huawei.com>

Include full date in name of compressed result file

The name of the compressed result file included a timestamp according
to the pattern "day_hour_minute". This is a rather uncommon timestamp
and can cause confusion. This patch changes the timestamp to a more
common "YearMonthDay-HourMinute" format.

Please note: Please check if this change has an impact on the web
portal.

Change-Id: Ife41050bc1d5ca6942706b756d03a1d0d251ae41
Signed-off-by: Georg Kunz <georg.kunz@ericsson.com>

Just enable withdraw for the one who submit to review (onwer)

JIRA: DOVETAIL-559

Just enable withdraw for the one who submit to review (onwer).

Change-Id: I4f073fa00930c8f211239ee42034bb40c1af1f91
Signed-off-by: grakiss <grakiss.wanglei@huawei.com>

[cvp-web] Can't submit the same results to review from different users

JIRA: DOVETAIL-560

Can't submit the same results to review from different users.

Change-Id: I4a3dcc2dc8a817653ac9da6f93722659e04c89a1
Signed-off-by: grakiss <grakiss.wanglei@huawei.com>

[cvp-web] Bugfix:return 500 when upload a tarball file with no results.json

JIRA: DOVETAIL-558

The Web portal will return 500 code when upload a tarball file with no results.json
When all test cases failed or report with wrong DB url, there may be no results.json.
Check this and alert users instead of returning 500 status code.

Change-Id: Ie13d9c3c62044c525f5dbb3fca9b6123d0b5acce
Signed-off-by: grakiss <grakiss.wanglei@huawei.com>

bugfix: hosts info is wrongly processed

changes:
1. add usage example in hosts.yaml.sample
2. fix /etc/hosts from wrong format {'hostname': 'ip'} to
   the right 'ip hostnames'
3. fix --add-hosts from wrong usage --add-host {'hostname': 'ip'} to
   the right --add-host='hostnames':ip
4. support per ip mapping mutiple hostnames, which is also
   in line with /etc/hosts schema

JIRA: DOVETAIL-556

Change-Id: I92e8cb0fd3476b61f5c73a69e34c4a66aef51d6e
Signed-off-by: SerenaFeng <feng.xiaowei@zte.com.cn>

Remove redundant log when launch local DB

The script launch_db.sh will print "Already Exists" logs when the DB has been
initialized by the data stored in JumpHost.
Ignore this kind of logs because it won't affect the launch of the DB but
it will confuse users.

JIRA: DOVETAIL-557

Change-Id: I23616b10bbadc49888731e943d0a4ee4425045f5
Signed-off-by: xudan <xudan16@huawei.com>

Remove style.css for License issue

style.css is GPL 3.0 License based, we need to remove it.
The origin css file is as bellow:
    https://www.opnfv.org/wp-content/themes/salient/style.css?ver=4.8.3

So I remove style.css, and write a new css file to replace it.

Change-Id: I78a572f74c71081052767622903b371e22e158a4
Signed-off-by: grakiss <grakiss.wanglei@huawei.com>

Added a license metadata line to specify Apache-2.0

Change-Id: Ic5c3c3e2bbc2cff54f291fcd77bf9b5741f9f606
Signed-off-by: rpaik <rpaik@linuxfoundation.org>

[cvp-web] Bugfix: use '_id' as the primary key of the data rather than the 'Test ID'

JIRA: DOVETAIL-554

It allows different users to upload the same results now.
So the 'Test ID' is not unique in this situation.
Use '_id' as the primary key which can uniquely identify one data.

Change-Id: I852ee116f36a6a86e9b4350183e39ee00f8b99de
Signed-off-by: grakiss <grakiss.wanglei@huawei.com>

[cvp-web] Bugfix: Results shared by email are not shown on non-reviewer's pages

JIRA: DOVETAIL-551

The CVP web portal can support share with name and
share with email address.
But when sharing with email, the pages of non-reviewers
will not show the results shared by others.

Change-Id: I94451448cc60d1f7a3472d756c502200757a16a8
Signed-off-by: grakiss <grakiss.wanglei@huawei.com>

[cvp-web] Allow accounts with role 'reviewer' to submit resuts

JIRA: DOVETAIL-549

Accounts within the CVP portal with the role 'reviewer'
cannot submit test results currently.
While reviewers cannot review their own results,
they should be able to submit results.
Many within the Dovetail community will be serving
multiple roles as testers and reviewers.

Change-Id: I762aeec64bb2b207c582aa79e0ad1bd5a635fd19
Signed-off-by: grakiss <grakiss.wanglei@huawei.com>

Tag dovetail cvp.0.9.0

JIRA: DOVETAIL-550

Change-Id: I871ec1fdf8d33efe3ed00602d0184c7b35896c17
Signed-off-by: xudan <xudan16@huawei.com>

Bugfix: Failed to build local DB on Centos

1. The scripts for building local DB and testapi service just work on Ubuntu.
2. For Centos, they fails to do that.
3. This is mainly because of that Centos can't use the IP of the JumpHost
   to connect the DB and testapi. It needs to use the internal IPs of the
   DB container and the testapi container.
4. Change the IPs in the scripts to be the containers' internal IPs.

JIRA: DOVETAIL-548

Change-Id: I71aed82cb620b58bcd43ace61497db65c5bd7ecc
Signed-off-by: xudan <xudan16@huawei.com>

Minor docs change to test docs integration

This is minor patch which updates the documentation in the dovetail
repo in order to test the toolchain integration in opnfvdocs.

Change-Id: Id91c57d1a38cf02d8ed4653bc9eddb7081f025e7
Signed-off-by: Georg Kunz <georg.kunz@ericsson.com>

Modify reference to online mode

Changed reference to online mode to refer to installation rather than
uploading results from Test Host to CVP portal directly, as current
text is misleading.

Change-Id: I9439d340beabb76f04b7782243c050064753a8ec
Signed-off-by: Eddie Arrage <eddie.arrage@huawei.com>

Update the user guide environment diagrams

Updated the test user guide diagrams with the correct CVP portal
web link and removed direct connection between the Test host and
the CVP server. Online and offline mode refer to installation of
Dovetail docker and dependent images.

Change-Id: If2fb62d105557a41b156b90a3d9c956185be0b7c
Signed-off-by: Eddie Arrage <eddie.arrage@huawei.com>

Get SUT's endpoint info

Get the admin endpoints of all service.

JIRA: DOVETAIL-546

Change-Id: Ie0ac3bc5b4eb0885046e207b73217994a4f0e358
Signed-off-by: xudan <xudan16@huawei.com>

Get hardware info of SUT

Hardware info:
Use ansible to get all hardware info from all nodes.

JIRA: DOVETAIL-540

Change-Id: I6a2dde1b2ebae2af8f702008c23110ebe63cc06f
Signed-off-by: xudan <xudan16@huawei.com>

Bugfix: remove redundancy line

There is a redundancy line in result page when auto merge.
We need to remove it.

Change-Id: I31a754d881584be5a715ddcf6f1f32b25158dfca
Signed-off-by: grakiss <grakiss.wanglei@huawei.com>

Remove approve / no approve options for reviewers

Distinguish results shared or submitted from a tester

JIRA: DOVETAIL-544
JIRA: DOVETAIL-545

[cvp-web]There is consensus within C&C committee to move towards a
simpler means of voting by reviewers. We will use email voting (+1) on
the [cvp@opnfv.org|mailto:cvp@opnfv.org] email alias. For now, can we
disable the approve / not approve options in the drop-down in the
'Operation' column of the results? We can revisit this feature in the
future after some experience with the manual method.

[cvp-web]When a user shares or submits results, the recipient of
those results (share target or reviewer) do not know where the results
originated from. To remedy this issue, we will add a column labeled
'Owner' to the 'My Results' table that shows the email address or the
sending party?

Change-Id: I586b01ad113d898fe3d5824025df9877118fa622
Signed-off-by: grakiss <grakiss.wanglei@huawei.com>

[cvp-web] Show some SUT hardware info in 'My Results'

[cvp-web] Show SUT endpoint in web page

JIRA: DOVETAIL-541
JIRA: DOVETAIL-547

Show some SUT hardware info that dovetail concern in 'My Results' web page.
Show the info of all endpoints get from Dovetail tool in the web page.

Change-Id: Ibc465396e17b7c22678e3948fa2f659cbff6f323
Signed-off-by: grakiss <grakiss.wanglei@huawei.com>

[web-cvp] Trigger an email when admin submit an application form

JIRA: DOVETAIL-542

Trigger an email to cvp@opnfv.org when admin submit an application form.

Change-Id: Ie73d5a6380b5f5d1b0507564dc1f067047284f99
Signed-off-by: grakiss <grakiss.wanglei@huawei.com>

Add test case name into tempest testspecification docs

1. All test cases' testspecification docs have no info about test case names.
2. User don't know which test case to run when they just want to run
   one special test case.
3. Add the info into testspecification docs.

JIRA: DOVETAIL-530

Change-Id: I0ebe1b3b98be5609503814ea2a0cf71aefd06d35
Signed-off-by: xudan <xudan16@huawei.com>

Remove obsolete developer documents

Some developer documents are now old and suggested to be removed.

Change-Id: Ifa26a1535d57a560a0525eafa300ae087feb3191
Signed-off-by: Eddie Arrage <eddie.arrage@huawei.com>

Tag dovetail with cvp.0.8.0

JIRA: DOVETAIL-536

Change-Id: I7a947b1aa57728e6add1d0ca881a6a62a46c0913
Signed-off-by: xudan <xudan16@huawei.com>

Ignore Tox Error E722

1. After updating tox from 2.5 to 2.9, pep8 failed.
2. https://build.opnfv.org/ci/job/dovetail-verify-master/1018/console
3. The Error is 'E722 do not use bare except'.
4. It needs to change all 'except:' into 'except Exception:'.
5. This won't affect Dovetail, so just ignore this Error.
6. Dovetail next release will consider to fix this error.

JIRA: DOVETAIL-537

Change-Id: Ic3c7be4667685fc94025a47c3b17d07a087565da
Signed-off-by: xudan <xudan16@huawei.com>

System preparation guide

Change-Id: I4fc982d7037466b48424b7ce97d6207fbe44a09b
Signed-off-by: Wenjing Chu <chu.wenjing@gmail.com>

Fixing references and layout in the docs

This patchset introduces labels for documentation-internal references
and replaces footnote-style citations with inline hyperlinks.

Additional minor changes for a nicer rendering of bullet lists.

JIRA: DOVETAIL-521

Change-Id: Ic847fc05d546d673dadc7b8efee86fcb688133f5
Signed-off-by: Georg Kunz <georg.kunz@ericsson.com>

Use functest clean module to do the sdnvpn resources cleanup

1. If there throw an exception during the test of one sdnvpn test case,
   it will not do the clean.
2. Then there are many resources left, such as network, subnet, server...
3. This is a bug of sdnvpn see JIRA: SDNVPN-184
4. The patch for fixing this bug https://gerrit.opnfv.org/gerrit/#/c/44777/
5. Currently, use functest module "functest openstack clean" to clean the SUT.

JIRA: DOVETAIL-524

Change-Id: I629fc6fdc9e4c95960f6122358ff219a467d441b
Signed-off-by: xudan <xudan16@huawei.com>

Bugfix: the sdnvpn DB initialization information lacks two test cases

1. The SDNVPN DB initialization information lacks two test cases,
   functest_testcase_4 and functest_testcase_8.
2. So the results of these 2 test cases cannot be pushed into DB.
3. Add these 2 test cases info to DB.

JIRA: DOVETAIL-535

Change-Id: I1c6d049b942806924f15dd106452fd9b4d554454
Signed-off-by: xudan <xudan16@huawei.com>

Bugfix: build docker image failed

1. When build Dovetail docker image, the job failed.
2. https://build.opnfv.org/ci/view/dovetail/job/dovetail-docker-build-push-master/279/console
3. That's because the setuptools version is old.
4. It needs to upgrade setuptools in the Dockerfile.

JIRA: DOVETAIL-534

Change-Id: If37a4d7c3b57ea79903565fd880c5447da97b13b
Signed-off-by: xudan <xudan16@huawei.com>

Add testsuite cvp.0.8.0 for Beta tests

1. Now there is a testsuite proposed_tests for beta tests which may
   cause some confusions.
2. Copy all test cases to testsuite cvp.0.8.0 for beta testers to use.
3. Update userguide with testsuite cvp.0.8.0

JIRA: DOVETAIL-528

Change-Id: I35bc7dee6e07a9125a4c1991b0049f6e2d705cc5
Signed-off-by: xudan <xudan16@huawei.com>

[web-cvp]Additional columns in ‘My Results’

JIRA: DOVETAIL-532

1. original filename
2. user editable label

Change-Id: I1566cecb3d8ceacc14167bb2fb7fa41508f293be
Signed-off-by: grakiss <grakiss.wanglei@huawei.com>

[web-cvp]share result by email

JIRA: DOVETAIL-529

It may be easier to get other people's email than his user id

Change-Id: Ia5f9aa72d3c79bd3f5e69dad98b3f188cdaafc3d
Signed-off-by: grakiss <grakiss.wanglei@huawei.com>

[web-cvp]Direct drill-down for failed tests

JIRA: DOVETAIL-531

people may want to directly drill-down to the exact log file of each results, instead of searching in piles of log files.

Change-Id: I6e18b8d57739fd695e20ee29147e796de5c9e404
Signed-off-by: grakiss <grakiss.wanglei@huawei.com>