Update all existing test specifications

1. Update the names of 2 vping test cases
2. Update the names of 8 ha test cases
3. Update the sub test cases within osinterop 2017.09
4. Split IPv6 into ipv6_api and ipv6_scenario
5. Update the names of sdnvpn test cases
6. Update the names of 4 tempest scenario test cases
7. Remove forwardingpackets

JIRA: DOVETAIL-685

Change-Id: I0d91b8a0477576e18581eb2788fdb666063c89b7
Signed-off-by: xudan <xudan16@huawei.com>

Adapt Yardstick fraser

Yardstick fraser has changed from openstack python client to shade.
OS_INSECURE is not a key for shade.
It needs to be OS_VERIFY.

Change-Id: I0973853d0527b04ec371ad4f6ce2f6c67ef50ccf
Signed-off-by: xudan <xudan16@huawei.com>

Fix syntax error on clean_results_dir method

Change-Id: I9f33bb320452efab79be5a22e625efac820183eb
Signed-off-by: Panagiotis Karalis <pkaralis@intracom-telecom.com>

Splitting the networking tests in API and scenario tests

Split the networking tempest test case in Tempest API tests and scenario
tests. The API tests will be promoted to mandatory while the scenario
tests will remain optional.

JIRA: DOVETAIL-678

Change-Id: I03022316076809536782e82fd531d98f45105caa
Signed-off-by: Georg Kunz <georg.kunz@ericsson.com>

Removing unused test suite and updating debug test suite

The compliance_set test suite is not used. Updating the description of
the debug test suite.

Change-Id: Id2c3ca922ffb083f3443e00e5ca1a0648aec3e4a
Signed-off-by: Georg Kunz <georg.kunz@ericsson.com>

Update licence headers to comply with guidelines

Updating the licence headers to comply with the community guidelines [1]
and anteater checks.

[1] https://wiki.opnfv.org/display/DEV/Contribution+Guidelines#ContributionGuidelines-License

Change-Id: Idec787e32daf76c0b1bd6108977b78828125da5e
Signed-off-by: Georg Kunz <georg.kunz@ericsson.com>

Splitting IPv6 tests in API and scenario tests

Spliting the IPv6 test case in Tempest API tests and scenario tests. The
API tests will be promoted to mandatory while the scenario tests will
remain optional.

JIRA: DOVETAIL-677

Change-Id: If3dca5ecf2ce5c9e02de5c6d45e674da029b609f
Signed-off-by: Georg Kunz <georg.kunz@ericsson.com>

Fixing a typo in the API validation warning of the web portal.

Change-Id: I0489d1e2fbd53bc90c24781a9d62140e2299c5a4
Signed-off-by: Georg Kunz <georg.kunz@ericsson.com>

Update OVP portal docker images for missing package

- The missing futures packages was added in patch:
https://gerrit.opnfv.org/gerrit/#/c/58833/
- The patch above does resolve the issue and has
been valdiated on a development instance.

- The issue was likely introduced in patch
https://gerrit.opnfv.org/gerrit/#/c/56623/

Change-Id: I850947e386024e6b65514bdb518799c359234811
Signed-off-by: Eddie Arrage <eddie.arrage@huawei.com>

Add Missing Futures Package

This is needed by the motor package.

Change-Id: Ie19958040bc026b834fd3891da3a205cb248df92
Signed-off-by: Trevor Bramwell <tbramwell@linuxfoundation.org>

Update CVP Container Tags

These include updates for the new web portal.

Change-Id: I2951c8a1b00947a4546b4f90440ff8e0af8640e4
Signed-off-by: Trevor Bramwell <tbramwell@linuxfoundation.org>

Adding IDs to the list of OpenStack interop tests

In Fraser, the RefStack / OpenStack interop tests are executed through
Rally in Functest. Rally requires the fully qualified name of a tempest
test, including its tier and ID, in order to find and run it. This patch
add the missing information.

JIRA: DOVETAIL-662

Change-Id: I3a38b7b8d0fe79dd6ad0c0023c62c6647611d231
Signed-off-by: Georg Kunz <georg.kunz@ericsson.com>

Removing test_mtu_sized_frames Tempest test

This test fails in CI on all installers (Apex, Compass, Fuel) and on
virtual deployments.

Change-Id: I3a451e880c2a5d2151cb88aaf8e5a6895368e63b
Signed-off-by: Georg Kunz <georg.kunz@ericsson.com>

Create specific flavor for neutron-l3-agent HA test

The neutron-l3-agent test assumes that a default image and flavor are
available. On current OPNFV deployments, these resources do not exist
anymore by default and hence the test case fails.

This patch enables Dovetail to create a specific flavor as part of the
test case config. This is temporary workaround until the test case
itself takes care of checking and creating all resources needed. A
ticket for the HA project has been created accordingly:
https://jira.opnfv.org/browse/HA-36

Change-Id: I6523d8411fe853a5645566b2fabe1409b5715491
Signed-off-by: Georg Kunz <georg.kunz@ericsson.com>

Running BGPVPN Tempest tests as tempest_custom test

We need to disable one BGPVPN tempest test due to a bug in ODL. Since
the SDNVPN test framework does not allow for disabling a single test
case, we are switching to tempest_custom.

Change-Id: Ifbd7c1dc5e799d6a6c774e08e9fc1a3b2294b47c
Signed-off-by: Georg Kunz <georg.kunz@ericsson.com>

Copy tempest_conf.yaml file for neutron_port and patrole

Change-Id: I58e37c14cb4a287436e86b345919deff3d3674d0
Signed-off-by: xudan <xudan16@huawei.com>

Cosmetic cleanup of tempest test case lists

There are some superflouos lines separating the list of tempest test
cases. These are restructuring artifacts which can be deleted.

Change-Id: I7b3474090fa3d7b1506d5a4f3dcd1b32dd68900a
Signed-off-by: Georg Kunz <georg.kunz@ericsson.com>

Replace openstack commands with shade

Use openstack shade to get endpoint infomation rather than executing
openstack commands directly.

The next step can replace openstack commands by shade for some test cases that
need to create openstack resources (images, flavors) if we agree to use shade.

JIRA: DOVETAIL-659

Change-Id: I72b302fb2d4a61e9249a7e53f81ea9464944dcd3
Signed-off-by: xudan <xudan16@huawei.com>

Upgrading image version of HA test of neutron L3 agent

In line with the updated documentation, this patch upgrades the cirros
image from version 0.3.5 to 0.4.0 of the HA neutron-l3-agent test

Change-Id: I352e861f3d3099491ff6f367a3129dc8f3115394
Signed-off-by: Georg Kunz <georg.kunz@ericsson.com>

Updating the API response validation patch

Functest has switched from Tempest 14 in Danube to 17.1.0 in Fraser.
This updates the patch used to disable strict API response validation.

Change-Id: Ief47eba3bc91c222d5ad30e65ab1fdaf39fc169e
Signed-off-by: Georg Kunz <georg.kunz@ericsson.com>

Add improvements to OVP directory and logo upload

- Formatting changes to directory on home page based
on OPNFV marketing
- Updated branding guide link
- Added test_id field to mongo applications collection
to associate to approved results for directory
- Set Test ID from user accounts with administrator
role in Applications view
- Provide file upload function for administrator to
post company logos for OVP directory
- Company logos are stored and served through tornado
from cvp-cvpapi container rather than cvp-web

JIRA: DOVETAIL-663
JIRA: DOVETAIL-664

Change-Id: I1226b42883afa2ea2eb5551e3836211abbb94b20
Signed-off-by: Eddie Arrage <eddie.arrage@huawei.com>

Make exit status a constant in run.py

JIRA: DOVETAIL-625

Change-Id: Ib96e6e39bad708f495af97ed43884909e394da10
Signed-off-by: Miikka Koistinen <miikka.koistinen@nokia.com>

Fix error status when executing CLI run command

This commit fixes CLI run command to exit with non-zero exit status
when bad arguments are given for '--testsuite' or '--testarea'.

JIRA: DOVETAIL-660

Change-Id: I4539b19978d9e93d8a90be9000f36d0aa1895f71
Signed-off-by: Miikka Koistinen <miikka.koistinen@nokia.com>

Correct reporting of vEPC test case

The configuration of the vEPC test case was missing information for
generating a correct report and hence it incorrectlt reported FAILed
despite passing.

JIRA:DOVETAIL-666

Change-Id: Id296fa0fd750e47dc841ef37acb2018b23de0643
Signed-off-by: Georg Kunz <georg.kunz@ericsson.com>

Adding reference to EXTERNAL_NETWORK to user guide

Adding a reference to the EXTERNAL_NETWORK environment variable to the
user guide so that users add this to their env_config.sh. This variable
is required, among others, to overwrite the default external network in
Yarstick.

Change-Id: I50e609a8c6e20b1dd01c61d5d950ffba792e98fa
Signed-off-by: Georg Kunz <georg.kunz@ericsson.com>

Adding vEPC test case to Dovetail and proposed_tests suite

Adding the vEPC test case to Dovetail. The test deploys a vEPC using
Juju as VNF manager and performs application level tests.

JIRA: DOVETAIL-650

Change-Id: I15c2cdddee510e12a5faf18efc8950af5cf7b664
Signed-off-by: Georg Kunz <georg.kunz@ericsson.com>

Update user guide

1. Remove python related content because python is installed in Dovetail image.
2. Remove DB related content because there is no need to launch local DB now.
3. Update the infomation of Docker images and VM images.

Change-Id: I010d3341aef9f2c74713fc0fc087b361331109d1
Signed-off-by: xudan <xudan16@huawei.com>

Archive all test case result files

1. All detailed tempest test cases results are recorded with
   file tempest-report.html rather than tempest.log now.
2. Archive all results files include functest.log, yardstick.log ...
   for each test case. Otherwise, they will all be in one log file.
3. Support to set the source files and dest files need to be archived with
   the test case config files rather than hardcode with the source code.
4. Give the file which used to be parse the results (PASS/FAIL) with the
   test case config files rather than hardcode with the source code.

Change-Id: I30f435d91ab90cf20def47007f177fe98187484d
Signed-off-by: xudan <xudan16@huawei.com>

Changing the link to the updated participation form

The participation form on docusign has changed due to incorporating
additional fields for the API validation exemption. This patch updates
the links in the documentation accordingly.

Note: this patch should only me merged after the new form is online.

Change-Id: I697fa13d9afe2797faba2bf0478bbf27820bca20
Signed-off-by: Georg Kunz <georg.kunz@ericsson.com>

Implemented directory within OVP portal

- Added OVP directory to portal home page as summary view to
showcase vendors offerings that have received marks
- Each row of table in directory summary represents a product
offering that has received compliance verification marks and
will be ordered by approve date
- Currently, a vendor with multiple products will be displayed as
separate rows, as agreed by OPNFV marketing
- Added new angular component/controller for OVP directory secondary
drill-down view, which provides more detailed info including
Description, Product Info, SUT HW Version (optional from vendor)
and SUT Version. Product info links to product_documentation field
in Applications collection but can be improved as requirements are
flushed out
- Added new db fields to existing applications collection in mongodb
- Applications collection is fetched on home page and detailed
directory views
- Updated Applications management view (administrator role) with
new db fields including description, ovp_category, ovp_version,
company_logo, approve_date, approved, sut_version, sut_hw_version,
allowing admin to delete and add back with updates.

- Updated participation form link for exemption process addition

- Consider for another patch - upload form for company logos in
Applications view for administrator to add. The initial wave of logos
will need to be included in the patch for now when available
from OPNFV marketing
- Consider for another patch - improve 'Product Info' field to
accept HTML as input allowing administrator to add raw HTML in
mongod
- Consider for another patch - update an existing application
for admin role in Applications view rather than forcing a
delete/add operation for an update

Change-Id: I41d08a7164ee4513106bd09ea30d20be5abd911e
Signed-off-by: Eddie Arrage <eddie.arrage@huawei.com>

Updating user guide with new ssh key config in pod.yaml

Dovetail does not copy the ssh key from pre_config to /root/.ssh anymore
inside Yardstick but instead, we point the pod.yaml file directly to the
key inside the pre_config directory.

JIRA: DOVETAIL-655

Change-Id: I23156d8940194547363bcf9a5cc581aab0d5c640
Signed-off-by: Georg Kunz <georg.kunz@ericsson.com>

Bugfix the name of test case dovetail.neutron_l3_agent

CI broken because of the wrong test case name.
https://build.opnfv.org/ci/view/dovetail/job/dovetail-fuel-baremetal-proposed_tests-master/294/console

Change-Id: I6674acf92c8f67ae2bd8dba082186a16211dcd8a
Signed-off-by: xudan <xudan16@huawei.com>

Got an exception when test suite is empty

1. Return empty test case list when test suite is empty.
2. Don't quite understand why comment out all proposed_tests.
3. Move stress ping test case at the end of the list,
   because it may broken the message queue.

Change-Id: Ib717fc91e3763be03f243f82e53679462ecdae04
Signed-off-by: xudan <xudan16@huawei.com>

Correct the names of sub test cases due to the new Tempest version

1. Change from Functest Danube to Fraser, the Tempest version it integrates
   is from 14.0.0 to 17.1.0.
2. Some sub test cases names have been changed.
3. Some are removed from tempest_smoke.
4. Some are new added into tempest_smoke.

JIRA: DOVETAIL-657

Change-Id: Ie5611f5b7a5888bea3942667907341bd071d399d
Signed-off-by: xudan <xudan16@huawei.com>

Adding OpenStack controller database HA test case

Adding the OpenStack controller database HA test case (Yardstick tc090)
to Dovetail and the proposed_tests test suite.

JIRA: DOVETAIL-654

Change-Id: I4d20b907de8df2e9567891354b49e832cce13c7c
Signed-off-by: Georg Kunz <georg.kunz@ericsson.com>

Committer resignation of zenghui

Removing zengshui from the list of committers.

Change-Id: I5821b324445f21fc43b45164024a508de00ef5b5
Signed-off-by: Georg Kunz <georg.kunz@ericsson.com>

Updating the list of OS interop tests

Updating the list of test cases used in the OpenStack Interop test case
to match
 i) the tests used in the 2017.09 guideline, and
ii) the version of Tempest used by Functest

We keep the explicit list of test cases in the test case definition file
for now to enable Dovetail to verify the list of executed tests
corresponds to the tests we want to run.

JIRA: DOVETAIL-644

Change-Id: Ic627ef2bbad1dcfa5dd8773301c68dffb545a3b2
Signed-off-by: Georg Kunz <georg.kunz@ericsson.com>

Renaming test cases for better readability

This patchset proposes a new naming scheme for test cases. The ides is
to replace the current numbered scheme

  <testarea>.tc<number>

with:

  <testarea>.<capability/test case description>

The motivation for this is that a the numbering does not convey any
information about what the test case is doing and hides to which test
case implementation in Functest or Yardstick a test case spec refers.

Note: this patchset has not yet been tested in Dovetail itself. Its goal
is start a discussion about the naming scheme.

JIRA: DOVETAIL-647

Change-Id: If33b4bf88e451b372c2af10895ff92a87d9d961d
Signed-off-by: Georg Kunz <georg.kunz@ericsson.com>

Split tempest_smoke test case

1. Total number of sub test cases is 119
2. Remove all 14 object_storage test cases which need swift
3. Remove 26 test cases already included in osinterop test area
4. Remove 21 test cases already included in ipv6 test area
5. Remove 2 scenario test cases already included in tempest test area
6. Split other 56 test cases into 8 groups

Change-Id: I9eef20593ebf5f69347a2ec3a612c9ebc5a753db
Signed-off-by: xudan <xudan16@huawei.com>

Switching to functest:fraser container tag

switching to functest:fraser from functest:opnfv-6.0.0 to incorporate
bug fixes which have been backported to stable/fraser.

Change-Id: Ieab9064ac0187b3460b09fe74861fc844b0b0195
Signed-off-by: Georg Kunz <georg.kunz@ericsson.com>

Adding documentation for API validation exemption

Updating the user guide and OVP addendum to include references to the
detailed document describing the API response validation exemption.

JIRA: DOVETAIL-651

Change-Id: I4026f84f021704f0986b45680471e8fb711fc314
Signed-off-by: Georg Kunz <georg.kunz@ericsson.com>

Adding Neutron trunk port tests to proposed_tests suite

Adding the Neutron trunk port tempest tests to Dovetail and the
proposed_tests test suite.

JIRA: DOVETAIL-648

Change-Id: Ia77980a245fd1bca6e5f0e567467432e12bf974e
Signed-off-by: Georg Kunz <georg.kunz@ericsson.com>

Fix the versions of openstack python client in Dovetail container

1. Now the openstack python clients installed are always the latest.
2. Fix them to certain versions according to the openstack requirements.
3. The first version openstack requirements provided is newton.
https://git.openstack.org/cgit/openstack/requirements/plain/upper-constraints.txt?h=stable/newton

JIRA: DOVETAIL-615

Change-Id: I107f8d3a4dbd95af3441c0ba410de37ba8128be3
Signed-off-by: xudan <xudan16@huawei.com>

Fixing SDNVPN tempest API tests

The code to run Tempest tests has changed in SDNVPN between Euphrates
and Fraser, causing these tests to fail. Moreover, due to a bug in
SDNVPN, not all bgpvpn API tests are currently being run. This is being
addressed by https://gerrit.opnfv.org/gerrit/#/c/57299/ and needs to be
cherrypicked to Fraser 6.1 for inclusion in OVP 2.0.

Change-Id: I0a7575e8a9ebc23af5edaa26c1a9ce1e8149919c
Signed-off-by: Georg Kunz <georg.kunz@ericsson.com>

Improve the CLI of Dovetail tool

The CLI of dovetail tool needs some improvement.
1. Add an option '--testcase' to support specify test case.
2. Add an option '--no-clean' to keep functest/yardstick/bottlenecks containers
   for debugging after running the test cases.
3. Improve the local report section.
    a. Remove some info that is not necessary
    b. Make the info more clearly

JIRA: DOVETAIL-588

Change-Id: Ic769a6e2788b407c3df08ccd593a0ecdaa35e5ea
Signed-off-by: xudan <xudan16@huawei.com>

Adding a tox environment for locally building docs

Run tox -edocs to locally build the Dovetail docs. This is quite
useful because the default OPNFV docs preview build toolchain is
broken for Dovetail.

Change-Id: I0a55a701b96437a20aa09edc47bc3e49e32c0b87
Signed-off-by: Georg Kunz <georg.kunz@ericsson.com>

Decoupling Bottlenecks Docker config items from source code

There are some special Docker setting items when creating
Bottlenecks Docker Cntainers.
Move the special settings to config files.
Disable the function to push results to DB.

JIRA: DOVETAIL-645

Change-Id: Icc033222edf74c0fe4853dede2794f4226fd4252
Signed-off-by: xudan <xudan16@huawei.com>

Remove local DB

Remove local DB and can just report without launch local DB.

Need to do a little modification with the web portal code.

JIRA: DOVETAIL-593

Change-Id: I595db39cce4156596ee0522d4b7e642a23d78ab9
Signed-off-by: xudan <xudan16@huawei.com>

Integrating Functest Patrole test case

Adding the new Patrole test case of Functest to Dovetail and to the
proposed_tests test suite.

JIRA: DOVETAIL-649

Change-Id: I2c3f583cdbd3af75cec020b0fe97f287d23498a5
Signed-off-by: Georg Kunz <georg.kunz@ericsson.com>

Extend web portal to show if API exemption was used during a test run

JIRA: DOVETAIL-634

The OVP web port needs to read from the test results if the strict API
response validation exemption was used or not and show it
correspondingly.

Detailed description:

    As discussed on the Dovetail call on 2018-04-11, the web portal should
show if API response validation was enabled or disabled. The information
if API response validation was enabled or disabled is to be determined
based on the dovetail.log file. If API response validation was
disabled,** the log file contains the line "Strict API response
validation DISABLED.". Upon uploading a result tar-package, the web
portal should extract this information from the log file, store it in
the database, and display it as follows:

    This indication shall be displayed along with the test summary on the
Test Run Results page as either:

    "API response validation enabled"   or
    "API response validation disabled"

    For clarification: API response validation is enabled by default. API
response validation is disabled only if  the --no-api-validation command
line option is given.

Change-Id: Ifacb1eb2127cc8dc6364c98dead1217aeedfd359
Signed-off-by: chenjiankun <chenjiankun1@huawei.com>

The refstack file name has been changed

The original refstack results file is refstack/refstack.log
For Fraser, it has been changed into refstack/tempest.log

Change-Id: I7d40abe0c5a366b5fbb1912ec58d15109f22c0d0
Signed-off-by: xudan <xudan16@huawei.com>

Switch to OPNFV Fraser release

1. Use Functest Fraser docker images whose tag is fraser
2. Use Yardstick stable docker images
3. Functest fraser has moved testcases.yaml file from functest/ci to xtesting/ci
4. Functest fraser has removed 'functest env prepare' command
5. Functest uses rally to execute osinterop test cases
   instead of refstack_client

Change-Id: I81ebefe6ea959ca77c2c87f1d75ef56ac18c165f
Signed-off-by: xudan <xudan16@huawei.com>

Implementation of API validaton exemption in dovetail

This patch adds the ability to Dovetail to disable strict API
response validation in Tempest-based test cases run by Functest.

Corresponding updates of the web portal and backporting of this patch to
OVP 1.0.0 (Danube) will follow.

JIRA: DOVETAIL-633

Change-Id: Iace99ea1b6224ea907a2c3af8676e9285e6ad3ee
Signed-off-by: Georg Kunz <georg.kunz@ericsson.com>

Add functest healthcheck test suite

- Add Functest healthcheck tier to Dovetail as new test suite
- Intention is that these test cases are not part of mandatory
test cases in compliance program
- Use for debug and SUT pre-flight check
- May consider running tc001 (connection_check) at other
test execution stages to determine if SUT is still functioning, as
this test takes < 10 sec (more important as test complexity increases
such as in vnf test tier)
- Replacement for patch:

https://gerrit.opnfv.org/gerrit/#/c/52461/

- Removed CI filters, as suggested

Change-Id: I2e72931b27e43359d6250f6959a17af8526c5094
Signed-off-by: Eddie Arrage <eddie.arrage@huawei.com>

Decoupling Yardstick Docker config items from source code

There are some special Docker setting items when creating
Yardstick Docker Containers.
1. Remove the extra settings which are required by Yardstick Danube.
2. Remove the settings for pushing results to DB because Dovetail
   plan to disable this function.
3. Move the other special Functest settings to config files.

JIRA: DOVETAIL-640

Change-Id: Ic2d90393e227d7886b14d805eaa307b7aef56e4a
Signed-off-by: xudan <xudan16@huawei.com>

Support to specify docker image for each test case

1. Currently each type of test cases will use one docker image.
2. For example,
   Functest test cases use opnfv/functest-restapi:euphrates
   Yardstick uses opnfv/yardstick:opnfv-5.1.0
3. It needs to support to specify the docker image for each test case.
4. For example,
   vping test cases use opnfv/functest-smoke:euphrates
   sdnvpn uses opnfv/functest-features:euphrates
5. The benefit of this is that these docker images are well verified
   by Functest CI and from Functest plan, they may not support
   functest-restapi docker image in its future release.

JIRA: DOVETAIL-638

Change-Id: I8a30eea2233aeff809af2e241b6c939194397832
Signed-off-by: xudan <xudan16@huawei.com>

Removing outdated patch for Yardstick HA tests

This patch was needed to modify the timeout values of the HA test cases
in Yardstick for the Danube release. In Euphrates, the timeout values
have been fixed upstream, so the patch is not needed anymore. The code
for applying the patch was already removed in
https://gerrit.opnfv.org/gerrit/#/c/51997/

Change-Id: I67cceb57c063378d77f6cbc720bc6464d2be4aed
Signed-off-by: Georg Kunz <georg.kunz@ericsson.com>

Fixed typos in the license header

Change-Id: Ib2aae63dd7576a8458f068250e9b6dda8678a1fd
Signed-off-by: rpaik <rpaik@linuxfoundation.org>

Decoupling Functest Docker config items from source code

There are some special Docker setting item when creating Functest Containers.
1. Remove the extra settings which are required by Functest Danube.
2. Remove the settings for pushing results to DB because
   Dovetail plans to disable this function.
3. Move the other special Functest settings to config files.

JIRA: DOVETAIL-639

Change-Id: Ibc4090b5c0aafdf9ed64e65a9a92e34a12a16df5
Signed-off-by: xudan <xudan16@huawei.com>

Integrate dovetail with ONAP

Change-Id: I6a1fa5f27df2f5127eb00156b3135dc79caf5e77
Issue-ID: DOVETAIL-629
Signed-off-by: Moshe <moshehoa@amdocs.com>

Exemption process for disabling strict API validation

This document describes an exemption process for disabling strict API
response validation.

JIRA: DOVETAIL-617

Change-Id: I690efdcae7dd15a6c0781a837a62677904836fca
Signed-off-by: Georg Kunz <georg.kunz@ericsson.com>

Disable restricts of sdnvpn test cases

1. The original testcases.yaml file of Functest restricts sdnvpn test cases
   to run on Fuel, Apex or Netvirt on bgpvpn scenario.
https://github.com/opnfv/functest/blob/master/functest/ci/testcases.yaml#L278
2. Dovetail has a testcases.yaml file to allow sdnvpn test cases run on
   any commercial SUTs.
https://github.com/opnfv/dovetail/blob/master/etc/userconfig/testcases.yaml#L113

Change-Id: I0d5ed5b22e55dc3dc0fe584dc57b28239334b7de
Signed-off-by: xudan <xudan16@huawei.com>

substitute image copy with docker volume

Change-Id: Ie470d03bd168c909fd02c316523049c67a6bb095
Signed-off-by: SerenaFeng <feng.xiaowei@zte.com.cn>

Bugfix: Failed to get the hardware info

The directory of userconfig has changed from
/home/opnfv/dovetail/dovetail/userconfig to /etc/dovetail/userconfig.

Change-Id: Id3e8b1f3e9299e9263a4adf3456b6733fdb62e11
Signed-off-by: xudan <xudan16@huawei.com>

Add process info to pod.yaml to specify the info of a special process

1. Many HA test cases try to kill special processes with their name.
2. Then they check corresponding openstack services and
   the status of processes' recovery.
3. For different SUTs, the names of the processes and the hosts' names
   may be different.
4. So there is a requirement for Dovetail tool to provide one way to
   allow users to specify all the infos about process name and its host name.
5. All process infos can be added into file DOVETAIL_HOME/user_config/pod.yaml
6. The infos include 'attack_process' and 'attack_host' for each HA test cases.
7. If not given in this file, will use Yardtsick default values.

JIRA: DOVETAIL-627

Change-Id: I83cee991f72a8685080ed562597c70d73002623a
Signed-off-by: xudan <xudan16@huawei.com>

Separate valid docker tags for functest and yardstick

Specifying separate valid docker tags for functest and yardstick for
input validation.

DOVETAIL-592

Change-Id: I3365cdbd9ab521bf1368750c3f34b6863b3f7ec8
Signed-off-by: Georg Kunz <georg.kunz@ericsson.com>

Bugfix: it crashes when check_tc_result returns None

The function 'check_tc_result' may return 'None'.
In this case it will throw an exception because of
https://github.com/opnfv/dovetail/blob/master/dovetail/run.py#L65

The exception is like
Traceback (most recent call last):
File "/usr/local/lib/python2.7/dist-packages/dovetail/run.py", line 339, in <module>
main()
File "/usr/local/lib/python2.7/dist-packages/click/core.py", line 716, in _call_
return self.main(*args, **kwargs)
File "/usr/local/lib/python2.7/dist-packages/click/core.py", line 696, in main
rv = self.invoke(ctx)
File "/usr/local/lib/python2.7/dist-packages/click/core.py", line 889, in invoke
return ctx.invoke(self.callback, **ctx.params)
File "/usr/local/lib/python2.7/dist-packages/click/core.py", line 534, in invoke
return callback(*args, **kwargs)
File "/usr/local/lib/python2.7/dist-packages/dovetail/run.py", line 304, in main
duration = run_test(testsuite_yaml, testarea, logger, kwargs)
File "/usr/local/lib/python2.7/dist-packages/dovetail/run.py", line 65, in run_test
if stop_on_fail['criteria'] == "FAIL" and kwargs['stop']:
TypeError: 'NoneType' object has no attribute '_getitem_'

JIRA: DOVETAIL-622

Change-Id: I9e612b380c3dfb148692074a3bf8eb31875213ac
Signed-off-by: xudan <xudan16@huawei.com>

simplify file existence check with os.path.isfile()

Change-Id: I89d15e18c588c27ab41596119d5288cba6e4e02d
Signed-off-by: SerenaFeng <feng.xiaowei@zte.com.cn>

leverage data_files to eliminate so many hardcoded abs_path_seekings

1. mv conf/ userconfig/ compliance/ patch to etc/
2. after installation etc/ will be put under /etc/dovetail
3. leveraging /etc/dovetail in coding

Change-Id: Icf9cb00ff7fc7cf35755f60d3e258b23e2c70839
Signed-off-by: SerenaFeng <feng.xiaowei@zte.com.cn>

Adding SDNVPN tempest test cases to proposed_tests suite

Adding the SDNVPN Tempest API test cases of the SDNVPN project to the
proposed_tests suite to allow for running these tests in the CI pipeline for
validating their suitability for inclusion in the OVP Euphrates release.

JIRA: DOVETAIL-608

Change-Id: Ic12db1584a2540a14979094c65fc128c6020ecea
Signed-off-by: Georg Kunz <georg.kunz@ericsson.com>

Remove Whitespace from CVP Docker README

Change-Id: Ic880258ef8ffbcbdcf3452419dd385227567a5a3
Signed-off-by: Trevor Bramwell <tbramwell@linuxfoundation.org>

Bugfix: Dovetail tool will crash when hosts.yaml file with incorrect format

If the hosts.yaml file is like,
—
hosts_info:
192.168.141.101:

it will raise an exception,
File "/usr/local/lib/python2.7/dist-packages/dovetail/utils/dovetail_utils.py",
line 227, in add_hosts_info
names=hostnames)
File "/usr/local/lib/python2.7/dist-packages/python_hosts/hosts.py",
line 54, in _init_
raise Exception('Address and Name(s) must be specified.')
Exception: Address and Name(s) must be specified.

If the hosts.yaml file is empty, it will crash with,
File "/usr/local/lib/python2.7/dist-packages/dovetail/container.py",
line 174, in create
if hosts_yaml['hosts_info']:
TypeError: 'NoneType' object has no attribute '_getitem_'

JIRA: DOVETAIL-621

Change-Id: I547928e514b3294c048379459c07df89879fbb03
Signed-off-by: xudan <xudan16@huawei.com>

Removing old INFO file

The INFO file has been replaced by the INFO.yaml file.

Change-Id: I818697134cbb380a318237fdf593d7b6bf95ec04
Signed-off-by: Georg Kunz <georg.kunz@ericsson.com>

Removal of Wenjing Chu from the list of committers

https://lists.opnfv.org/pipermail/opnfv-tech-discuss/2018-February/020497.html

Change-Id: Ic2b536551d919e9b66f41ba00dd6dc8b71d93f7b
Signed-off-by: Georg Kunz <georg.kunz@ericsson.com>

Update CVP Docker Compose Configuration

- Uses extra files config.env, vhost.env to hold environment variables
  for docker configuration.

- Provides samples for these config that can be copied and modified to
  fit deployment requirements.

- Updates the docker images to the newest releases.

Change-Id: Ibe9b8597edfb38940297433708497c244200d0af
Signed-off-by: Trevor Bramwell <tbramwell@linuxfoundation.org>

Adapt Bottlenecks Euphrates framework

Bottlenecks stress test needs some adaptions about Bottlenecks
Euphrates release.

JIRA: DOVETAIL-587

Change-Id: Ia447143c8f08924ac1b190ee0173f39e462c5dfa
Signed-off-by: xudan <xudan16@huawei.com>

Removal of Dave Neary from the list of committers

Change-Id: I06b1e53bca44f5486a64977edef8b0e53072c625
Signed-off-by: Georg Kunz <georg.kunz@ericsson.com>

Add Functest cloudify_ims test case into proposed_tests test suite

Add cloudify_ims test case into proposed_tests test suite.
Then this test case can be run by Dovetail on CI.

JIRA: DOVETAIL-603

Change-Id: I5ab832002388f0916e04beef9d630de2cb37df59
Signed-off-by: xudan <xudan16@huawei.com>

Update OVP logo and branding guide link

- Update the OPNFV Verified logo for OVP portal home page
- Update branding guide link in OVP portal left side navigation

Change-Id: I77ead3e68b34d30d55fd07f0e4a176c5ae71852e
Signed-off-by: Eddie Arrage <eddie.arrage@huawei.com>

Committer promotion Dan Xu and removal of Leo Wang

Contributions Dan Xu:
Dan Xu has been almost exclusively doing the development for the
Dovetail tool, CI integration, and the practical validation of test case
candidates.
https://gerrit.opnfv.org/gerrit/#/q/owner:%22Dan+Xu+%253Cxudan16%2540huawei.com%253E%22

Leo Wang has announced that he is stepping down as committer from the
project. Thank you for your contributions to the project.
https://lists.opnfv.org/pipermail/opnfv-tsc/2018-February/004130.html

Change-Id: I14032657b057bdd3da1f9c3514b3c27e34dbafc0
Signed-off-by: Georg Kunz <georg.kunz@ericsson.com>

Add 3 new HA test cases into proposed_tests test suite

Add 3 new HA test cases into proposed_tests test suite and running them on CI.
For the current 8 HA test cases and 3 other HA test cases plans to add,
do some adaptions for the Yardstick Euphrates release.
1. Don't need the bugfix patch anymore.
2. The data format has changed, and has done some adaptions.
3. For Yardstick Euphrates, if setting OS_INSECURE=True, it needs to set
   OS_CACERT=False
4. Test case tc011 needs a image and flavor to create the stack.

JIRA: DOVETAIL-614
JIRA: DOVETAIL-586

Change-Id: I9da8c8316246b9edee0d81ad18422ae6018becaf
Signed-off-by: xudan <xudan16@huawei.com>

Add a function to check the cacert file

1. Currently it won't pass the cacert file to other containers if the
   OS_AUTH_URL is http not https.
2. However, even though the OS_AUTH_URL is http, it still needs cacert file
   somewhere for Functest and Rally.
3. This problem is found on Fuel Euphrates.
4. Add a function to check whether the cacert file exists.
5. If exists, pass it to testing project containers.

JIRA: DOVETAIL-616

Change-Id: Ied7bcc72e8f1c738bbce32c18096ca13641d3cd7
Signed-off-by: xudan <xudan16@huawei.com>

Add Functest test case snaps_smoke into proposed_tests test suite

Add snaps_smoke into proposed_tests test suite.
Then this test case can be run by Dovetail on CI.

JIRA: DOVETAIL-596

Change-Id: I8fc4bb656bcac551ae4b693dbc4d817b665c6111
Signed-off-by: xudan <xudan16@huawei.com>

Add stop on failure logic and CLI option

- Improve test execution control by adding stop on failure flag
- Modify test check function to return value regardless of whether
report or local file option is employed
- Modify run test loop to check for failure after every test case
if stop flag set

Change-Id: I27a4f3aaaa8b8cb8c52eb3f092f52048980abb44
Signed-off-by: Eddie Arrage <eddie.arrage@huawei.com>

Auto Generated INFO.yaml file

INFO.yaml meant to be machine readable.
This file was auto generated from an ldap lookup
and your projects INFO file.

Meeting times are not currently filled out.
please ammend this patchset to complete

Going forward comitter promotions should be done
against this file.

PTLs:
Must be merged for you to gain delete access on
testresults.opnfv.org

If project_lead: is missing (my script could not parse)
please amend with same from commiters section eg:

project_lead: &opnfv_dovetail_ptl
    name: 'Lead Name'
    email: 'lead email'
    id: 'lead lfid'
    company: 'lead company'

Change-Id: Ie151ba96dd6b6c7d0d8e74e1462e35133a7c235f
Signed-off-by: agardner <agardner@linuxfoundation.org>

Add ablity to config EXTERNAL_NETWORK in env_config.sh

- EXTERNAL_NETWORK env variable can be explicitly set
- If set, the value will be used in Yardstack configuration
- Otherwise, previous method of using output from
'openstack network list' will still be employed

Change-Id: I9d8b4a69ff3f5093c034823cc95e92e151bfade6
Signed-off-by: Eddie Arrage <eddie.arrage@huawei.com>

Add default to --report CLI option

- Try new license header to deal with anteater failure

- Ability to specify 'default' as argument to --report, which
fetches host IP automatically and forms URL with 8000 as testapi
port
- This should not break the previous behavior of report option,
if default option not specified

Change-Id: I1e05bb52cf4fc211c59796d4e763e2e04177b406
Signed-off-by: Eddie Arrage <eddie.arrage@huawei.com>

Add all tempest smoke test cases into debug test suite

Add all tempest smoke test cases into debug test suite.
Then these test cases can be run by Dovetail on CI.
The results of CI will help to choose sub test cases from tempest smoke.

Here use tempest_custom to run all tempest smoke test cases because it can
support to run a custom defined sub test cases list.
for Functest tempest_smoke_serial, it always runs whole tempest smoke
test cases and can't be a subset.

JIRA: DOVETAIL-595

Change-Id: Id6358691d2bdef149f16775ce84dcfbf12f5e568
Signed-off-by: xudan <xudan16@huawei.com>

Adapt Functest E release Framework

Use opnfv/functest-restapi:euphrates.
Adapt Functest E framework for all Functest test cases.
1. All path of functest and sdnvpn has been changed.
2. Sdnvpn can clean resources by itself with E release, no need to clean again.
3. Add a file testcases.yaml to overwrite the file in functest container,
   then it can support to run tempest_custom i.e. ipv6 and tempest in OVP.

JIRA: DOVETAIL-584

Change-Id: I3ba9aa8e80becaa99cc89c8db4b39acbb89dfda4
Signed-off-by: xudan <xudan16@huawei.com>

Change dovetail tool version to be ovp.1.0.0

Change-Id: Ieb32dbda8fd16942312900cb99a27f734e57d91b
Signed-off-by: xudan <xudan16@huawei.com>

Update OVP workflow document

- Fix typos and word changes

- Remove editor's note
- Adopt rewording suggestions

- Add back toc that was inadvertently deleted

- Modify to reflect process used during beta and current OVP web portal
usage
- Remove reference to application form and use online participation form
instead. Add new fields required in participation form

Change-Id: Ia51b7674315467e01081015b3aa780ec03652ebd
Signed-off-by: Eddie Arrage <eddie.arrage@huawei.com>

Bugfix: Cannot change SUT version in the new uploaded test

If we upload a new test, we can't modify the SUT version.
The reason is we must predefine the model.

Change-Id: I8822b078c25a015dd4cc4becfdaae141aed66359
Signed-off-by: chenjiankun <chenjiankun1@huawei.com>

Align container tags and test suite configuration yaml for initial release

Change default container tag to be:
1. Functest ovp.1.0.0
2. testapi ovp.1.0.0

Add test suite ovp.1.0.0 and set it to be the default test suite.

Comment out bottlenecks CLI for initial release.

JIRA: DOVETAIL-580

Change-Id: I956e49e43fc7ba0176c14079b7228089db5dc108
Signed-off-by: xudan <xudan16@huawei.com>

Fix rendering issues with release notes

- Fix test case listing and another bullet

Change-Id: I46b0cff945176f464322f06737dc5c10f977598e
Signed-off-by: Eddie Arrage <eddie.arrage@huawei.com>

Add release notes for OVP 2018.01 / Dovetail 1.0.0

- Second pass
- Incorporated most comments
- Added missing links for participation form, governance guidelines,
terms & conditions
- Added links for test collection framework and testscope

- Initial draft of release notes

Change-Id: Ib805513011d917e4ecd0096e51f2d63c898d7142
Signed-off-by: Eddie Arrage <eddie.arrage@huawei.com>

Modify title and references in guidelines addendum doc

- Add 2018.01 to title to match reviewer guide, release notes, etc. as
this document may change per release
- Modify link for Governance Guidelines to reflect ratified doc on
opnfv.org domain

Change-Id: Ifdaa287b2919c44d408aa0ddd0b164b8ca4f406d
Signed-off-by: Eddie Arrage <eddie.arrage@huawei.com>

Remove a sub test case under dovetail.tempest.tc004

- Fixed vping, ha, sdnvpn test case names to match test specs
- Removed aliases from VIM operations and matched test case
name changes in patch https://gerrit.opnfv.org/gerrit/#/c/47691/4
- CVP to OVP name change

- A test case was removed from tempest tc004 because of the Tempest
version from 15 to 14. A reference to it was still in this doc.

Change-Id: If2e07e15b48ae6bca5ac0e262aead784cd67cd0f
Signed-off-by: Eddie Arrage <eddie.arrage@huawei.com>

[ovp-web] Modify OVP home page left-side navigation links

JIRA: DOVETAIL-579

Under the 'Governance & Workflow' left-side navigation category:
Modify 'Overview' link href from:
https://www.opnfv.org/compliance-verification-program-cvp
to:
https://www.opnfv.org/verified
Modify link text for 'Application Form' to 'Participation Form'
Modify link href for above from:
http://docs.opnfv.org/en/latest/submodules/dovetail/docs/testing/user/certificationworkflow/ApplicationForm.html
to:
https://na3.docusign.net/Member/PowerFormSigning.aspx?PowerFormId=e03e78d7-c32e-47d3-8292-350b747a0105

Add another link right below the 'Governance' link named 'Terms & Conditions'. The href for this links is:
https://www.opnfv.org/wp-content/uploads/sites/12/2018/01/OVP-Terms-and-Conditions-011918.pdf

Under the 'Training Resources' left-side navigation category:
Modify link text for 'Dovetail Test Tool User Guide' to 'OVP / Dovetail User Guide'
Modify link href for above from:
http://docs.opnfv.org/en/latest/submodules/dovetail/docs/testing/user/userguide/testing_guide.html
to:
http://docs.opnfv.org/en/stable-danube/submodules/dovetail/docs/testing/user/userguide/testing_guide.html

Modify 'Test Specifications' link href from:
http://docs.opnfv.org/en/latest/submodules/dovetail/docs/testing/user/testspecification/
to:
http://docs.opnfv.org/en/stable-danube/submodules/dovetail/docs/testing/user/testspecification/

Modify 'Dovetail CLI' link href from:
http://docs.opnfv.org/en/latest/submodules/dovetail/docs/testing/user/userguide/cli_reference.html
to:
http://docs.opnfv.org/en/stable-danube/submodules/dovetail/docs/testing/user/userguide/cli_reference.html

Modify 'OVP Guidelines Addendum' link href from:
http://docs.opnfv.org/en/latest/submodules/dovetail/docs/testing/user/cvpaddendum/index.html
to:
http://docs.opnfv.org/en/stable-danube/submodules/dovetail/docs/testing/user/ovpaddendum/index.html

Under the 'Release Information' left-side navigation category:

For the '2018.01 Release Notes' link, specify the href as
http://docs.opnfv.org/en/stable-danube/submodules/dovetail/docs/release/release-notes/index.html

Change-Id: Ia4d2cc9f4c3c9874b3c328658bb4bce643aa4c6c
Signed-off-by: chenjiankun <chenjiankun1@huawei.com>

Don't allow user change SUT version to None after submitting

We don't allow SUT version to be None when submitting test.
So we also not allow user to change it to Nonw after submitting.

In this patch, I also make the result table self-adaption.

Change-Id: I5c391592dcbdbd9eb8697e44d7bb5dda41431bd6
Signed-off-by: chenjiankun <chenjiankun1@huawei.com>

Update OVP home page text

JIRA: DOVETAIL-582

We received new text from OPNFV marketing for the home page of the OVP web portal. Text title and body are pasted below.

OPNFV is offering an OPNFV Verified Program (OVP) that verifies products and services with the "OPNFV Verified" mark.

The OPNFV Verified program demonstrates the readiness and availability of commercial products based on OPNFV. Verified products and services submitted by vendors and service providers become compliant by implementing explicitly defined interfaces, behaviors and key features while retaining distinct and value-added innovations across features and capabilities.
Navigate through the links in the left-hand menu to learn more and get started. You'll find step-step-instructions as well as a participation form. Use this portal to upload your test results when ready. Please send any questions to verified@opnfv.org.

Change-Id: I5f6dd67fc187d7557a0b4cce6dd7391479e66b2b
Signed-off-by: chenjiankun <chenjiankun1@huawei.com>