Parse refstack_defcore results

JIRA: DOVETAIL-366
JIRA: FUNCTEST-758

Parse refstack_defcore results, including:
1. show number of tests passed, skipped and failed
2. record the detailed info about testcases passed, skipped and failed.

Change-Id: I355a907c5c9ea2739f845447144c62613ec3bb6a
Signed-off-by: Linda Wang <wangwulin@huawei.com>

Merge "refstack client integration"

refstack client integration

JIRA: DOVETAIL-366
JIRA: FUNCTEST-758

usage:
1,functest testcase run refstack_defcore, will run the
default testcases in defcore_201608.txt
2,cd <path>/functest/functest/opnfv_tests/openstack/refstack_client
  python refstack_client.py -c <tempest-conf-file-path> --testlist <testlist-path>

this has been worked with openstack-refstack experts, etc.
tested workedi.
result see http://paste.openstack.org/show/602173/

Change-Id: I1aaffea01dec9dc8d1c572885bdf516614a16894
Signed-off-by: MatthewLi <matthew.lijun@huawei.com>

bug fix: remove reference to ovno

ovno has no danube branch and is not used
clean the ovno from functest to avoid side effect
when producing danube functest docker file

Change-Id: I5347111fc90a04ca9018679b5578ca30ae33b2f2
Signed-off-by: Morgan Richomme <morgan.richomme@orange.com>

[snaps] Pass flavor metadata to smoke tests

Change-Id: I774d3625d35e3d264d609ba9aa7538a723923bcf
Signed-off-by: Michael Polenchuk <mpolenchuk@mirantis.com>

[tempest/defcore] Configure volume device name

Actually attach_detach_volume must be skipped because the device name
ain't reliable and that's using a hard-coded device name in config.
This test should just get the device info after the attach and use
that rather than the hard-coded config option in Tempest that ain't
likely to work - the test should have been written more dynamically.

However, set volume device name to "vdc" since "vdb" is used for config
drive when force_config_drive=True is in action.

Change-Id: Ic70de93a609df932c7749a94f71505e927df1b79
Signed-off-by: Michael Polenchuk <mpolenchuk@mirantis.com>

Merge "Remove raise exceptions"

Remove raise exceptions

until exceptions are better managed in abstraction
Currently it triggers an exit from the jenkins job
and prevent other tests to be run

Change-Id: Id3b18c1d6d3b786fc78456b3ad51963d2cbb2cc1
Signed-off-by: Morgan Richomme <morgan.richomme@orange.com>

Merge "cloudify_ims: fix error on account creation"

cloudify_ims: fix error on account creation

Change-Id: I43550b2062c69d7b4eb144057a90806f92328739
Signed-off-by: boucherv <valentin.boucher@orange.com>

Merge "Add extra check to avoid double delete of instances"

Merge "Exclude Doctor from Joid scnenarios"

Merge "cloudify_ims: fix sip public domain name"

cloudify_ims: fix sip public domain name

Change-Id: I25423cc3fbab54f81047fbebd0bc33895d826186
Signed-off-by: boucherv <valentin.boucher@orange.com>

Exclude Doctor from Joid scnenarios

Doctor feature not available for Joid on Danube

Change-Id: I1d39ff15a1fe003689828f6923b92c7e7c7d716f
Signed-off-by: Morgan Richomme <morgan.richomme@orange.com>

Merge "Unit tests added for openstack/tempest"

Change scenario for odl_netvirt tests to be os-odl_l3-nofeature

Change-Id: Ibf04adcaa0b14c4cdda8fba2ef2826a0c7f3b7d4
Signed-off-by: Jamo Luhrsen <jluhrsen@redhat.com>

Merge "Show verification details in tempest log"

Merge "Change the order of HealthCheck tests"

Merge "fix vnf deployment"

fix vnf deployment

Change-Id: If92c7d402b88f59367564f7279d426eb8f3b582a
Signed-off-by: boucherv <valentin.boucher@orange.com>

Change the order of HealthCheck tests

currently the snaps healthcheck (dhcp) is tried first
it should be connectivity, api, dhcp

the reporting looks for scenario based on connectivity

testing dhcp first => scenarios ok on connectivy but
failed with DHCP are not considered, which could be
misleading

Change-Id: I0eb34b1f5ba163540281e5ef0dcb12c8cefa88bd
Signed-off-by: Morgan Richomme <morgan.richomme@orange.com>

Merge "Update tempest to the latest 15.0.0"

Show verification details in tempest log

JIRA: FUNCTEST-747

Change-Id: I85f15188315136cc44876914325e3693f7973af8
Signed-off-by: Juha Kosonen <juha.kosonen@nokia.com>

Merge "Introduce smoke tests for FDS"

Introduce smoke tests for FDS

Added:
 - fds repository to docker file
 - fds test to smoke tier in testcases
 - config values for fds tests

A new robot var OS_AUTH_URL is defined as expected by FDS robot files.
Method args switch from Keystone IP to OS_AUTH_URL which is more
precised. The argument parsing is changed too.

Co-Authored-By: Cédric Ollivier <cedric.ollivier@orange.com>
Change-Id: Ife27ab4a83f0110cbdcf7c9d47d9b3fb4c0ec705
Signed-off-by: Tomas Cechvala <tcechval@cisco.com>
Signed-off-by: Cédric Ollivier <cedric.ollivier@orange.com>

Merge "Revert "Change barometer target log file""

Revert "Change barometer target log file"

This reverts commit 044de9eb0c74fb2ef9cb34b6487bf0536412058d.

Change-Id: I9179f4b5ce866456e8ec85cb8a730a5d7f2af16e
Signed-off-by: Morgan Richomme <morgan.richomme@orange.com>

Merge "Change barometer target log file"

Merge "Improve error log into vnf test step"

Merge "Optimize releng cloning when running unit tests"

Optimize releng cloning when running unit tests

not need to clone full releng
depth 1 is enough
do not go out of workspace anymore..never...

Change-Id: I1d2dbc30bec6c168ef7ddf3327cb00fff4056aa1
Signed-off-by: Morgan Richomme <morgan.richomme@orange.com>

Change barometer target log file

Change-Id: Id903683b12366c5a2f486c8b7d7ce6977d4448e0
Signed-off-by: Morgan Richomme <morgan.richomme@orange.com>

Merge "Exclude SNAPS smoke for lxd scenario"

Install kingbird verifier extension for tempest

JIRA: FUNCTEST-742

Change-Id: I5de8ed22932250c542751e38eae3185c4a263cd0
Signed-off-by: Juha Kosonen <juha.kosonen@nokia.com>

Improve error log into vnf test step

Change-Id: Ied92224bc80ab4e02611e7b1f4bf33f276914e89
Signed-off-by: boucherv <valentin.boucher@orange.com>

Aarch64 adaption in functest for snaps smoke

This commit sends the aarch64 custom config to the snaps integration
tests. Since these are the same as the snaps healthcheck, no additional
values were added to config_aarch64_patch.yaml

Change-Id: I5f2302a3c65d47ec8fca661888268489e2c6ba35
Signed-off-by: Cristina Pauna <cristina.pauna@enea.com>

Adding Labels

Labels serve as anchors/ refs when referenced from other documents
This patch adds labels to docs/*/*/index.rst

Change-Id: Iaa339f0f8b2efbde286b173ae6cf7e92cddab115
Signed-off-by: ShubhamRathi <shubhamiiitbackup@gmail.com>

Exclude SNAPS smoke for lxd scenario

SNAPS healthcheck is already excluded due to the
use of QCOW2 images, not compatible with lxd
scenarios

2 JIRAs have been cretaed to adapt the SNAPS cases
to lxd in Euphrates
https://jira.opnfv.org/browse/FUNCTEST-752
https://jira.opnfv.org/browse/FUNCTEST-753

Additionnal cleaning done on testcases.yaml
- remove juju_epc case (no one from OAI available
for Danube)
- remove orchestra (as standalone test case of the
MANO stack, postponed to Euphrates)
- comment aaa (empty sample used to illustrate
the VNF abstraction but not completed for Danube)

Change-Id: Ibad6cad4c92ee9897b6665b29c09b62cb1986aae
Signed-off-by: Morgan Richomme <morgan.richomme@orange.com>

Added support for scenario-based flavor creation.

As certain scenarios such as, DPDK, FDIO, and OVS use cases
require special 'hw:' settings to flavors, SNAPS-OO has just
implemented the ability to take in these configuration values
to apply to its integration tests. This change checks the
scenario and should be configuring the flavor metadata accordingly.

Also see SNAPS-38

Used this as an opportunity to refactor the SNAPS test classes as well...

JIRA: FUNCTEST-746

Change-Id: I63535776acde088a7461f602966a324b6207592d
Signed-off-by: spisarski <s.pisarski@cablelabs.com>

Modification of repo path for vrouter

JIRA: FUNCTEST-750

 1.Modification of repo path for vrouter in config_functest.yaml

Change-Id: I798e27df9667c3dea55dddba51c53f6ac0d13381
Signed-off-by: Hideyasu Hayashi <hideyasu.hayashi@okinawaopenlabs.org>

Bugfix: modify test_prepare_env to make verify job successful

Functest verify job failed due to that test_prepare_env.py mistook one
function of ft_utils.execute_command_raise.

Change-Id: Ib3b8ca807308bf5c6d250e7debb4c9e1e106e3d1
Signed-off-by: Linda Wang <wangwulin@huawei.com>

Merge "delete ft_constants and file functest_constants.py"

Merge "Bugfix: make security_scan authorized"

Merge "Aarch64 adaption in functest for snaps healthcheck"

delete ft_constants and file functest_constants.py

delete no longer used ft_constants in run_test.py
substitute ft_constants with CONST in foundation.py and remove useless
str()
finally delete not-used file functest_constants.py

Change-Id: I109a5409e501b610f41aae7d75c55ca745a3d4c1
Signed-off-by: SerenaFeng <feng.xiaowei@zte.com.cn>

Merge "Added Unit Tests for ci/prepare_env"

Aarch64 adaption in functest for snaps healthcheck

This commit is half of the fix for adapting the snaps healthcheck
to run on an aarch64 POD. The fix consists in reading the custom
parameters and passing them to the snaps test

The snaps part that uses this info is
https://gerrit.opnfv.org/gerrit/29853

JIRA: ARMBAND-222

Change-Id: I2027f2ef3afe0caddef781771f2190fc173aff8c
Signed-off-by: Cristina Pauna <cristina.pauna@enea.com>

Update tempest to the latest 15.0.0

Change-Id: I2bf68a31e581b2a80785f1b13380a28d5bf84d80
Signed-off-by: Michael Polenchuk <mpolenchuk@mirantis.com>

[cloudify_ims] New requirement for ims testing

Change-Id: If7b656007ae0c8aa47fb12b10c49517fc0044750
Signed-off-by: boucherv <valentin.boucher@orange.com>

Merge "Integration of orchestra project"

Add extra check to avoid double delete of instances

JIRA: FUNCTEST-748

Sometimes Openstack doesn't handle deletion in a timely manner which can lead
to openstack_clean to think there are leftovers from a previous test when in
fact the instances are pending deletion. This patch tries to better handle
this kind of situation that would otherwise result in a double free and
eventually <class 'nova.exception.InstanceInvalidState'> (HTTP 500)

Change-Id: Id0d9b61d8380e9b12fc7acd46cd84260714f4baf
Signed-off-by: Ciprian Barbu <ciprian.barbu@enea.com>

Bugfix: make security_scan authorized

JIRA: FUNCTEST-732

"OS_AUTH_URL" in the file "stackrc" in undercloud is needed when
trying to obtain controller and compute nodes of openstack.
Thus, when running the security_scan.py, source stackrc is needed.
This patch will make security_scan work in CI until the patch in
securityscanning repo is merged:
https://gerrit.opnfv.org/gerrit/#/c/29705/

Change-Id: I379c3a71522973887d1ea698ab1df761354e6c36
Signed-off-by: Linda Wang <wangwulin@huawei.com>

Merge "Use python setup.py develop to install repos"

Merge "Remove exec_test.sh"

fix KeyError: 'clean_flag'

Change-Id: I26d24ed1db0668aba4c737058c82e2d655bbf818
Signed-off-by: Ryota MIBU <r-mibu@cq.jp.nec.com>

Merge "Add clean_flag to test cases"

unify TestAPI naming

TestAPI naming in documents is quite arbitrary, test api/testapi/Test
API/testApi/TestApi..., this patch aims to give it a formal name TestAPI

Change-Id: I9ea91418814352d3176df3f35598b6c5929b1dae
Signed-off-by: SerenaFeng <feng.xiaowei@zte.com.cn>

Integration of orchestra project

JIRA: FUNCTEST-726

Change-Id: If53e11136ccfacad9e9827e1c0397304acfdd7b2
Signed-off-by: Michael Pauls <michael.pauls@fokus.fraunhofer.de>

Remove exec_test.sh

After the patch https://gerrit.opnfv.org/gerrit/#/c/29403/
all the test cases in functest have been adapted to the
new framework using modules/classes.

This patch removes the need for having the script
exec_tests.sh which is not used any more by
the framework.

Change-Id: I7547c908d2eca60edf8c867db920c7da4f23d312
Signed-off-by: jose.lausuch <jose.lausuch@ericsson.com>

Merge "Adopt TestcaseBase for ONOS and ONOS SFC"

Merge "Restructure docs"

Adopt TestcaseBase for ONOS and ONOS SFC

1. Adopted TestcaseBase for ONOS and ONOS SFC
2. Removed the ONOS testcase from exec_test.sh

This patch is not meant to refactor the code which can
be improved in a later patch.

Change-Id: Ib8ac47742f598648c7575c9a8968477307629d42
Signed-off-by: helenyao <yaohelan@huawei.com>

Unit tests added for openstack/tempest

_parse_verification_id method is removed
as it is not used anywhere

Change-Id: Ia2bc75ffbc2527b04cbe2428e2a3822803bde215
Signed-off-by: ashishk1994 <ashishk.iiit@gmail.com>

Added Unit Tests for ci/prepare_env

JIRA: FUNCTEST-663

Change-Id: Ie240b5f24d11e3a6079cafd260d9d48ed36d3d0a
Signed-off-by: ashishk1994 <ashishk.iiit@gmail.com>

Merge "Re-enable the tests for bgpvpn scenario wich use floating ips"

Restructure docs

DOCS directory restructured according to:
https://wiki.opnfv.org/display/DOC/Documentation+Guide

Now:
 - release
    - release notes

 - testing
    - developer
       - dev guide (this is to be released on docs.opnfv.org)
       - internship (docs about intern projects)

    - user (this is to be released on docs.opnfv.org)
       - config guide
       - user guide

Change-Id: I1851189601aac3c5989f19f99d779efe23dbf3d1
Signed-off-by: jose.lausuch <jose.lausuch@ericsson.com>

Merge "Fix bad log message when trying to create an existing sec group"

Merge "[odl-sfc] Add function to retrieve a resource from HEAT"

Merge "Bugfix: fix the CI failure for compass and joid"

Fix bad log message
when trying to create an existing sec group

JIRA: FUNCTEST-741

Change-Id: I049cdbd854bf5c4fbc490fb0fd52689800159da5
Signed-off-by: Morgan Richomme <morgan.richomme@orange.com>

Merge "Correct one reference url"

Bugfix: fix the CI failure for compass and joid

The bug was induced by [1]
1. the key try logic is added back
2. the logic of patch_config_file is updated as NoneType error was
thrown
3. refactored the patch_config_file to avoid calling the same function
twice on every type of POD. For non-aarch64, only calling the function
once is enough

[1] https://gerrit.opnfv.org/gerrit/#/c/28945/

Change-Id: I2e9fdc5ac3c04800cfc898ea654ff24e2bdeaef4
Signed-off-by: helenyao <yaohelan@huawei.com>

Merge "Update cirros image to latest version"

Merge "config_functest support muiltilevel query"

Merge "Add custom tempest test."

Correct one reference url

Change-Id: Ie788bcac905ffb84b70751a91996e3177f5577bf
Signed-off-by: rohitsakala <rohitsakala@gmail.com>

Add clean_flag to test cases

Some test cases such as tempest or those using SNAPS
have a built-in cleaup or teardown mechanism.
This patch helps to save some time by bypassing the
openstack snapshot and cleanup when running those
kind of tests cases.

Change-Id: I50e7a17937a813532b3756474158416d3e85b922
Signed-off-by: jose.lausuch <jose.lausuch@ericsson.com>

Update cirros image to latest version

Change-Id: I81424c3670b6a6e03a38da83dc93c998bf8c2f5e
Signed-off-by: Michael Polenchuk <mpolenchuk@mirantis.com>

Use python setup.py develop to install repos

This has the benefit that the repos installed in /usr/share are
exactly the same ones as in repos/, which makes development easier.

Change-Id: Iaba28116b9b291ea8d75c99771f57739e85bc20b
Signed-off-by: Romanos Skiadas <rski@intracom-telecom.com>

[odl-sfc] Add function to retrieve a resource from HEAT

Introduces function to retrieve a HEAT client. For the moment, the
only wrapper function is the one to retrieve resources.

Added unit tests to cover the new functions.

python-heatclient is added to requirements.txt and test_requirements.txt.

Change-Id: I547138141c6aad611f2353599fb70a013c83058a
Signed-off-by: Juan Vidal <juan.vidal.allende@ericsson.com>

Bugfix: fix the cirros path for aarch64

Docker build failed due to the wrong path for downloading cirros images for
aarch64. The right path should be:
http://download.cirros-cloud.net/daily/20161201/cirros-d161201-aarch64-disk.img
http://download.cirros-cloud.net/daily/20161201/cirros-d161201-aarch64-initramfs
http://download.cirros-cloud.net/daily/20161201/cirros-d161201-aarch64-kernel

Change-Id: I3f1391995c10be54e178943919dabdcf5763edde
Signed-off-by: Linda Wang <wangwulin@huawei.com>

Merge "Add aarch64 custom config"

Merge "Add domino testcase"

Add aarch64 custom config

In order to run functest on an aarch64 POD, some custom configuration
is needed. Up until now that custom configuration was put on the arm
jenkins slave. With this commit it is integrated in functest project.

1. In order to identify if the POD is aarch64 or x86 function
   get_arch() from https://gerrit.opnfv.org/gerrit/#/c/29099
   is used

2. Changes to config_functest.yaml are made via a new patch file
   config_aarch64_patch.yaml which is applied for all scenarios.
   Function patch_config_file() is modified to be more generic. It
   now receives a file as parameter and merges any type of patch file

3. The aarch64 cirros images are downloaded into the data directory.
   Functest can be run from both an aarch64 or a x86 jenkins slave
   in order to test an aarch64 POD. So the images are downloded in both
   dockerfiles

4. Other custom config needs to be added to /etc/rally/rally.conf
   in the docker. The custom config is set in rally_aarch64_patch.conf
   and inserted in the needed file before the rally environment is
   set up

JIRA: ARMBAND-60

Change-Id: I8e460cdf02d297c259cbbd9c05e7983367fd2bb9
Signed-off-by: Cristina Pauna <cristina.pauna@enea.com>

Merge "Unit tests for vnf/ims."

Merge "Refactoring of cloudify_ims."

Merge "Add documentation of testapi internship"

Merge "Adding vRouter test codes using TestCasesBase"

Merge "Remove shell Healtcheck test case"

Re-enable the tests for bgpvpn scenario wich use floating ips

Change-Id: Ia468b9c9ab9f74a3255aa3647916d1018cef2902
Signed-off-by: jose.lausuch <jose.lausuch@ericsson.com>

Add custom tempest test.

Some users need to run a specific list of
tempest test cases. This patch allows them
to do that by running the command:

    functest testcase run tempest_custom

Change-Id: If8e7726b98c3a71398c7abdf80aea79f10653ebf
Signed-off-by: jose.lausuch <jose.lausuch@ericsson.com>

Merge "Bugfix:Added the adapter info for compass and joid"

Merge "Add Tempest Defcore test case"

Add Tempest Defcore test case

Refstack is the OpenStack project that provides the tooling
to run the approved specific tempest test cases (Defcore guidelines)
by the Interop working group and by the OpenStack board
for OpenStack certification purposes.
For more info: https://refstack.openstack.org/

This adds the possibility for a Functest user to run this list
of tempest test cases by just issuing the command:
    functest testcase run tempest_defcore

The test will be run on daily loops with the scenario nosdn-nofeature
on any installer.

Change-Id: I920b2a44cff418116008fdf514425e69dc959412
Signed-off-by: jose.lausuch <jose.lausuch@ericsson.com>

Merge "Integration of orchestra_ims test"

Merge "WIP: Cirros TestVM: Allow config of username/password"

Adding vRouter test codes using TestCasesBase

JIRA: FUNCTEST-530

1.setting "nosdn-nofeature" scinario in testcase.yaml.
1.adding process of setting result details for push DB
2.Delete of  define "vrouter_data" in config_functest.yaml.
3.modify of vrouter git tag's name  "stable".
4.modrify of testcase name "vyos_vrouter" In order to more specific.

Change-Id: I0602c01dbf9a5e71bf85943c2b5e40ef51269ffd
Signed-off-by: Hideyasu Hayashi <hideyasu.hayashi@okinawaopenlabs.org>

Integration of orchestra_ims test

JIRA: FUNCTEST-726

Change-Id: Ie6a35a817aa327a7e9143d93b5ea2582e99e0066
Signed-off-by: Morgan Richomme <morgan.richomme@orange.com>

Merge "Use new-style classes which inherit from object"