Add extra check to avoid double delete of instances

JIRA: FUNCTEST-748

Sometimes Openstack doesn't handle deletion in a timely manner which can lead
to openstack_clean to think there are leftovers from a previous test when in
fact the instances are pending deletion. This patch tries to better handle
this kind of situation that would otherwise result in a double free and
eventually <class 'nova.exception.InstanceInvalidState'> (HTTP 500)

Change-Id: Id0d9b61d8380e9b12fc7acd46cd84260714f4baf
Signed-off-by: Ciprian Barbu <ciprian.barbu@enea.com>

Merge "Remove exec_test.sh"

fix KeyError: 'clean_flag'

Change-Id: I26d24ed1db0668aba4c737058c82e2d655bbf818
Signed-off-by: Ryota MIBU <r-mibu@cq.jp.nec.com>

Merge "Add clean_flag to test cases"

unify TestAPI naming

TestAPI naming in documents is quite arbitrary, test api/testapi/Test
API/testApi/TestApi..., this patch aims to give it a formal name TestAPI

Change-Id: I9ea91418814352d3176df3f35598b6c5929b1dae
Signed-off-by: SerenaFeng <feng.xiaowei@zte.com.cn>

Remove exec_test.sh

After the patch https://gerrit.opnfv.org/gerrit/#/c/29403/
all the test cases in functest have been adapted to the
new framework using modules/classes.

This patch removes the need for having the script
exec_tests.sh which is not used any more by
the framework.

Change-Id: I7547c908d2eca60edf8c867db920c7da4f23d312
Signed-off-by: jose.lausuch <jose.lausuch@ericsson.com>

Merge "Adopt TestcaseBase for ONOS and ONOS SFC"

Merge "Restructure docs"

Adopt TestcaseBase for ONOS and ONOS SFC

1. Adopted TestcaseBase for ONOS and ONOS SFC
2. Removed the ONOS testcase from exec_test.sh

This patch is not meant to refactor the code which can
be improved in a later patch.

Change-Id: Ib8ac47742f598648c7575c9a8968477307629d42
Signed-off-by: helenyao <yaohelan@huawei.com>

Merge "Re-enable the tests for bgpvpn scenario wich use floating ips"

Restructure docs

DOCS directory restructured according to:
https://wiki.opnfv.org/display/DOC/Documentation+Guide

Now:
 - release
    - release notes

 - testing
    - developer
       - dev guide (this is to be released on docs.opnfv.org)
       - internship (docs about intern projects)

    - user (this is to be released on docs.opnfv.org)
       - config guide
       - user guide

Change-Id: I1851189601aac3c5989f19f99d779efe23dbf3d1
Signed-off-by: jose.lausuch <jose.lausuch@ericsson.com>

Merge "Fix bad log message when trying to create an existing sec group"

Merge "[odl-sfc] Add function to retrieve a resource from HEAT"

Merge "Bugfix: fix the CI failure for compass and joid"

Fix bad log message
when trying to create an existing sec group

JIRA: FUNCTEST-741

Change-Id: I049cdbd854bf5c4fbc490fb0fd52689800159da5
Signed-off-by: Morgan Richomme <morgan.richomme@orange.com>

Merge "Correct one reference url"

Bugfix: fix the CI failure for compass and joid

The bug was induced by [1]
1. the key try logic is added back
2. the logic of patch_config_file is updated as NoneType error was
thrown
3. refactored the patch_config_file to avoid calling the same function
twice on every type of POD. For non-aarch64, only calling the function
once is enough

[1] https://gerrit.opnfv.org/gerrit/#/c/28945/

Change-Id: I2e9fdc5ac3c04800cfc898ea654ff24e2bdeaef4
Signed-off-by: helenyao <yaohelan@huawei.com>

Merge "Update cirros image to latest version"

Merge "config_functest support muiltilevel query"

Merge "Add custom tempest test."

Correct one reference url

Change-Id: Ie788bcac905ffb84b70751a91996e3177f5577bf
Signed-off-by: rohitsakala <rohitsakala@gmail.com>

Add clean_flag to test cases

Some test cases such as tempest or those using SNAPS
have a built-in cleaup or teardown mechanism.
This patch helps to save some time by bypassing the
openstack snapshot and cleanup when running those
kind of tests cases.

Change-Id: I50e7a17937a813532b3756474158416d3e85b922
Signed-off-by: jose.lausuch <jose.lausuch@ericsson.com>

Update cirros image to latest version

Change-Id: I81424c3670b6a6e03a38da83dc93c998bf8c2f5e
Signed-off-by: Michael Polenchuk <mpolenchuk@mirantis.com>

[odl-sfc] Add function to retrieve a resource from HEAT

Introduces function to retrieve a HEAT client. For the moment, the
only wrapper function is the one to retrieve resources.

Added unit tests to cover the new functions.

python-heatclient is added to requirements.txt and test_requirements.txt.

Change-Id: I547138141c6aad611f2353599fb70a013c83058a
Signed-off-by: Juan Vidal <juan.vidal.allende@ericsson.com>

Bugfix: fix the cirros path for aarch64

Docker build failed due to the wrong path for downloading cirros images for
aarch64. The right path should be:
http://download.cirros-cloud.net/daily/20161201/cirros-d161201-aarch64-disk.img
http://download.cirros-cloud.net/daily/20161201/cirros-d161201-aarch64-initramfs
http://download.cirros-cloud.net/daily/20161201/cirros-d161201-aarch64-kernel

Change-Id: I3f1391995c10be54e178943919dabdcf5763edde
Signed-off-by: Linda Wang <wangwulin@huawei.com>

Merge "Add aarch64 custom config"

Merge "Add domino testcase"

Add aarch64 custom config

In order to run functest on an aarch64 POD, some custom configuration
is needed. Up until now that custom configuration was put on the arm
jenkins slave. With this commit it is integrated in functest project.

1. In order to identify if the POD is aarch64 or x86 function
   get_arch() from https://gerrit.opnfv.org/gerrit/#/c/29099
   is used

2. Changes to config_functest.yaml are made via a new patch file
   config_aarch64_patch.yaml which is applied for all scenarios.
   Function patch_config_file() is modified to be more generic. It
   now receives a file as parameter and merges any type of patch file

3. The aarch64 cirros images are downloaded into the data directory.
   Functest can be run from both an aarch64 or a x86 jenkins slave
   in order to test an aarch64 POD. So the images are downloded in both
   dockerfiles

4. Other custom config needs to be added to /etc/rally/rally.conf
   in the docker. The custom config is set in rally_aarch64_patch.conf
   and inserted in the needed file before the rally environment is
   set up

JIRA: ARMBAND-60

Change-Id: I8e460cdf02d297c259cbbd9c05e7983367fd2bb9
Signed-off-by: Cristina Pauna <cristina.pauna@enea.com>

Merge "Unit tests for vnf/ims."

Merge "Refactoring of cloudify_ims."

Merge "Add documentation of testapi internship"

Merge "Adding vRouter test codes using TestCasesBase"

Merge "Remove shell Healtcheck test case"

Re-enable the tests for bgpvpn scenario wich use floating ips

Change-Id: Ia468b9c9ab9f74a3255aa3647916d1018cef2902
Signed-off-by: jose.lausuch <jose.lausuch@ericsson.com>

Add custom tempest test.

Some users need to run a specific list of
tempest test cases. This patch allows them
to do that by running the command:

    functest testcase run tempest_custom

Change-Id: If8e7726b98c3a71398c7abdf80aea79f10653ebf
Signed-off-by: jose.lausuch <jose.lausuch@ericsson.com>

Merge "Bugfix:Added the adapter info for compass and joid"

Merge "Add Tempest Defcore test case"

Add Tempest Defcore test case

Refstack is the OpenStack project that provides the tooling
to run the approved specific tempest test cases (Defcore guidelines)
by the Interop working group and by the OpenStack board
for OpenStack certification purposes.
For more info: https://refstack.openstack.org/

This adds the possibility for a Functest user to run this list
of tempest test cases by just issuing the command:
    functest testcase run tempest_defcore

The test will be run on daily loops with the scenario nosdn-nofeature
on any installer.

Change-Id: I920b2a44cff418116008fdf514425e69dc959412
Signed-off-by: jose.lausuch <jose.lausuch@ericsson.com>

Merge "Integration of orchestra_ims test"

Merge "WIP: Cirros TestVM: Allow config of username/password"

Adding vRouter test codes using TestCasesBase

JIRA: FUNCTEST-530

1.setting "nosdn-nofeature" scinario in testcase.yaml.
1.adding process of setting result details for push DB
2.Delete of  define "vrouter_data" in config_functest.yaml.
3.modify of vrouter git tag's name  "stable".
4.modrify of testcase name "vyos_vrouter" In order to more specific.

Change-Id: I0602c01dbf9a5e71bf85943c2b5e40ef51269ffd
Signed-off-by: Hideyasu Hayashi <hideyasu.hayashi@okinawaopenlabs.org>

Integration of orchestra_ims test

JIRA: FUNCTEST-726

Change-Id: Ie6a35a817aa327a7e9143d93b5ea2582e99e0066
Signed-off-by: Morgan Richomme <morgan.richomme@orange.com>

Merge "Use new-style classes which inherit from object"

Bugfix:Added the adapter info for compass and joid

CI for compass and joid failed as there is no key defined in
installer_params.yaml

Change-Id: I8d17d36d854974c0751d3fd3bab4994205f786bb
Signed-off-by: helenyao <yaohelan@huawei.com>

Add domino testcase

Change-Id: I177820638c7b050764c5354cd7ed22a7ccf3acbc
Signed-off-by: Ulas Kozat <ulas.kozat@gmail.com>

Merge "Prepare env will exit when an error is raised"

Merge "[odl-sfc] Fix wait_for_vnf returning vnf_id on timeout"

Add documentation of testapi internship

JIRA: FUNCTEST-706

Change-Id: I485337c2010f1250f34dcffdca91c52793e274c5
Signed-off-by: rohitsakala <rohitsakala@gmail.com>

Use new-style classes which inherit from object

JIRA: FUNCTEST-707

Change-Id: Ieaa888375136eddbbe003a24b32bf09fd0f92923
Signed-off-by: Linda Wang <wangwulin@huawei.com>

WIP: Cirros TestVM: Allow config of username/password

With the recent changes in Cirros image default password, we
need to support configuring these credentials.

JIRA: ARMBAND-218

Change-Id: I5962ec2aeee4ffecefdd8b7e70bdb7ed88457553
Signed-off-by: Alexandru Avadanii <Alexandru.Avadanii@enea.com>

Remove shell Healtcheck test case

The healthcheck tier has grown thanks to the
adoption of SNAPs library. Now we have a SNAPs test
case that checks that creating a Network, a VM
and making sure it gets an IP from the DHCP agent
works. Basically, we are duplicating both test cases.

This patch removes the execution of the former test
without eliminating the code.

Change-Id: Iad6fec10fa1c247151c68313dc3760a55e511555
Signed-off-by: jose.lausuch <jose.lausuch@ericsson.com>

Merge "Restore Kingbird functest"

Prepare env will exit when an error is raised

JIRA: FUNCTEST-727

Change-Id: I4d8e24c0cb6272d92dc777dc82d56490948598db
Signed-off-by: helenyao <yaohelan@huawei.com>

Merge "Undo setting CI_DEBUG to true by default"

Unit tests for vnf/ims.

Change-Id: I12b17ee7ed03987473825e0705074f0430b820bb
Signed-off-by: ashishk1994 <ashishk.iiit@gmail.com>

Restore Kingbird functest

Kingbird functest was excluded from Functest due to python client
dependency conflict. But in Functest container, the kingbird was
installed only for tempest plugin descovery and execution of tempest
test cases. It's safe to restore kingbird installation in the Dockerfile
now.

The kingbird installation works after the functest container image
was built.

Change-Id: I44593dcf47dd1deed2f6a94b7e801230bae9b251
Signed-off-by: joehuang <joehuang@huawei.com>

Merge "Integrate BAROMETER feature test case"

Merge "Add deployment_handler printout to prepare env"

Integrate BAROMETER feature test case

Also, add a executor method in VNFBase
to allow re-write it for some cases
where the feature is another python
script instead of shell script.

Change-Id: Id734553dffe32fdc9a0befc3f4c0e29e5d56fc61
Signed-off-by: jose.lausuch <jose.lausuch@ericsson.com>

Add deployment_handler printout to prepare env

Example virtual deployment apex:
 http://paste.openstack.org/raw/599536/

Example CI POD:
 http://paste.openstack.org/raw/599537/

Change-Id: I0711b45a525bc074a9c05f0ea3a194b2db05f2d9
Signed-off-by: jose.lausuch <jose.lausuch@ericsson.com>

Fix neutron auth issue

Adding admin role to the new_user for the new tenant
It will fix this bug for other tests based on this class

JIRA: FUNCTEST-734

Change-Id: Ia3b8797fa391f528d24425a5b13c1b329cb992f4
Signed-off-by: boucherv <valentin.boucher@orange.com>

[odl-sfc] Fix wait_for_vnf returning vnf_id on timeout

If the VNF does not properly boot after timeout, wait_for_vnf
should return "None" to flag the error.

Also, refresh the VNF on every iteration.

Change-Id: I9ed7c399e689dfbace7c5c8914552e77bf45fc8f
Signed-off-by: Juan Vidal <juan.vidal.allende@ericsson.com>

Merge "[odl-sfc] Add function get_vnf and fix endless loop in get_vnf_id"

[odl-sfc] Add function get_vnf and fix endless loop in get_vnf_id

Change-Id: I1828242cec6449b36d09be21a62074b3c131af17
Signed-off-by: Juan Vidal <juan.vidal.allende@ericsson.com>

Refactoring of cloudify_ims.

Change the way of using few variables like vnf from object
to dictionary for consistency.

Change-Id: I5cf92ff16ba1296f223a60f85de4b815aadc8875
Signed-off-by: ashishk1994 <ashishk.iiit@gmail.com>

Merge "Remove cloudify_ims from ci daily loop"

Merge "Modifies check_os.sh to check services and cinder is optional"

Merge "[odl-sfc] Add timeout to get_vnf_id and create_vnf functions"

[odl-sfc] Add timeout to get_vnf_id and create_vnf functions

create_vnf function could end up in and endless loop if it is not able to
retrieve the VNF id. Also, a timeout could help to detect problems when
instantiation is too slow.

Change-Id: I21744338a73f122d0c7a8fbe699738b11a7e2b76
Signed-off-by: Juan Vidal <juan.vidal.allende@ericsson.com>

Undo setting CI_DEBUG to true by default

Change-Id: I24ca35ada7591e93413cdda1905ee01f77131889
Signed-off-by: Romanos Skiadas <rski@intracom-telecom.com>

Remove cloudify_ims from ci daily loop

JIRA: FUNCTEST-734

Change-Id: I018ba3b14d21b29935a16e1689015c01cb11ffd7
Signed-off-by: boucherv <valentin.boucher@orange.com>

Swap SNAPS repo from Cablelabs to OPNFV

Change-Id: Ib92804a8690b131c1d2ad1a6f6efcaf4428a5e6a
Signed-off-by: jose.lausuch <jose.lausuch@ericsson.com>

Modifies check_os.sh to check services and cinder is optional

This patch adds being able to detect if the service is enabled on the
target openstack system prior to checking if the corresponding openstack
command for that service works.  It also makes cinder optional, and
warns if that service is not up.  We don't need cinder for every
deployment type, for example: CSIT.

Change-Id: I9556acabbd16f3b13f74b496812a5742b9000153
Signed-off-by: Tim Rozet <trozet@redhat.com>

Fix flavor config and error log

JIRA: FUNCTEST-734

Change-Id: Ic124cfa68e1ba50c9dc098c14b17ed694eefb7cc
Signed-off-by: boucherv <valentin.boucher@orange.com>

Merge "Revert "Add deployment_handler printout to prepare env""

Revert "Add deployment_handler printout to prepare env"

This is causing some problems.
https://build.opnfv.org/ci/view/functest/job/functest-fuel-baremetal-daily-master/1121/console

This reverts commit 9886535d617d95e7d2c2f294e79a7cd994fcd685.

Change-Id: I8524dff5deea073f0975df1e712766620002523e
Signed-off-by: jose.lausuch <jose.lausuch@ericsson.com>

config_functest support muiltilevel query

Change-Id: I4b991e63b3eb21b7e8eec9fc40cdf082f715e238
Signed-off-by: SerenaFeng <feng.xiaowei@zte.com.cn>

Merge "[odl-sfc] Fix bug when getting the params for create_vnf"

Merge "[odl-sfc] Add symmetric option for sfc_create"

Merge "Add deployment_handler printout to prepare env"

[odl-sfc] Add symmetric option for sfc_create

Change-Id: Iead7767b936376c2f5b6c6a5584734ef074c1346
Signed-off-by: George Paraskevopoulos <geopar@intracom-telecom.com>

[odl-sfc] Fix bug when getting the params for create_vnf

Change-Id: Iac1cce36a2f4a8965545507b67584a42c5ef775a
Signed-off-by: George Paraskevopoulos <geopar@intracom-telecom.com>

Merge "Bugfix: update from security_scan to securityscanning"

Merge "Fix auth error"

Fix auth error

JIRA: FUNCTEST-734

Change-Id: I9e13b9b9459b9051981766fbf32126583a761656
Signed-off-by: boucherv <valentin.boucher@orange.com>

Bugfix: update from security_scan to securityscanning

JIRA: FUNCTEST-731

Security_scan results failed to be pushed to DB due to that in testapi
the project is named as securityscanning.

Change-Id: I2e0b21a41058bdcbefd1b62b0984d488d54341bb
Signed-off-by: Linda Wang <wangwulin@huawei.com>

Merge "Fix tempest multisite config"

Merge "Integration of NETREADY test case"

Integration of NETREADY test case

Change-Id: I523a05e0f0fbf5971ab7d10a177d793bcff60421
Signed-off-by: jose.lausuch <jose.lausuch@ericsson.com>

Add parameterized vnfd capabilities on vnf create

JIRA: SFC-73

We can pass parameters to vnfds when creating a vnf. We need this now to
specify the availability zone

Change-Id: I8d6533ca331361f1581059050aa773936b4dff66
Signed-off-by: George Paraskevopoulos <geopar@intracom-telecom.com>

Merge "update cloudify_ims case"

update cloudify_ims case

bug fixes
Provisional change of the ci loop var to daily for VNF testcase.

JIRA: FUNCTEST-710

Change-Id: I6dc8072b4e56c96473a2b09f1881b96024259db5
Signed-off-by: boucherv <valentin.boucher@orange.com>

Fix tempest multisite config

Add multisite parameters into tempest config file after the file have
been (re)configured by rally verifier.

JIRA: FUNCTEST-721

Change-Id: I95fd7e29b5a7d1d9f82e84e383eb23e8fa813d19
Signed-off-by: Juha Kosonen <juha.kosonen@nokia.com>

Merge "Releng environment in unit testing."

Merge "Put the Logger as Object oriented."

Add deployment_handler printout to prepare env

Example output: http://pastebin.com/raw/xWTe9tAY

Change-Id: Ib8100089318f807fb4d5d4fff2911179eb18216e
Signed-off-by: jose.lausuch <jose.lausuch@ericsson.com>

Merge "Limit the substitution of ' in env vars"

Merge "Fix config file name setting"

Merge changes from topic 'revert_write_to_file'

* changes:
  Add can_dump_request_to_file decorator
  Revert "write test results to a local file"

Limit the substitution of ' in env vars

Only ' located and the beginning or at the end of the string are
removed. It completes the first proposal [1].

[1] https://gerrit.opnfv.org/gerrit/#/c/28563/

Change-Id: Ic21cea4c6e98d92983f385c875c3e214411b5f2d
Signed-off-by: Cédric Ollivier <cedric.ollivier@orange.com>