unify testcases.yaml obtain process

hardcoded "''FUNCTEST_REPO + "/ci/testcases.yaml"''' appears wherever
testcases.yaml is needed, abstract a method to provide unified interface

JIRA: FUNCTEST-449

Change-Id: Ida8e3d90926d3e2245883a29f577ecb121bd5d6c
Signed-off-by: SerenaFeng <feng.xiaowei@zte.com.cn>

Release note: add restriction for joid/domino

JIRA: FUNCTEST-436

Change-Id: I44fb50a2ef58095aff54f03b837bf456850f3057
Signed-off-by: Morgan Richomme <morgan.richomme@orange.com>

disable test case does not make sense for LXD.

This patch will disable the test cases which does not make sense
to run on LXD deployments.

Change-Id: I683b3714aa5af3c750ca57fab9fceff907b7d646
Signed-off-by: Narinder Gupta <narinder.gupta@canonical.com>

Merge "update fuel ref in tacker setup script"

Exclude healthcheck from lxd scenarios

JIRA: FUNCTEST-442

Change-Id: I1f6888dbddebf28af4b565ca87d9791a21cd4d7e
Signed-off-by: Morgan Richomme <morgan.richomme@orange.com>

update fuel ref in tacker setup script

Since the poc script is fixed it's fuel commit hash in the setup
script have to be updated to select the fixed poc script.

Change-Id: I1fd22e4dc216fd2889adea0c9889df1d4a1bf476
Signed-off-by: Ferenc Cserepkei <ferenc.cserepkei@ericsson.com>

Allow realtime Jenkins' console output

Change-Id: I6005000762eb6e7bb7e40ccaea35004a07b47aa1
Signed-off-by: Cédric Ollivier <cedric.ollivier@orange.com>

Force stdin, stdout and stderr to be totally unbuffered

It protects against mixed logs as lots of python scripts directly call
print which doesn't flush stdout as opposed to log.info(). This
requirement is induced by subprocess.Popen() initiated by run_tests.py.

The following programs could switch to logging instead of print [1]

[1] $ find . -name "*.py" |xargs grep -v ^[[:space:]]*# \
        |grep \ print\  |cut -d: -f 1 |sort -u
./testcases/Controllers/ODL/OpenDaylightTesting.py
./testcases/Controllers/ONOS/Sfc/Sfc_fun.py
./testcases/Controllers/ONOS/Sfc/Sfc.py
./testcases/Controllers/ONOS/Teston/adapters/client.py
./testcases/Controllers/ONOS/Teston/adapters/connection.py
./testcases/Controllers/ONOS/Teston/adapters/environment.py
./testcases/Controllers/ONOS/Teston/adapters/foundation.py
./testcases/OpenStack/vPing/vping_util.py
./testcases/security_scan/connect.py
./utils/functest_utils.py
./utils/functest_vacation.py
./utils/openstack_clean.py

JIRA: FUNCTEST-441

Change-Id: I7e9a888507f10352be7e85abd7f27dba4b1a7b53
Signed-off-by: Cédric Ollivier <cedric.ollivier@orange.com>

Merge "Stop hard-coding db url"

Merge "Flush stdout as it can be redirected to log"

Exclude floating-ip related tempest tests to blacklist for bgpvpn scenario

Change-Id: I7115018e64a2413209313b9a432d3d1b59e841d1
Signed-off-by: jose.lausuch <jose.lausuch@ericsson.com>

Stop hard-coding db url

Change-Id: I587ac6d210135e7124ba006a977a675a4d38b518
Signed-off-by: Cédric Ollivier <cedric.ollivier@orange.com>

Flush stdout as it can be redirected to log

It avoids mixed logs in Jenkins' console by flushing every message
printed by the forked programs as logger.info() does.
It must be complete by refactoring logger management in util functions
[1] and by preventing output buffering in forked programs.

[1] https://jira.opnfv.org/browse/FUNCTEST-428

JIRA: FUNCTEST-441

Change-Id: Id8da814d79ea6b1e6b91b49e23a85c3802e11515
Signed-off-by: Cédric Ollivier <cedric.ollivier@orange.com>

Merge "Set env vars as mandatory to push to DB"

Merge "Update Release note"

Update Release note

JIRA: FUNCTEST-436

Change-Id: I3cbf6b276494c77afb10802af6735647ea6e62d5
Signed-off-by: Morgan Richomme <morgan.richomme@orange.com>

Merge "Review dev guide"

Review dev guide

JIRA: FUNCTEST-433

Change-Id: Ic141a5b74d9b3afc165e1f1f65f3dc1b05d77f4e
Signed-off-by: Morgan Richomme <morgan.richomme@orange.com>

Set env vars as mandatory to push to DB

Now env vars are mandatory in push_results_to_db. It avoids testing
programs to check them even if they are useless from their points of
view.
The related getters aren't removed to help debugging via
logger_test_results which could be run without report.

Change-Id: Iadb94319529f5ec4230fb62042511948183b93ed
Signed-off-by: Cédric Ollivier <cedric.ollivier@orange.com>

Merge "configuration guide review"

configuration guide review

JIRA: FUNCTEST-435

Change-Id: I5b18f1223a5892d084c761f174ac5f713ceed476
Signed-off-by: Morgan Richomme <morgan.richomme@orange.com>

refactor create shared network process to eliminate reduplicate

Some places shared network is created through create_network_full first,
then update it to shared, abstract a uniformed method to eliminate reduplicate

JIRA: FUNCTEST-437

Change-Id: I13c20ab061323188c5eb3b8c861674df38083c62
Signed-off-by: SerenaFeng <feng.xiaowei@zte.com.cn>

Merge "refactor create or get image process to eliminate reduplicate"

Merge "Stop calling exec_test.sh in the middle of python scripts"

Merge "[Fuel] Skip test_server_basic_ops tempest test"

refactor create or get image process to eliminate reduplicate

Some places when create image is referred, they check if image exist,
if exist use it directly, else create a new one.
Abstract a method to integrate the process

JIRA: FUNCTEST-432

Change-Id: I83d1112aa5cb0d3cdfab92fd49cd5f2c1cceff82
Signed-off-by: SerenaFeng <feng.xiaowei@zte.com.cn>

Stop calling exec_test.sh in the middle of python scripts

Now run_tests.py calls directly OpenDaylightTesting.functest_run().
It mainly reads env vars as exec_test.sh does.

Change-Id: Ibb44a7ca67e9218d34d13b8dd539e772902fe5b8
Signed-off-by: Cédric Ollivier <cedric.ollivier@orange.com>

Use by default the default ODL web port

Change-Id: I7580f02dd5b2db6cf06690ef0163768ea59079fe
Signed-off-by: Cédric Ollivier <cedric.ollivier@orange.com>

Fixing commit f1054f8f

fix missed the apt-get action

Change-Id: Iac94576a2f712133eee92e4b5460f85d59e90e94
Signed-off-by: Ferenc Cserepkei <ferenc.cserepkei@ericsson.com>

Merge "Included correct links (Colorado) to Doctor/Promise user guides"

Included correct links (Colorado) to Doctor/Promise user guides

Change-Id: I9f6a3d806407f088bd97826c978417d23b18613a
Signed-off-by: Bertrand Souville <souville@docomolab-euro.com>

[SFC] Fixing CI

The fix https://gerrit.opnfv.org/gerrit/#/c/19351 will need
more time for dicussion. In the meanwhile we can use this
one so that CI does not break anymore.

Change-Id: Icbd54200bd62e5019c2a556699ceb41afdb229ca
Signed-off-by: Nikolas Hermanns <nikolas.hermanns@ericsson.com>

Merge "Avoid duplicating logs in run_tests.py"

Merge "when create/get/update failed return None rather than False"

Merge "delete useless image_exists in vping"

Avoid duplicating logs in run_tests.py

When run_tests.py sets logger as execute_command arg, logs are
duplicated in functest.log and not shown in console (as every DEBUG
message). As logger is mainly managed by the python scripts in charge
of testing, it can be safely removed here.
stderr is also redirected to stdout in execute_command to print
possible relevant data.

JIRA: FUNCTEST-431

Change-Id: Ie77544b4679e12e0a0ac7f5e5989d86862fe106b
Signed-off-by: Cédric Ollivier <cedric.ollivier@orange.com>

when create/get/update failed return None rather than False

In openstack_util.py, when create/get/update network or other resources failed,
False is returned, which is incompatible with success return value such as id, network_nic.

JIRA: FUNCTEST-427

Change-Id: Id2f55d8524e5aff150ba6bfb799085377a63baa4
Signed-off-by: SerenaFeng <feng.xiaowei@zte.com.cn>

Enable security scan for apex scenarios

Change-Id: I6c2925237d7ae437f49d60d37ef906ed8029eb03
Signed-off-by: vitikkan <viktor.tikkanen@nokia.com>

[Fuel] Skip test_server_basic_ops tempest test

Skip TestServerBasicOps which fails when deleting server
and floating ip almost at the same time.

JIRA: FUEL-173
JIRA: FUEL-176
Change-Id: I24f3397096757028bed9d32d6353aa689e8eaa9a
Signed-off-by: Michael Polenchuk <mpolenchuk@mirantis.com>

Merge "refactor push_result_to_db print thing"

refactor push_result_to_db print thing

when Exceptions happen, the print code is too difficult
to understand and maintain, modify to make it clear

jira: FUNCTEST-425

Change-Id: Ie12af989e711df3791167955642f2edf1164b146
Signed-off-by: SerenaFeng <feng.xiaowei@zte.com.cn>

Create tempest resources before generating tempest.conf

During generating tempest.conf file rally tries to download
cirros image from the internet if no suitable images exist in
the configuration. This change ensures that cirros image is
created before generating tempest.conf file.

JIRA: FUNCTEST-195

Change-Id: I9e2df8af40bd02db9b78b8b6b730b4f4168a8b2d
Signed-off-by: vitikkan <viktor.tikkanen@nokia.com>

Merge "doctor test support fuel installer"

Merge "Add logger to push_results_to_db args"

Merge "Point tempest to stable 12.1.0"

Add logger to push_results_to_db args

It conforms to the current implementation of functest_utils

Change-Id: I50fa05fbf81a7c76cf4a6e3ef906fffe8aec15bf
Signed-off-by: Cédric Ollivier <cedric.ollivier@orange.com>

delete useless image_exists in vping

In rally, image_exists is used to decide whether the image
resource should be cleaned or not. But unlike rally,
image_exists in vping is only assigned but not never be actually used.

JIRA: FUNCTEST-426

Change-Id: Id2089dd2a9734ba957cc1c80d4dc31bc27907b0a
Signed-off-by: SerenaFeng <feng.xiaowei@zte.com.cn>

doctor test support fuel installer

Change-Id: I9229d4de823568bfefd4f2c1ab5c5c1a1ded6d2c
Signed-off-by: dongwenjuan <dong.wenjuan@zte.com.cn>

Fix typos in OpenDaylightTesting

Change-Id: Ia70c1db358b727a910a38b679de0e3c6febdb0cd
Signed-off-by: Cédric Ollivier <cedric.ollivier@orange.com>

Mend create_image() function

Change-Id: I91681736817f881ca53e5124328bd4399aa54740
Signed-off-by: Michael Polenchuk <mpolenchuk@mirantis.com>

Merge changes from topics 'dont_open_twice', 'add_logs', 'manage_return_codes'

* changes:
  Avoid opening tmp files twice
  Add logs (info)
  Improve errors and status codes management

Merge "bugfix: push_result_to_db exception show"

Avoid opening tmp files twice

It avoids opening stdout.txt twice and removes it at the end.

Change-Id: I7e006b52f49dd32543676259e0a1be2473670487
Signed-off-by: Cédric Ollivier <cedric.ollivier@orange.com>

Merge "Bug fix - Better way to grab file from gerrit"

Add logs (info)

It adds logs (info) when status is ok and fixes an exception printing
too. It removes one useless log (debug).

Change-Id: Ia59c3985ae749b80d0e0c07f331220bd33cd8007
Signed-off-by: Cédric Ollivier <cedric.ollivier@orange.com>

bugfix: push_result_to_db exception show

When pod is not exist in DB, exception will be shown as
'Error pushing results into Database '<type 'exceptions.TypeError'>'',
very unclear, make it very difficult to fix the problem.
Modify it to show as the testapi returned
'HTTPError: HTTP 404: Not Found (Could not find pod [zte-no])'

JIRA: FUNCTEST-424

Change-Id: I55fc4639d745b84f6d32a148bd13793d236e2a09
Signed-off-by: SerenaFeng <feng.xiaowei@zte.com.cn>

Improve errors and status codes management

Run returns the number of errors which is irrelevant to catch as
they are published to DB. Useless generated files are desactivated too.

Change-Id: I2baf6d5242c5f4095302a47ff90272fb95103457
Signed-off-by: Cédric Ollivier <cedric.ollivier@orange.com>

Point tempest to stable 12.1.0

Checkout tempest to the latest stable tag
instead of master development branch.

Change-Id: I20c7e83bf6441e84b9441f4cb193681753f81300
Signed-off-by: Michael Polenchuk <mpolenchuk@mirantis.com>

Catch exception if output.xml failed

It protects against a direct call to push_to_db without a previous run
even if it can not happen in the current implementation.

Change-Id: Ifa00aed60912fa8b96b80d581067548ac6727fb5
Signed-off-by: Cédric Ollivier <cedric.ollivier@orange.com>

Merge "Add reporting to DB in OpenDaylightTesting"

Merge "Protect again changes of unix permissions"

Merge "refactor vping"

refactor vping

There are lots of common processes in vPing_userdata.py
and vPing_ssh.py, abstract and refactor them.

JIRA: FUNCTEST-414

Change-Id: I4cd2c635318c063319d2a3c31f9a1e512eeea6c8
Signed-off-by: SerenaFeng <feng.xiaowei@zte.com.cn>

Protect again changes of unix permissions

It adds chmods in Dockerfile to ensure python and bash scripts can be
executed.

Change-Id: I9d75e87fcb1eb2e6fa37039fa5a070ef21cf0efb
Signed-off-by: Cédric Ollivier <cedric.ollivier@orange.com>

Chmod 755 all py files which can be executed

All files where __main__ is checked can now be executed by everyone.
It results from [1] like the next commit [2].

[1] find . -name "*.py" |xargs grep __main__ |cut -d\: -f 1 |xargs chmod 755
[2] https://gerrit.opnfv.org/gerrit/#/c/16737/

Change-Id: I75395892e9e6afbf8ac9c995258496be557aad5f
Signed-off-by: Cédric Ollivier <cedric.ollivier@orange.com>

Add reporting to DB in OpenDaylightTesting

It now relies on Robotframework API instead of parsing output.xml.
The type of critical and elapsedime fields are now bool and int
respectively. start_date and stop_date has been fixed too.

JIRA: FUNCTEST-367

Change-Id: I59f3ad2109345395ccf01a714301a14f9323f088
Signed-off-by: Cédric Ollivier <cedric.ollivier@orange.com>

Add exec right

Change-Id: I9c3fd786574622977870b12d38b92f8bed8a929c
Signed-off-by: Cédric Ollivier <cedric.ollivier@orange.com>

Merge "Fix print when push_results_to_db fails"

Fix print when push_results_to_db fails

Change-Id: I82741a8727fc17bc6648e1b1e92511b3efd93b8a
Signed-off-by: Cédric Ollivier <cedric.ollivier@orange.com>

Merge "Modify data sent to testAPI"

Bug fix - Better way to grab file from gerrit

We changed the way to download a single file from gerrit
We point now to the original file as bugs in tacker were fixed

Change-Id: I566b2f95ac1ab6032f22180bb42d0fa49482058c
Signed-off-by: Manuel Buil <manuel.buil@ericsson.com>

Pull down default instance flavor

Set default instance flavor to m1.tiny in order to keep
hardware resources requirements at the minimum.

Change-Id: If070e25389e1d7978c34dec8621414c8938a262f
Signed-off-by: Michael Polenchuk <mpolenchuk@mirantis.com>

Merge "functest compass usage document"

Merge "Remove useless odlreport2db args"

Merge "Colorado Release note"

Modify data sent to testAPI

It mainly removes prefixes, '#' and '@' and changes details to tests.
It deletes useless comments too.

Change-Id: I7807a7429a90e7c7c15f8662008a5a768f96be98
Signed-off-by: Cédric Ollivier <cedric.ollivier@orange.com>

Colorado Release note

FUNCTEST-420

Change-Id: I3fab0637fedc04bcb61a76e61f91da5df5c732c1
Signed-off-by: Morgan Richomme <morgan.richomme@orange.com>

fix Pillow version 3.3.0

The latest docker build for functest container has failed while installing
Pillow-3.3.1 [1], where the previous build had succeeded [2].

Let's pin the version of Pillow to 3.3.0 .

[1] https://build.opnfv.org/ci/view/functest/job/functest-docker-build-push-master/589
[2] https://build.opnfv.org/ci/view/functest/job/functest-docker-build-push-master/588

Change-Id: I18e46340aa8f43ec56aef5e3d208cac59af10a9c
Signed-off-by: Ryota MIBU <r-mibu@cq.jp.nec.com>

functest compass usage document

JIRA: FUNCTEST-333

add some information in configuration file

Change-Id: I6ec91d15c859b9739904d602aef3a0927f6561b6
Signed-off-by: MatthewLi <matthew.lijun@huawei.com>

Merge "complement Parser related userguide"

complement Parser related userguide

JIRA: FUNCTEST-423

Change-Id: Ib52e04a873a2a924102832fe5461ebab2296464d
Signed-off-by: SerenaFeng <feng.xiaowei@zte.com.cn>

Merge "Config guide workflow simplification"

Config guide workflow simplification

Workflow simplification for config guide. Several good improvement
ideas taken into account. Work is not totally complete yet and may
need separate handling.
Added link to chapter "Apex installer tips" which was accidentally
dropped off.
Moved commands specific to apex to appropriate section.
Took away the Rally as an example of the test case execution behind
a proxy. Rally does not nesessarily need internet connectivity.
I finally removed the dreaded "Whiteschpace" at EOL in several
places.
Adding minor tweaks and finetuning.
Corrected the phrasing of docker installation.

JIRA: FUNCTEST-347

Change-Id: I35c094d1d89538a2991a384bbc70b48b0d18e75d
Signed-off-by: Juha Haapavirta <juha.haapavirta@nokia.com>

Remove useless odlreport2db args

It removes useless odlreport2db args as functest_utils parses env vars
too and erases this previous values.
All mandatory env vars are still checked in exec_test.sh.

Change-Id: I3dd299dcad1758b994cf9d53ef65a5b83dc46b97
Signed-off-by: Cédric Ollivier <cedric.ollivier@orange.com>

Merge "Add report flag for moon"

Merge "resume Parser test run on fuel onos"

Add report flag for moon

JIRA: FUNCTEST-210

Change-Id: I97be5542ae4ae87f1b8d62394ff66068e77f4082
Signed-off-by: Morgan Richomme <morgan.richomme@orange.com>

Merge "Minor fixes for Doctor Project"

Merge "Convert to Unix format"

Minor fixes for Doctor Project

Note: The correct links to Doctor/Promise user guides
will be added once we cut colorado branch

Change-Id: Ib3a75027e7e8a94f8cb31ab827208ec391f2e2a8
Signed-off-by: Bertrand Souville <souville@docomolab-euro.com>

delete extra slash while execute cases test in exec_test.sh

There are two slashes appeared in the path when we execute case test:
/home/opnfv/functest/conf//openstack.creds
/home/opnfv/repos/functest//testcases/OpenStack/vPing/vPing_userdata.py

JIRA: FUNCTEST-421

Change-Id: I4fa8a11499e301dd84d1e1de7c72189b8d84459b
Signed-off-by: SerenaFeng <feng.xiaowei@zte.com.cn>

resume Parser test run on fuel onos

Parser tests was removed by onos people in
change https://gerrit.opnfv.org/gerrit/#/c/18821/.
After we talk about this, we found it was a mis-removal.

JIRA: FUNCTEST-422

Change-Id: I76da8786cac0fc5c874aa69e937d6ae19b20c6b1
Signed-off-by: SerenaFeng <feng.xiaowei@zte.com.cn>

Reorder imports

It conforms to OpenStack Style Guidelines [1]

[1] http://docs.openstack.org/developer/hacking/

Change-Id: I995ff7fa3be995ca59e59c070b93394cd7200066
Signed-off-by: Cédric Ollivier <cedric.ollivier@orange.com>

Convert to Unix format

Change-Id: I3ddb9c38010c6f19ebd507990b57c9c498f49da8
Signed-off-by: Cédric Ollivier <cedric.ollivier@orange.com>

Check the response status code

Now an HTTPError exception is raised in case of a 4XX or 5XX error
response.

Change-Id: Idd91c1d2b2a1b81a1cf7d075527cb302099cdb4e
Signed-off-by: Cédric Ollivier <cedric.ollivier@orange.com>

Merge "Add reporting flag to push reuslts only from CI"

bugfix: wrong directory

Change-Id: I0b39277118ff26496553f9639a1c219fd5783b8f
Signed-off-by: meimei <meimei@huawei.com>

Remove parser tests from fuel onos

Change-Id: I72467575ca3eb79cbd0094882d3a5be73c2cf308
Signed-off-by: wuwb1989 <wuwenbin2@huawei.com>

Add reporting flag to push reuslts only from CI

JIRA: FUNCTEST-416

Change-Id: I1a5800be0dcf75573f44e6214b23917aadc1cbf7
Signed-off-by: Morgan Richomme <morgan.richomme@orange.com>

Merge "[multisite] set the criteria as 100%"