Bugfix: fix the wrong path in copper

JIRA: FUNCTEST-691

Change-Id: Iad8d5aa14642b3b3bf673faf032c7f3ba9dc28d8
Signed-off-by: Linda Wang <wangwulin@huawei.com>

Merge "Tackerclient added in test-requirement."

Merge changes from topics 'cover_parse_results', 'fix_test_show_credentials', 'remove_clean_results_dir', 'cover_argparse', 're.sub', 'mock_open', 'patch_filehandler'

* changes:
  Cover ODLTests.parse_results()
  Switch to assert_any_call in test_show_credentials
  Remove clean_results_dir
  Create ODLParser to parse sys.argv
  Fully cover set_robotframework_vars
  Use mock_open() to prevent stdout.txt
  Patch logging.FileHandler

Merge "Adapt Domino to FeatureBase"

Cover ODLTests.parse_results()

The ODL testcase is now fully covered by unit tests.

Change-Id: I856a40138739b148babcfa96e82da05bb83e63e1
Signed-off-by: Cédric Ollivier <cedric.ollivier@orange.com>

Switch to assert_any_call in test_show_credentials

The previous test can be false if users set OS_ env vars.

Change-Id: If517582d77aa1373bf253d7e23731e2e896d26ac
Signed-off-by: Cédric Ollivier <cedric.ollivier@orange.com>

Remove clean_results_dir

clean_results_dir is now useless [1]

[1] https://gerrit.opnfv.org/gerrit/#/c/26661/

Change-Id: I7ec02798696d4cbc4930bf2d8aa9cb35ce99b7aa
Signed-off-by: Cédric Ollivier <cedric.ollivier@orange.com>

Create ODLParser to parse sys.argv

It helps covering lines about args parsing without calling main.
It also excludes 'if __name__ == .__main__.:' from coverage.
The related unit tests are added too.

Change-Id: I8e001a9d35081000977e0e546ae505f7cf2870e6
Signed-off-by: Cédric Ollivier <cedric.ollivier@orange.com>

Fully cover set_robotframework_vars

re.sub() is now tested.

Change-Id: I83cf69b66cd1407f5e4439d8c545338c5fb0bde7
Signed-off-by: Cédric Ollivier <cedric.ollivier@orange.com>

Use mock_open() to prevent stdout.txt

/home/opnfv is no longer required.

Change-Id: Iefb8faf3a7d548f3ae7d4076005d7b0bb93e63e1
Signed-off-by: Cédric Ollivier <cedric.ollivier@orange.com>

Patch logging.FileHandler

It avoids creating a dummy functest.log for unit testing.

Change-Id: Ib163d5d58284822b1904444fb60b08e92ee0ab9b
Signed-off-by: Cédric Ollivier <cedric.ollivier@orange.com>

Merge "Added unit tests for utils/functest_utils.py."

Added Unit Tests for cli.

JIRA: FUNCTEST-590

Change-Id: I5e28145cae742598927e8edbe65091fedb533a4d
Signed-off-by: ashishk1994 <ashishk.iiit@gmail.com>

Merge "use working zmail rather than private gmail"

Tackerclient added in test-requirement.

Unit tests for utils/openstack_tacker requires
Tackerclient.

Change-Id: Iff49fcc4da445a6c490dc1306506d23016de2020
Signed-off-by: ashishk1994 <ashishk.iiit@gmail.com>

Added unit tests for utils/functest_utils.py.

JIRA: FUNCTEST-683

Change-Id: I181d98847b2ca94ce84a670239b8a958bfae44cd
Signed-off-by: ashishk1994 <ashishk.iiit@gmail.com>

Unit tests utils added.

Change-Id: I8e6115c8869032ad6d22dc62febb9c8003bfa422
Signed-off-by: ashishk1994 <ashishk.iiit@gmail.com>

use working zmail rather than private gmail

Change-Id: If0eacde5ead9db27668e52ea8cb5b87f3d9be02a
Signed-off-by: SerenaFeng <feng.xiaowei@zte.com.cn>

Merge "Add a flag in the CLI to report results to DB"

bugfix: clean results directory error

change 'rm -rf /home/opnfv/functest' to 'rm -rf /home/opnfv/functest/results'
and extract the clean logic to a common method clean_results_dir

Change-Id: I8aa0b09b58d9c14e53c2d4f2bb39376239e41168
Signed-off-by: SerenaFeng <feng.xiaowei@zte.com.cn>

Merge "Bugfix: fix the wrong path for security scan"

Enable the tenant related features

JIRA: FUNCTEST-670

The tenant related features were enabled for OpenStack snapshot and cleanup.

Change-Id: Ie9a4012c0d29f57ed5a14139ccb5f8e29b6000dd
Signed-off-by: helenyao <yaohelan@huawei.com>

Merge "Adapt create_tenant and create_user to keystone v3"

Adapt create_tenant and create_user to keystone v3

JIRA: FUNCTEST-670

Change-Id: I5bb288be2dd5cee1776930ca94d1acad82f50160
Signed-off-by: jose.lausuch <jose.lausuch@ericsson.com>

Merge "refactor rally using new constants provider"

Merge "Fix Tempest push results to DB"

refactor rally using new constants provider

JIRA: FUNCTEST-673

Change-Id: I4b542a7693aaf7dd037e0e55dee3f22dda8df27a
Signed-off-by: SerenaFeng <feng.xiaowei@zte.com.cn>

Add a flag in the CLI to report results to DB

Change-Id: I155a7a8bc5457d013677f8b6e437fe27c31896ae
Signed-off-by: jose.lausuch <jose.lausuch@ericsson.com>

Bugfix: fix the wrong path for security scan

JIRA: FUNCTEST-679

Change-Id: I488ebbca5ea2594787cb6151cd82bf2d4a3e8118
Signed-off-by: helenyao <yaohelan@huawei.com>

Merge "refactor snaps and example using new constants provider"

Merge "Updated vims to support keystone v3"

Fix Tempest push results to DB

JIRA: FUNCTEST-678

Change-Id: Ia4dca2d134e91b1647694d41972d979f9b70e967
Signed-off-by: jose.lausuch <jose.lausuch@ericsson.com>

refactor snaps and example using new constants provider

JIRA: FUNCTEST-673

Change-Id: If20be3c614f729c17bf6484676de7889747a98c0
Signed-off-by: SerenaFeng <feng.xiaowei@zte.com.cn>

bugfix: get git branch failed when only 'git fetch' is provided

File "/usr/local/lib/python2.7/dist-packages/functest/cli/commands/cli_env.py", line 58, in show
    branch = repo.head.reference
  File "/usr/local/lib/python2.7/dist-packages/git/refs/symbolic.py", line 258, in _get_reference
    raise TypeError("%s is a detached symbolic reference as it points to %r" % (self, sha))
TypeError: HEAD is a detached symbolic reference as it points to '2632ba86dd920267455ee10154b9e2ce4695a889'

JIRA: FUNCTEST-673

Change-Id: I2306dde254710d7d0e8a3529a19e3d8fdb6e5b02
Signed-off-by: SerenaFeng <feng.xiaowei@zte.com.cn>

refactor cli module using new constants provider

JIRA: FUNCTEST-673

Change-Id: I643fb16c694a8d7df45a13237f34b19a02906881
Signed-off-by: SerenaFeng <feng.xiaowei@zte.com.cn>

Refactor domino using FeatureBase and new constants provider

JIRA: FUNCTEST-673

Change-Id: I153fd5ca68deffa6fd140e62f438cf6ee5404f98
Signed-off-by: SerenaFeng <feng.xiaowei@zte.com.cn>

Refactor tempest using new constants provider

JIRA: FUNCTEST-673

Change-Id: Ibc274edd6bc9e8aea9e124fae84d7dec481982ab
Signed-off-by: SerenaFeng <feng.xiaowei@zte.com.cn>

Adapt SDNVPN tests using Featurebase

Change-Id: I8be4bb72ba1d3b7eb2ba6e1edccf61d4186e07c6
Signed-off-by: jose.lausuch <jose.lausuch@ericsson.com>

Updated vims to support keystone v3

Adding the choice, into openstack_utils,
to get openstack client with environment credentials
or with a specific credentials (new user/tenant..)

JIRA: FUNCTEST-529

Change-Id: I295808311de40f37a07b5a831852876a51f276f3
Signed-off-by: boucherv <valentin.boucher@orange.com>

Refactor test run related modules using new constants provider

JIRA: FUNCTEST-673

Change-Id: Ia37fb5a08c8fbc4a8acb666565ea887f9ae48b83
Signed-off-by: SerenaFeng <feng.xiaowei@zte.com.cn>

Merge "refactor vping using new constants provider"

refactor vping using new constants provider

JIRA: FUNCTEST-673

Change-Id: I56ac66662b53593257609fa87c16df52440f7458
Signed-off-by: SerenaFeng <feng.xiaowei@zte.com.cn>

Merge "Add default env variables in ENV class"

Bugfix in passing parameters to logger_debug.

JIRA: FUNCTEST-675

Change-Id: I342d51391323dd1ffe516d8dbc13b2d543374a3e
Signed-off-by: ashishk1994 <ashishk.iiit@gmail.com>

Add default env variables in ENV class

Change-Id: Ibca9c7a533796b5a2beae4e13b626f340969a567
Signed-off-by: jose.lausuch <jose.lausuch@ericsson.com>

Remove backslash to meet PEP8 requirement

JIRA: FUNCTEST-630

Change-Id: Ia02760fd98aaab59a6cf0a90a2020b76e0c92df6
Signed-off-by: helenyao <yaohelan@huawei.com>

Merge "Unified way to provide configurations and env variables(proposal 1)"

Remove old tempest implementation

JIRA: FUNCTEST-542

Change-Id: I62151e60cd508a9f65cc6d6d6866947c3fac435e
Signed-off-by: jose.lausuch <jose.lausuch@ericsson.com>

Merge "Adapt Tempest to the new template"

Merge "Cover ODLResultVisitor"

Adapt Tempest to the new template

JIRA: FUNCTEST-542

Change-Id: I5576ce5c1aecd67ad97999f412e8c049c20d8e94
Signed-off-by: jose.lausuch <jose.lausuch@ericsson.com>

Merge "Install sdnvpn as a python package"

Merge "Fix the issue of unexpected keyword argument 'endpoint_type'"

Allow executing several testcases with the CLI

By naming the test cases separated by ","
The CLI will call run_tests.py for each
test case.

This is needed for example for the 3rd party CI.

Change-Id: I2fa5c68ebb292b462153853879630c0cbc5ef0a2
Signed-off-by: jose.lausuch <jose.lausuch@ericsson.com>

Bug-Fix: No module named feature.copper

JIRA: FUNCTEST-667

Fix the wrong module path for copper.
Bug is introduced by https://gerrit.opnfv.org/gerrit/#/c/24907

Change-Id: I65cb405cb477d155d4f4cdff493615ec1571f75f
Signed-off-by: helenyao <yaohelan@huawei.com>

Merge "Avoid side effects induced by functest_constants in ODL UT"

Cover ODLResultVisitor

It adds unit tests to cover ODLResultVisitor and then increases the
coverage to 78%. It also fixes a nit in details pushed to DB.

Change-Id: Ie4c31df67b5197c4273ee835242153e74b50601d
Signed-off-by: Cédric Ollivier <cedric.ollivier@orange.com>

Set SNAPS tests as non blocking

to give a chance of other tests to be run in CI/master

to be reverted once SNAPS stabilized

Change-Id: Ide3a7ff267ed7ced31980b87d6482588d2cf7787
Signed-off-by: Morgan Richomme <morgan.richomme@orange.com>

Avoid side effects induced by functest_constants in ODL UT

It partially reverts [1] (odl.py + test_odl.py).

[1] https://gerrit.opnfv.org/gerrit/#/c/24619/

Change-Id: Ie51ccf10f8ffa0a63086796f8bb722ef50567b2d
Signed-off-by: Cédric Ollivier <cedric.ollivier@orange.com>

Merge "Add check_criteria() in testcase_base"

Merge "Convert files to Unix format."

Merge "Fix find in Dockerfile"

Merge "Fix file permissions"

Merge "Promote Helen Yao as commiter in Functest"

Fix the issue of unexpected keyword argument 'endpoint_type'

JIRA: FUNCTEST-662

Different OpenStack has different version of RC file thus the environment variables vary.
The keystoneauth1 initialization only support limited input.
This patch only feed the required input to keystoneauth1.
Moreover, the patch optimized the code by removing hardcode and improved the scalability.

Change-Id: Id6815f96a11f2918bc2c7bc1c33f38c3f5754e11
Signed-off-by: helenyao <yaohelan@huawei.com>

Add check_criteria() in testcase_base

It allows checking testcase results and then returning an error value
to CI. Now run() should return EX_OK even if criteria is FAILED.
It also fixes an issue induced by [1].

[1] https://gerrit.opnfv.org/gerrit/#/c/24561/

Change-Id: Iaa095696f9dcb87f8cc95179b4f404b092d1e23e
Signed-off-by: Cédric Ollivier <cedric.ollivier@orange.com>

Convert files to Unix format.

Change-Id: I51fabb809e0f446a4dcf2108af10a3f137b177d3
Signed-off-by: Cédric Ollivier <cedric.ollivier@orange.com>

Fix find in Dockerfile

Unit tests has been moved to functest/tests/unit

Change-Id: I62175f04089eb4d12213e1c48ae1a5abbb540e2e
Signed-off-by: Cédric Ollivier <cedric.ollivier@orange.com>

Fix file permissions

It has been fixed by calling [1]

[1] find ${FUNCTEST_REPO_DIR} -name "*.py" \
    -not -path "*tests/unit*" |xargs grep __main__ \
    |cut -d\: -f 1 |xargs chmod -c 755 &&
    find ${FUNCTEST_REPO_DIR} -name "*.sh" \
    |xargs grep \#\! |cut -d\:  -f 1 |xargs chmod -c 755

Change-Id: I654d9221179e60ea45d1db83157c4a9aa9497b69
Signed-off-by: Cédric Ollivier <cedric.ollivier@orange.com>

Install sdnvpn as a python package

Change-Id: Ifc3a2f8184b987e0325fd6ad182b808c0d703542
Signed-off-by: Romanos Skiadas <rski@intracom-telecom.com>

Fix path for SFC package installation

Change-Id: I0a0ee6b492946255922f81043f89e11e7c70792e
Signed-off-by: jose.lausuch <jose.lausuch@ericsson.com>

Merge "Install SFC python modules in Functest"

Promote Helen Yao as commiter in Functest

Change-Id: I5d20ed6a0fa9b76728e0bb61df14bceff36bc8f2
Signed-off-by: jose.lausuch <jose.lausuch@ericsson.com>

Install SFC python modules in Functest

This will install SFC repository locally
so that they can have whatever directory structure
without modifying the PYTHONPATH env var.

See this for more info:
https://gerrit.opnfv.org/gerrit/#/c/25861/

JIRA: SFC-60

Change-Id: If197c250da61d2ae1f4b2f90a52bf007159fd07e
Signed-off-by: jose.lausuch <jose.lausuch@ericsson.com>

Unified way to provide configurations and env variables(proposal 1)

In this proposal, everything in os.environ can be accessed directly using const,
and with the exact name os.environ defined.

The name of a configuration is totally decided by config_functest.yaml,
which is the joint name of each level with '_'.

This version requires us to naming each level in yaml in a little cleancode way,
or else the configuration name would become ugly. Let me take the current
defination of general.directories as instance, the configuration name will be
'directories_dir_repo_functest', looks not very good. But if we make some adaption:
general:
   dir:
      repo_functest:
it will become 'dir_repo_functest', looks a little better.

For vIMs is well defined, let me take it for example, the configuration names will look like:
vIMS_clearwater_blueprint_url
vIMS_clearwater_blueprint_file_name
vIMS_clearwater_blueprint_name
vIMS_clearwater_blueprint_branch
vIMS_clearwater_blueprint_destination_folder
vIMS_clearwater_deployment-name

Change-Id: I18ec8686d9cfb2b80a370d422c6ad81a8800585c
Signed-off-by: SerenaFeng <feng.xiaowei@zte.com.cn>

Merge "Switch to ODL beryllium-sr4"

Merge "Create internship dir in docs"

Switch to ODL beryllium-sr4

It switches ODL_TAG to beryllium-sr4 which integrates the following
patches [1] and [2] which were part of OPNFV functest.

[1] https://git.opendaylight.org/gerrit/#/c/46910/
[2] https://git.opendaylight.org/gerrit/#/c/46749/

Change-Id: Ibc7e9eb1dc5dadff024562e6d077242688192ba9
Signed-off-by: Cédric Ollivier <cedric.ollivier@orange.com>

Bug fix: precise testcase name to push results into DB

JIRA: FUNCTEST-659

Change-Id: Ic92ecddc5d0bb295b99f7ffc2ab957e80e7ea32f
Signed-off-by: Morgan Richomme <morgan.richomme@orange.com>

Merge "Conform SFC test case to FeatureBase"

Merge "Adapt Copper to Abstraction framework"

Authenticate clients with keystoneauth1.session

JIRA: FUNCTEST-529

1. use keystoneauth1.session to initialize the client for each service
The keystoneauth1.session.Session class was introduced into keystoneauth1 as an attempt
to bring a unified interface to the various OpenStack clients that share common authentication
 and request parameters between a variety of services.

2. update ODL case to leverage session to get the endpoint info

Change-Id: Ic8c01b9b7ed86d3bdd9f5125504bc47f46a37700
Signed-off-by: helenyao <yaohelan@huawei.com>

Adapt Copper to Abstraction framework

JIRA: FUNCTEST-546

Change-Id: I775a7274883127cc627197fda37ae8e9043b59e2
Signed-off-by: Morgan Richomme <morgan.richomme@orange.com>

Adapt Domino to FeatureBase

JIRA: FUNCTEST-547

Change-Id: Ib1a0c4d2e556db0fd54094eda74046c671c84a55
Signed-off-by: Morgan Richomme <morgan.richomme@orange.com>

Create internship dir in docs

to be used for internship documentation

Change-Id: Iad0be6025344ae19fcd218ee46794f090943b32e
Signed-off-by: Morgan Richomme <morgan.richomme@orange.com>

Merge "rename openstack to components"

Conform SFC test case to FeatureBase

JIRA: FUNCTEST-550

Change-Id: I46853d1ba943a54b39b760c34c29c2b4c3b43d63
Signed-off-by: jose.lausuch <jose.lausuch@ericsson.com>

Merge "Rename add_floating_ip arg to floatingip_addr"

rename openstack to components

to be in line with testing group agreed categories
https://wiki.opnfv.org/display/testing

Change-Id: Ibad08afe1ad37c244e1cf5f845f14a73bddfd63f
Signed-off-by: Morgan Richomme <morgan.richomme@orange.com>

Merge "CI-Build-Fix: Move the connection check to smoke"

Merge "Add timing decorator utility"

Add timing decorator utility

Create "timethis" utility decorator that prints how long it takes for an
arbitrary function to complete

USAGE:

@functest.utils.functest_utils.timethis
def function_to_be_timed(...):
    ...

Change-Id: I41730c01b6889a9fa1ede4c5863841648b5af9c7
Signed-off-by: George Paraskevopoulos <geopar@intracom-telecom.com>

Merge "Add host aggregate / av zones util functions"

CI-Build-Fix: Move the connection check to smoke

JIRA: FUNCTEST-648

The run_test.py first searches for tier, if no name is matched, it will continue to search for testcase.
That said, for 'functest testcase run healthcheck', it will run all testcases under 'healthchech' tier.
The connection check blocked the CI build.

Change-Id: I4e14cb0f269175803d027756d5581fd1867b3147
Signed-off-by: helenyao <yaohelan@huawei.com>

Rename add_floating_ip arg to floatingip_addr

nova_client.servers.add_floating_ip takes a Floating IP address as a second
argument, not an id. Naming the argument floatingip_id is misleading.

Change-Id: I39919fa305a46b58878c8b4f83e40c78390cfc07
Signed-off-by: Romanos Skiadas <rski@intracom-telecom.com>

Upgraded the virtualenv

JIRA: FUNCTEST-654

The virtualenv is too old and it will break the unit test if it runs the second time.

Change-Id: I9f1a408f0e43bff4499575fa57cabd1a83d99b3a
Signed-off-by: helenyao <yaohelan@huawei.com>

Merge "Move api_check test in smoke category"

Install releng as a python module

Modify functest container to install releng modules as a python module.
This way we can use the opnfv.utils.* libraries

Change-Id: Ib61f1c9dc2564135fe3ef6ead58b69e24c99d2c6
Signed-off-by: George Paraskevopoulos <geopar@intracom-telecom.com>

Support rally configuration for both Newton and Mitaka

JIRA: FUNCTEST-644

As the RC file is different between Newton and Mitaka, the rally configuration file differs in two versions of openstack.

Change-Id: Ibf06b7d1f0da87f155a95a152bb78ee7c2b9eb7d
Signed-off-by: helenyao <yaohelan@huawei.com>

Move api_check test in smoke category

Healthcheck tests are used for gating and MUST not include
negative tests

Change-Id: Ie3a6715506cbbb9a5a9e5b455f648699600bd584
Signed-off-by: Morgan Richomme <morgan.richomme@orange.com>