Add ODL netvirt connectivity suites to list of robot tests

Change-Id: I9eb543b18d7646c7746caeec43d610be52a1af65
Signed-off-by: Jamo Luhrsen <jluhrsen@redhat.com>

Add netvirt to odl tests

For the odl test the default odl port is 8080. In netvirt this is the
same as apex.

Change-Id: I949510e4f7fb57bcf8ec01f69f7941c5d55c98e7
Signed-off-by: Nikolas Hermanns <nikolas.hermanns@ericsson.com>

Merge "Add flavor creation in functest env prepare"

Merge changes from topic 'convert_unix_format'

* changes:
  Change permissions of python files
  Convert files to Unix format

Merge "Allow multiple sets of suites in ODL"

Merge "Define how to pass args to TestcaseBase.run"

Allow multiple sets of suites in ODL

ODLTests can manage multiple sets of suites passing as run args.
It avoids duplicating odl.py according to ODL features installed (e.g.
netvirt).

Change-Id: Ibb0697ef9441506c3f33627e13a0845cc482e23f
Signed-off-by: Cédric Ollivier <cedric.ollivier@orange.com>

Add flavor creation in functest env prepare

So far, healthcheck.sh was creating m1.tiny flavor.
We are planning to remove that script and replace it by
SNAPS api and connection check.

Althought, a better approach to this would be that all
the tests create the flavor if needed, but these are the
tests that rely on this flavor:
 - vping ssh
 - vping userdata
 - rally
 - tempest
 - onos_sfc

Change-Id: I537f68a55d733b24b6b15f5cf3710bca40fbc622
Signed-off-by: jose.lausuch <jose.lausuch@ericsson.com>

Merge "Bugfix: multisite test case fails"

Bugfix: multisite test case fails

Ensure the target directory for tempest config file exists.

JIRA: FUNCTEST-715

Change-Id: I7bfaab1faa3e664d84813cdbf9a830b0b56a1f60
Signed-off-by: Juha Kosonen <juha.kosonen@nokia.com>

Exclude Copper until copper/installer integration completed

JIRA: FUNCTEST-34

Change-Id: I70d551904a429b25947f914aa67f6f13f9e5b6ef
Signed-off-by: Morgan Richomme <morgan.richomme@orange.com>

Merge "Adapt Promise to new framework"

Add tempest test details to results report

JIRA: FUNCTEST-711

Change-Id: Ib89ad63f0f97ff27e62fd6af200a15b9eed646c6
Signed-off-by: Juha Kosonen <juha.kosonen@nokia.com>

Change permissions of python files

Change-Id: I21826594ffa9b06a70664aa3512f0b5df8b546cd
Signed-off-by: Cédric Ollivier <cedric.ollivier@orange.com>

Convert files to Unix format

Change-Id: I8faa0c9f4185e2d71b9c5d22a6a25830aacd8114
Signed-off-by: Cédric Ollivier <cedric.ollivier@orange.com>

bug fix: no status returned at the end of a Tempest/Rally run

the return shall only deal with test executed or not
it shall not return the criteria through a return statement
the criteria is managed with the criteria field
previous patch https://gerrit.opnfv.org/gerrit/#/c/27807
corrected the fact that we should not return the status of the test
which was preventing Failed results to be pushed
but it removed the return needed statement

JIRA: FUNCTEST-714

Change-Id: I3d4c609467837e4ce2353c67c0b8ea95e21ebd84
Signed-off-by: Morgan Richomme <morgan.richomme@orange.com>

Define how to pass args to TestcaseBase.run

Here is an exemple of functest/ci/testcases.yaml
run:
    module: 'functest.opnfv_tests.sdn.odl.odl'
    class: 'ODLTests'
    args:
        suites:
            -  /home/opnfv/repos/odl_test/csit/suites/integration/basic
            -  /home/opnfv/repos/odl_test/csit/suites/openstack/neutron

Change-Id: I37b0ffa18f626bd8bb52ed460ae38053bd12c8ee
Signed-off-by: Cédric Ollivier <cedric.ollivier@orange.com>

Adapt Promise to new framework

JIRA: FUNCTEST-549

Change-Id: I01018bc10f5b1717af217457018a5d56f86d60cd
Signed-off-by: Morgan Richomme <morgan.richomme@orange.com>

Merge "[rally] Get keystone auth endpoint as request_url"

Merge "First update of dev guide for dnaube"

Merge "Update Configuration guide"

[rally] Get keystone auth endpoint as request_url

JIRA: FUNCTEST-685
Change-Id: Id0d0bcf55451832d9aeb22c3e6b9c21aea4e0911
Signed-off-by: Michael Polenchuk <mpolenchuk@mirantis.com>

Merge "Extract util functions from tempest.py to conf_utils"

First update of dev guide for dnaube

JIRA: FUNCTEST-561

Change-Id: I2ce04883e09a1700cbcceac18e7bc1c01497633a
Signed-off-by: Morgan Richomme <morgan.richomme@orange.com>

Update Configuration guide

JIRA: FUNCTEST-559

Change-Id: I592ec574f4703d0b0ad7ee9941e487e3bb528d5d
Signed-off-by: Morgan Richomme <morgan.richomme@orange.com>

Merge "Adapt doctor test case to the FeatureBase framework"

Merge "Tempest and SNAPS not pushing results to DB in case of FAIL"

Merge "First update of Functest user guide for Danube"

Extract util functions from tempest.py to conf_utils

These functions are useful for other test cases trying
to run tempest. For example BGPVPN tests cases located
in SDNVPN repo.

Change-Id: I67e671f4e9b0a2d81a3ab0d1957ce144fb1a0432
Signed-off-by: jose.lausuch <jose.lausuch@ericsson.com>

Tempest and SNAPS not pushing results to DB in case of FAIL

this problem was due to the fact that we add exit condition
EX_ERROR when the result was FAIL

EX_ERROR shall be used as exit condition when there is an
execution error, i.e the test case cannot be run

if it can be run, there is no execution error
the result can be PASS or FAIL, but from the CI, execution is OK

JIRA: FUNCTEST-714

Change-Id: Id434bb9aa88b50277c40c717259304f26f7b3966
Signed-off-by: Morgan Richomme <morgan.richomme@orange.com>

First update of Functest user guide for Danube

JIRA: FUNCTEST-560

Change-Id: I90d7c3447dfb15b880704cb25da080221cb7b063
Signed-off-by: Morgan Richomme <morgan.richomme@orange.com>

Adapt doctor test case to the FeatureBase framework

JIRA: FUNCTEST-545

1. Modification of “doctor.py” to adapt Feature Base framework.
      deletion of detail("timestart and duration , status).
2. Deletion of definition of doctor’s repo directory in  “functest_const.py"

Change-Id: I81d944dc64a81346cbf465c452111f11474ea83c
Signed-off-by: Hideyasu Hayashi <hideyasu.hayashi@okinawaopenlabs.org>

Merge "Make sure we have installed python_novaclient==6.0.0"

Make sure we have installed python_novaclient==6.0.0

Some requirements install novaclient 7.0.0 which belongs
to Ocata. It shows some warnings that are not relevant.
This will force to install the version for Newton.

Change-Id: Ic9c6b3e9558ef59475099fa41316f56a8a3192a0
Signed-off-by: jose.lausuch <jose.lausuch@ericsson.com>

Support newton in tempest

* newton release support is started from 13.0.0
* set swift operator role to existing one
* unblacklist server_basic_ops test

JIRA: FUNCTEST-712
Change-Id: Ieb3d9477db3dfa98f940c3732b64f6eb7515f6e6
Signed-off-by: Michael Polenchuk <mpolenchuk@mirantis.com>

[doctor] allow testing with fuel and joid

Change-Id: Ib128c5f9f7de550fb288580fd36fb03fd49f7d8b
Signed-off-by: Ryota MIBU <r-mibu@cq.jp.nec.com>

Merge "Bugfix: fix the error of no sh file"

Merge "Refactor Rally to adopt OO"

Refactor Rally to adopt OO

JIRA: FUNCTEST-541

Change-Id: Ife04f58dc31ca9ba6316cc31577f81a6bf0e0405
Signed-off-by: helenyao <yaohelan@huawei.com>

Bugfix: fix the error of no sh file

Three shell scripts (dmz.sh, smtp_ingress.sh and reserved_subnet.sh)
are needed when executing "run.sh" where relative path of the three scripts
is specified. Those three shell scripts are also located in /home/opnfv/copper/tests,
so it is necessary to change to this dir before executing "run.sh".

JIRA: FUNCTEST-691

Change-Id: I8571e3403d31e9eede8c4eab79b49f721199cdf9
Signed-off-by: Linda Wang <wangwulin@huawei.com>

Merge "Fix for opnfv onos-sfc scripts"

Fix for opnfv onos-sfc scripts

Change-Id: I676885b364e81e2266e72defd7fb21bbc96b093d
Signed-off-by: sathishkumarmurugesan <sathishkumar@huawei.com>

Merge "Leverage logging config and refactor the logger"

Merge "Reverted the file permission"

bug fix case name for VNFonboarding

the case paramter was not provided to the anstraction class

Change-Id: I42ba63a3b4fd20f6d076f20369fed56715237640
Signed-off-by: Morgan Richomme <morgan.richomme@orange.com>

VNF_BASE - fix quota update failed

JIRA: FUNCTEST-702

Change-Id: Ia831d35079f9286f924d0b407a64bf376b1cff21
Signed-off-by: boucherv <valentin.boucher@orange.com>

Leverage logging config and refactor the logger

JIRA: FUNCTEST-690

The detailed benefits are listed in the JIRA description.

1. Refactored the functest_logger to make use of configuration file
2. Avoided configuring the logging every time a logger is initialized
3. Applied separate logging configuration fo unit test by removing
saving log to file

Change-Id: I6e27eaba727ae6d704f0301f15359dc3ea7b2f97
Signed-off-by: helenyao <yaohelan@huawei.com>

Merge "Bugfix: delete the wrong path in functest_constants.py"

Merge "write test results to a local file"

Merge "Use 8081 for apex's restconfport robot variable"

Bugfix: delete the wrong path in functest_constants.py

Fix the bug patch: https://gerrit.opnfv.org/gerrit/#/c/26769

Change-Id: I9ef5adeabb98ed3abfd67d23b78672a719c45225
Signed-off-by: Linda Wang <wangwulin@huawei.com>

Merge "Bugfix: fix the execution way in copper"

Bugfix: fix wrong path to vims-test repo

JIRA: FUNCTEST-697

Fix the bug of patch: https://gerrit.opnfv.org/gerrit/#/c/26769

Change-Id: Ib5356f1098d292b7a774ff11bbbe6cda8ecf51c3
Signed-off-by: helenyao <yaohelan@huawei.com>

Use 8081 for apex's restconfport robot variable

Change-Id: Ie3579254b8f09eda3707fbc4b8d098a292f52a93
Signed-off-by: Jamo Luhrsen <jluhrsen@redhat.com>

Merge "Add VnfOnBoarding Abstraction"

Add VnfOnBoarding Abstraction

JIRA: FUNCTEST-535

Change-Id: Idfa3dfd64554472aaac3f26a504e1f74d2f42926
Signed-off-by: Morgan Richomme <morgan.richomme@orange.com>

Merge "Rally keystone test scenarios for v3"

Bugfix: fix the execution way in copper

JIRA: FUNCTEST-691

Change-Id: I35371133619fb2cc6b42f3b0bd49c4473058d353
Signed-off-by: Linda Wang <wangwulin@huawei.com>

Merge "Refactoring of args and parser variable in ci/run_tests, prepare_env"

write test results to a local file

Write test result to a file or push it to DB depends
on the value format of test_db_url which is defined in
config_functest.yaml. Meanwhile, test_db_url can be set
by os envrion value "RESULT_STORE".

If test_db_url is a url, e.g. http:// or https://, then
push result to DB. If test_db_url is a file location,
e.g. file:///, then write results to a file with json data.
One result record, one line.

JIRA: FUNCTEST-657

Change-Id: I579087cd2c24d61a79142b5d67003fb486b6c723
Signed-off-by: wu.zhihui <wu.zhihui1@zte.com.cn>

Rally keystone test scenarios for v3

JIRA: FUNCTEST-652

1. Updated the Rally repository to master
the keystone test scenarios of TAG= 0.7.0 cannot run on Newton
also, 0.7.0 is the last tag that exists
2. Update the Tempest installation with updated rally command
Rally team said "there was no possibility to do it in backward
compatible way(rally verify re-design)"
3. The `rally show` was deprecated[1] in the master and corresponding
logic is updated
4. Update rally commands

[1]
https://github.com/openstack/rally/commit/f2fc3015beb4cfd8053db728765714500db6eeb2

Change-Id: Ief9e36a16dd92e4449c0f76579e7191a93aa3e21
Signed-off-by: helenyao <yaohelan@huawei.com>

Merge "Fixes ODL rest port for Apex"

Setting level to the Functest logger's parent logger to ensure log output from
Python libraries being used by framework does not get sent to dev/null.

JIRA: FUNCTEST-658

The parent logger is being set to logging.WARN and this is the logger instance
that is being inherited by the upstream libraries.

Change-Id: I35a02a8ea075012ac21e3b5d12d27c0187057b90
Signed-off-by: spisarski <s.pisarski@cablelabs.com>

Fixes ODL rest port for Apex

Apex has enabled tripleo firewall in deployments which block access to
port 8181.  Only port 8081 is exposed on the admin network now.

Change-Id: I58e5eaf16cfc0738c248e1468b2d59cc9f542ddd
Signed-off-by: Tim Rozet <trozet@redhat.com>

Merge "Added unit tests for utils/openstack_utils.py"

Merge "[Netvirt-pipeline] Exclude unwanted testcases"

[Netvirt-pipeline] Exclude unwanted testcases

For Netvirt pipeline only specialist testcases shall be executed.

Change-Id: I9b658e28526e4d833442d3aac601e794566ca4be
Signed-off-by: Nikolas Hermanns <nikolas.hermanns@ericsson.com>

Bugfix: fix the wrong return code

The bug was introduced by patch[1]
[1] https://gerrit.opnfv.org/gerrit/#/c/24619/

Change-Id: Icf6c267aba26fcb5b129a611423dcf2200f95277
Signed-off-by: helenyao <yaohelan@huawei.com>

Merge "Bugfix: fix the wrong path in copper"

Merge "Remove cmd to OpenStack, use python client"

Merge "Tests added for utils."

Merge "[FUNCTEST] Correct right ip is used for public endpoint"

[FUNCTEST] Correct right ip is used for public endpoint

At the moment it was done in a fishy way to grep for
the public ip. This commit fixes it.

Change-Id: If14488c18c67cd66e885a7376e1c50a3a28e17f7
Signed-off-by: Nikolas Hermanns <nikolas.hermanns@ericsson.com>

Merge "Set flavor's page size to support dpdk enabled vms"

Bugfix: fix the wrong path in copper

JIRA: FUNCTEST-691

Change-Id: Iad8d5aa14642b3b3bf673faf032c7f3ba9dc28d8
Signed-off-by: Linda Wang <wangwulin@huawei.com>

Remove cmd to OpenStack, use python client

JIRA: FUNCTEST-503

Change-Id: Ie92051ec128ad4857862e6125628dac24ce99a2a
Signed-off-by: Morgan Richomme <morgan.richomme@orange.com>

Merge "Tackerclient added in test-requirement."

Added unit tests for utils/openstack_utils.py

JIRA: FUNCTEST-683

Change-Id: I0e4b27d3fab093d5f3a086df739c1fb6bc6a0939
Signed-off-by: ashishk1994 <ashishk.iiit@gmail.com>

Refactoring of args and parser variable in ci/run_tests, prepare_env

Can't import run_tests in test_run_tests.py (new unit test file).
It is throwing error: nosetests: error: unrecognized arguments

It is because of declaration of parser and args which are global
in file, So to allow safe import of this file,
we need to declare it into __main__ branch.

Change-Id: Ie11ebcfd8a1b8e692bd8bf4260a54f752b67fd5e
Signed-off-by: ashishk1994 <ashishk.iiit@gmail.com>

Tests added for utils.

Tests added for:
utils/openstack_clean
utils/openstack_snapshot
utils/openstack_tacker

JIRA: FUNCTEST-683

Change-Id: I2d510e70fae73daf35c24b2935ab99bbb241f1f5
Signed-off-by: ashishk1994 <ashishk.iiit@gmail.com>

Merge changes from topics 'cover_parse_results', 'fix_test_show_credentials', 'remove_clean_results_dir', 'cover_argparse', 're.sub', 'mock_open', 'patch_filehandler'

* changes:
  Cover ODLTests.parse_results()
  Switch to assert_any_call in test_show_credentials
  Remove clean_results_dir
  Create ODLParser to parse sys.argv
  Fully cover set_robotframework_vars
  Use mock_open() to prevent stdout.txt
  Patch logging.FileHandler

Merge "Adapt Domino to FeatureBase"

Cover ODLTests.parse_results()

The ODL testcase is now fully covered by unit tests.

Change-Id: I856a40138739b148babcfa96e82da05bb83e63e1
Signed-off-by: Cédric Ollivier <cedric.ollivier@orange.com>

Switch to assert_any_call in test_show_credentials

The previous test can be false if users set OS_ env vars.

Change-Id: If517582d77aa1373bf253d7e23731e2e896d26ac
Signed-off-by: Cédric Ollivier <cedric.ollivier@orange.com>

Remove clean_results_dir

clean_results_dir is now useless [1]

[1] https://gerrit.opnfv.org/gerrit/#/c/26661/

Change-Id: I7ec02798696d4cbc4930bf2d8aa9cb35ce99b7aa
Signed-off-by: Cédric Ollivier <cedric.ollivier@orange.com>

Create ODLParser to parse sys.argv

It helps covering lines about args parsing without calling main.
It also excludes 'if __name__ == .__main__.:' from coverage.
The related unit tests are added too.

Change-Id: I8e001a9d35081000977e0e546ae505f7cf2870e6
Signed-off-by: Cédric Ollivier <cedric.ollivier@orange.com>

Fully cover set_robotframework_vars

re.sub() is now tested.

Change-Id: I83cf69b66cd1407f5e4439d8c545338c5fb0bde7
Signed-off-by: Cédric Ollivier <cedric.ollivier@orange.com>

Use mock_open() to prevent stdout.txt

/home/opnfv is no longer required.

Change-Id: Iefb8faf3a7d548f3ae7d4076005d7b0bb93e63e1
Signed-off-by: Cédric Ollivier <cedric.ollivier@orange.com>

Patch logging.FileHandler

It avoids creating a dummy functest.log for unit testing.

Change-Id: Ib163d5d58284822b1904444fb60b08e92ee0ab9b
Signed-off-by: Cédric Ollivier <cedric.ollivier@orange.com>

Merge "Added unit tests for utils/functest_utils.py."

Added Unit Tests for cli.

JIRA: FUNCTEST-590

Change-Id: I5e28145cae742598927e8edbe65091fedb533a4d
Signed-off-by: ashishk1994 <ashishk.iiit@gmail.com>

Reverted the file permission

There are some files whose permissions are changed unintendedly.
Revert all of them.

mode change 100644 <= 100755 functest/core/pytest_suite_runner.py
mode change 100644 <= 100755 functest/opnfv_tests/openstack/vping/vping_base.py
mode change 100644 <= 100755 functest/utils/openstack_tacker.py
mode change 100644 <= 100755 functest/tests/unit/odl/test_odl.py
mode change 100644 <= 100755 requirements.txt
mode change 100644 <= 100755 test-requirements.txt

Historical comments that changed the permission for reference
changeID: Ia02760fd98aaab59a6cf0a90a2020b76e0c92df6
changeID: Id6815f96a11f2918bc2c7bc1c33f38c3f5754e11
changeID: Ic8c01b9b7ed86d3bdd9f5125504bc47f46a37700
changeID: I9f1a408f0e43bff4499575fa57cabd1a83d99b3a

Change-Id: I1deadd77cc78f2186f82de79233aabe97ac21b26
Signed-off-by: helenyao <yaohelan@huawei.com>

Merge "use working zmail rather than private gmail"

Tackerclient added in test-requirement.

Unit tests for utils/openstack_tacker requires
Tackerclient.

Change-Id: Iff49fcc4da445a6c490dc1306506d23016de2020
Signed-off-by: ashishk1994 <ashishk.iiit@gmail.com>

Added unit tests for utils/functest_utils.py.

JIRA: FUNCTEST-683

Change-Id: I181d98847b2ca94ce84a670239b8a958bfae44cd
Signed-off-by: ashishk1994 <ashishk.iiit@gmail.com>

Unit tests utils added.

Change-Id: I8e6115c8869032ad6d22dc62febb9c8003bfa422
Signed-off-by: ashishk1994 <ashishk.iiit@gmail.com>

use working zmail rather than private gmail

Change-Id: If0eacde5ead9db27668e52ea8cb5b87f3d9be02a
Signed-off-by: SerenaFeng <feng.xiaowei@zte.com.cn>

Merge "Add a flag in the CLI to report results to DB"

Set flavor's page size to support dpdk enabled vms

Set flavor's page size to ANY so libvirt driver might
try to find large pages for guest RAM (either 2Mb or 1Gb),
otherwise fallback to small pages.

JIRA: FUNCTEST-684
Change-Id: I40f415ca9487c4f20416d45462eddc769df0cb9c
Signed-off-by: Michael Polenchuk <mpolenchuk@mirantis.com>

bugfix: clean results directory error

change 'rm -rf /home/opnfv/functest' to 'rm -rf /home/opnfv/functest/results'
and extract the clean logic to a common method clean_results_dir

Change-Id: I8aa0b09b58d9c14e53c2d4f2bb39376239e41168
Signed-off-by: SerenaFeng <feng.xiaowei@zte.com.cn>