Set image and flavor id in tempest config file

Kingbird tests require that image and flavor are defined in tempest
configuration file.

JIRA: FUNCTEST-783

Change-Id: If96ef8e38e3f1a5946b687f1e5c8c0a6c3a90d54
Signed-off-by: Juha Kosonen <juha.kosonen@nokia.com>

Refactor the Feature framework

run() returns the expected status code (see following JIRA tickets).
repo, pre() and post() are removed as they were quite useless.
A dedicated class is proposed for bash programs.
Unit tests have been added to fully cover this module.

All features have been modified to conform with these modifications.
It also removes the decorators which skipped several unit tests.

JIRA: FUNCTEST-778
JIRA: FUNCTEST-779
JIRA: FUNCTEST-780
JIRA: FUNCTEST-781

Change-Id: Ifb1e4c4f68260a4e20d895f67f07f369ca959374
Signed-off-by: Cédric Ollivier <cedric.ollivier@orange.com>

Modify TestCase constructor attributes

Every feature/testcase now allows receiving the data defined in
testcases.yaml as args (name is renamed to case_name).

From the time being, only project and case names are handled. Next
pending patches will add criteria, cmd and repo to this list.

It keeps the default values for case names except for features which
will be aggregated into Feature.

Change-Id: Id742d100b8183d7f10894c24ae6879d1b2b60ac9
Signed-off-by: Cédric Ollivier <cedric.ollivier@orange.com>

Rename test_ims_base.by to test_ims_base.py

It fixes errors when importing modules too.
It completes the review "Added test case for opera vims" [1].

[1] https://gerrit.opnfv.org/gerrit/#/c/30681

Change-Id: Ib3cf9c66eb9a2c25ff4fb58d48e4b15a44556f7c
Signed-off-by: Cédric Ollivier <cedric.ollivier@orange.com>

Write feature case names in testcases.yaml

It replaces some project names by the corresponding case names.
Else some feature projects results failed to be pushed to DB.

Co-Authored-By: Cédric Ollivier <cedric.ollivier@orange.com>
JIRA: FUNCTEST-792

Change-Id: Id81644406bafb361da46e397a92e60b4da2ec068
Signed-off-by: Linda Wang <wangwulin@huawei.com>
Signed-off-by: Cédric Ollivier <cedric.ollivier@orange.com>

Add unit tests for parser

It also fixes the corresponding case name in testcases.yaml.

Change-Id: I2b93323a18bb192d9ad35823dc48b236cb6841b1
Signed-off-by: Cédric Ollivier <cedric.ollivier@orange.com>

Bugfixing the testcases execusion

tempest.api.compute.servers.test_server_actions\
.ServerActionsTestJSON.test_reboot_server_hard
is working in fuel so do test it.

The "-" was missing so
tempest.scenario.test_server_basic_ops
.TestServerBasicOps.test_server_basic_ops
was executed on fuel which is known to be
not working since metadata service is not
available. That was added already long
ago but through the not adding
of the "-" it got added again.

Change-Id: I6808ce9283271e2d2f8acf7c2587aed006d1cbc2
Signed-off-by: Nikolas Hermanns <nikolas.hermanns@ericsson.com>

Merge "Enable the deployment info print for compass"

Merge "Increase ram for tempest tests (aarch64)"

Bugfix: Add case_name as constructor arg for snaps_smoke

JIRA: FUNCTEST-791

When running snaps_smoke, it complains " __init__() got
an unexpected keyword argument 'case_name'"

Change-Id: I4a59828ba735ba14a286d000d1d061be14878d1c
Signed-off-by: Linda Wang <wangwulin@huawei.com>

Increase ram for tempest tests (aarch64)

The following tests fail on armband because the VM cannot boot.
tempest.api.compute.servers.test_server_actions.
ServerActionsTestJSON.test_reboot_server_hard

tempest.scenario.test_network_basic_ops.
TestNetworkBasicOps.test_network_basic_ops

tempest.scenario.test_volume_boot_pattern.
TestVolumeBootPattern.test_volume_boot_pattern

tempest.scenario.test_volume_boot_pattern.
TestVolumeBootPatternV2.test_volume_boot_pattern

The reason for the failure is that the 128 ram is insufficient for the
image to boot. The fix consists in increasing the ram to 256

JIRA: ARMBAND-61

Change-Id: I5be1a44a8038b4952cca100511e8d08b7a37681c
Signed-off-by: Cristina Pauna <cristina.pauna@enea.com>

Add case_name as args in all features

Now run_tests.py forces case_name as arg of every TestCase or Feature.
It also updates the related unit tests.

Change-Id: I4d70005b53730f36785f0ac95f4f0f6a04455794
Signed-off-by: Cédric Ollivier <cedric.ollivier@orange.com>

Merge "refstack client: improvement and fix of TestCase usage"

Merge "Bugfix: Add case_name as constructor arg for snaps and rally"

Bugfix: Add case_name as constructor arg for snaps and rally

When running healthcheck tier and rally, it complains " __init__() got
an unexpected keyword argument 'case_name'"

Change-Id: I078094921f08b457b88beabee60eabf40b657411
Signed-off-by: Linda Wang <wangwulin@huawei.com>

Fix VIM onboarding and ims deployment

VIM onboarding: check for API version of OpenStack -> support of v2 and v3
ims deployment: fix userdata in order to wait for EMS registration

Change-Id: Id0932232ddb1f1163ef3c37460bc88b71b9c0bdd
Signed-off-by: Michael Pauls <michael.pauls@fokus.fraunhofer.de>

refstack client: improvement and fix of TestCase usage

JIRA: FUNCTEST-772

1, RefstackClientParser should not be a subclass of TestCase
2, tempest_conf.py used for generating reference tempest.conf file
   not related to functest cmd, use logger is enough

Change-Id: If9c37331a5a7687e5704e546efcdea8175b1529c
Signed-off-by: MatthewLi <matthew.lijun@huawei.com>

Add unit tests for feature

They partially cover feature but already highlight bugs.
Several tests are skipped to allow merging. Their decorators could be
removed as soon as feature is fixed.

I think bad-continuation is false positive so it's disabled (pep8 and
flake8 return ok).

JIRA: FUNCTEST-779

Change-Id: I89b9e2ec0388eea2471d941b2c653deca7fbddf6
Signed-off-by: Cédric Ollivier <cedric.ollivier@orange.com>

Add unit tests for security_scan

Change-Id: Idda799c01408aa9afd09d573e23f42e011f3fafb
Signed-off-by: Cédric Ollivier <cedric.ollivier@orange.com>

Add unit tests for sdnvpn

Change-Id: Ie4ebc4e2bc6f2e66f5f567f45f44c073cd9d313d
Signed-off-by: Cédric Ollivier <cedric.ollivier@orange.com>

Add unit tests for promise

Change-Id: I538fcedbfbef46ae36b8eff5a20acaa28a8bfb85
Signed-off-by: Cédric Ollivier <cedric.ollivier@orange.com>

Add unit tests for odl_sfc

Change-Id: I8eb037a8c2427695d42207897064b79cb2b03a5d
Signed-off-by: Cédric Ollivier <cedric.ollivier@orange.com>

Add unit tests for netready

Change-Id: I45f9209c55bd65c9538fc3b1181ccbcfbdd23a40
Signed-off-by: Cédric Ollivier <cedric.ollivier@orange.com>

Add unit tests for domino

Change-Id: Ie6671080a3d38a17da0ee608a362605a6d9df9db
Signed-off-by: Cédric Ollivier <cedric.ollivier@orange.com>

Add unit tests for doctor

Change-Id: Iba3c63592623623507e009b0b9f514792c82d25e
Signed-off-by: Cédric Ollivier <cedric.ollivier@orange.com>

Add unit tests for copper

Change-Id: Ia4e53e2aee5b93071b3acd3d75c7e42841321a0a
Signed-off-by: Cédric Ollivier <cedric.ollivier@orange.com>

Add unit tests for barometer

2 tests are skipped to allow merging [1]

[1] https://jira.opnfv.org/browse/FUNCTEST-777

Change-Id: Ida376a03266489e252f7ef8de1ff40f1474c500a
Signed-off-by: Cédric Ollivier <cedric.ollivier@orange.com>

Merge "Add case_name as constructor arg"

Add case_name as constructor arg

It allows managing multiple TestCase names with only one TestCase
module. It is mainly required by odl which implements:
  - odl,
  - odl_netvirt,
  - fds.

It also renames case to case_name in Features to conform with
TestCases.

JIRA: FUNCTEST-762

Change-Id: Ie254f754a0ea3077a8afda1c470528d38c79478f
Signed-off-by: Cédric Ollivier <cedric.ollivier@orange.com>

Merge "modify old naming testcase_base to testcase"

Merge "[Clearwater Test] Fix bug in error message"

Backup of reporting status for Danube 1.0

- reporting html pages for apex, compass, fuel and joid
- text file with history of Danube scenarios
- text file of validated Danube scenarios (100% in functest)

Change-Id: If5585acc5bf56406c0c92e8b132157ed742244f1
Signed-off-by: Morgan Richomme <morgan.richomme@orange.com>

[Clearwater Test] Fix bug in error message

Change-Id: I5d1a3f44915821fcf778c4bcecb32d2aaf475262
Signed-off-by: boucherv <valentin.boucher@orange.com>

Enable the deployment info print for compass

Change-Id: Ifcd81ac4694df46109a78e522da2e399b166c867
Signed-off-by: helenyao <yaohelan@huawei.com>

Merge "Adding label for userguide"

Adding label for userguide

Change-Id: Iaab305c913173594ee2d857255b6492d15f15916
Signed-off-by: ShubhamRathi <shubhamiiitbackup@gmail.com>

Make tempest cleanup resources after running

JIRA: FUNCTEST-773

1. When running refstack_defcore, create tenant and user failed due to conflict
   with those created when runnning tempest_smoke_serial.
2. Clean all resources created for tempest_smoke_serial.

Change-Id: Icf8ec95f6db0b2f93bf6c56ec10a6e8ea1a91ab1
Signed-off-by: Linda Wang <wangwulin@huawei.com>

Merge "Re-enable rally and tempest full for weekly"

Merge "Check a rule existence for a specific security group"

Check a rule existence for a specific security group

    Implement a functionality to check if a rule concerning
    a specific security group exists
    - function get_security_group_rules(neutron_client, sg_id)
      returns the list of the security rules for a specific security group
    - function check_security_group_rules(neutron_client,
                                          sg_id, direction,
                                          protocol,
                                          port_min=None,
                                          port_max=None)
      checks if a specific rule for a specific security group exists
      and returns True or False
    - implement unit tests for the two new functions

     This new functionality is needed for sdnvpn project

Change-Id: Ib930bc9a76141932f4164d88e2640b49f3df4d77
Signed-off-by: tomsou <soth@intracom-telecom.com>

Upgrade to the latest kingbird version

Change-Id: I80015fa05811f11c2c62e4c87f6008bea279fbf7
Signed-off-by: Dimitri Mazmanov <dimitri.mazmanov@ericsson.com>

Merge "Release notes for Danube 1.0"

Re-enable rally and tempest full for weekly

Change-Id: I640531ebcc471adebe780c75627d822cf8fd956d
Signed-off-by: jose.lausuch <jose.lausuch@ericsson.com>

Release notes for Danube 1.0

JIRA: FUNCTEST-562

Change-Id: I1e2c827bad7c924561bbe433dac97c096282024d
Signed-off-by: jose.lausuch <jose.lausuch@ericsson.com>

modify old naming testcase_base to testcase

testcase_base is the old naming, now testcase is adopted

Change-Id: Ic937da1fba16060d8a2ff1e6f3d1301be1293cd3
Signed-off-by: SerenaFeng <feng.xiaowei@zte.com.cn>

Merge "More Unit Tests for utils module"

Merge "More Unit Tests for ci directory"

Merge "Clean up Tempest blacklist"

Merge "More Unit Tests for tempest and IMS module"

Merge "Disable tempest server reboot test for SDNVPN and Gluon"

Clean up Tempest blacklist

This list has been generated in Colorado and there are
some scenarios that are deprecated and there is no
need to list them here.

Change-Id: I62a30b5026ed1df65ebdb7a68a6acf3364469865
Signed-off-by: jose.lausuch <jose.lausuch@ericsson.com>

Disable tempest server reboot test for SDNVPN and Gluon

Bug report: https://bugs.opendaylight.org/show_bug.cgi?id=5586
As a result, floating IPs are not working in Apex at the moment.

Change-Id: I437c10b53dc01810ed757f040d3378c92320274b
Signed-off-by: Georg Kunz <georg.kunz@ericsson.com>
Signed-off-by: Nikolas Hermanns <nikolas.hermanns@ericsson.com>

Merge "rename FeatureBase to Feature"

Merge "rename feature_base to feature"

More Unit Tests for tempest and IMS module

This patch adds more unit tests for
openstack/tempest/ and ims/ modules
with coverage >= 80%

Change-Id: I7c18cea791ac8dc3e890da98066179225283b068
Signed-off-by: ashishk1994 <ashishk.iiit@gmail.com>

Merge "Add docstrings in odl"

Merge "refstack: bugfix of name TestCase"

Added test case for opera vims

1. Created a ImsOnBoardingBase to wrap up all common ims operations
2. Created test case to test opera vims onboarding

Change-Id: Idf3a82e10661271ad413f4dd5795c80ca4421d73
Signed-off-by: helenyao <yaohelan@huawei.com>

refstack: bugfix of name TestCase

JIRA: FUNCTEST-758

Change-Id: I1b90597c9745faa67afa58e5653f72411a95aa3d
Signed-off-by: MatthewLi <matthew.lijun@huawei.com>

Merge "modify old naming Testcase_base to TestCase"

Add docstrings in odl

It has been rated at 10.00/10 by pylint.

Change-Id: If45656080a47c2582556f841a02379b37e481fd9
Signed-off-by: Cédric Ollivier <cedric.ollivier@orange.com>

Fully fix pylint warnings in test_testcase

It partially takes into account missing-docstring.
It is disabled for public methods as they are unit tests.

It has been rated at 10.00/10.

Change-Id: I70e6729b9228d58cc67a18da29b925dad22cf5bd
Signed-off-by: Cédric Ollivier <cedric.ollivier@orange.com>

Rename test_testcase_base to test_testcase

It follows "Rename testcase_base to testcase" [1]

[1] https://gerrit.opnfv.org/gerrit/#/c/31879/

Change-Id: I54bb62a37bdab842f433790688128a459b0ac78c
Signed-off-by: Cédric Ollivier <cedric.ollivier@orange.com>

rename FeatureBase to Feature

delete useless suffix 'Base'

Change-Id: Ie789da2e83cc90585fd281fe183e8430af498436
Signed-off-by: SerenaFeng <feng.xiaowei@zte.com.cn>

rename feature_base to feature

remove useless suffix _base

Change-Id: I63a73fd6fef2fccd9b92c405f64dda50735b0026
Signed-off-by: SerenaFeng <feng.xiaowei@zte.com.cn>

Fix pylint warnings in test_odl

It takes into account the following warnings:
  - wrong-import-order
  - bad-continuation
  - unused-argument
  - invalid-name
  - too-many-arguments

missing-docstring is partially disabled as they are unit tests.

It has been rated at 10.00/10.

Change-Id: I35886ec75a9e66817cfd0fe18534f157d7500a2b
Signed-off-by: Cédric Ollivier <cedric.ollivier@orange.com>

Merge "Revert "Make SFC test a python call to main()""

modify old naming Testcase_base to TestCase

Testcase_base is the first version, now TestCase is adopted

Change-Id: If25eef0d8164220bd36f86fe636f7f1c0b247564
Signed-off-by: SerenaFeng <feng.xiaowei@zte.com.cn>

Revert "Make SFC test a python call to main()"

This reverts commit d5820bef80ea4bdb871380dbfe41db12290fc5f8.

Robot test runs before SFC test and it imports
https://github.com/robotframework/SSHLibrary
which does a monkey patching in
the python runtime / paramiko.
Untill now sfc run in a new python process (clean)
because it run using the bash command.
But when importing it as a module and call main()
from python, it will run in the patched runtime
and it will error out.
https://hastebin.com/iyobuxutib.py

Change-Id: I54237c32c957718b363d302efe84e01bc78e4f47
Signed-off-by: George Paraskevopoulos <geopar@intracom-telecom.com>

refstack client: manually running improvement

JIRA: FUNCTEST-758

1.python tempest_conf.py can generate a reference tempest.conf under /hom/opnfv/.../refstack_client
  this is based on "rally verify configure-verifier"
  surely, user can define his/her own tempest.conf by not using this
2.python refstack_client.py -c <tempest_conf_path> --testlist <testlist_file_path>
  if not given, will use default path, if file not exists, will have error

Change-Id: I1ceecbe8fe86fbe0d53b736a0f3b9a9ae01f262f
Signed-off-by: MatthewLi <matthew.lijun@huawei.com>

Merge "Fix pylint warnings in odl"

More Unit Tests for utils module

This patch adds some more unit tests for
utils/openstack_tacker file and also
adds unit tests for utils/functest_logger file

Change-Id: I1a4c91eff87aebc3614ef01c3b5de0d2e6716afa
Signed-off-by: ashishk1994 <ashishk.iiit@gmail.com>

Merge "Add docstrings in testcase.py"

Merge "Rename testcase_base to testcase"

Merge "Switch TestcaseBase to TestCase"

Remove vping_ssh from bgpvpn and gluon scenario

Cause of the bug:
https://bugs.opendaylight.org/show_bug.cgi?id=5586
Floating ip is not working at the moment for us.

We don't want to remove the vping_ssh test from
fuel. the scenarios are called different in fuel and
in apex. odl-bgpvpn in apex. odl_l2-bgpvpn in fuel.

Change-Id: Iaa2e6cea8a4fdb8635f018427aaf30634fd8d2d5
Signed-off-by: Nikolas Hermanns <nikolas.hermanns@ericsson.com>

Fix pylint warnings in odl

It takes into account the following warnings:
  - invalid-name
  - logging-not-lazy
  - dangerous-default-value
  - broad-except (locally-disabled)
  - too-few-public-methods (locally-disabled)

Change-Id: Iec59108cc16872090c5def0bb38c10a7aeec46fc
Signed-off-by: Cédric Ollivier <cedric.ollivier@orange.com>

Add docstrings in testcase.py

testcase.py is now rated at 10.00/10 by pylint.

Change-Id: Ia90e53db7a25aac3827cd29bb9fd6baaa46cd487
Signed-off-by: Cédric Ollivier <cedric.ollivier@orange.com>

Changing project name of vRouter

JIRA: FUNCTEST-769

 When pushing result to DB in vRouter module an error occurred.
 couse is wrong project name.
 We changed project name from "vRouter" to "functest".

Change-Id: I8b8289b48330b17b6d6620524024dea4f488e38a
Signed-off-by: Shuya Nakama <shuya.nakama@okinawaopenlabs.org>

More Unit Tests for ci directory

This patch adds more unit tests for ci/prepare_env,
ci/run_tests and ci/tier_handler to reach the coverage
more than 80%

Change-Id: Ia3b7105542105bf8c5e3db58c898ba0569190a80
Signed-off-by: ashishk1994 <ashishk.iiit@gmail.com>

Rename testcase_base to testcase

It simply removes the useless suffix.

Change-Id: Ib9a682b57d8f33518359d817a593bb3786577390
Signed-off-by: Cédric Ollivier <cedric.ollivier@orange.com>

Switch TestcaseBase to TestCase

It partially reverts "Rename TestCasesBase into TestcaseBase" [1] and
removes the useless suffix too.

[1] https://gerrit.opnfv.org/gerrit/#/c/25391/

Change-Id: Iddf2ec8d6c1dafe6e4c6713c2e69969613317471
Signed-off-by: Cédric Ollivier <cedric.ollivier@orange.com>

Merge "Fix pylint warnings in test_testcase_base"

Merge "Fix pylint warnings in testcase_base"

Merge "Update documentation for Danube"

Fix pylint warnings in test_testcase_base

It takes into account the following warnings:
  - wrong-import-order
  - no-value-for-parameter

The 'no-value-for-parameter' warnings are false positive. The added
default values are useless but avoid them.

Change-Id: I50d0af178d9da668a3c72e75f5af467d36ca0e6a
Signed-off-by: Cédric Ollivier <cedric.ollivier@orange.com>

Fix pylint warnings in testcase_base

It takes into account the following warnings:
  - bare-except
  - unused-argument
  - broad-except

Change-Id: I3a50bf6d07823edc80a7f0f78f46681ace7f4a39
Signed-off-by: Cédric Ollivier <cedric.ollivier@orange.com>

Merge "Fix Dockerfile.aarch64"

Merge "Printing the flavor_metadata for SnapsTestRunner"

Fix Dockerfile.aarch64

Bugfix for error:
https://build.opnfv.org/ci/view/functest/job/functest-docker-build-arm-push-master/99/console

Change-Id: I04b45c05d4bb48c9b5b55050addce707177abcd4
Signed-off-by: Linda Wang <wangwulin@huawei.com>

Merge "Change api version"

Update documentation for Danube

JIRA: FUNCTEST-559
JIRA: FUNCTEST-560

Change-Id: I2104a9b68bb3985c9f5900ebc30bab89b09b7835
Signed-off-by: Morgan Richomme <morgan.richomme@orange.com>

Printing the flavor_metadata for SnapsTestRunner

Need to print what is being tested to debug and
verify results.

JIRA : FUNCTEST-768

This is needed by the Apex team for the danube release.

Change-Id: Ie7400af14f7e54d1deb5b2b5d2fc91eb5b14ca91
Signed-off-by: randyl <r.levensalor@cablelabs.com>

Change api version

The api_version had full API url instead of just the version.

Change-Id: I78b39ea5d39e1ffab54d2bca41df96aadd47ac86
Signed-off-by: Dimitri Mazmanov <dimitri.mazmanov@ericsson.com>

Merge "Clean redundant error logs of refstack_defcore in the console"

Fix VIM onboarding

Usage openstack client in order to get project id directly

Change-Id: Id75dcd594430501152c3ba02a969ac1a2aaaadc5
Signed-off-by: Michael Pauls <michael.pauls@fokus.fraunhofer.de>

Merge "bug fix: unit test on openstack_utils"

Merge "Replace domain name from Default to default"

bug fix: unit test on openstack_utils

test_check_credentials_missing_env was corrected
but correction lead to good execution but false results

Change-Id: I47ff7d6aa0d5dda78cd978f1905b570c02160a8a
Signed-off-by: Morgan Richomme <morgan.richomme@orange.com>

Merge "[fuel] Skip test_server_basic_ops tempest test"