Documentation for unit test project

JIRA: FUNCTEST-594

Change-Id: I2ae821f4bc2283d736a635357aea89dc95a7c839
Signed-off-by: ashishk1994 <ashishk.iiit@gmail.com>

Merge "Adding label for userguide"

Adding label for userguide

Change-Id: Iaab305c913173594ee2d857255b6492d15f15916
Signed-off-by: ShubhamRathi <shubhamiiitbackup@gmail.com>

Make tempest cleanup resources after running

JIRA: FUNCTEST-773

1. When running refstack_defcore, create tenant and user failed due to conflict
   with those created when runnning tempest_smoke_serial.
2. Clean all resources created for tempest_smoke_serial.

Change-Id: Icf8ec95f6db0b2f93bf6c56ec10a6e8ea1a91ab1
Signed-off-by: Linda Wang <wangwulin@huawei.com>

Merge "Re-enable rally and tempest full for weekly"

Merge "Check a rule existence for a specific security group"

Check a rule existence for a specific security group

    Implement a functionality to check if a rule concerning
    a specific security group exists
    - function get_security_group_rules(neutron_client, sg_id)
      returns the list of the security rules for a specific security group
    - function check_security_group_rules(neutron_client,
                                          sg_id, direction,
                                          protocol,
                                          port_min=None,
                                          port_max=None)
      checks if a specific rule for a specific security group exists
      and returns True or False
    - implement unit tests for the two new functions

     This new functionality is needed for sdnvpn project

Change-Id: Ib930bc9a76141932f4164d88e2640b49f3df4d77
Signed-off-by: tomsou <soth@intracom-telecom.com>

Upgrade to the latest kingbird version

Change-Id: I80015fa05811f11c2c62e4c87f6008bea279fbf7
Signed-off-by: Dimitri Mazmanov <dimitri.mazmanov@ericsson.com>

Merge "Release notes for Danube 1.0"

Re-enable rally and tempest full for weekly

Change-Id: I640531ebcc471adebe780c75627d822cf8fd956d
Signed-off-by: jose.lausuch <jose.lausuch@ericsson.com>

Release notes for Danube 1.0

JIRA: FUNCTEST-562

Change-Id: I1e2c827bad7c924561bbe433dac97c096282024d
Signed-off-by: jose.lausuch <jose.lausuch@ericsson.com>

Merge "More Unit Tests for utils module"

Merge "More Unit Tests for ci directory"

Merge "Clean up Tempest blacklist"

Merge "More Unit Tests for tempest and IMS module"

Merge "Disable tempest server reboot test for SDNVPN and Gluon"

Clean up Tempest blacklist

This list has been generated in Colorado and there are
some scenarios that are deprecated and there is no
need to list them here.

Change-Id: I62a30b5026ed1df65ebdb7a68a6acf3364469865
Signed-off-by: jose.lausuch <jose.lausuch@ericsson.com>

Disable tempest server reboot test for SDNVPN and Gluon

Bug report: https://bugs.opendaylight.org/show_bug.cgi?id=5586
As a result, floating IPs are not working in Apex at the moment.

Change-Id: I437c10b53dc01810ed757f040d3378c92320274b
Signed-off-by: Georg Kunz <georg.kunz@ericsson.com>
Signed-off-by: Nikolas Hermanns <nikolas.hermanns@ericsson.com>

Merge "rename FeatureBase to Feature"

Merge "rename feature_base to feature"

More Unit Tests for tempest and IMS module

This patch adds more unit tests for
openstack/tempest/ and ims/ modules
with coverage >= 80%

Change-Id: I7c18cea791ac8dc3e890da98066179225283b068
Signed-off-by: ashishk1994 <ashishk.iiit@gmail.com>

Merge "Add docstrings in odl"

Merge "refstack: bugfix of name TestCase"

Added test case for opera vims

1. Created a ImsOnBoardingBase to wrap up all common ims operations
2. Created test case to test opera vims onboarding

Change-Id: Idf3a82e10661271ad413f4dd5795c80ca4421d73
Signed-off-by: helenyao <yaohelan@huawei.com>

refstack: bugfix of name TestCase

JIRA: FUNCTEST-758

Change-Id: I1b90597c9745faa67afa58e5653f72411a95aa3d
Signed-off-by: MatthewLi <matthew.lijun@huawei.com>

Merge "modify old naming Testcase_base to TestCase"

Add docstrings in odl

It has been rated at 10.00/10 by pylint.

Change-Id: If45656080a47c2582556f841a02379b37e481fd9
Signed-off-by: Cédric Ollivier <cedric.ollivier@orange.com>

Fully fix pylint warnings in test_testcase

It partially takes into account missing-docstring.
It is disabled for public methods as they are unit tests.

It has been rated at 10.00/10.

Change-Id: I70e6729b9228d58cc67a18da29b925dad22cf5bd
Signed-off-by: Cédric Ollivier <cedric.ollivier@orange.com>

Rename test_testcase_base to test_testcase

It follows "Rename testcase_base to testcase" [1]

[1] https://gerrit.opnfv.org/gerrit/#/c/31879/

Change-Id: I54bb62a37bdab842f433790688128a459b0ac78c
Signed-off-by: Cédric Ollivier <cedric.ollivier@orange.com>

rename FeatureBase to Feature

delete useless suffix 'Base'

Change-Id: Ie789da2e83cc90585fd281fe183e8430af498436
Signed-off-by: SerenaFeng <feng.xiaowei@zte.com.cn>

rename feature_base to feature

remove useless suffix _base

Change-Id: I63a73fd6fef2fccd9b92c405f64dda50735b0026
Signed-off-by: SerenaFeng <feng.xiaowei@zte.com.cn>

Fix pylint warnings in test_odl

It takes into account the following warnings:
  - wrong-import-order
  - bad-continuation
  - unused-argument
  - invalid-name
  - too-many-arguments

missing-docstring is partially disabled as they are unit tests.

It has been rated at 10.00/10.

Change-Id: I35886ec75a9e66817cfd0fe18534f157d7500a2b
Signed-off-by: Cédric Ollivier <cedric.ollivier@orange.com>

Merge "Revert "Make SFC test a python call to main()""

modify old naming Testcase_base to TestCase

Testcase_base is the first version, now TestCase is adopted

Change-Id: If25eef0d8164220bd36f86fe636f7f1c0b247564
Signed-off-by: SerenaFeng <feng.xiaowei@zte.com.cn>

Revert "Make SFC test a python call to main()"

This reverts commit d5820bef80ea4bdb871380dbfe41db12290fc5f8.

Robot test runs before SFC test and it imports
https://github.com/robotframework/SSHLibrary
which does a monkey patching in
the python runtime / paramiko.
Untill now sfc run in a new python process (clean)
because it run using the bash command.
But when importing it as a module and call main()
from python, it will run in the patched runtime
and it will error out.
https://hastebin.com/iyobuxutib.py

Change-Id: I54237c32c957718b363d302efe84e01bc78e4f47
Signed-off-by: George Paraskevopoulos <geopar@intracom-telecom.com>

refstack client: manually running improvement

JIRA: FUNCTEST-758

1.python tempest_conf.py can generate a reference tempest.conf under /hom/opnfv/.../refstack_client
  this is based on "rally verify configure-verifier"
  surely, user can define his/her own tempest.conf by not using this
2.python refstack_client.py -c <tempest_conf_path> --testlist <testlist_file_path>
  if not given, will use default path, if file not exists, will have error

Change-Id: I1ceecbe8fe86fbe0d53b736a0f3b9a9ae01f262f
Signed-off-by: MatthewLi <matthew.lijun@huawei.com>

Merge "Fix pylint warnings in odl"

More Unit Tests for utils module

This patch adds some more unit tests for
utils/openstack_tacker file and also
adds unit tests for utils/functest_logger file

Change-Id: I1a4c91eff87aebc3614ef01c3b5de0d2e6716afa
Signed-off-by: ashishk1994 <ashishk.iiit@gmail.com>

Merge "Add docstrings in testcase.py"

Merge "Rename testcase_base to testcase"

Merge "Switch TestcaseBase to TestCase"

Remove vping_ssh from bgpvpn and gluon scenario

Cause of the bug:
https://bugs.opendaylight.org/show_bug.cgi?id=5586
Floating ip is not working at the moment for us.

We don't want to remove the vping_ssh test from
fuel. the scenarios are called different in fuel and
in apex. odl-bgpvpn in apex. odl_l2-bgpvpn in fuel.

Change-Id: Iaa2e6cea8a4fdb8635f018427aaf30634fd8d2d5
Signed-off-by: Nikolas Hermanns <nikolas.hermanns@ericsson.com>

Fix pylint warnings in odl

It takes into account the following warnings:
  - invalid-name
  - logging-not-lazy
  - dangerous-default-value
  - broad-except (locally-disabled)
  - too-few-public-methods (locally-disabled)

Change-Id: Iec59108cc16872090c5def0bb38c10a7aeec46fc
Signed-off-by: Cédric Ollivier <cedric.ollivier@orange.com>

Add docstrings in testcase.py

testcase.py is now rated at 10.00/10 by pylint.

Change-Id: Ia90e53db7a25aac3827cd29bb9fd6baaa46cd487
Signed-off-by: Cédric Ollivier <cedric.ollivier@orange.com>

Changing project name of vRouter

JIRA: FUNCTEST-769

 When pushing result to DB in vRouter module an error occurred.
 couse is wrong project name.
 We changed project name from "vRouter" to "functest".

Change-Id: I8b8289b48330b17b6d6620524024dea4f488e38a
Signed-off-by: Shuya Nakama <shuya.nakama@okinawaopenlabs.org>

More Unit Tests for ci directory

This patch adds more unit tests for ci/prepare_env,
ci/run_tests and ci/tier_handler to reach the coverage
more than 80%

Change-Id: Ia3b7105542105bf8c5e3db58c898ba0569190a80
Signed-off-by: ashishk1994 <ashishk.iiit@gmail.com>

Rename testcase_base to testcase

It simply removes the useless suffix.

Change-Id: Ib9a682b57d8f33518359d817a593bb3786577390
Signed-off-by: Cédric Ollivier <cedric.ollivier@orange.com>

Switch TestcaseBase to TestCase

It partially reverts "Rename TestCasesBase into TestcaseBase" [1] and
removes the useless suffix too.

[1] https://gerrit.opnfv.org/gerrit/#/c/25391/

Change-Id: Iddf2ec8d6c1dafe6e4c6713c2e69969613317471
Signed-off-by: Cédric Ollivier <cedric.ollivier@orange.com>

Merge "Fix pylint warnings in test_testcase_base"

Merge "Fix pylint warnings in testcase_base"

Merge "Update documentation for Danube"

Fix pylint warnings in test_testcase_base

It takes into account the following warnings:
  - wrong-import-order
  - no-value-for-parameter

The 'no-value-for-parameter' warnings are false positive. The added
default values are useless but avoid them.

Change-Id: I50d0af178d9da668a3c72e75f5af467d36ca0e6a
Signed-off-by: Cédric Ollivier <cedric.ollivier@orange.com>

Fix pylint warnings in testcase_base

It takes into account the following warnings:
  - bare-except
  - unused-argument
  - broad-except

Change-Id: I3a50bf6d07823edc80a7f0f78f46681ace7f4a39
Signed-off-by: Cédric Ollivier <cedric.ollivier@orange.com>

Merge "Fix Dockerfile.aarch64"

Merge "Printing the flavor_metadata for SnapsTestRunner"

Fix Dockerfile.aarch64

Bugfix for error:
https://build.opnfv.org/ci/view/functest/job/functest-docker-build-arm-push-master/99/console

Change-Id: I04b45c05d4bb48c9b5b55050addce707177abcd4
Signed-off-by: Linda Wang <wangwulin@huawei.com>

Merge "Change api version"

Update documentation for Danube

JIRA: FUNCTEST-559
JIRA: FUNCTEST-560

Change-Id: I2104a9b68bb3985c9f5900ebc30bab89b09b7835
Signed-off-by: Morgan Richomme <morgan.richomme@orange.com>

Printing the flavor_metadata for SnapsTestRunner

Need to print what is being tested to debug and
verify results.

JIRA : FUNCTEST-768

This is needed by the Apex team for the danube release.

Change-Id: Ie7400af14f7e54d1deb5b2b5d2fc91eb5b14ca91
Signed-off-by: randyl <r.levensalor@cablelabs.com>

Change api version

The api_version had full API url instead of just the version.

Change-Id: I78b39ea5d39e1ffab54d2bca41df96aadd47ac86
Signed-off-by: Dimitri Mazmanov <dimitri.mazmanov@ericsson.com>

Merge "Clean redundant error logs of refstack_defcore in the console"

Fix VIM onboarding

Usage openstack client in order to get project id directly

Change-Id: Id75dcd594430501152c3ba02a969ac1a2aaaadc5
Signed-off-by: Michael Pauls <michael.pauls@fokus.fraunhofer.de>

Merge "bug fix: unit test on openstack_utils"

Merge "Replace domain name from Default to default"

bug fix: unit test on openstack_utils

test_check_credentials_missing_env was corrected
but correction lead to good execution but false results

Change-Id: I47ff7d6aa0d5dda78cd978f1905b570c02160a8a
Signed-off-by: Morgan Richomme <morgan.richomme@orange.com>

Merge "[fuel] Skip test_server_basic_ops tempest test"

Merge "Ignore certain modules for logging"

Clean redundant error logs of refstack_defcore in the console

1. Remove the file "refstack-error.log", and all the stderr and stdout
will be stored in refstack.log
2. Clean redundant error logs in the console and all the detailed error
logs will be found in refstack.log.

Change-Id: I7e71567c98dc89c529421eccbf1b497962b07405
Signed-off-by: Linda Wang <wangwulin@huawei.com>

Merge "Enable functest offline by installing tempest system wide"

Merge "Switch test_db_url to a directory"

Merge "Make SFC test a python call to main()"

Merge "Add reveal.js as a submodule"

Replace domain name from Default to default

The tests don't pass if the domain name is Default.
Instead the domain id 'default' should be used.

Change-Id: Ife919f79f007ab3fea3d53744634a92ddb172c23
Signed-off-by: Dimitri Mazmanov <dimitri.mazmanov@ericsson.com>

Merge "Support running on openstack which enabled https"

Merge "Fix Dockerfile"

Ignore certain modules for logging

Some modules are logged to functest.log or the console
and are not relevant for us since they are already
in the openstack logs.
This causes a huge log which makes it unreadable.

Change-Id: I3f0fb83e2080e41cd5bf815f8448f5bc25e3464a
Signed-off-by: jose.lausuch <jose.lausuch@ericsson.com>

Make SFC test a python call to main()

Instead of python -> bash -> python, call
the SFC test using the execute() method that
is inherited from FeatureBase and it's a bash
call by default.
With this change, we call the SFC test using main()
of run_tests.py of SFC repo and will have
real time output.

Change-Id: I6d59821e603c88697a82b95c5626c5b703c11026
Signed-off-by: jose.lausuch <jose.lausuch@ericsson.com>
Signed-off-by: George Paraskevopoulos <geopar@intracom-telecom.com>

Disable blocking status for odl_netvirt

Change-Id: I4a3f10a82d3109a44f8db237cbd7beda06a361da
Signed-off-by: Jamo Luhrsen <jluhrsen@redhat.com>

Fix Dockerfile

Bugfix for error:
https://build.opnfv.org/ci/job/functest-docker-build-push-master/1001/console

Change-Id: I4bc398ecfaa5163e7ee271dd5b67b3d953fb59b1
Signed-off-by: jose.lausuch <jose.lausuch@ericsson.com>

Switch test_db_url to a directory

We must now set a dir (e.g. /home/opnfv/db) to dump results. It avoids
replacing "results" and prevent from limiting the use of this decorator.
All data will be dumped into url/dump.txt

As also proposed in FUNCTEST-729, missing directories are created too.
The decorator will raise exceptions if dir exists or if target is not a
directory.

Co-Authored-By: Cédric Ollivier <cedric.ollivier@orange.com>
JIRA: FUNCTEST-729
Change-Id: I9650c72493043539f17725f5c328c12639ecc059
Signed-off-by: xudan <xudan16@huawei.com>
Signed-off-by: Cédric Ollivier <cedric.ollivier@orange.com>

Merge "bugfix: fail to push odl-sfc test result to TestDB"

bugfix: fail to push odl-sfc test result to TestDB

'functest-odl-sfc"' will appear as [functest-odl-sfc"],
tailing with ", it is not defined in TestDB. led to
failure pushing

Change-Id: I43966236e25578aed12952710b22ba99e244cf56
Signed-off-by: SerenaFeng <feng.xiaowei@zte.com.cn>

Merge "refstack: bugfix of testcase failure"

refstack: bugfix of testcase failure

JIRA: DOVETAIL-366
JIRA: DOVETAIL-758

1)for compass, joid, failure log
  https://build.opnfv.org/ci/view/functest/job/functest-joid-baremetal-daily-master/1062/consoleFull
  https://build.opnfv.org/ci/view/functest/job/functest-compass-baremetal-daily-master/936/consoleFull
  volume_device_name should be set vdb.
  for fuel, "vdb" is used for config, drive when force_config_drive=True is in action, so set to vdc
  testcase test_attach_detach_volume is not dynamic enough, to skip temporarily.
2)rename defcore_201608.txt to defcore.txt
  since this file is the default running file, can be changed as version changes.
  and will be easy for dovetail to consume with a general name rather than a special name.
  then dovetail can define the testcases to replace this file when running.

Change-Id: I58f89095721a7bdb15230b9af2b96234c3c7dcb9
Signed-off-by: MatthewLi <matthew.lijun@huawei.com>

Merge "Update keys of details dic for refstack_defcore"

Merge "Set refstack_defcore criteria to 100%"

Merge changes from topics '644', 'improve_unix_permission_check'

* changes:
  Change execute bits
  Improve unix permissions fixes

Merge "Respect common unix permissions"

Merge "bug fix: version not retrieved on weekly jobs"

Change execute bits

It applies the rules proposed by "Improve unix permissions fixes" [1].

[1] https://gerrit.opnfv.org/gerrit/#/c/31171/

Change-Id: If5142befb74165a982f9281e8770289b303d483d
Signed-off-by: Cédric Ollivier <cedric.ollivier@orange.com>

Improve unix permissions fixes

It now removes exec permissions for files which don't require them.
It prevents from modifying files in functest_venv too.

Change-Id: I3c88817713711a0009a7392f19fe5ccc63ba98cd
Signed-off-by: Cédric Ollivier <cedric.ollivier@orange.com>

Merge "[cloudify_ims] Change VNF flavor value"

Merge "Remove functest_defcore testcases"

Respect common unix permissions

It was fixed by the following rule:
find ${FUNCTEST_REPO_DIR} -name "*.py" \
    -not -path "*tests/unit*" |xargs grep __main__ \
    |cut -d\: -f 1 |xargs chmod -c 755 &&
    find ${FUNCTEST_REPO_DIR} -name "*.sh" \
    |xargs grep \#\! |cut -d\: -f 1 |xargs chmod -c 755

Change-Id: I23fab3ff90d41d040264b5b8c0e425b6a42c7e55
Signed-off-by: Cédric Ollivier <cedric.ollivier@orange.com>

Update keys of details dic for refstack_defcore

Update the keys of details in refstack_defcore ("num_tests", "num_failures",
and "failed") to "tests", "failures" and "errors", in order to be consistent
with those in tempest.

Change-Id: I24f8a23548ffa253621083bbf6eb988306fd6edb
Signed-off-by: Linda Wang <wangwulin@huawei.com>

Set refstack_defcore criteria to 100%

In order to be consistent with other tests, set refstack_defcore
criteria to 100%.

Change-Id: Iab8bc0cb66b834a661b860a032192d502fde578b
Signed-off-by: Linda Wang <wangwulin@huawei.com>

[cloudify_ims] Change VNF flavor value

Change-Id: I843f77fa5051a99be8bdbdbb76300ab965e9d8af
Signed-off-by: boucherv <valentin.boucher@orange.com>

Fix usage of v3 APIs of OpenStack

Using OS_PROJECT_ID instead of OS_TENANT_NAME as tenant
when onboarding a new VIM/PoP with Open Baton

Change-Id: I873badc73e7b33179fa487505d18ce89840d6599
Signed-off-by: Michael Pauls <michael.pauls@fokus.fraunhofer.de>

Add reveal.js as a submodule

It modifies all presentations to be conformed with the new dir. It also
deletes reveal.js' README.txt which is now useless.

Change-Id: Ic16b087416e855dab8fa8a4ae2f8dd591b70859c
Signed-off-by: Cédric Ollivier <cedric.ollivier@orange.com>

[vnf_base] improve exception

Return on part of previous changes in commit: 30257
https://gerrit.opnfv.org/gerrit/#/c/30257/

Change-Id: I11b33ee2a6f9d4cbcf1449006b47be508fce655e
Signed-off-by: boucherv <valentin.boucher@orange.com>