Added test case for opera vims

1. Created a ImsOnBoardingBase to wrap up all common ims operations
2. Created test case to test opera vims onboarding

Change-Id: Idf3a82e10661271ad413f4dd5795c80ca4421d73
Signed-off-by: helenyao <yaohelan@huawei.com>

Merge "modify old naming Testcase_base to TestCase"

Fully fix pylint warnings in test_testcase

It partially takes into account missing-docstring.
It is disabled for public methods as they are unit tests.

It has been rated at 10.00/10.

Change-Id: I70e6729b9228d58cc67a18da29b925dad22cf5bd
Signed-off-by: Cédric Ollivier <cedric.ollivier@orange.com>

Rename test_testcase_base to test_testcase

It follows "Rename testcase_base to testcase" [1]

[1] https://gerrit.opnfv.org/gerrit/#/c/31879/

Change-Id: I54bb62a37bdab842f433790688128a459b0ac78c
Signed-off-by: Cédric Ollivier <cedric.ollivier@orange.com>

Fix pylint warnings in test_odl

It takes into account the following warnings:
  - wrong-import-order
  - bad-continuation
  - unused-argument
  - invalid-name
  - too-many-arguments

missing-docstring is partially disabled as they are unit tests.

It has been rated at 10.00/10.

Change-Id: I35886ec75a9e66817cfd0fe18534f157d7500a2b
Signed-off-by: Cédric Ollivier <cedric.ollivier@orange.com>

Merge "Revert "Make SFC test a python call to main()""

modify old naming Testcase_base to TestCase

Testcase_base is the first version, now TestCase is adopted

Change-Id: If25eef0d8164220bd36f86fe636f7f1c0b247564
Signed-off-by: SerenaFeng <feng.xiaowei@zte.com.cn>

Revert "Make SFC test a python call to main()"

This reverts commit d5820bef80ea4bdb871380dbfe41db12290fc5f8.

Robot test runs before SFC test and it imports
https://github.com/robotframework/SSHLibrary
which does a monkey patching in
the python runtime / paramiko.
Untill now sfc run in a new python process (clean)
because it run using the bash command.
But when importing it as a module and call main()
from python, it will run in the patched runtime
and it will error out.
https://hastebin.com/iyobuxutib.py

Change-Id: I54237c32c957718b363d302efe84e01bc78e4f47
Signed-off-by: George Paraskevopoulos <geopar@intracom-telecom.com>

refstack client: manually running improvement

JIRA: FUNCTEST-758

1.python tempest_conf.py can generate a reference tempest.conf under /hom/opnfv/.../refstack_client
  this is based on "rally verify configure-verifier"
  surely, user can define his/her own tempest.conf by not using this
2.python refstack_client.py -c <tempest_conf_path> --testlist <testlist_file_path>
  if not given, will use default path, if file not exists, will have error

Change-Id: I1ceecbe8fe86fbe0d53b736a0f3b9a9ae01f262f
Signed-off-by: MatthewLi <matthew.lijun@huawei.com>

Merge "Fix pylint warnings in odl"

Merge "Add docstrings in testcase.py"

Merge "Rename testcase_base to testcase"

Merge "Switch TestcaseBase to TestCase"

Remove vping_ssh from bgpvpn and gluon scenario

Cause of the bug:
https://bugs.opendaylight.org/show_bug.cgi?id=5586
Floating ip is not working at the moment for us.

We don't want to remove the vping_ssh test from
fuel. the scenarios are called different in fuel and
in apex. odl-bgpvpn in apex. odl_l2-bgpvpn in fuel.

Change-Id: Iaa2e6cea8a4fdb8635f018427aaf30634fd8d2d5
Signed-off-by: Nikolas Hermanns <nikolas.hermanns@ericsson.com>

Fix pylint warnings in odl

It takes into account the following warnings:
  - invalid-name
  - logging-not-lazy
  - dangerous-default-value
  - broad-except (locally-disabled)
  - too-few-public-methods (locally-disabled)

Change-Id: Iec59108cc16872090c5def0bb38c10a7aeec46fc
Signed-off-by: Cédric Ollivier <cedric.ollivier@orange.com>

Add docstrings in testcase.py

testcase.py is now rated at 10.00/10 by pylint.

Change-Id: Ia90e53db7a25aac3827cd29bb9fd6baaa46cd487
Signed-off-by: Cédric Ollivier <cedric.ollivier@orange.com>

Changing project name of vRouter

JIRA: FUNCTEST-769

 When pushing result to DB in vRouter module an error occurred.
 couse is wrong project name.
 We changed project name from "vRouter" to "functest".

Change-Id: I8b8289b48330b17b6d6620524024dea4f488e38a
Signed-off-by: Shuya Nakama <shuya.nakama@okinawaopenlabs.org>

Rename testcase_base to testcase

It simply removes the useless suffix.

Change-Id: Ib9a682b57d8f33518359d817a593bb3786577390
Signed-off-by: Cédric Ollivier <cedric.ollivier@orange.com>

Switch TestcaseBase to TestCase

It partially reverts "Rename TestCasesBase into TestcaseBase" [1] and
removes the useless suffix too.

[1] https://gerrit.opnfv.org/gerrit/#/c/25391/

Change-Id: Iddf2ec8d6c1dafe6e4c6713c2e69969613317471
Signed-off-by: Cédric Ollivier <cedric.ollivier@orange.com>

Merge "Fix pylint warnings in test_testcase_base"

Merge "Fix pylint warnings in testcase_base"

Merge "Update documentation for Danube"

Fix pylint warnings in test_testcase_base

It takes into account the following warnings:
  - wrong-import-order
  - no-value-for-parameter

The 'no-value-for-parameter' warnings are false positive. The added
default values are useless but avoid them.

Change-Id: I50d0af178d9da668a3c72e75f5af467d36ca0e6a
Signed-off-by: Cédric Ollivier <cedric.ollivier@orange.com>

Fix pylint warnings in testcase_base

It takes into account the following warnings:
  - bare-except
  - unused-argument
  - broad-except

Change-Id: I3a50bf6d07823edc80a7f0f78f46681ace7f4a39
Signed-off-by: Cédric Ollivier <cedric.ollivier@orange.com>

Merge "Fix Dockerfile.aarch64"

Merge "Printing the flavor_metadata for SnapsTestRunner"

Fix Dockerfile.aarch64

Bugfix for error:
https://build.opnfv.org/ci/view/functest/job/functest-docker-build-arm-push-master/99/console

Change-Id: I04b45c05d4bb48c9b5b55050addce707177abcd4
Signed-off-by: Linda Wang <wangwulin@huawei.com>

Merge "Change api version"

Update documentation for Danube

JIRA: FUNCTEST-559
JIRA: FUNCTEST-560

Change-Id: I2104a9b68bb3985c9f5900ebc30bab89b09b7835
Signed-off-by: Morgan Richomme <morgan.richomme@orange.com>

Printing the flavor_metadata for SnapsTestRunner

Need to print what is being tested to debug and
verify results.

JIRA : FUNCTEST-768

This is needed by the Apex team for the danube release.

Change-Id: Ie7400af14f7e54d1deb5b2b5d2fc91eb5b14ca91
Signed-off-by: randyl <r.levensalor@cablelabs.com>

Change api version

The api_version had full API url instead of just the version.

Change-Id: I78b39ea5d39e1ffab54d2bca41df96aadd47ac86
Signed-off-by: Dimitri Mazmanov <dimitri.mazmanov@ericsson.com>

Merge "Clean redundant error logs of refstack_defcore in the console"

Fix VIM onboarding

Usage openstack client in order to get project id directly

Change-Id: Id75dcd594430501152c3ba02a969ac1a2aaaadc5
Signed-off-by: Michael Pauls <michael.pauls@fokus.fraunhofer.de>

Merge "bug fix: unit test on openstack_utils"

Merge "Replace domain name from Default to default"

bug fix: unit test on openstack_utils

test_check_credentials_missing_env was corrected
but correction lead to good execution but false results

Change-Id: I47ff7d6aa0d5dda78cd978f1905b570c02160a8a
Signed-off-by: Morgan Richomme <morgan.richomme@orange.com>

Merge "[fuel] Skip test_server_basic_ops tempest test"

Merge "Ignore certain modules for logging"

Clean redundant error logs of refstack_defcore in the console

1. Remove the file "refstack-error.log", and all the stderr and stdout
will be stored in refstack.log
2. Clean redundant error logs in the console and all the detailed error
logs will be found in refstack.log.

Change-Id: I7e71567c98dc89c529421eccbf1b497962b07405
Signed-off-by: Linda Wang <wangwulin@huawei.com>

Merge "Enable functest offline by installing tempest system wide"

Merge "Switch test_db_url to a directory"

Merge "Make SFC test a python call to main()"

Merge "Add reveal.js as a submodule"

Replace domain name from Default to default

The tests don't pass if the domain name is Default.
Instead the domain id 'default' should be used.

Change-Id: Ife919f79f007ab3fea3d53744634a92ddb172c23
Signed-off-by: Dimitri Mazmanov <dimitri.mazmanov@ericsson.com>

Merge "Support running on openstack which enabled https"

Merge "Fix Dockerfile"

Ignore certain modules for logging

Some modules are logged to functest.log or the console
and are not relevant for us since they are already
in the openstack logs.
This causes a huge log which makes it unreadable.

Change-Id: I3f0fb83e2080e41cd5bf815f8448f5bc25e3464a
Signed-off-by: jose.lausuch <jose.lausuch@ericsson.com>

Make SFC test a python call to main()

Instead of python -> bash -> python, call
the SFC test using the execute() method that
is inherited from FeatureBase and it's a bash
call by default.
With this change, we call the SFC test using main()
of run_tests.py of SFC repo and will have
real time output.

Change-Id: I6d59821e603c88697a82b95c5626c5b703c11026
Signed-off-by: jose.lausuch <jose.lausuch@ericsson.com>
Signed-off-by: George Paraskevopoulos <geopar@intracom-telecom.com>

Disable blocking status for odl_netvirt

Change-Id: I4a3f10a82d3109a44f8db237cbd7beda06a361da
Signed-off-by: Jamo Luhrsen <jluhrsen@redhat.com>

Fix Dockerfile

Bugfix for error:
https://build.opnfv.org/ci/job/functest-docker-build-push-master/1001/console

Change-Id: I4bc398ecfaa5163e7ee271dd5b67b3d953fb59b1
Signed-off-by: jose.lausuch <jose.lausuch@ericsson.com>

Switch test_db_url to a directory

We must now set a dir (e.g. /home/opnfv/db) to dump results. It avoids
replacing "results" and prevent from limiting the use of this decorator.
All data will be dumped into url/dump.txt

As also proposed in FUNCTEST-729, missing directories are created too.
The decorator will raise exceptions if dir exists or if target is not a
directory.

Co-Authored-By: Cédric Ollivier <cedric.ollivier@orange.com>
JIRA: FUNCTEST-729
Change-Id: I9650c72493043539f17725f5c328c12639ecc059
Signed-off-by: xudan <xudan16@huawei.com>
Signed-off-by: Cédric Ollivier <cedric.ollivier@orange.com>

Merge "bugfix: fail to push odl-sfc test result to TestDB"

bugfix: fail to push odl-sfc test result to TestDB

'functest-odl-sfc"' will appear as [functest-odl-sfc"],
tailing with ", it is not defined in TestDB. led to
failure pushing

Change-Id: I43966236e25578aed12952710b22ba99e244cf56
Signed-off-by: SerenaFeng <feng.xiaowei@zte.com.cn>

Merge "refstack: bugfix of testcase failure"

refstack: bugfix of testcase failure

JIRA: DOVETAIL-366
JIRA: DOVETAIL-758

1)for compass, joid, failure log
  https://build.opnfv.org/ci/view/functest/job/functest-joid-baremetal-daily-master/1062/consoleFull
  https://build.opnfv.org/ci/view/functest/job/functest-compass-baremetal-daily-master/936/consoleFull
  volume_device_name should be set vdb.
  for fuel, "vdb" is used for config, drive when force_config_drive=True is in action, so set to vdc
  testcase test_attach_detach_volume is not dynamic enough, to skip temporarily.
2)rename defcore_201608.txt to defcore.txt
  since this file is the default running file, can be changed as version changes.
  and will be easy for dovetail to consume with a general name rather than a special name.
  then dovetail can define the testcases to replace this file when running.

Change-Id: I58f89095721a7bdb15230b9af2b96234c3c7dcb9
Signed-off-by: MatthewLi <matthew.lijun@huawei.com>

Merge "Update keys of details dic for refstack_defcore"

Merge "Set refstack_defcore criteria to 100%"

Merge changes from topics '644', 'improve_unix_permission_check'

* changes:
  Change execute bits
  Improve unix permissions fixes

Merge "Respect common unix permissions"

Merge "bug fix: version not retrieved on weekly jobs"

Change execute bits

It applies the rules proposed by "Improve unix permissions fixes" [1].

[1] https://gerrit.opnfv.org/gerrit/#/c/31171/

Change-Id: If5142befb74165a982f9281e8770289b303d483d
Signed-off-by: Cédric Ollivier <cedric.ollivier@orange.com>

Improve unix permissions fixes

It now removes exec permissions for files which don't require them.
It prevents from modifying files in functest_venv too.

Change-Id: I3c88817713711a0009a7392f19fe5ccc63ba98cd
Signed-off-by: Cédric Ollivier <cedric.ollivier@orange.com>

Merge "[cloudify_ims] Change VNF flavor value"

Merge "Remove functest_defcore testcases"

Respect common unix permissions

It was fixed by the following rule:
find ${FUNCTEST_REPO_DIR} -name "*.py" \
    -not -path "*tests/unit*" |xargs grep __main__ \
    |cut -d\: -f 1 |xargs chmod -c 755 &&
    find ${FUNCTEST_REPO_DIR} -name "*.sh" \
    |xargs grep \#\! |cut -d\: -f 1 |xargs chmod -c 755

Change-Id: I23fab3ff90d41d040264b5b8c0e425b6a42c7e55
Signed-off-by: Cédric Ollivier <cedric.ollivier@orange.com>

Update keys of details dic for refstack_defcore

Update the keys of details in refstack_defcore ("num_tests", "num_failures",
and "failed") to "tests", "failures" and "errors", in order to be consistent
with those in tempest.

Change-Id: I24f8a23548ffa253621083bbf6eb988306fd6edb
Signed-off-by: Linda Wang <wangwulin@huawei.com>

Set refstack_defcore criteria to 100%

In order to be consistent with other tests, set refstack_defcore
criteria to 100%.

Change-Id: Iab8bc0cb66b834a661b860a032192d502fde578b
Signed-off-by: Linda Wang <wangwulin@huawei.com>

[cloudify_ims] Change VNF flavor value

Change-Id: I843f77fa5051a99be8bdbdbb76300ab965e9d8af
Signed-off-by: boucherv <valentin.boucher@orange.com>

Fix usage of v3 APIs of OpenStack

Using OS_PROJECT_ID instead of OS_TENANT_NAME as tenant
when onboarding a new VIM/PoP with Open Baton

Change-Id: I873badc73e7b33179fa487505d18ce89840d6599
Signed-off-by: Michael Pauls <michael.pauls@fokus.fraunhofer.de>

Add reveal.js as a submodule

It modifies all presentations to be conformed with the new dir. It also
deletes reveal.js' README.txt which is now useless.

Change-Id: Ic16b087416e855dab8fa8a4ae2f8dd591b70859c
Signed-off-by: Cédric Ollivier <cedric.ollivier@orange.com>

[vnf_base] improve exception

Return on part of previous changes in commit: 30257
https://gerrit.opnfv.org/gerrit/#/c/30257/

Change-Id: I11b33ee2a6f9d4cbcf1449006b47be508fce655e
Signed-off-by: boucherv <valentin.boucher@orange.com>

bug fix: version not retrieved on weekly jobs

a first fix had been done
but the version was retrieved 2 times with the regex
this patch removes the second regex and re-use get_version
the associated unit tests has been removed because even
if the build_tag is badly formated, it will not prevent
the results to be pushed with version = unknown

JIRA: FUNCTEST-765

Change-Id: I2cbe8ba1dd7278c3f3510a47c667c433f65e00f8
Signed-off-by: Morgan Richomme <morgan.richomme@orange.com>

Enable functest offline by installing tempest system wide

JIRA: FUNCTEST-764

1. When creating verifier via rally in functest env prepare, without the
parameter "--system-wide", rally will install tempest and its dependent
packages into the virtual env of rally. Thus, it needs to connect internet
when installing tempest, which will not enable functest offline.
2. Some packages are needed for multisite testcase, and they are installed
in virtual env of rally before. But if "--system-wide" is set, there packages
should be installed addtionally.

Change-Id: I340701e9ed4a0f8f278ff952f0dd61470c6deed1
Signed-off-by: Linda Wang <wangwulin@huawei.com>

Merge "Bug Fix: retrieve version from build tag in weekly jobs"

[cloudify_ims] fix signaling test error

Change-Id: I6d6cf36c2a82df1ff9943cc3084b38967033bb94
Signed-off-by: boucherv <valentin.boucher@orange.com>

Fix deployment flavor of orchestra machine; Improve bootstrap

Change-Id: I3aa00be7e6e7d3e8de86a8b6a8e9564dc548a3d3
Signed-off-by: Michael Pauls <michael.pauls@fokus.fraunhofer.de>

Bug Fix: retrieve version from build tag in weekly jobs

- fix regex issue
- add unit test to cover weekly and dummy build tags
- remove useless logs

JIRA: FUNCTEST-765

Change-Id: I7a8d40b4662f4557cd080669da46fb1c32d2ad6d
Signed-off-by: Morgan Richomme <morgan.richomme@orange.com>

Remove functest_defcore testcases

refstack_defcore has been merged
the testcase is no more needed (duplication)

Change-Id: I287406b40cdd89ff2c4eadcde7e9d5a93e21953a
Signed-off-by: Morgan Richomme <morgan.richomme@orange.com>

Merge "refstack-client: arm dockerfile support"

Bugfix: fix the criteria of refstack_defcore

The criteria of refstack_defcore is supposed to be ">= 80%" rather
than "== 80%".

Change-Id: I9f9e38c84925c3725289e8b427e5735d131459f1
Signed-off-by: Linda Wang <wangwulin@huawei.com>

Merge "Added Unit Tests for ci/generate_report with argument refactoring for main and init functions in generate_reports"

Merge "Added Unit Tests for ci/run_tests"

Merge "Added Unit Tests for ci/tier_handler"

Merge "Added Unit Tests for ci/tier_builder"

Merge "Parse refstack_defcore results"

Merge "env variable support for test DB url"

Parse refstack_defcore results

JIRA: DOVETAIL-366
JIRA: FUNCTEST-758

Parse refstack_defcore results, including:
1. show number of tests passed, skipped and failed
2. record the detailed info about testcases passed, skipped and failed.

Change-Id: I355a907c5c9ea2739f845447144c62613ec3bb6a
Signed-off-by: Linda Wang <wangwulin@huawei.com>

refstack-client: arm dockerfile support

JIRA: FUNCTEST-758
JIRA: DOVETAIL-366

Change-Id: I02784263bca26a1bfc786949b933d688c35c950f
Signed-off-by: MatthewLi <matthew.lijun@huawei.com>

[fuel] Skip test_server_basic_ops tempest test

Tempest ssh client is hanging on opendaylight enabled envs
(getting deadlock in paramiko recv_exit_status method) while
trying to execute a command on a vm.

Change-Id: I6660cebc6bc44a5f02e6a1e83ee9a61bae141746
Signed-off-by: Michael Polenchuk <mpolenchuk@mirantis.com>

Merge "refstack client integration"

refstack client integration

JIRA: DOVETAIL-366
JIRA: FUNCTEST-758

usage:
1,functest testcase run refstack_defcore, will run the
default testcases in defcore_201608.txt
2,cd <path>/functest/functest/opnfv_tests/openstack/refstack_client
  python refstack_client.py -c <tempest-conf-file-path> --testlist <testlist-path>

this has been worked with openstack-refstack experts, etc.
tested workedi.
result see http://paste.openstack.org/show/602173/

Change-Id: I1aaffea01dec9dc8d1c572885bdf516614a16894
Signed-off-by: MatthewLi <matthew.lijun@huawei.com>

env variable support for test DB url

So far DB url was retrieved from configuration file
If you want to use the CI chain (jenkins, testapi, test DB,
functest, ..) then you have a problem

calling functest will systematically point to the configuration
from the repo
Supporting env variable allow to avoid post processing in the
configuration file and as a consequence offer the possibility
to create a local DB to host local results

Change-Id: Ie64b8b265827d7f5724c7066a8c173de8cf012e2
Signed-off-by: Morgan Richomme <morgan.richomme@orange.com>

Added Unit Tests for ci/tier_builder

Change-Id: I66f43fb09472948bc71178cd8aeb14dc1ab5fa55
Signed-off-by: ashishk1994 <ashishk.iiit@gmail.com>

Added Unit Tests for ci/tier_handler

Change-Id: I0b1d7efcf44c0ad2c1e8d3163fe72a61883eb86a
Signed-off-by: ashishk1994 <ashishk.iiit@gmail.com>

Added Unit Tests for ci/run_tests

Change-Id: I5cd900cee809b8fd935a5c8b862a9ecd6278bdf5
Signed-off-by: ashishk1994 <ashishk.iiit@gmail.com>

Added Unit Tests for ci/generate_report with
argument refactoring for main and init
functions in generate_reports

Change-Id: I291d04a9c0ed381f4b92e989270c0b9a37c15264
Signed-off-by: ashishk1994 <ashishk.iiit@gmail.com>

bug fix: remove reference to ovno

ovno has no danube branch and is not used
clean the ovno from functest to avoid side effect
when producing danube functest docker file

Change-Id: I5347111fc90a04ca9018679b5578ca30ae33b2f2
Signed-off-by: Morgan Richomme <morgan.richomme@orange.com>

[snaps] Pass flavor metadata to smoke tests

Change-Id: I774d3625d35e3d264d609ba9aa7538a723923bcf
Signed-off-by: Michael Polenchuk <mpolenchuk@mirantis.com>

[tempest/defcore] Configure volume device name

Actually attach_detach_volume must be skipped because the device name
ain't reliable and that's using a hard-coded device name in config.
This test should just get the device info after the attach and use
that rather than the hard-coded config option in Tempest that ain't
likely to work - the test should have been written more dynamically.

However, set volume device name to "vdc" since "vdb" is used for config
drive when force_config_drive=True is in action.

Change-Id: Ic70de93a609df932c7749a94f71505e927df1b79
Signed-off-by: Michael Polenchuk <mpolenchuk@mirantis.com>

Support running on openstack which enabled https

JIRA: FUNCTEST-757

Change-Id: Ic87bee3020b9714bcd83105127440a9c1a7ff2ad
Signed-off-by: helenyao <yaohelan@huawei.com>