More Unit Tests for tempest and IMS module

This patch adds more unit tests for
openstack/tempest/ and ims/ modules
with coverage >= 80%

Change-Id: I7c18cea791ac8dc3e890da98066179225283b068
Signed-off-by: ashishk1994 <ashishk.iiit@gmail.com>

Merge "Fix Dockerfile.aarch64"

Merge "Printing the flavor_metadata for SnapsTestRunner"

Fix Dockerfile.aarch64

Bugfix for error:
https://build.opnfv.org/ci/view/functest/job/functest-docker-build-arm-push-master/99/console

Change-Id: I04b45c05d4bb48c9b5b55050addce707177abcd4
Signed-off-by: Linda Wang <wangwulin@huawei.com>

Merge "Change api version"

Printing the flavor_metadata for SnapsTestRunner

Need to print what is being tested to debug and
verify results.

JIRA : FUNCTEST-768

This is needed by the Apex team for the danube release.

Change-Id: Ie7400af14f7e54d1deb5b2b5d2fc91eb5b14ca91
Signed-off-by: randyl <r.levensalor@cablelabs.com>

Change api version

The api_version had full API url instead of just the version.

Change-Id: I78b39ea5d39e1ffab54d2bca41df96aadd47ac86
Signed-off-by: Dimitri Mazmanov <dimitri.mazmanov@ericsson.com>

Merge "Clean redundant error logs of refstack_defcore in the console"

Fix VIM onboarding

Usage openstack client in order to get project id directly

Change-Id: Id75dcd594430501152c3ba02a969ac1a2aaaadc5
Signed-off-by: Michael Pauls <michael.pauls@fokus.fraunhofer.de>

Merge "bug fix: unit test on openstack_utils"

Merge "Replace domain name from Default to default"

bug fix: unit test on openstack_utils

test_check_credentials_missing_env was corrected
but correction lead to good execution but false results

Change-Id: I47ff7d6aa0d5dda78cd978f1905b570c02160a8a
Signed-off-by: Morgan Richomme <morgan.richomme@orange.com>

Merge "[fuel] Skip test_server_basic_ops tempest test"

Merge "Ignore certain modules for logging"

Clean redundant error logs of refstack_defcore in the console

1. Remove the file "refstack-error.log", and all the stderr and stdout
will be stored in refstack.log
2. Clean redundant error logs in the console and all the detailed error
logs will be found in refstack.log.

Change-Id: I7e71567c98dc89c529421eccbf1b497962b07405
Signed-off-by: Linda Wang <wangwulin@huawei.com>

Merge "Enable functest offline by installing tempest system wide"

Merge "Switch test_db_url to a directory"

Merge "Make SFC test a python call to main()"

Merge "Add reveal.js as a submodule"

Replace domain name from Default to default

The tests don't pass if the domain name is Default.
Instead the domain id 'default' should be used.

Change-Id: Ife919f79f007ab3fea3d53744634a92ddb172c23
Signed-off-by: Dimitri Mazmanov <dimitri.mazmanov@ericsson.com>

Merge "Support running on openstack which enabled https"

Merge "Fix Dockerfile"

Ignore certain modules for logging

Some modules are logged to functest.log or the console
and are not relevant for us since they are already
in the openstack logs.
This causes a huge log which makes it unreadable.

Change-Id: I3f0fb83e2080e41cd5bf815f8448f5bc25e3464a
Signed-off-by: jose.lausuch <jose.lausuch@ericsson.com>

Make SFC test a python call to main()

Instead of python -> bash -> python, call
the SFC test using the execute() method that
is inherited from FeatureBase and it's a bash
call by default.
With this change, we call the SFC test using main()
of run_tests.py of SFC repo and will have
real time output.

Change-Id: I6d59821e603c88697a82b95c5626c5b703c11026
Signed-off-by: jose.lausuch <jose.lausuch@ericsson.com>
Signed-off-by: George Paraskevopoulos <geopar@intracom-telecom.com>

Disable blocking status for odl_netvirt

Change-Id: I4a3f10a82d3109a44f8db237cbd7beda06a361da
Signed-off-by: Jamo Luhrsen <jluhrsen@redhat.com>

Fix Dockerfile

Bugfix for error:
https://build.opnfv.org/ci/job/functest-docker-build-push-master/1001/console

Change-Id: I4bc398ecfaa5163e7ee271dd5b67b3d953fb59b1
Signed-off-by: jose.lausuch <jose.lausuch@ericsson.com>

Switch test_db_url to a directory

We must now set a dir (e.g. /home/opnfv/db) to dump results. It avoids
replacing "results" and prevent from limiting the use of this decorator.
All data will be dumped into url/dump.txt

As also proposed in FUNCTEST-729, missing directories are created too.
The decorator will raise exceptions if dir exists or if target is not a
directory.

Co-Authored-By: Cédric Ollivier <cedric.ollivier@orange.com>
JIRA: FUNCTEST-729
Change-Id: I9650c72493043539f17725f5c328c12639ecc059
Signed-off-by: xudan <xudan16@huawei.com>
Signed-off-by: Cédric Ollivier <cedric.ollivier@orange.com>

Merge "bugfix: fail to push odl-sfc test result to TestDB"

bugfix: fail to push odl-sfc test result to TestDB

'functest-odl-sfc"' will appear as [functest-odl-sfc"],
tailing with ", it is not defined in TestDB. led to
failure pushing

Change-Id: I43966236e25578aed12952710b22ba99e244cf56
Signed-off-by: SerenaFeng <feng.xiaowei@zte.com.cn>

Merge "refstack: bugfix of testcase failure"

refstack: bugfix of testcase failure

JIRA: DOVETAIL-366
JIRA: DOVETAIL-758

1)for compass, joid, failure log
  https://build.opnfv.org/ci/view/functest/job/functest-joid-baremetal-daily-master/1062/consoleFull
  https://build.opnfv.org/ci/view/functest/job/functest-compass-baremetal-daily-master/936/consoleFull
  volume_device_name should be set vdb.
  for fuel, "vdb" is used for config, drive when force_config_drive=True is in action, so set to vdc
  testcase test_attach_detach_volume is not dynamic enough, to skip temporarily.
2)rename defcore_201608.txt to defcore.txt
  since this file is the default running file, can be changed as version changes.
  and will be easy for dovetail to consume with a general name rather than a special name.
  then dovetail can define the testcases to replace this file when running.

Change-Id: I58f89095721a7bdb15230b9af2b96234c3c7dcb9
Signed-off-by: MatthewLi <matthew.lijun@huawei.com>

Merge "Update keys of details dic for refstack_defcore"

Merge "Set refstack_defcore criteria to 100%"

Merge changes from topics '644', 'improve_unix_permission_check'

* changes:
  Change execute bits
  Improve unix permissions fixes

Merge "Respect common unix permissions"

Merge "bug fix: version not retrieved on weekly jobs"

Change execute bits

It applies the rules proposed by "Improve unix permissions fixes" [1].

[1] https://gerrit.opnfv.org/gerrit/#/c/31171/

Change-Id: If5142befb74165a982f9281e8770289b303d483d
Signed-off-by: Cédric Ollivier <cedric.ollivier@orange.com>

Improve unix permissions fixes

It now removes exec permissions for files which don't require them.
It prevents from modifying files in functest_venv too.

Change-Id: I3c88817713711a0009a7392f19fe5ccc63ba98cd
Signed-off-by: Cédric Ollivier <cedric.ollivier@orange.com>

Merge "[cloudify_ims] Change VNF flavor value"

Merge "Remove functest_defcore testcases"

Respect common unix permissions

It was fixed by the following rule:
find ${FUNCTEST_REPO_DIR} -name "*.py" \
    -not -path "*tests/unit*" |xargs grep __main__ \
    |cut -d\: -f 1 |xargs chmod -c 755 &&
    find ${FUNCTEST_REPO_DIR} -name "*.sh" \
    |xargs grep \#\! |cut -d\: -f 1 |xargs chmod -c 755

Change-Id: I23fab3ff90d41d040264b5b8c0e425b6a42c7e55
Signed-off-by: Cédric Ollivier <cedric.ollivier@orange.com>

Update keys of details dic for refstack_defcore

Update the keys of details in refstack_defcore ("num_tests", "num_failures",
and "failed") to "tests", "failures" and "errors", in order to be consistent
with those in tempest.

Change-Id: I24f8a23548ffa253621083bbf6eb988306fd6edb
Signed-off-by: Linda Wang <wangwulin@huawei.com>

Set refstack_defcore criteria to 100%

In order to be consistent with other tests, set refstack_defcore
criteria to 100%.

Change-Id: Iab8bc0cb66b834a661b860a032192d502fde578b
Signed-off-by: Linda Wang <wangwulin@huawei.com>

[cloudify_ims] Change VNF flavor value

Change-Id: I843f77fa5051a99be8bdbdbb76300ab965e9d8af
Signed-off-by: boucherv <valentin.boucher@orange.com>

Fix usage of v3 APIs of OpenStack

Using OS_PROJECT_ID instead of OS_TENANT_NAME as tenant
when onboarding a new VIM/PoP with Open Baton

Change-Id: I873badc73e7b33179fa487505d18ce89840d6599
Signed-off-by: Michael Pauls <michael.pauls@fokus.fraunhofer.de>

Add reveal.js as a submodule

It modifies all presentations to be conformed with the new dir. It also
deletes reveal.js' README.txt which is now useless.

Change-Id: Ic16b087416e855dab8fa8a4ae2f8dd591b70859c
Signed-off-by: Cédric Ollivier <cedric.ollivier@orange.com>

[vnf_base] improve exception

Return on part of previous changes in commit: 30257
https://gerrit.opnfv.org/gerrit/#/c/30257/

Change-Id: I11b33ee2a6f9d4cbcf1449006b47be508fce655e
Signed-off-by: boucherv <valentin.boucher@orange.com>

bug fix: version not retrieved on weekly jobs

a first fix had been done
but the version was retrieved 2 times with the regex
this patch removes the second regex and re-use get_version
the associated unit tests has been removed because even
if the build_tag is badly formated, it will not prevent
the results to be pushed with version = unknown

JIRA: FUNCTEST-765

Change-Id: I2cbe8ba1dd7278c3f3510a47c667c433f65e00f8
Signed-off-by: Morgan Richomme <morgan.richomme@orange.com>

Enable functest offline by installing tempest system wide

JIRA: FUNCTEST-764

1. When creating verifier via rally in functest env prepare, without the
parameter "--system-wide", rally will install tempest and its dependent
packages into the virtual env of rally. Thus, it needs to connect internet
when installing tempest, which will not enable functest offline.
2. Some packages are needed for multisite testcase, and they are installed
in virtual env of rally before. But if "--system-wide" is set, there packages
should be installed addtionally.

Change-Id: I340701e9ed4a0f8f278ff952f0dd61470c6deed1
Signed-off-by: Linda Wang <wangwulin@huawei.com>

Merge "Bug Fix: retrieve version from build tag in weekly jobs"

[cloudify_ims] fix signaling test error

Change-Id: I6d6cf36c2a82df1ff9943cc3084b38967033bb94
Signed-off-by: boucherv <valentin.boucher@orange.com>

Fix deployment flavor of orchestra machine; Improve bootstrap

Change-Id: I3aa00be7e6e7d3e8de86a8b6a8e9564dc548a3d3
Signed-off-by: Michael Pauls <michael.pauls@fokus.fraunhofer.de>

Bug Fix: retrieve version from build tag in weekly jobs

- fix regex issue
- add unit test to cover weekly and dummy build tags
- remove useless logs

JIRA: FUNCTEST-765

Change-Id: I7a8d40b4662f4557cd080669da46fb1c32d2ad6d
Signed-off-by: Morgan Richomme <morgan.richomme@orange.com>

Remove functest_defcore testcases

refstack_defcore has been merged
the testcase is no more needed (duplication)

Change-Id: I287406b40cdd89ff2c4eadcde7e9d5a93e21953a
Signed-off-by: Morgan Richomme <morgan.richomme@orange.com>

Merge "refstack-client: arm dockerfile support"

Bugfix: fix the criteria of refstack_defcore

The criteria of refstack_defcore is supposed to be ">= 80%" rather
than "== 80%".

Change-Id: I9f9e38c84925c3725289e8b427e5735d131459f1
Signed-off-by: Linda Wang <wangwulin@huawei.com>

Merge "Added Unit Tests for ci/generate_report with argument refactoring for main and init functions in generate_reports"

Merge "Added Unit Tests for ci/run_tests"

Merge "Added Unit Tests for ci/tier_handler"

Merge "Added Unit Tests for ci/tier_builder"

Merge "Parse refstack_defcore results"

Merge "env variable support for test DB url"

Parse refstack_defcore results

JIRA: DOVETAIL-366
JIRA: FUNCTEST-758

Parse refstack_defcore results, including:
1. show number of tests passed, skipped and failed
2. record the detailed info about testcases passed, skipped and failed.

Change-Id: I355a907c5c9ea2739f845447144c62613ec3bb6a
Signed-off-by: Linda Wang <wangwulin@huawei.com>

refstack-client: arm dockerfile support

JIRA: FUNCTEST-758
JIRA: DOVETAIL-366

Change-Id: I02784263bca26a1bfc786949b933d688c35c950f
Signed-off-by: MatthewLi <matthew.lijun@huawei.com>

[fuel] Skip test_server_basic_ops tempest test

Tempest ssh client is hanging on opendaylight enabled envs
(getting deadlock in paramiko recv_exit_status method) while
trying to execute a command on a vm.

Change-Id: I6660cebc6bc44a5f02e6a1e83ee9a61bae141746
Signed-off-by: Michael Polenchuk <mpolenchuk@mirantis.com>

Merge "refstack client integration"

refstack client integration

JIRA: DOVETAIL-366
JIRA: FUNCTEST-758

usage:
1,functest testcase run refstack_defcore, will run the
default testcases in defcore_201608.txt
2,cd <path>/functest/functest/opnfv_tests/openstack/refstack_client
  python refstack_client.py -c <tempest-conf-file-path> --testlist <testlist-path>

this has been worked with openstack-refstack experts, etc.
tested workedi.
result see http://paste.openstack.org/show/602173/

Change-Id: I1aaffea01dec9dc8d1c572885bdf516614a16894
Signed-off-by: MatthewLi <matthew.lijun@huawei.com>

env variable support for test DB url

So far DB url was retrieved from configuration file
If you want to use the CI chain (jenkins, testapi, test DB,
functest, ..) then you have a problem

calling functest will systematically point to the configuration
from the repo
Supporting env variable allow to avoid post processing in the
configuration file and as a consequence offer the possibility
to create a local DB to host local results

Change-Id: Ie64b8b265827d7f5724c7066a8c173de8cf012e2
Signed-off-by: Morgan Richomme <morgan.richomme@orange.com>

Added Unit Tests for ci/tier_builder

Change-Id: I66f43fb09472948bc71178cd8aeb14dc1ab5fa55
Signed-off-by: ashishk1994 <ashishk.iiit@gmail.com>

Added Unit Tests for ci/tier_handler

Change-Id: I0b1d7efcf44c0ad2c1e8d3163fe72a61883eb86a
Signed-off-by: ashishk1994 <ashishk.iiit@gmail.com>

Added Unit Tests for ci/run_tests

Change-Id: I5cd900cee809b8fd935a5c8b862a9ecd6278bdf5
Signed-off-by: ashishk1994 <ashishk.iiit@gmail.com>

Added Unit Tests for ci/generate_report with
argument refactoring for main and init
functions in generate_reports

Change-Id: I291d04a9c0ed381f4b92e989270c0b9a37c15264
Signed-off-by: ashishk1994 <ashishk.iiit@gmail.com>

bug fix: remove reference to ovno

ovno has no danube branch and is not used
clean the ovno from functest to avoid side effect
when producing danube functest docker file

Change-Id: I5347111fc90a04ca9018679b5578ca30ae33b2f2
Signed-off-by: Morgan Richomme <morgan.richomme@orange.com>

[snaps] Pass flavor metadata to smoke tests

Change-Id: I774d3625d35e3d264d609ba9aa7538a723923bcf
Signed-off-by: Michael Polenchuk <mpolenchuk@mirantis.com>

[tempest/defcore] Configure volume device name

Actually attach_detach_volume must be skipped because the device name
ain't reliable and that's using a hard-coded device name in config.
This test should just get the device info after the attach and use
that rather than the hard-coded config option in Tempest that ain't
likely to work - the test should have been written more dynamically.

However, set volume device name to "vdc" since "vdb" is used for config
drive when force_config_drive=True is in action.

Change-Id: Ic70de93a609df932c7749a94f71505e927df1b79
Signed-off-by: Michael Polenchuk <mpolenchuk@mirantis.com>

Support running on openstack which enabled https

JIRA: FUNCTEST-757

Change-Id: Ic87bee3020b9714bcd83105127440a9c1a7ff2ad
Signed-off-by: helenyao <yaohelan@huawei.com>

Merge "Remove raise exceptions"

Remove raise exceptions

until exceptions are better managed in abstraction
Currently it triggers an exit from the jenkins job
and prevent other tests to be run

Change-Id: Id3b18c1d6d3b786fc78456b3ad51963d2cbb2cc1
Signed-off-by: Morgan Richomme <morgan.richomme@orange.com>

Merge "cloudify_ims: fix error on account creation"

cloudify_ims: fix error on account creation

Change-Id: I43550b2062c69d7b4eb144057a90806f92328739
Signed-off-by: boucherv <valentin.boucher@orange.com>

Merge "Add extra check to avoid double delete of instances"

Merge "Exclude Doctor from Joid scnenarios"

Merge "cloudify_ims: fix sip public domain name"

cloudify_ims: fix sip public domain name

Change-Id: I25423cc3fbab54f81047fbebd0bc33895d826186
Signed-off-by: boucherv <valentin.boucher@orange.com>

Exclude Doctor from Joid scnenarios

Doctor feature not available for Joid on Danube

Change-Id: I1d39ff15a1fe003689828f6923b92c7e7c7d716f
Signed-off-by: Morgan Richomme <morgan.richomme@orange.com>

Merge "Unit tests added for openstack/tempest"

Change scenario for odl_netvirt tests to be os-odl_l3-nofeature

Change-Id: Ibf04adcaa0b14c4cdda8fba2ef2826a0c7f3b7d4
Signed-off-by: Jamo Luhrsen <jluhrsen@redhat.com>

Merge "Show verification details in tempest log"

Merge "Change the order of HealthCheck tests"

Merge "fix vnf deployment"

fix vnf deployment

Change-Id: If92c7d402b88f59367564f7279d426eb8f3b582a
Signed-off-by: boucherv <valentin.boucher@orange.com>

Change the order of HealthCheck tests

currently the snaps healthcheck (dhcp) is tried first
it should be connectivity, api, dhcp

the reporting looks for scenario based on connectivity

testing dhcp first => scenarios ok on connectivy but
failed with DHCP are not considered, which could be
misleading

Change-Id: I0eb34b1f5ba163540281e5ef0dcb12c8cefa88bd
Signed-off-by: Morgan Richomme <morgan.richomme@orange.com>

Merge "Update tempest to the latest 15.0.0"

Show verification details in tempest log

JIRA: FUNCTEST-747

Change-Id: I85f15188315136cc44876914325e3693f7973af8
Signed-off-by: Juha Kosonen <juha.kosonen@nokia.com>

Merge "Introduce smoke tests for FDS"

Introduce smoke tests for FDS

Added:
 - fds repository to docker file
 - fds test to smoke tier in testcases
 - config values for fds tests

A new robot var OS_AUTH_URL is defined as expected by FDS robot files.
Method args switch from Keystone IP to OS_AUTH_URL which is more
precised. The argument parsing is changed too.

Co-Authored-By: Cédric Ollivier <cedric.ollivier@orange.com>
Change-Id: Ife27ab4a83f0110cbdcf7c9d47d9b3fb4c0ec705
Signed-off-by: Tomas Cechvala <tcechval@cisco.com>
Signed-off-by: Cédric Ollivier <cedric.ollivier@orange.com>

Merge "Revert "Change barometer target log file""

Revert "Change barometer target log file"

This reverts commit 044de9eb0c74fb2ef9cb34b6487bf0536412058d.

Change-Id: I9179f4b5ce866456e8ec85cb8a730a5d7f2af16e
Signed-off-by: Morgan Richomme <morgan.richomme@orange.com>

Merge "Change barometer target log file"

Merge "Improve error log into vnf test step"