Merge "Refactor configure_tempest() function"

Merge "Integrating PyTest contained in SNAPS as a replacement to the old bash healthcheck."

Refactor configure_tempest() function

Create two new functions: configure_tempest_update_params and
configure_verifier, distinguishing between tempest.conf
configure verification and add/updating parameters into it

this update is useful and it will be used by sdnvpn/tempest

Change-Id: I76e0bc00e33492252cdecab224380ecca2ce275a
Signed-off-by: tomsou <soth@intracom-telecom.com>

Integrating PyTest contained in SNAPS as a replacement to the old
bash healthcheck.

JIRA: FUNCTEST-570

Change-Id: Ia90dc152d48144c9c53967d5c30256389793ce91
Signed-off-by: spisarski <s.pisarski@cablelabs.com>

Exclude Moon feature for Danube

Moon will come back mid March with a micro service version
Moon testing could be enabled on this new version

Change-Id: I160fab5d609bad2b0e8a8c81a4a180498c935b2f
Signed-off-by: Morgan Richomme <morgan.richomme@orange.com>

Merge "Move api_check and connection check to healthcheck category"

Merge "bugfix for finding tempest failed testcase"

Merge "Change log level when pod, scenario or build_tag cannot be retrieved"

Merge "Change endpoint type for Kingbird"

Merge "Add netvirt to odl tests"

Change endpoint type for Kingbird

Replaced 'kingbird' with 'multisite' as kingbird
installation scripts register 'multisite'.

JIRA: MULTISITE-720
Change-Id: Ib53bab46a1fa225e371912d74eecb929d84dff3a
Signed-off-by: Dimitri Mazmanov <dimitri.mazmanov@ericsson.com>

Change log level when pod, scenario or build_tag cannot be retrieved

when using Functest out of CI, such env variables may not be set
This shall not result in Error messages

JIRA: FUNCTEST-716

Change-Id: I86d2023145480dfa9c8d593ea274acbd9e431ef7
Signed-off-by: Morgan Richomme <morgan.richomme@orange.com>

Merge "Migrates more commands to openstack-pythonclient cmds"

Migrates more commands to openstack-pythonclient cmds

Change-Id: I7be6a89d7b0fb7997ea05607d45e792e0ce57051
Signed-off-by: Tim Rozet <trozet@redhat.com>

Merge "Unit tests for openstack/rally."

Merge "Upgrade High level architecture config guide"

bugfix for finding tempest failed testcase

JIRA: FUNCTEST-719
1.in new tempest version, FAILED-->fail
see log https://build.opnfv.org/ci/view/dovetail/job/dovetail-compass-virtual-debug-master/163/artifact/results/tempest/tempest.log
2.there is a need to show the skipped testcase in tempest

Change-Id: If753c59971362625ae0797a0161e07b1e4ff94c8
Signed-off-by: MatthewLi <matthew.lijun@huawei.com>

Merge "Add dockerfile for aarch64"

Merge "Fix template error log"

Fix template error log

JIRA:SFC-70

Printing the VNFD template during VNFD creation was left on error level.
Move it on info level and make printing prettier.

Fix unit test for create_vnfd

Change-Id: Ib04a43d72abcf9b6fbcaec9ea05d57b9f017b53f
Signed-off-by: George Paraskevopoulos <geopar@intracom-telecom.com>

Merge "Freeze the rally version"

Merge "Get tacker client using session authentication"

Merge "Remove all the results from previous releases"

Merge "Migrates glance commands to OSCLI"

Add dockerfile for aarch64

This commit allows building the functest image on aarch64 jenkins slave
The changes from the x86 dockerfile are:
- pull the aarch64 ubuntu image for docker
- add libjpeg-dev to the dependency list (needed for Pillow package)
- add bundler to gem because the version of ruby that is found is
  1.9.3p484 instead of 1.9.3-p551

 /usr/local/rvm/rubies/ruby-1.9.3-p551/lib/ruby/site_ruby/1.9.1/
 rubygems/core_ext/kernel_require.rb:55:
 in `require': cannot load such file -- bundler  (LoadError)

- configure nokogiri to use system libraries because the packet
  used an outdated config.guess file
- get the npm packet for arm64; since there is no deb for it,
  I extracted the needed files from the arhives in the repo

Ported https://gerrit.opnfv.org/gerrit/#/c/27971/ to this file

Change-Id: Icedbc54a685534bde14769182250cd098f24a26a
Signed-off-by: Cristina Pauna <cristina.pauna@enea.com>

Add netvirt to odl tests

For the odl test the default odl port is 8080. In netvirt this is the
same as apex.

Change-Id: I949510e4f7fb57bcf8ec01f69f7941c5d55c98e7
Signed-off-by: Nikolas Hermanns <nikolas.hermanns@ericsson.com>

Merge "Add flavor creation in functest env prepare"

Move api_check and connection check to healthcheck category

They used to be on smoke but seems to be supported now by
all the installers
more relevant to put these tests in this tier

JIRA: FUNCTEST-568

Change-Id: Id0c60c0b90daed81dc0d230108e2275c868c208c
Signed-off-by: Morgan Richomme <morgan.richomme@orange.com>

Freeze the rally version

1. Installed latest released version of rally as 0.8.1
2. Removed outdated description

Change-Id: Iebc8c65809dc814fe51aab27f0721b01fd6feb4b
Signed-off-by: helenyao <yaohelan@huawei.com>

Migrates glance commands to OSCLI

There is currently a bug with glance in newton which is causing Apex
healthchecks to fail:
https://bugs.launchpad.net/python-glanceclient/+bug/1661089

I have created a fix and tested it upstream:
https://review.openstack.org/#/c/427929/

That fix should eventually end up in functest, but in addition it is a
good idea to move to the universal CLI (this patch).

Change-Id: Ie71b301ff856f2d50fd889ff36f634911e616b38
Signed-off-by: Tim Rozet <trozet@redhat.com>

Merge changes from topic 'convert_unix_format'

* changes:
  Change permissions of python files
  Convert files to Unix format

Merge "Allow multiple sets of suites in ODL"

Merge "Define how to pass args to TestcaseBase.run"

Unit tests for openstack/rally.

Few bug fix in rally code along with unit tests.

Change-Id: Id39a5089ca6fce8aac5ba89eb61d31b02a5e9a98
Signed-off-by: ashishk1994 <ashishk.iiit@gmail.com>

Allow multiple sets of suites in ODL

ODLTests can manage multiple sets of suites passing as run args.
It avoids duplicating odl.py according to ODL features installed (e.g.
netvirt).

Change-Id: Ibb0697ef9441506c3f33627e13a0845cc482e23f
Signed-off-by: Cédric Ollivier <cedric.ollivier@orange.com>

Remove all the results from previous releases

These are obsolete and we use a different way to report
the results now.

Change-Id: Ia6a92149e484ae76701b12989abbf4de458f872b
Signed-off-by: jose.lausuch <jose.lausuch@ericsson.com>

Add flavor creation in functest env prepare

So far, healthcheck.sh was creating m1.tiny flavor.
We are planning to remove that script and replace it by
SNAPS api and connection check.

Althought, a better approach to this would be that all
the tests create the flavor if needed, but these are the
tests that rely on this flavor:
 - vping ssh
 - vping userdata
 - rally
 - tempest
 - onos_sfc

Change-Id: I537f68a55d733b24b6b15f5cf3710bca40fbc622
Signed-off-by: jose.lausuch <jose.lausuch@ericsson.com>

Merge "Bugfix: multisite test case fails"

Upgrade High level architecture config guide

Change-Id: I4a344b3d9781c8254b84aa53dd62c9e2637d9eb9
Signed-off-by: jose.lausuch <jose.lausuch@ericsson.com>

Bugfix: multisite test case fails

Ensure the target directory for tempest config file exists.

JIRA: FUNCTEST-715

Change-Id: I7bfaab1faa3e664d84813cdbf9a830b0b56a1f60
Signed-off-by: Juha Kosonen <juha.kosonen@nokia.com>

Get tacker client using session authentication

Update getting tacker client logic to use session for authentication

Change-Id: Ibc46e3d6b749540e1a23d08f6635c323e4dcf08d
Signed-off-by: George Paraskevopoulos <geopar@intracom-telecom.com>

Exclude Copper until copper/installer integration completed

JIRA: FUNCTEST-34

Change-Id: I70d551904a429b25947f914aa67f6f13f9e5b6ef
Signed-off-by: Morgan Richomme <morgan.richomme@orange.com>

Merge "Adapt Promise to new framework"

Add tempest test details to results report

JIRA: FUNCTEST-711

Change-Id: Ib89ad63f0f97ff27e62fd6af200a15b9eed646c6
Signed-off-by: Juha Kosonen <juha.kosonen@nokia.com>

Change permissions of python files

Change-Id: I21826594ffa9b06a70664aa3512f0b5df8b546cd
Signed-off-by: Cédric Ollivier <cedric.ollivier@orange.com>

Convert files to Unix format

Change-Id: I8faa0c9f4185e2d71b9c5d22a6a25830aacd8114
Signed-off-by: Cédric Ollivier <cedric.ollivier@orange.com>

bug fix: no status returned at the end of a Tempest/Rally run

the return shall only deal with test executed or not
it shall not return the criteria through a return statement
the criteria is managed with the criteria field
previous patch https://gerrit.opnfv.org/gerrit/#/c/27807
corrected the fact that we should not return the status of the test
which was preventing Failed results to be pushed
but it removed the return needed statement

JIRA: FUNCTEST-714

Change-Id: I3d4c609467837e4ce2353c67c0b8ea95e21ebd84
Signed-off-by: Morgan Richomme <morgan.richomme@orange.com>

Define how to pass args to TestcaseBase.run

Here is an exemple of functest/ci/testcases.yaml
run:
    module: 'functest.opnfv_tests.sdn.odl.odl'
    class: 'ODLTests'
    args:
        suites:
            -  /home/opnfv/repos/odl_test/csit/suites/integration/basic
            -  /home/opnfv/repos/odl_test/csit/suites/openstack/neutron

Change-Id: I37b0ffa18f626bd8bb52ed460ae38053bd12c8ee
Signed-off-by: Cédric Ollivier <cedric.ollivier@orange.com>

Adapt Promise to new framework

JIRA: FUNCTEST-549

Change-Id: I01018bc10f5b1717af217457018a5d56f86d60cd
Signed-off-by: Morgan Richomme <morgan.richomme@orange.com>

Merge "[rally] Get keystone auth endpoint as request_url"

Merge "First update of dev guide for dnaube"

Merge "Update Configuration guide"

[rally] Get keystone auth endpoint as request_url

JIRA: FUNCTEST-685
Change-Id: Id0d0bcf55451832d9aeb22c3e6b9c21aea4e0911
Signed-off-by: Michael Polenchuk <mpolenchuk@mirantis.com>

Merge "Extract util functions from tempest.py to conf_utils"

First update of dev guide for dnaube

JIRA: FUNCTEST-561

Change-Id: I2ce04883e09a1700cbcceac18e7bc1c01497633a
Signed-off-by: Morgan Richomme <morgan.richomme@orange.com>

Update Configuration guide

JIRA: FUNCTEST-559

Change-Id: I592ec574f4703d0b0ad7ee9941e487e3bb528d5d
Signed-off-by: Morgan Richomme <morgan.richomme@orange.com>

Merge "Adapt doctor test case to the FeatureBase framework"

Merge "Tempest and SNAPS not pushing results to DB in case of FAIL"

Merge "First update of Functest user guide for Danube"

Extract util functions from tempest.py to conf_utils

These functions are useful for other test cases trying
to run tempest. For example BGPVPN tests cases located
in SDNVPN repo.

Change-Id: I67e671f4e9b0a2d81a3ab0d1957ce144fb1a0432
Signed-off-by: jose.lausuch <jose.lausuch@ericsson.com>

Tempest and SNAPS not pushing results to DB in case of FAIL

this problem was due to the fact that we add exit condition
EX_ERROR when the result was FAIL

EX_ERROR shall be used as exit condition when there is an
execution error, i.e the test case cannot be run

if it can be run, there is no execution error
the result can be PASS or FAIL, but from the CI, execution is OK

JIRA: FUNCTEST-714

Change-Id: Id434bb9aa88b50277c40c717259304f26f7b3966
Signed-off-by: Morgan Richomme <morgan.richomme@orange.com>

First update of Functest user guide for Danube

JIRA: FUNCTEST-560

Change-Id: I90d7c3447dfb15b880704cb25da080221cb7b063
Signed-off-by: Morgan Richomme <morgan.richomme@orange.com>

Adapt doctor test case to the FeatureBase framework

JIRA: FUNCTEST-545

1. Modification of “doctor.py” to adapt Feature Base framework.
      deletion of detail("timestart and duration , status).
2. Deletion of definition of doctor’s repo directory in  “functest_const.py"

Change-Id: I81d944dc64a81346cbf465c452111f11474ea83c
Signed-off-by: Hideyasu Hayashi <hideyasu.hayashi@okinawaopenlabs.org>

Merge "Make sure we have installed python_novaclient==6.0.0"

Make sure we have installed python_novaclient==6.0.0

Some requirements install novaclient 7.0.0 which belongs
to Ocata. It shows some warnings that are not relevant.
This will force to install the version for Newton.

Change-Id: Ic9c6b3e9558ef59475099fa41316f56a8a3192a0
Signed-off-by: jose.lausuch <jose.lausuch@ericsson.com>

Support newton in tempest

* newton release support is started from 13.0.0
* set swift operator role to existing one
* unblacklist server_basic_ops test

JIRA: FUNCTEST-712
Change-Id: Ieb3d9477db3dfa98f940c3732b64f6eb7515f6e6
Signed-off-by: Michael Polenchuk <mpolenchuk@mirantis.com>

[doctor] allow testing with fuel and joid

Change-Id: Ib128c5f9f7de550fb288580fd36fb03fd49f7d8b
Signed-off-by: Ryota MIBU <r-mibu@cq.jp.nec.com>

Merge "Bugfix: fix the error of no sh file"

Merge "Refactor Rally to adopt OO"

Refactor Rally to adopt OO

JIRA: FUNCTEST-541

Change-Id: Ife04f58dc31ca9ba6316cc31577f81a6bf0e0405
Signed-off-by: helenyao <yaohelan@huawei.com>

Bugfix: fix the error of no sh file

Three shell scripts (dmz.sh, smtp_ingress.sh and reserved_subnet.sh)
are needed when executing "run.sh" where relative path of the three scripts
is specified. Those three shell scripts are also located in /home/opnfv/copper/tests,
so it is necessary to change to this dir before executing "run.sh".

JIRA: FUNCTEST-691

Change-Id: I8571e3403d31e9eede8c4eab79b49f721199cdf9
Signed-off-by: Linda Wang <wangwulin@huawei.com>

Merge "Fix for opnfv onos-sfc scripts"

Fix for opnfv onos-sfc scripts

Change-Id: I676885b364e81e2266e72defd7fb21bbc96b093d
Signed-off-by: sathishkumarmurugesan <sathishkumar@huawei.com>

Merge "Leverage logging config and refactor the logger"

Merge "Reverted the file permission"

bug fix case name for VNFonboarding

the case paramter was not provided to the anstraction class

Change-Id: I42ba63a3b4fd20f6d076f20369fed56715237640
Signed-off-by: Morgan Richomme <morgan.richomme@orange.com>

VNF_BASE - fix quota update failed

JIRA: FUNCTEST-702

Change-Id: Ia831d35079f9286f924d0b407a64bf376b1cff21
Signed-off-by: boucherv <valentin.boucher@orange.com>

Leverage logging config and refactor the logger

JIRA: FUNCTEST-690

The detailed benefits are listed in the JIRA description.

1. Refactored the functest_logger to make use of configuration file
2. Avoided configuring the logging every time a logger is initialized
3. Applied separate logging configuration fo unit test by removing
saving log to file

Change-Id: I6e27eaba727ae6d704f0301f15359dc3ea7b2f97
Signed-off-by: helenyao <yaohelan@huawei.com>

Merge "Bugfix: delete the wrong path in functest_constants.py"

Merge "write test results to a local file"

Merge "Use 8081 for apex's restconfport robot variable"

Bugfix: delete the wrong path in functest_constants.py

Fix the bug patch: https://gerrit.opnfv.org/gerrit/#/c/26769

Change-Id: I9ef5adeabb98ed3abfd67d23b78672a719c45225
Signed-off-by: Linda Wang <wangwulin@huawei.com>

Merge "Bugfix: fix the execution way in copper"

Bugfix: fix wrong path to vims-test repo

JIRA: FUNCTEST-697

Fix the bug of patch: https://gerrit.opnfv.org/gerrit/#/c/26769

Change-Id: Ib5356f1098d292b7a774ff11bbbe6cda8ecf51c3
Signed-off-by: helenyao <yaohelan@huawei.com>

Use 8081 for apex's restconfport robot variable

Change-Id: Ie3579254b8f09eda3707fbc4b8d098a292f52a93
Signed-off-by: Jamo Luhrsen <jluhrsen@redhat.com>

Merge "Add VnfOnBoarding Abstraction"

Add VnfOnBoarding Abstraction

JIRA: FUNCTEST-535

Change-Id: Idfa3dfd64554472aaac3f26a504e1f74d2f42926
Signed-off-by: Morgan Richomme <morgan.richomme@orange.com>

Merge "Rally keystone test scenarios for v3"

Bugfix: fix the execution way in copper

JIRA: FUNCTEST-691

Change-Id: I35371133619fb2cc6b42f3b0bd49c4473058d353
Signed-off-by: Linda Wang <wangwulin@huawei.com>

Merge "Refactoring of args and parser variable in ci/run_tests, prepare_env"

write test results to a local file

Write test result to a file or push it to DB depends
on the value format of test_db_url which is defined in
config_functest.yaml. Meanwhile, test_db_url can be set
by os envrion value "RESULT_STORE".

If test_db_url is a url, e.g. http:// or https://, then
push result to DB. If test_db_url is a file location,
e.g. file:///, then write results to a file with json data.
One result record, one line.

JIRA: FUNCTEST-657

Change-Id: I579087cd2c24d61a79142b5d67003fb486b6c723
Signed-off-by: wu.zhihui <wu.zhihui1@zte.com.cn>

Rally keystone test scenarios for v3

JIRA: FUNCTEST-652

1. Updated the Rally repository to master
the keystone test scenarios of TAG= 0.7.0 cannot run on Newton
also, 0.7.0 is the last tag that exists
2. Update the Tempest installation with updated rally command
Rally team said "there was no possibility to do it in backward
compatible way(rally verify re-design)"
3. The `rally show` was deprecated[1] in the master and corresponding
logic is updated
4. Update rally commands

[1]
https://github.com/openstack/rally/commit/f2fc3015beb4cfd8053db728765714500db6eeb2

Change-Id: Ief9e36a16dd92e4449c0f76579e7191a93aa3e21
Signed-off-by: helenyao <yaohelan@huawei.com>

Merge "Fixes ODL rest port for Apex"

Setting level to the Functest logger's parent logger to ensure log output from
Python libraries being used by framework does not get sent to dev/null.

JIRA: FUNCTEST-658

The parent logger is being set to logging.WARN and this is the logger instance
that is being inherited by the upstream libraries.

Change-Id: I35a02a8ea075012ac21e3b5d12d27c0187057b90
Signed-off-by: spisarski <s.pisarski@cablelabs.com>

Fixes ODL rest port for Apex

Apex has enabled tripleo firewall in deployments which block access to
port 8181.  Only port 8081 is exposed on the admin network now.

Change-Id: I58e5eaf16cfc0738c248e1468b2d59cc9f542ddd
Signed-off-by: Tim Rozet <trozet@redhat.com>

Merge "Added unit tests for utils/openstack_utils.py"

Merge "[Netvirt-pipeline] Exclude unwanted testcases"

[Netvirt-pipeline] Exclude unwanted testcases

For Netvirt pipeline only specialist testcases shall be executed.

Change-Id: I9b658e28526e4d833442d3aac601e794566ca4be
Signed-off-by: Nikolas Hermanns <nikolas.hermanns@ericsson.com>

Bugfix: fix the wrong return code

The bug was introduced by patch[1]
[1] https://gerrit.opnfv.org/gerrit/#/c/24619/

Change-Id: Icf6c267aba26fcb5b129a611423dcf2200f95277
Signed-off-by: helenyao <yaohelan@huawei.com>

Merge "Bugfix: fix the wrong path in copper"