Add deployment_handler printout to prepare env

Example output: http://pastebin.com/raw/xWTe9tAY

Change-Id: Ib8100089318f807fb4d5d4fff2911179eb18216e
Signed-off-by: jose.lausuch <jose.lausuch@ericsson.com>

Merge "Limit the substitution of ' in env vars"

Merge "Fix config file name setting"

Merge changes from topic 'revert_write_to_file'

* changes:
  Add can_dump_request_to_file decorator
  Revert "write test results to a local file"

Limit the substitution of ' in env vars

Only ' located and the beginning or at the end of the string are
removed. It completes the first proposal [1].

[1] https://gerrit.opnfv.org/gerrit/#/c/28563/

Change-Id: Ic21cea4c6e98d92983f385c875c3e214411b5f2d
Signed-off-by: Cédric Ollivier <cedric.ollivier@orange.com>

Fix config file name setting

JIRA: FUNCTEST-725

Change-Id: Ic1e6a54c2dbfb1dee5f8f6e6afd60382749bcd09
Signed-off-by: Juha Kosonen <juha.kosonen@nokia.com>

Merge "Fix again unix permissions"

Merge "Add ODL netvirt connectivity suites to list of robot tests"

Merge "Refactoring of args and parser variable"

Merge "delete useless file multisite.py"

Fix again unix permissions

It has been induced by [1].

[1] https://gerrit.opnfv.org/gerrit/#/c/26695/

Change-Id: I4bec6bdc30c5901c19bdc4ca43b89f60bd50a6aa
Signed-off-by: Cédric Ollivier <cedric.ollivier@orange.com>

Bugfix: remove double quotes from environment variables

JIRA: FUNCTEST-724

Change-Id: Iae248d710813a241752e1a06fb87d650caf3d188
Signed-off-by: jose.lausuch <jose.lausuch@ericsson.com>

Add ODL netvirt connectivity suites to list of robot tests

Change-Id: I9eb543b18d7646c7746caeec43d610be52a1af65
Signed-off-by: Jamo Luhrsen <jluhrsen@redhat.com>

Merge "Use Exception instead of return code"

Merge "[WIP] update cloudify_ims case"

Merge "Fix source_credentials in openstack_utils"

Add can_dump_request_to_file decorator

can_dump_request_to_file can be called to dump any request data to a
local file as defined by test_db_url. If its scheme is file,
Session.send() is patched. Else the behavior is kept unchanged.

Change-Id: Id219dad274b5f02a05259a2ed13e882c04eea7b4
Signed-off-by: Cédric Ollivier <cedric.ollivier@orange.com>

Revert "write test results to a local file"

This reverts commit ee21af78fbfc93e888acda121f08d2b216dd0159.

Change-Id: If7c8d3b645073574862eb67225b1e11b0dd7a021
Signed-off-by: Cédric Ollivier <cedric.ollivier@orange.com>

Use Exception instead of return code

Checking Return status code after each step can be wrapped by Exception
catching
Also, the return code is not as informative as exception

Change-Id: Ic15791d1b8ee47e10cbae8bad46a2cb90ac2b46e
Signed-off-by: helenyao <yaohelan@huawei.com>

Merge "Logic to trigger Security Scan project"

Merge "Refactor configure_tempest() function"

Merge "Integrating PyTest contained in SNAPS as a replacement to the old bash healthcheck."

Refactoring of args and parser variable

It also fixes one issue when printing summary for tiers and others
induced by [1].

[1] https://gerrit.opnfv.org/gerrit/#/c/26587/

JIRA: FUNCTEST-438

Co-Authored-By: Cédric Ollivier <cedric.ollivier@orange.com>
Change-Id: I821efaa7d62b208d797d19563f573d1e28da9df4
Signed-off-by: ashishk1994 <ashishk.iiit@gmail.com>
Signed-off-by: Cédric Ollivier <cedric.ollivier@orange.com>

Fix source_credentials in openstack_utils

It fixes issues raised when an env var contains '=' (e.g. LS_COLORS).
It now exports the vars listed in rc_file without creating a new
process.

Change-Id: I6e6a4e3ab9c45afe4d40015831acb283acbe564c
Signed-off-by: Cédric Ollivier <cedric.ollivier@orange.com>

[WIP] update cloudify_ims case

bug fixes + adaptation to abstraction class

JIRA: FUNCTEST-710

Change-Id: I687876637bd9eeeba9256e28b98a1e3a4f5c3e22
Signed-off-by: Morgan Richomme <morgan.richomme@orange.com>

delete useless file multisite.py

Change-Id: Iee13f283280610a98847c4560ed58163d01f6e8e
Signed-off-by: SerenaFeng <feng.xiaowei@zte.com.cn>

Logic to trigger Security Scan project

1. Removed the calling from exec_test.sh
2. Used FeatureBase instead
3. Removed the legacy security scan code

Change-Id: I1984ec951973f337f275e50543b277cd90d9a202
Signed-off-by: helenyao <yaohelan@huawei.com>

Refactor configure_tempest() function

Create two new functions: configure_tempest_update_params and
configure_verifier, distinguishing between tempest.conf
configure verification and add/updating parameters into it

this update is useful and it will be used by sdnvpn/tempest

Change-Id: I76e0bc00e33492252cdecab224380ecca2ce275a
Signed-off-by: tomsou <soth@intracom-telecom.com>

Integrating PyTest contained in SNAPS as a replacement to the old
bash healthcheck.

JIRA: FUNCTEST-570

Change-Id: Ia90dc152d48144c9c53967d5c30256389793ce91
Signed-off-by: spisarski <s.pisarski@cablelabs.com>

Exclude Moon feature for Danube

Moon will come back mid March with a micro service version
Moon testing could be enabled on this new version

Change-Id: I160fab5d609bad2b0e8a8c81a4a180498c935b2f
Signed-off-by: Morgan Richomme <morgan.richomme@orange.com>

Merge "Move api_check and connection check to healthcheck category"

Merge "bugfix for finding tempest failed testcase"

Merge "Change log level when pod, scenario or build_tag cannot be retrieved"

Merge "Change endpoint type for Kingbird"

Merge "Add netvirt to odl tests"

Change endpoint type for Kingbird

Replaced 'kingbird' with 'multisite' as kingbird
installation scripts register 'multisite'.

JIRA: MULTISITE-720
Change-Id: Ib53bab46a1fa225e371912d74eecb929d84dff3a
Signed-off-by: Dimitri Mazmanov <dimitri.mazmanov@ericsson.com>

Change log level when pod, scenario or build_tag cannot be retrieved

when using Functest out of CI, such env variables may not be set
This shall not result in Error messages

JIRA: FUNCTEST-716

Change-Id: I86d2023145480dfa9c8d593ea274acbd9e431ef7
Signed-off-by: Morgan Richomme <morgan.richomme@orange.com>

Merge "Migrates more commands to openstack-pythonclient cmds"

Migrates more commands to openstack-pythonclient cmds

Change-Id: I7be6a89d7b0fb7997ea05607d45e792e0ce57051
Signed-off-by: Tim Rozet <trozet@redhat.com>

Merge "Unit tests for openstack/rally."

Merge "Upgrade High level architecture config guide"

bugfix for finding tempest failed testcase

JIRA: FUNCTEST-719
1.in new tempest version, FAILED-->fail
see log https://build.opnfv.org/ci/view/dovetail/job/dovetail-compass-virtual-debug-master/163/artifact/results/tempest/tempest.log
2.there is a need to show the skipped testcase in tempest

Change-Id: If753c59971362625ae0797a0161e07b1e4ff94c8
Signed-off-by: MatthewLi <matthew.lijun@huawei.com>

Merge "Add dockerfile for aarch64"

Merge "Fix template error log"

Fix template error log

JIRA:SFC-70

Printing the VNFD template during VNFD creation was left on error level.
Move it on info level and make printing prettier.

Fix unit test for create_vnfd

Change-Id: Ib04a43d72abcf9b6fbcaec9ea05d57b9f017b53f
Signed-off-by: George Paraskevopoulos <geopar@intracom-telecom.com>

Merge "Freeze the rally version"

Merge "Get tacker client using session authentication"

Merge "Remove all the results from previous releases"

Merge "Migrates glance commands to OSCLI"

Add dockerfile for aarch64

This commit allows building the functest image on aarch64 jenkins slave
The changes from the x86 dockerfile are:
- pull the aarch64 ubuntu image for docker
- add libjpeg-dev to the dependency list (needed for Pillow package)
- add bundler to gem because the version of ruby that is found is
  1.9.3p484 instead of 1.9.3-p551

 /usr/local/rvm/rubies/ruby-1.9.3-p551/lib/ruby/site_ruby/1.9.1/
 rubygems/core_ext/kernel_require.rb:55:
 in `require': cannot load such file -- bundler  (LoadError)

- configure nokogiri to use system libraries because the packet
  used an outdated config.guess file
- get the npm packet for arm64; since there is no deb for it,
  I extracted the needed files from the arhives in the repo

Ported https://gerrit.opnfv.org/gerrit/#/c/27971/ to this file

Change-Id: Icedbc54a685534bde14769182250cd098f24a26a
Signed-off-by: Cristina Pauna <cristina.pauna@enea.com>

Add netvirt to odl tests

For the odl test the default odl port is 8080. In netvirt this is the
same as apex.

Change-Id: I949510e4f7fb57bcf8ec01f69f7941c5d55c98e7
Signed-off-by: Nikolas Hermanns <nikolas.hermanns@ericsson.com>

Merge "Add flavor creation in functest env prepare"

Move api_check and connection check to healthcheck category

They used to be on smoke but seems to be supported now by
all the installers
more relevant to put these tests in this tier

JIRA: FUNCTEST-568

Change-Id: Id0c60c0b90daed81dc0d230108e2275c868c208c
Signed-off-by: Morgan Richomme <morgan.richomme@orange.com>

Freeze the rally version

1. Installed latest released version of rally as 0.8.1
2. Removed outdated description

Change-Id: Iebc8c65809dc814fe51aab27f0721b01fd6feb4b
Signed-off-by: helenyao <yaohelan@huawei.com>

Migrates glance commands to OSCLI

There is currently a bug with glance in newton which is causing Apex
healthchecks to fail:
https://bugs.launchpad.net/python-glanceclient/+bug/1661089

I have created a fix and tested it upstream:
https://review.openstack.org/#/c/427929/

That fix should eventually end up in functest, but in addition it is a
good idea to move to the universal CLI (this patch).

Change-Id: Ie71b301ff856f2d50fd889ff36f634911e616b38
Signed-off-by: Tim Rozet <trozet@redhat.com>

Merge changes from topic 'convert_unix_format'

* changes:
  Change permissions of python files
  Convert files to Unix format

Merge "Allow multiple sets of suites in ODL"

Merge "Define how to pass args to TestcaseBase.run"

Unit tests for openstack/rally.

Few bug fix in rally code along with unit tests.

Change-Id: Id39a5089ca6fce8aac5ba89eb61d31b02a5e9a98
Signed-off-by: ashishk1994 <ashishk.iiit@gmail.com>

Allow multiple sets of suites in ODL

ODLTests can manage multiple sets of suites passing as run args.
It avoids duplicating odl.py according to ODL features installed (e.g.
netvirt).

Change-Id: Ibb0697ef9441506c3f33627e13a0845cc482e23f
Signed-off-by: Cédric Ollivier <cedric.ollivier@orange.com>

Remove all the results from previous releases

These are obsolete and we use a different way to report
the results now.

Change-Id: Ia6a92149e484ae76701b12989abbf4de458f872b
Signed-off-by: jose.lausuch <jose.lausuch@ericsson.com>

Add flavor creation in functest env prepare

So far, healthcheck.sh was creating m1.tiny flavor.
We are planning to remove that script and replace it by
SNAPS api and connection check.

Althought, a better approach to this would be that all
the tests create the flavor if needed, but these are the
tests that rely on this flavor:
 - vping ssh
 - vping userdata
 - rally
 - tempest
 - onos_sfc

Change-Id: I537f68a55d733b24b6b15f5cf3710bca40fbc622
Signed-off-by: jose.lausuch <jose.lausuch@ericsson.com>

Merge "Bugfix: multisite test case fails"

Upgrade High level architecture config guide

Change-Id: I4a344b3d9781c8254b84aa53dd62c9e2637d9eb9
Signed-off-by: jose.lausuch <jose.lausuch@ericsson.com>

Bugfix: multisite test case fails

Ensure the target directory for tempest config file exists.

JIRA: FUNCTEST-715

Change-Id: I7bfaab1faa3e664d84813cdbf9a830b0b56a1f60
Signed-off-by: Juha Kosonen <juha.kosonen@nokia.com>

Get tacker client using session authentication

Update getting tacker client logic to use session for authentication

Change-Id: Ibc46e3d6b749540e1a23d08f6635c323e4dcf08d
Signed-off-by: George Paraskevopoulos <geopar@intracom-telecom.com>

Exclude Copper until copper/installer integration completed

JIRA: FUNCTEST-34

Change-Id: I70d551904a429b25947f914aa67f6f13f9e5b6ef
Signed-off-by: Morgan Richomme <morgan.richomme@orange.com>

Merge "Adapt Promise to new framework"

Add tempest test details to results report

JIRA: FUNCTEST-711

Change-Id: Ib89ad63f0f97ff27e62fd6af200a15b9eed646c6
Signed-off-by: Juha Kosonen <juha.kosonen@nokia.com>

Change permissions of python files

Change-Id: I21826594ffa9b06a70664aa3512f0b5df8b546cd
Signed-off-by: Cédric Ollivier <cedric.ollivier@orange.com>

Convert files to Unix format

Change-Id: I8faa0c9f4185e2d71b9c5d22a6a25830aacd8114
Signed-off-by: Cédric Ollivier <cedric.ollivier@orange.com>

bug fix: no status returned at the end of a Tempest/Rally run

the return shall only deal with test executed or not
it shall not return the criteria through a return statement
the criteria is managed with the criteria field
previous patch https://gerrit.opnfv.org/gerrit/#/c/27807
corrected the fact that we should not return the status of the test
which was preventing Failed results to be pushed
but it removed the return needed statement

JIRA: FUNCTEST-714

Change-Id: I3d4c609467837e4ce2353c67c0b8ea95e21ebd84
Signed-off-by: Morgan Richomme <morgan.richomme@orange.com>

Define how to pass args to TestcaseBase.run

Here is an exemple of functest/ci/testcases.yaml
run:
    module: 'functest.opnfv_tests.sdn.odl.odl'
    class: 'ODLTests'
    args:
        suites:
            -  /home/opnfv/repos/odl_test/csit/suites/integration/basic
            -  /home/opnfv/repos/odl_test/csit/suites/openstack/neutron

Change-Id: I37b0ffa18f626bd8bb52ed460ae38053bd12c8ee
Signed-off-by: Cédric Ollivier <cedric.ollivier@orange.com>

Adapt Promise to new framework

JIRA: FUNCTEST-549

Change-Id: I01018bc10f5b1717af217457018a5d56f86d60cd
Signed-off-by: Morgan Richomme <morgan.richomme@orange.com>

Merge "[rally] Get keystone auth endpoint as request_url"

Merge "First update of dev guide for dnaube"

Merge "Update Configuration guide"

[rally] Get keystone auth endpoint as request_url

JIRA: FUNCTEST-685
Change-Id: Id0d0bcf55451832d9aeb22c3e6b9c21aea4e0911
Signed-off-by: Michael Polenchuk <mpolenchuk@mirantis.com>

Merge "Extract util functions from tempest.py to conf_utils"

First update of dev guide for dnaube

JIRA: FUNCTEST-561

Change-Id: I2ce04883e09a1700cbcceac18e7bc1c01497633a
Signed-off-by: Morgan Richomme <morgan.richomme@orange.com>

Update Configuration guide

JIRA: FUNCTEST-559

Change-Id: I592ec574f4703d0b0ad7ee9941e487e3bb528d5d
Signed-off-by: Morgan Richomme <morgan.richomme@orange.com>

Merge "Adapt doctor test case to the FeatureBase framework"

Merge "Tempest and SNAPS not pushing results to DB in case of FAIL"

Merge "First update of Functest user guide for Danube"

Extract util functions from tempest.py to conf_utils

These functions are useful for other test cases trying
to run tempest. For example BGPVPN tests cases located
in SDNVPN repo.

Change-Id: I67e671f4e9b0a2d81a3ab0d1957ce144fb1a0432
Signed-off-by: jose.lausuch <jose.lausuch@ericsson.com>

Tempest and SNAPS not pushing results to DB in case of FAIL

this problem was due to the fact that we add exit condition
EX_ERROR when the result was FAIL

EX_ERROR shall be used as exit condition when there is an
execution error, i.e the test case cannot be run

if it can be run, there is no execution error
the result can be PASS or FAIL, but from the CI, execution is OK

JIRA: FUNCTEST-714

Change-Id: Id434bb9aa88b50277c40c717259304f26f7b3966
Signed-off-by: Morgan Richomme <morgan.richomme@orange.com>

First update of Functest user guide for Danube

JIRA: FUNCTEST-560

Change-Id: I90d7c3447dfb15b880704cb25da080221cb7b063
Signed-off-by: Morgan Richomme <morgan.richomme@orange.com>

Adapt doctor test case to the FeatureBase framework

JIRA: FUNCTEST-545

1. Modification of “doctor.py” to adapt Feature Base framework.
      deletion of detail("timestart and duration , status).
2. Deletion of definition of doctor’s repo directory in  “functest_const.py"

Change-Id: I81d944dc64a81346cbf465c452111f11474ea83c
Signed-off-by: Hideyasu Hayashi <hideyasu.hayashi@okinawaopenlabs.org>

Merge "Make sure we have installed python_novaclient==6.0.0"

Make sure we have installed python_novaclient==6.0.0

Some requirements install novaclient 7.0.0 which belongs
to Ocata. It shows some warnings that are not relevant.
This will force to install the version for Newton.

Change-Id: Ic9c6b3e9558ef59475099fa41316f56a8a3192a0
Signed-off-by: jose.lausuch <jose.lausuch@ericsson.com>

Support newton in tempest

* newton release support is started from 13.0.0
* set swift operator role to existing one
* unblacklist server_basic_ops test

JIRA: FUNCTEST-712
Change-Id: Ieb3d9477db3dfa98f940c3732b64f6eb7515f6e6
Signed-off-by: Michael Polenchuk <mpolenchuk@mirantis.com>

[doctor] allow testing with fuel and joid

Change-Id: Ib128c5f9f7de550fb288580fd36fb03fd49f7d8b
Signed-off-by: Ryota MIBU <r-mibu@cq.jp.nec.com>

Merge "Bugfix: fix the error of no sh file"

Merge "Refactor Rally to adopt OO"

Refactor Rally to adopt OO

JIRA: FUNCTEST-541

Change-Id: Ife04f58dc31ca9ba6316cc31577f81a6bf0e0405
Signed-off-by: helenyao <yaohelan@huawei.com>

Bugfix: fix the error of no sh file

Three shell scripts (dmz.sh, smtp_ingress.sh and reserved_subnet.sh)
are needed when executing "run.sh" where relative path of the three scripts
is specified. Those three shell scripts are also located in /home/opnfv/copper/tests,
so it is necessary to change to this dir before executing "run.sh".

JIRA: FUNCTEST-691

Change-Id: I8571e3403d31e9eede8c4eab79b49f721199cdf9
Signed-off-by: Linda Wang <wangwulin@huawei.com>

Merge "Fix for opnfv onos-sfc scripts"

Fix for opnfv onos-sfc scripts

Change-Id: I676885b364e81e2266e72defd7fb21bbc96b093d
Signed-off-by: sathishkumarmurugesan <sathishkumar@huawei.com>

Merge "Leverage logging config and refactor the logger"

Merge "Reverted the file permission"