Bug fix: vping_userdata test status was not properly reported

vping_base is calling vping_userdata
vping_user data could return only EX_TESTCASE_FAILED or EX_OK
by default vping_base always returns EX_OK (based on self.result=100..)
it returned EX_RUN_ERROR only if upper class report EX_RUN_ERROR

that is why vping_userdata was always PASS even if the trace "Ping OK"
cannot be retrieved from the Nova console

it seems that when running the vping_userdata, we systematically got
 Failed to read iid from metadata

Change-Id: If72441dd93bffada5c7a5399c87db68d7ebeebed
Signed-off-by: Morgan Richomme <morgan.richomme@orange.com>
(cherry picked from commit e36a14f6db0bc5ac93469bb553810de506f29bef)

Add ${DOCKER_TAG} in Docker hooks

It eases creating Docker images based on branches or tags.

Conflicts:
docker/components/hooks/post_checkout
docker/features/hooks/post_checkout
docker/healthcheck/hooks/post_checkout
docker/restapi/hooks/post_checkout
docker/smoke/hooks/post_checkout
docker/vnf/hooks/post_checkout

Change-Id: Id84513c53cad72a1fcd0debf06579481609b8bc2
Signed-off-by: Cédric Ollivier <cedric.ollivier@orange.com>
(cherry picked from commit 29647efa114151d53ede5ba2d989593992c0b29f)

Enable promise on all fuel and joid scenarii

Change-Id: I9735788fbbe715968560570543d1dc9d55e065b7
Signed-off-by: Cédric Ollivier <cedric.ollivier@orange.com>
(cherry picked from commit 36b648a6e928ac0819a607cd2231faa803418b7a)

remove icmp rules from secgroups

Change-Id: I8f7d2170eee9777be6455d38eaff703338b155fa
Signed-off-by: Michael Pauls <michael.pauls@fokus.fraunhofer.de>
(cherry picked from commit c93ae73855ba928eb6661ac2468c5a0bae7c5506)

Remove tempest_custom from testcases configs

Change-Id: I1237eaada5257a8c01753837a5820d840b51bff1
Signed-off-by: Cédric Ollivier <cedric.ollivier@orange.com>
(cherry picked from commit a8f1d8ea374c9538b1d7a223116d8d7d9b783c89)

Fix userdata issue for vping and orchestra

1. When creating VM, the type of the param userdata should be str, to
   conform with that in snaps [1].
2. Remove the infinite loop for vping in userdata
3. Fix the criteria for vping_userdata and vping_ssh

[1]: https://git.opnfv.org/snaps/tree/snaps/openstack/utils/nova_utils.py#n92

Change-Id: I262a7ebb93ec90bb6f8f3acb5d564f210abcfc4b
Signed-off-by: Linda Wang <wangwulin@huawei.com>
(cherry picked from commit 5a24cb4a7db33e693a063f5c2a66406283aa5cfb)

Force python2 when creating venv for refstack

python3 has been selected since it was installed for doctor [1].

[1] https://gerrit.opnfv.org/gerrit/#/c/41823/

JIRA: FUNCTEST-875

Change-Id: I942122b46dc0ebe594306877f5a0350f876d7c01
Signed-off-by: Linda Wang <wangwulin@huawei.com>
(cherry picked from commit f36d607e1b8f7660bbcb4c06d589d4eeb76158e3)

Merge "Fix connection error due to invalid lib version usage." into stable/euphrates

Merge "Add log details on SDK first connection." into stable/euphrates

Switch to OS_PROJECT_NAME

It simply conforms with OpenStack keystone v3.

JIRA: FUNCTEST-877

Change-Id: I989a6eb4d8564948927c184a899b62ca763ef824
Signed-off-by: Cédric Ollivier <cedric.ollivier@orange.com>
(cherry picked from commit 5c178f0d30f0701dee0d0a629023f05edfde338e)

Fix connection error due to invalid lib version usage.

Connection timeouts on "requests" objects was developped with
requests 2.18 but target runtime is 2.12.
Advanced timeout management of 2.18 is not available in 2.12.

Change-Id: Ie6d81b91d4bcc0d73cffd007d9e46cdb19e47597
Signed-off-by: Benoit HERARD <benoit.herard@orange.com>
(cherry picked from commit 86d5c31424187329f69a7e0efaa9dbe0dac98e56)

Add log details on SDK first connection.

On first call to energy recording API, if API
is unreachable, SDK don't do anything anymore.
This change add logs on error for this first connection.

Change-Id: I88892c769d6208c6ddf5d714d438ab584826844e
Signed-off-by: Benoit HERARD <benoit.herard@orange.com>
(cherry picked from commit 405a0872282f5b29bb9e60ba19b11b17c8047647)

Add post_push hooks

It allows creating the stable tags as allowed by Docker hub [1].

[1] https://github.com/docker/hub-feedback/issues/341

Change-Id: I84909b20fc8b926eb5414db7d57100aaa6060f84
Signed-off-by: Cédric Ollivier <cedric.ollivier@orange.com>

Disable Promise testsuite on Fuel installer

When promise reads API v3.0 from the creds file it automatically
uses v2.0. which is deprecated and not used by fuel. Therefore
promise is removed from the functest suite

JIRA: ARMBAND-314

Change-Id: I22b875c198c1922fd4ddb06c81c05884b5248eb4
Signed-off-by: Charalampos Kominos <Charalampos.Kominos@enea.com>
(cherry picked from commit 8c3791f730effbf09fc95ef2bc66ff0d0a37e87b)

Fix creds still used by vrouter

1. 'CloudifyVrouter' object has no attribute 'creds'
2. 'CloudifyVrouter' object was still use 'creds'
3. Doing test of modified vyos_vrouter on our labs.

Refer to following commit.
 https://gerrit.opnfv.org/gerrit/#/c/41249/

Change-Id: Id1b4dfa4c35aba9bbb4fd64ef58446d3e99468df
Signed-off-by: root <shuya.nakama@okinawaopenlabs.org>
(cherry picked from commit 233a9bf775c1e9fe66e588ec45266c15bdb142b1)

Merge "Support https when testing ODL" into stable/euphrates

Support https when testing ODL

It conforms with the last change on ODL tests [1].
Neutron endpoint is passed via robot args instead of Neutron ip.
Keystone url (based on OS_AUTH_URL) is passed too to replace Keystone
ip.

[1] https://git.opendaylight.org/gerrit/#/c/63293/

Conflicts:
    docker/restapi/Dockerfile
    docker/smoke/Dockerfile

Change-Id: Ie44f55304a438b1b0289ec69ac2241664be70e80
Signed-off-by: Cédric Ollivier <cedric.ollivier@orange.com>
(cherry picked from commit dd99f5356ef08f3a2a1ed18d63492391390df752)

Adding orchestra test cases to orchestra project

Orchestra introduced 2 VNF test cases:

 * orchestra_openims
 * orchestra_clearwaterims

In the configuration, the 2 projects are still assigned to functest project
This patch associate the cases with their real project

Change-Id: I81f6d6fb473916f0f91a5b3795b3ed433c283fb4
Signed-off-by: Morgan Richomme <morgan.richomme@orange.com>
(cherry picked from commit 2aa38f32b9ea0cb248f25d52f100240b2a002bc6)

Remove void return value mocks in rally unit tests

Change-Id: I369b98fb9120830b1868f438c7da2a039a60d890
Signed-off-by: Juha Kosonen <juha.kosonen@nokia.com>
(cherry picked from commit 31524290992dad02d5ca1e6b17304bf31b56b7f7)

Merge "Remove white space when listing testcases" into stable/euphrates

Merge "Dedicated flavors for rally tests" into stable/euphrates

Merge "Fix image name in rally scenarios" into stable/euphrates

Merge "Remove restriction to fuel on vyosvrouter case in Alpine" into stable/euphrates

Remove false hooks for functest-parser

Change-Id: I58f186b249083fc13e4bcfc4e933fd11f5d4b20e
Signed-off-by: Cédric Ollivier <cedric.ollivier@orange.com>
(cherry picked from commit 47c049623b07dd563218959ad59c0e027a354836)

Add python3-dev and python3-pip in former Dockerfile

Otherwise the former container cannot be built as Doctor requires a
full updated python3 env.

Change-Id: Ic90c13abad33e7cb15e7e51dcaac83b9ddf3930b
Signed-off-by: Cédric Ollivier <cedric.ollivier@orange.com>
(cherry picked from commit 95ffa691887b35cd60d287f13d8633094110d78e)

Dedicated flavors for rally tests

Create flavors and use them in rally scenarios instead of expecting
certain flavors to pre-exist.

Change-Id: I77c94ab80fcabd7b80ffb36f9856a48121858009
Signed-off-by: Juha Kosonen <juha.kosonen@nokia.com>
(cherry picked from commit 3b98874f010329198b8c3a13a4711c17a593b9cc)

Fix image name in rally scenarios

Change-Id: I0a78a16d44c1e0e0b2edec2e43954c1f08e8bb09
Signed-off-by: Juha Kosonen <juha.kosonen@nokia.com>
(cherry picked from commit a9cb468fae75d4e95689fa9ea02a94a73df95648)

Remove restriction to fuel on vyosvrouter case in Alpine

It was done in old docker but not reported in Alpine

Change-Id: I3479ad996b64187f58e97cc3b4a4b2ceefeec287
Signed-off-by: Morgan Richomme <morgan.richomme@orange.com>
(cherry picked from commit 55b11d41b5d96e159c4abf3df6c03245d4f737dc)

Remove white space when listing testcases

Change-Id: I2f3c7a9301a6b2dcb03a90175be23223f6a6229a
Signed-off-by: Linda Wang <wangwulin@huawei.com>
(cherry picked from commit e4ad79cabc3292a1cb0d8642f0c9eddbbc2befd1)

Enable Doctor testcase

It upates upper-constraints.txt and thirdparty-requirements.txt as
doctor-test was renamed to doctor-tests.

It installs the doctor packages and its requirements via python3.
Then python_version>='3.0' conditions are added to avoid installing
them for python2.

It also calls the new console scripts and modifies the installer
list supporting it.

Conflicts:
    upper-constraints.txt

Co-Authored-By: Cédric Ollivier <cedric.ollivier@orange.com>
Change-Id: Icd855f4534d9d9591165e99aa0eed6b1030018e0
Signed-off-by: dongwenjuan <dong.wenjuan@zte.com.cn>
Signed-off-by: Cédric Ollivier <cedric.ollivier@orange.com>
(cherry picked from commit 1e1fba3aa18ebcbff6746586654805a44e88e9fe)

Add swagger support for Rest API

JIRA: FUNCTEST-854

Change-Id: Ic010604d3ba0cc46092cf2a1ae8bb41afa73c920
Signed-off-by: Linda Wang <wangwulin@huawei.com>
(cherry picked from commit b621b6b4b70299a60ad3e26ed6b04450f84b603e)

Update Docker hooks

It takes euphrates into account in Docker tag name.

Change-Id: Id455152655c8174b7cab9780c27d923f33173f28
Signed-off-by: Cédric Ollivier <cedric.ollivier@orange.com>

Merge "Select ansible 2.3.2.0" into stable/euphrates

Merge "Return Functest status to Jenkins" into stable/euphrates

Merge "Enable parser testcase" into stable/euphrates

Merge "Enable Domino testcase" into stable/euphrates

Merge "Remove securityscanning testcase" into stable/euphrates

Merge "Remove useless enabled: true in testcases.yaml" into stable/euphrates

Merge "Prepare Functest euphrates containers" into stable/euphrates

Merge "Fix one whitespace character" into stable/euphrates

Merge "Fix stable/euphrates .gitreview" into stable/euphrates

Select ansible 2.3.2.0

Badly the ansible version is not defined in OpenStack's
upper-constaints.txt. It must be added in the OPNFV one.

Otherwise, rally fails [1]

[1] https://build.opnfv.org/ci/job/functest-fuel-baremetal-daily-master/1866/console

Change-Id: Id6814376ce96d35db65f6290d0a31283a15de0b2
Signed-off-by: Cédric Ollivier <cedric.ollivier@orange.com>
(cherry picked from commit c3c326570b29276d5ac2f703f64fb5f797de62d2)

Return Functest status to Jenkins

It avoids mixing Functest and Features CI issues by simply exiting the
status of Functest testcases. The result of third-party testcases are
printed into console but are no longer taken into account into the
global status.

Change-Id: I040ff54780db2ddb6d81993839fee09f5e472323
Signed-off-by: Cédric Ollivier <cedric.ollivier@orange.com>
(cherry picked from commit 516d1bd7811f5751d796748ddd52f798bbd5a40f)

Enable parser testcase

Currently parser tescase in functest disabled, it's
neccessary to enable it since we have tested successfully
with the installers of fuel, apex and daisy.

Change-Id: Ic3995cec813cc41c897b9c600b90d1fbbe8a74e2
Signed-off-by: shangxdy <shang.xiaodong@zte.com.cn>
(cherry picked from commit 734cb4d6d66b2fa638e82d366d480404997e005e)

Enable Domino testcase

Domino is part of the OPNFV projects released for E [1].
As now Domino is ready for Functest integration (package and
requirements), the testcase can be enabled.

If the testcase fails, the issues should be related to Domino.

[1] https://lists.opnfv.org/pipermail/opnfv-tech-discuss/2017-September/017951.html

Change-Id: I26f3d3ae338def0f77c46c2cbda1baf3d55c1a41
Signed-off-by: Cédric Ollivier <cedric.ollivier@orange.com>
(cherry picked from commit 555ac3f8656004d469c04370448a8a46f8a1418d)

Remove securityscanning testcase

As the project is no longer released [1], security_scan is removed
from testcases config files.

It stops installing the related python package too.

[1] https://lists.opnfv.org/pipermail/opnfv-tech-discuss/2017-September/017951.html

Conflicts:
      upper-constraints.txt

Change-Id: Ieb9ff4c2975fbf2c85b875a088b0ec18503a3722
Signed-off-by: Cédric Ollivier <cedric.ollivier@orange.com>
(cherry picked from commit 59999eb2f2bf3b28c50a9b75fc551192450d28e3)

Remove useless enabled: true in testcases.yaml

Change-Id: Ief2f4f580b4daef74e64d203fa1fc2be8f7e50c7
Signed-off-by: Cédric Ollivier <cedric.ollivier@orange.com>
(cherry picked from commit 955706810fa3c9adb153bf581c703ec473b57a56)

Prepare Functest euphrates containers

They depend on git commit ids for the next OPNFV projects:
  - releng [1]
  - securityscanning

Securityscanning should be first removed in master and then the patch
will be cherry-picked in stable/euphrates. A temporarily git commit
id is used here to allow building the containers before that changes.

[1] https://lists.opnfv.org/pipermail/opnfv-tech-discuss/2017-September/017865.html

Change-Id: Ib7bd4206a6ef7f5bb8cd58f324d3e437a3b704a1
Signed-off-by: Cédric Ollivier <cedric.ollivier@orange.com>

Fix one whitespace character

Change-Id: I631061178f4c96d28dfa4fcf22af0fef2c4f5db4
Signed-off-by: Cédric Ollivier <cedric.ollivier@orange.com>
(cherry picked from commit d120b6cf30631ee7a0f27f4fc1d07facd6ce4047)

Fix stable/euphrates .gitreview

It simply adds defaultbranch=stable/euphrates

Change-Id: I06cbebc719f9188415d5de68a008d16f0b915dec
Signed-off-by: Cédric Ollivier <cedric.ollivier@orange.com>

increase timeout of NFVO installation

some pods are less powerful and require more time for the
installation of the orchestrator

Change-Id: Iebd39c0ef8f3dcfa7fecb1e507b2f05890b5c490
Signed-off-by: Michael Pauls <michael.pauls@fokus.fraunhofer.de>
(cherry picked from commit f7348cba120c5bd2f4df51b1a290bea4c0d01a61)

Merge "Bug fix: wrong dependency filter for lxd scenarios"

Merge "Refactor resource creation and cleanup in rally"

Bug fix: wrong dependency filter for lxd scenarios

lxd scenario cannot run all the api_check tests, a regex has been set
but on the wrong dependency (installer instead of scenario)

Change-Id: I313e8d1ed3fa30488c100549f574a0cded08768f
Signed-off-by: Morgan Richomme <morgan.richomme@orange.com>

Refactor resource creation and cleanup in rally

Use SNAPS to create and delete resources.

Change-Id: Ic4d390382acea2be196e8a7518cb8cce25276a45
Signed-off-by: Juha Kosonen <juha.kosonen@nokia.com>

Enable tempest run concurrently

Append a guid to the end of names of resources created for tempest,
including project, user, network, images and flavors.

Change-Id: I01fc7c5cb45cd5724a99ba1d220c3f3f7d6639cf
Signed-off-by: Linda Wang <wangwulin@huawei.com>

Merge "New testcase creation named "cloudify_ims_perf""

New testcase creation named "cloudify_ims_perf"

* IMS deployment with "cloudify_ims" testcase
* IXIA infrastructure creation with SNAPS
* Module configuration with REST API
* Configure and run the perf tests with REST API

Change-Id: I3dfddda87f9e9f4f03df375f6a032ded26a627b3
Signed-off-by: boucherv <valentin.boucher@orange.com>
Co-Authored-By: Arturo Sordo Miralles <asordo@ixiacom.com>

Merge "Override tempest upper-constraints in functest-parser"

Merge "Select $OPENSTACK_TAG instead of stable/ocata"

Override tempest upper-constraints in functest-parser

Change-Id: Ib08fb665724bd7b7ec8f8a010486e615d2cd5f5b
Signed-off-by: Cédric Ollivier <cedric.ollivier@orange.com>

Select $OPENSTACK_TAG instead of stable/ocata

It modifies functest and functest-core containers.

Change-Id: I505baf460412e73d3bf4563b13edd849c2f02fac
Signed-off-by: Cédric Ollivier <cedric.ollivier@orange.com>

Merge "Optimize Alpine Dockerfiles"

Merge "Allow reading log file with byte offset"

Optimize Alpine Dockerfiles

It mainly splits vnfs runtime and build dependencies to save space at
the end.

Change-Id: I8307fa416066cc8c50b96862de8bafd2c47a2ace
Signed-off-by: Cédric Ollivier <cedric.ollivier@orange.com>

Add packages in docker alpine containers

To run our SFC tests we require openssh and sshpass to be installed in
the container

Change-Id: I40b3d740855d48939f9411697abbd3bbbb70370f
Signed-off-by: Manuel Buil <mbuil@suse.com>

Merge "Add Functest restapi container"

Merge "Remove thirdparty-requirements.txt in smoke"

Merge "Add Docker automated build hooks for Parser"

Allow reading log file with byte offset

Change-Id: I8cd6acef66d798fa43e20ca9d885dcbaa99a5b42
Signed-off-by: Linda Wang <wangwulin@huawei.com>

Disable urllib3 warnings

1. When running in compass OSA, lots of SubjectAltNameWarnings are
   shown in console, so just disable the warnings here.
   See https://github.com/shazow/urllib3/issues/497 for details
2. Redirect warnings issued by the warnings module to the logging system
   via logging.captureWarnings(True)
3. But urllib3 warning is still there for two cmds about rally/tempest.

Change-Id: Ic22cf8e2babc10c9d55a7ed46b841312a4e430a7
Signed-off-by: Linda Wang <wangwulin@huawei.com>

Add Functest restapi container

It allows running all testcases via Functest REST API [1]. 

[1] https://wiki.opnfv.org/display/functest/Running+test+cases+via+new+Functest+REST+API

Change-Id: Iaa69b7367653398582b876df1362f72c787c6b7b
Signed-off-by: Cédric Ollivier <cedric.ollivier@orange.com>

Remove thirdparty-requirements.txt in smoke

As refstack must be installed via local dir (to sync requirements),
it's useless to list it again in a requirements file.

Change-Id: I9099fff185694fd41cf02e1265b1d4ab7659d7f2
Signed-off-by: Cédric Ollivier <cedric.ollivier@orange.com>

Add Docker automated build hooks for Parser

Change-Id: Ie42058fba915e3fbe9098ff14b31768723e8e24e
Signed-off-by: Cédric Ollivier <cedric.ollivier@orange.com>

Merge "Fix some errors about getting tiers resources"

Merge "set marketplace port to 8080 for NFVO"

Merge "Re-enable orchestra tests (VNF)"

Fix some errors about getting tiers resources

Change-Id: I95cf1cb453e30875498d4dfbbe15f19452c48df1
Signed-off-by: Linda Wang <wangwulin@huawei.com>

set marketplace port to 8080 for NFVO

Change-Id: I336b54e63fcb4a7e64f139628536f334c86b1745
JIRA: ORCHESTRA-17
Signed-off-by: Michael Pauls <michael.pauls@fokus.fraunhofer.de>

Fix bug in cloudify_ims: no return code

Change-Id: I89ab2f9b57d9f4710201af5852aa12925f122079
Signed-off-by: boucherv <valentin.boucher@orange.com>

Remove volume type handling

Rally scenarios don't require volume type to exist as a precondition.

Change-Id: Id735346e062af084635fd8f76f3686005b9b8add
Signed-off-by: Juha Kosonen <juha.kosonen@nokia.com>

Re-enable orchestra tests (VNF)

"Marketplace is now running on port 8080. In addition, we have extended the
marketplace backend in order to return the last modified header so that images
are not re-downloaded all the time tests are executed. It should be done by
Monday EOB" [1]

[1]: https://jira.opnfv.org/browse/ORCHESTRA-17?jql=project%20%3D%20ORCHESTRA

JIRA: ORCHESTRA-17

Change-Id: I17f6316003be9c2c3131ed640e6a32e482d1a174
Signed-off-by: Morgan Richomme <morgan.richomme@orange.com>

Merge "Allow live migration related tests to run"

Merge "Remove Parser from the former Container"

Allow live migration related tests to run

For tempest or rally, if there are more than 1 compute node, live
migration related tests should not be skipped or blacklisted if
shared storage is enabled via ceph.

Change-Id: Ic93e4f508b597c657abe8d246f0cf9c2b5dfd020
Signed-off-by: Linda Wang <wangwulin@huawei.com>

Merge "Remove get_repo_tag"

Remove Parser from the former Container

A dedicated Alpine container has been built for running the Parser
testcase as it requires stable/pike instead of stable/ocata.

Change-Id: Ifece75c64c1ed860eca7d0524ca581f41fc89276
Signed-off-by: Cédric Ollivier <cedric.ollivier@orange.com>

Merge "Exclude api_check on lxd scenarios"

Merge "Use git commit id for refstack-client"

Merge "Fix pylint errors in test_refstack_client"

Use git commit id for refstack-client

Functest should be based on fixed versions of projects which are out
of OPNFV. It selects the last git commit as refstack-client hasn't
defined any tag or branch.

Change-Id: Id7c5ecb0ef88fd1a2b8f34ddfc22c87b7f78c8d4
Signed-off-by: Cédric Ollivier <cedric.ollivier@orange.com>

Update ODL testcase to Keystone v3

As basic neutron tests have been updated [1], ODL testcase must
manage user domain and project domain names.

[1] https://git.opendaylight.org/gerrit/#/c/62846/

JIRA: FUNCTEST-862

Change-Id: I61ef622f840b8d825cf45a3557bd6da14a4d3cb7
Signed-off-by: Cédric Ollivier <cedric.ollivier@orange.com>

Exclude api_check on lxd scenarios

Most of the tests are OK but the last tests deal with qcow2 images
the testcase is therefore not compatible with lxd sceanrio

Change-Id: Ie67e5e1a67673c5d2076ef306bd7d29f46e6977f
Signed-off-by: Morgan Richomme <morgan.richomme@orange.com>

Fix pylint errors in test_refstack_client

Change-Id: Ia53ac75c913f351412180b9b71a56b4c5fbbe4a5
Signed-off-by: Linda Wang <wangwulin@huawei.com>

Merge "Remove redundant tempest cleanup utility"

Merge "Use git commit id for ODL"

Merge "Use custom images and flavors for aarch64"

Merge "Unify the key as testcase in result"

Merge "Fix creds used by vrouter"

Use git commit id for ODL

stable/carbon has been removed and Functest requires the patch
"No more Content-Type for DELETE request header" [1].

[1] https://git.opendaylight.org/gerrit/#/c/60578/

Change-Id: Ia3630e03e26a543ae37c36455a68763ffc8f2b12
Signed-off-by: Cédric Ollivier <cedric.ollivier@orange.com>