Cover vnf.prepare()

It completes the previous commit [1] which increased the coverage of
Vnf.

[1] https://gerrit.opnfv.org/gerrit/#/c/47851/

Change-Id: Ibb0201d6165d89da2edd1a93b722008092726569
Signed-off-by: Cédric Ollivier <cedric.ollivier@orange.com>

Merge "Fully cover vnf"

Merge "Create RobotFramework class"

Fix the doc of snaps test

snaps_health_check does not allocate a floating ip to the vm,
but a fixed ip instead.

Change-Id: Ia43885993135dec56aba08b0e157ac2c9f715e06
Signed-off-by: Linda Wang <wangwulin@huawei.com>

Fully cover vnf

clean() is now covered by unit tests.

It must be noted that clean() doesn't warn about the possible
failures when cleaning resources.

Change-Id: If64c0cc5777ac5d2ce8a04ea34cd4f50091ab273
Signed-off-by: Cédric Ollivier <cedric.ollivier@orange.com>

Create RobotFramework class

It moves the capability to run any robot script from ODL TestCase
into a new class: RobotFramework.

It updates ODL TestCase and the related unit tests to inherit from
the new parent class.

Change-Id: I73e59ee9652fb63d9d89d7c75c58cce9cf62b0d7
Signed-off-by: Cédric Ollivier <cedric.ollivier@orange.com>

Remove os_utils call from cloudify ims and vrouter

Change-Id: I333551125616113484ad275820f2176dae79da6e
Signed-off-by: Linda Wang <wangwulin@huawei.com>

Enable Doctor testcase for F-release

doctor conforms with OpenStack Pike requirements then it could be
enabled in functest-features and functest-restapi (master) [1].

[1] https://gerrit.opnfv.org/gerrit/#/c/47283/

Change-Id: I82135a64cf0aac5ebf5b56260ede24b592fca41b
Signed-off-by: Cédric Ollivier <cedric.ollivier@orange.com>

Enable baro_tests testcase for F-release

barometer conforms with OpenStack Pike requirements then it could be
enabled in functest-features and functest-restapi (master) [1].

[1] https://gerrit.opnfv.org/gerrit/#/c/47281/

Change-Id: Iee17bd17192db53075dd8ff8d020d18306394cfa
Signed-off-by: Cédric Ollivier <cedric.ollivier@orange.com>

Merge "Remove iniparse and urllib3 dependencies"

Fix relative imports in cloudify_ims_perf

It also fixes wrong indents.

JIRA: FUNCTEST-893

Change-Id: Ic54e01c03c14f39c69242c41922fc124c1b45c23
Signed-off-by: Cédric Ollivier <cedric.ollivier@orange.com>

Remove iniparse and urllib3 dependencies

It also moves robotframework addons to the right containers.

Change-Id: I32a8e018bf84685cffc70a04e3736d948bc6d1c4
Signed-off-by: Cédric Ollivier <cedric.ollivier@orange.com>

Merge "Remove openstack utils calls in rally and tempest"

Merge "Remove _set_others() from config"

Remove _set_others() from config

Change-Id: I39e37ce9f8715e21fcfc4a053b83d508530fad5e
Signed-off-by: Jose Lausuch <jalausuch@suse.com>

Merge "Fix how tier_handler is imported"

Fix how tier_handler is imported

Change-Id: I36577ca73042b181b4634c4d6bf3ac5d905fd560
Signed-off-by: Cédric Ollivier <cedric.ollivier@orange.com>

Merge "Remove prepare_env"

Remove openstack utils calls in rally and tempest

Mainly, update "rally deployment create --file=rally_conf.json"
to "rally deployment create --fromenv"

Change-Id: I6dd4c7ea2d9d6f47dee49a4fd416e62bd557f45e
Signed-off-by: Linda Wang <wangwulin@huawei.com>

Remove prepare_env

After moving the rally installation out of prepare_env
It doesn't much sense to keep this script as it doesn't
do useful things any more.

Change-Id: I9ab3b2dd30c8ec0fbb825ee4302a83cce80f1cbe
Signed-off-by: Jose Lausuch <jalausuch@suse.com>

Merge "Removal of deprecated SNAPS-OO classes."

Removal of deprecated SNAPS-OO classes.

JIRA: SNAPS-202

Change-Id: I115b4927b287a5525f4c1b95128d91f5229c7856
Signed-off-by: spisarski <s.pisarski@cablelabs.com>

Merge "Fix "Broken pipe" IOErrors of rally run"

Fix "Broken pipe" IOErrors of rally run

Replace obsolete os.popen with subprocess module usage in command
output retrieval. Do not use shell as the program to execute.

Change-Id: Ic63bb0f393750c3b85a35a37fecd46c1c1b96602
Signed-off-by: Juha Kosonen <juha.kosonen@nokia.com>

Merge "Fix rally db issue"

Fix the way of getting endpoint port

It will fail if the endpoint does not contain any port value when
executing self.os_auth_url.rsplit("/")[2].rsplit(":")[1]

JIRA: FUNCTEST-892

Change-Id: Iba4103884b7c6e3b157bb95d775fac02c32ae728
Signed-off-by: Linda Wang <wangwulin@huawei.com>

Fix rally db issue

Also update "rally-manage db" to "rally db"

Change-Id: I0c9924b9869135d3492dfafe89d085813290f565
Signed-off-by: Linda Wang <wangwulin@huawei.com>

Enable sdnvpn testcase for F-release

sdnvpn conforms with OpenStack Pike requirements then it could be
enabled in functest-features and functest-restapi (master) [1].

[1] https://gerrit.opnfv.org/gerrit/#/c/47277/

Change-Id: Iedcb645d897684f169e4cf536838bf1f0951b6d9
Signed-off-by: Cédric Ollivier <cedric.ollivier@orange.com>

Merge "Support to specify the valid external network name"

Support to specify the valid external network name

In some deployments, the retrieved external network by the
def get_external_networks in Snaps checked by "router:external"
is not available. So it is necessary to specify the available
external network as an env by user.

Change-Id: I333e91dd106ed307541a9a197280199fde86bd30
Signed-off-by: Linda Wang <wangwulin@huawei.com>

Check external network

Change-Id: I1ff199fcad99aefccb92807c8f416d4f32ec91a6
Signed-off-by: Linda Wang <wangwulin@huawei.com>

Update documentation for Functest

1. Remove the reference of ubuntu based container
2. Remove the domino (terminated) and promise (not in F),
   and move fds to features tier

Change-Id: I62af47a3f873f0a77d5f7e0a1df493651c805834
Signed-off-by: Linda Wang <wangwulin@huawei.com>

Enable sfc testcase for F-release

sfc conforms with OpenStack Pike requirements then it could be
enabled in functest-features and functest-restapi (master) [1].

[1] https://gerrit.opnfv.org/gerrit/#/c/47279/

Change-Id: I2b79f918dc4f6ca89c2dca18bf64a4bb184bf8b2
Signed-off-by: Cédric Ollivier <cedric.ollivier@orange.com>

Merge "Updated from global requirements"

Remove Domino and Promise testcases

Domino and Promise won't participate in the Fraser Release [1].

[1] https://wiki.opnfv.org/display/SWREL/Projects+Intending+to+Participate+in+the+Fraser+Release

Change-Id: Ib06411769439015549cac9353fa92cebd2f61193
Signed-off-by: Cédric Ollivier <cedric.ollivier@orange.com>

Updated from global requirements

Change-Id: I654486a96cbfc68c7d3f5508a962e628243a1576
Signed-off-by: Cédric Ollivier <cedric.ollivier@orange.com>

Merge "Remove opnfv module from functest-core"

Merge "Remove the tox venv patcharm64"

Merge "Update the version of refstack set to 2017.09"

Merge "Fix the regular expression for refstack"

Merge "Update unit test related to vyos_vrouter"

Remove the tox venv patcharm64

It's now useless as Jenkins jobs call build.sh which modifies all
Dockerfiles for both architectures.

build.sh allows building private images as opposed to this former tox
entry which only take opnfv into account.

Change-Id: I21e2e5303b4310e053cf013cb7f0e0c4532d5db5
Signed-off-by: Cédric Ollivier <cedric.ollivier@orange.com>

Merge "Add shebang in snaps_suite_builder.py"

Update unit test related to vyos_vrouter

Utilvnf is now mocked to stop triggering the git clone of an
external repo and creating dirs.
Else we may get errors when testing offline.

Co-Authored-By: Cédric Ollivier <cedric.ollivier@orange.com>
Change-Id: Ia7e86593ecca9b9add747ef89b1d5e8d6bdb2d7c
Signed-off-by: Morgan Richomme <morgan.richomme@orange.com>
Signed-off-by: Cédric Ollivier <cedric.ollivier@orange.com>

Update the version of refstack set to 2017.09

JIRA: FUNCTEST-890

Change-Id: Iac2f833fa2b704cd7caa6083e39e48e2df315890
Signed-off-by: Linda Wang <wangwulin@huawei.com>

Fix the regular expression for refstack

Otherwise, this line could not be matched:
{0} tempest.api.identity.v3.test_tokens.TokensV3Test.test_create_token [0.143237s] ... ok
-> the matched result: tempest.api.identity.v3.test_t

Change-Id: I97282a9c98a889a015a40f9ad2d700906bb88fb1
Signed-off-by: Linda Wang <wangwulin@huawei.com>

Remove opnfv module from functest-core

The releng/opnfv git repo is still kept in upper-constraints
as it is required by sfc. And also delete the functions of
check_env_variables, get_deployment_handler and create_directories.

Change-Id: If498e68f0f94d6ebde1be55f5e3a17d06becaea4
Signed-off-by: Linda Wang <wangwulin@huawei.com>

Do not use cache when building the image

Change-Id: I4655b631313c923b40304740c0abe06ae885727e
Signed-off-by: Linda Wang <wangwulin@huawei.com>

Add shebang in snaps_suite_builder.py

Change-Id: I3392068b4a47d35bf0d91fe6d93f2de268f198bf
Signed-off-by: Cédric Ollivier <cedric.ollivier@orange.com>

Merge "Remove $BRANCH in healthcheck/Dockerfile"

Remove $BRANCH in healthcheck/Dockerfile

This build arg is now useless because the multijobs call build.sh
instead of the previous helper [1].

[1] https://gerrit.opnfv.org/gerrit/#/c/47067/

Change-Id: I52af9a5c4ed0775208d4467853f1b886a543de59
Signed-off-by: Cédric Ollivier <cedric.ollivier@orange.com>

Update INFO file with new PTL information

Change-Id: Ic50094032d3d15311384f1fa7fbf004e94ec7acc
Signed-off-by: Jose Lausuch <jalausuch@suse.com>

Move rally and tempest in functest-restapi

It completes the first patch which partially moved rally and tempest
out of functest-core [1] by updating functest-restapi as well.

os-faults is also installed in the right containers.

[1] https://gerrit.opnfv.org/gerrit/#/c/47115/

Change-Id: Ia460dbe7785e2beffa5ba1a15f5a5bf2083b252a
Signed-off-by: Cédric Ollivier <cedric.ollivier@orange.com>

Merge "Remove rally and tempest from core/Dockerfile"

Remove rally and tempest from core/Dockerfile

JIRA: FUNCTEST-889

Change-Id: I6092c8b6599705d23dcb3aba8c4470b76c41455c
Signed-off-by: Linda Wang <wangwulin@huawei.com>

Move rally and tempest out of functest-core

JIRA: FUNCTEST-889

Change-Id: I96776da7af50b2c33c34dd731b5500b891d263d6
Signed-off-by: Linda Wang <wangwulin@huawei.com>

Add BRANCH as Docker build arg

It conforms with the prerequisite of the current releng Docker script.
BRANCH can be considered as useless because releng already clones the
right git branch.

It's a temporarily solution before modifying a script used by lots of
OPNFV projects.

Change-Id: I585d7a79a9ebaeaffd69af1da1731c44e131f6b5
Signed-off-by: Cédric Ollivier <cedric.ollivier@orange.com>

Merge "Select the subset of snaps test cases"

Select the subset of snaps test cases

Change-Id: I03e422d5dae0ced9cd7a5477c31359ffc7795c42
Signed-off-by: Linda Wang <wangwulin@huawei.com>

Remove the former Dockerfile

opnfv/functest had been split into multiple containers based on
Alpine (See Docker Slicing [1]) during Euphrates.

As ARM is being switching to them, we can safely remove the related
files.

[1] https://git.opnfv.org/functest/tree/docs/com/pres/dockerslicing/dockerslicing.md?h=stable/euphrates

Change-Id: I30294a94cc742ba80a7bc4f35db9330240385bb0
Signed-off-by: Cédric Ollivier <cedric.ollivier@orange.com>

Stop installing docker/config_install_env.sh

Change-Id: Ie70fadd15df5e878e161d552b893e6033bb70527
Signed-off-by: Cédric Ollivier <cedric.ollivier@orange.com>

Stop installing enable_remote_api.sh

Change-Id: Ibb7798795bd902c990ba2079199592412b257be6
Signed-off-by: Cédric Ollivier <cedric.ollivier@orange.com>

Patch Functest docker images for ARM

A new tox env is defined to ease patching all Dockerfiles for ARM.
This env will only patch the Dockerfile related to functest-core when
the manifests are published.

Jenkins jobs can simply apply the next command:
    $ tox -e patcharm64

Co-Authored-By: Cédric Ollivier <cedric.ollivier@orange.com>
Change-Id: Icf69e27c1da95a721ebf67d5ce190c9b8cefce0a
Signed-off-by: Delia Popescu <delia.popescu@enea.com>
Signed-off-by: Cédric Ollivier <cedric.ollivier@orange.com>

Merge "Fix the format of getting upper-constraints"

Fix the format of getting upper-constraints

Change-Id: I8a769ec161b1a718ef259ae6b6615aec01e337ec
Signed-off-by: Linda Wang <wangwulin@huawei.com>

Move fds to features tier

Change-Id: I7aa9d73c7ffbfdad7d5a929968fb640d9a8de62e
Signed-off-by: Linda Wang <wangwulin@huawei.com>

Merge "Define thirdparty-requirements.txt for functest-parser"

Merge "Allow building containers from a gerrit change"

Merge "Update Functest to OpenStack stable/pike"

Protect vs exceptions when ext_nets is empty

Otherwise several exceptions are raised in TestCase constructors
(those defined in heathcheck).

Change-Id: I4cb054f7092ea9db02cb8c4469e99848533c556b
Signed-off-by: Cédric Ollivier <cedric.ollivier@orange.com>

Define thirdparty-requirements.txt for functest-parser

As Parser python packages has been renamed, they can be defined in
upper-constraints.txt. No conflict can occur between them and the
official OpenStack packages.

The Parser testcase still requires a dedicated container to avoid
conflicts in namespaces.

Change-Id: Ic8d18140f26e72d1e3d04b73d301d3fd870b171a
Signed-off-by: Cédric Ollivier <cedric.ollivier@orange.com>

Allow building containers from a gerrit change

It leverages on git command instead of pip git support [1].
Otherwise it forces pip master which raises side effects in rally [2]

It is mandatory for implementing Functional testing gating [3]

[1] https://pip.pypa.io/en/stable/reference/pip_install/#git
[2] https://gerrit.opnfv.org/gerrit/#/c/40909/
[3] https://wiki.opnfv.org/display/functest/Functional+testing+gating

Change-Id: Ia18fee3e60fc08da9b96730ce85d5b7c866144aa
Signed-off-by: Cédric Ollivier <cedric.ollivier@orange.com>

Merge "Add new cinder scenarios for rally sanity/full"

Update Functest to OpenStack stable/pike

It updates setup.py, (test-)requirement.txt and upper-constraints.txt
according to OpenStack requirements [1].

It disables all Features testcases as they are not synchronized with
OpenStack stable/pike yet [2].

The docker functest-parser is simplified as it can be based on
functest-core as both Functest and Parser leverage on OpenStack
stable/pike.

ODL_TAG and REFSTACK_TAG variables are set to master again.

[1] http://git.openstack.org/cgit/openstack/requirements/log/?h=stable/pike
[2] https://wiki.opnfv.org/display/functest/Requirements+management

Change-Id: I23fa84f35244c1f4026abd89414b99576f042ee4
Signed-off-by: Cédric Ollivier <cedric.ollivier@orange.com>

Fix rally cinder scenarios

Remove network and servers context and set image and flavor as a
scenario parameters.

Change-Id: I5181ccce61c4f58af3737619d1b7d259cf539937
Signed-off-by: Juha Kosonen <juha.kosonen@nokia.com>

Add new cinder scenarios for rally sanity/full

Included several CinderQos and CinderVolumeTypes scenarios introduced
by the recent Rally version.

Change-Id: Ibd2affa2e0d24ec79d3b4518456ca0f0457ace9f
Signed-off-by: Juha Kosonen <juha.kosonen@nokia.com>

Remove the constraint of INSTALLER_TYPE

Revert the patch: https://gerrit.opnfv.org/gerrit/#/c/45167
When run on non-opnfv deployment, there is no such concept of INSTALLER_TYPE.

Change-Id: I3d420334c9329f7565cf22a0c314a4ffdb410d36
Signed-off-by: Linda Wang <wangwulin@huawei.com>

Add new neutron scenarios for rally sanity/full

Included several new NeutronNetworks and NeutronSecurityGroup
scenarios introduced by the recent Rally version.

Change-Id: I87ad0947ab6b4e1faf8fcad9006dbe34251c313b
Signed-off-by: Juha Kosonen <juha.kosonen@nokia.com>

Merge "Update INFO file"

Adopt new config schema for rally 0.10

The new config schema is used by Rally 0.10:
https://raw.githubusercontent.com/openstack/rally/master/samples/deployments/existing-keystone-v3.json

JIRA: FUNCTEST-883

Change-Id: I67c0081e23d7a763934ef2f8ce09f122c33af902
Signed-off-by: Linda Wang <wangwulin@huawei.com>

Update INFO file

Change-Id: Ib55a58f24a0a363929b58bfaa8e3c38e74396e11
Signed-off-by: valentin boucher <valentin.boucher@kontron.com>

Add new nova scenarios for rally sanity/full

Several new NovaServers and NovaServerGroups scenarios available along
with the recent Rally update.

Change-Id: Iee27174923da5a1a25991d8ab5e18f1d404b09ef
Signed-off-by: Juha Kosonen <juha.kosonen@nokia.com>

Merge "Add new glance scenarios for rally 0.10"

Add new glance scenarios for rally 0.10

Some new glance scenarios have been added in Rally stable/0.10 [1].

[1]: https://github.com/openstack/rally/releases/tag/0.10.0

Co-Authored-By: Juha Kosonen <juha.kosonen@nokia.com>
Change-Id: I91ffe31b8cc5c94991c9bdd6e33b756c447d82ce
Signed-off-by: Linda Wang <wangwulin@huawei.com>

Remove some obsolete scenarios for rally 0.10

Nova-Network are not alive any more and have been removed
in Rally stable/0.10 [1].
[1]: https://github.com/openstack/rally/releases/tag/0.10.0

JIRA: FUNCTEST-883

Change-Id: I45a20504589003a39ff27770709de6881e69aee3
Signed-off-by: Linda Wang <wangwulin@huawei.com>

Update Rally to 0.10

It requires to sync os-faults with OpenStack requirements as it's
out-of-tree too. The last os-faults version is selected as well.

Change-Id: I0c582070a937b6ba6cba5b0c17673f42ea5d6dec
Signed-off-by: Cédric Ollivier <cedric.ollivier@orange.com>

Bump os-faults version to 0.1.15

For Rally stable/0.9, os-faults version has been constrained
as ">=0.1.15,<0.2.0" [1].

[1]: https://github.com/openstack/rally/blob/stable/0.9/requirements.txt

JIRA: PROMISE-88

Change-Id: Ifeb36e1debf23edf6d914e9db60be11d4ca557cd
Signed-off-by: Linda Wang <wangwulin@huawei.com>

Update INFO file

Change-Id: I8200c124598794f5e7b380ff238e81c21531620c
Signed-off-by: Jose Lausuch <jalausuch@suse.com>

Wrap Functest Ascii Diagram in literal text block

Sphinx currently thinks this diagram is a table and outputing a warning.
Using '::' provides a hint to sphinx that the ascii diagram is literal
text and not a table.

Change-Id: Ie005cc059b9e97aacda0d75d0213b18477e55d38
Signed-off-by: Trevor Bramwell <tbramwell@linuxfoundation.org>

Save Euphrates results in repo

Change-Id: I6e7fb1d4b81572a151f47fc071a1ae27f1b41e97
Signed-off-by: Morgan Richomme <morgan.richomme@orange.com>

Get the right git commit ids for ubuntu image

Complement https://gerrit.opnfv.org/gerrit/#/c/45017

Change-Id: If52dee7c16dcc8606e72ebc198bc36e713792418
Signed-off-by: Linda Wang <wangwulin@huawei.com>

Take into account a feedback from the meeting

Change-Id: Ia221d08003588aae045604a18ce1ecc833f0e34e
Signed-off-by: Cédric Ollivier <cedric.ollivier@orange.com>

Merge "Switch from BashFeature to Feature of bgpvpn testcase"

Merge "Release notes for Euphrates 5.0"

Release notes for Euphrates 5.0

Change-Id: Icdce56bdacba8530cc2f35c8f3c6b1acfd4bf522
Signed-off-by: Jose Lausuch <jalausuch@suse.com>

Switch from BashFeature to Feature of bgpvpn testcase

With the adaptation in SDNVPN project [1], Functest
can run the tests within python instead of a bash call.

This also fixes pushing the details section to the DB:
JIRA: SDNVPN-183

[1] https://gerrit.opnfv.org/gerrit/#/c/45491/

Change-Id: I7116aa9d5ffe2a816719997771e4f4ecebbcd083
Signed-off-by: Jose Lausuch <jalausuch@suse.com>

Merge "Harmonization titles of the testing project"

Fix another typos in dockerslicing.md

Change-Id: I16f28649b000e9370e7c71f36668c417854fb91e
Signed-off-by: Cédric Ollivier <cedric.ollivier@orange.com>

Fix 1 typo in dockerslicing.md

Change-Id: I0bb4c46d3b554cca1dfcaafbf564d9871957c346
Signed-off-by: Cédric Ollivier <cedric.ollivier@orange.com>

Merge "Complete dockerslicing.md"