Adapt Domino to Test Abstraction

JIRA: FUNCTEST-547

Change-Id: Iaeb1bb3e6f4529343eacc2f5ceda6d61ca6d96f7
Signed-off-by: Morgan Richomme <morgan.richomme@orange.com>

Merge "Remove Harcoded version for ruby (vIMS)"

Merge "Wrap the Functest and install it as module by pip."

Merge "Add script to enable Docker Remote API by updating Docker Daemon configuration"

Remove Harcoded version for ruby (vIMS)

JIRA: FUNCTEST-541

Change-Id: I8a7bc4bee07a0b2fb2c90fab941fb9c1bbc7cd3f
Signed-off-by: Morgan Richomme <morgan.richomme@orange.com>

Installing SNAPS library to Docker image.

Change-Id: I01b68fb0f64e4672195b8cf19675b734a22c57b9
Signed-off-by: spisarski <s.pisarski@cablelabs.com>

Bug fix odl-sfc

I was not taking into account the case where the returned list is empty

Change-Id: I533ea8fbc286cb564dccec06750cd1a8bbcf52f9
Signed-off-by: Manuel Buil <manuel.buil@ericsson.com>

Merge "Update OpenStack python clients to Newton version"

Wrap the Functest and install it as module by pip.

JIRA: FUNCTEST-538

1. PYTHONPATH is removed.
2. Functest will be installed by pip.
3. Dockerfile is updated accordingly.

Change-Id: Ie4eed9df045b121e2688dcb34c25779db775f104
Signed-off-by: helenyao <yaohelan@huawei.com>

Downgrade keystone client only for SFC testcase

Since 1.7.4 is not the right one for the rest of
the test cases but it is the only version that works
for tacker, downgrade it first and upgrade it later.

Change-Id: I46be38a36726d9605a7a507a7ebd09d599f79ee3
Signed-off-by: jose.lausuch <jose.lausuch@ericsson.com>

Update OpenStack python clients to Newton version

JIRA: FUNCTEST-537

https://wiki.opnfv.org/display/functest/OpenStack+python+clients

Change-Id: I498aefde33fc60596dd147260bf20c6787746aee
Signed-off-by: jose.lausuch <jose.lausuch@ericsson.com>

Bug fix in odl-sfc

The function that measures the time it takes to update OVS had a bug

Change-Id: I1e480759c0c20197dd412f3400ea50921764d991
Signed-off-by: Manuel Buil <manuel.buil@ericsson.com>

Fix path in CLI after directory restructure

Change-Id: If71f3eb77371274b5215f274a77d5aa9976744fa
Signed-off-by: jose.lausuch <jose.lausuch@ericsson.com>

Merge "Remove kingbird installation"

Add script to enable Docker Remote API by updating Docker Daemon configuration

JIRA: FUNCTEST-520

This script will be used once the docker slicing decide is made.
Currently, the script has been tested on Ubuntu 14.04 and 16.04
and CentOS 7.2. A document about how to enable TLS is included
when taking security into account.

Change-Id: I4e5e58ed68d75528bf8497aba118f9dbb51dddad
Signed-off-by: helenyao <yaohelan@huawei.com>

Fix path for vping_ssh after refactor

Change-Id: I0ac1ec73314b674550b220e579d39ecb4818623d
Signed-off-by: jose.lausuch <jose.lausuch@ericsson.com>

Bug fix: fix path in run_tests.py

JIRA: FUNCTEST-525

Change-Id: I78488e04015d28b6ae8d902b252d966920e9b929
Signed-off-by: Morgan Richomme <morgan.richomme@orange.com>

Make the healthcheck sleep time configurable

The healthcheck test has a 1 min sleep that gives time to the odl
flows to get programmed. This time depends on the config, and it
was noticed that on bgpvpn scenarios on arm more than one minute
is needed for the config to be properly set.

This patch makes the waiting time configurable, so it can be
overriden it when ran on arm or on varios scenarios.

Change-Id: Iebef892137ca3926e5732c910a358c15a32b5bef
Signed-off-by: cristinapauna <cristina.pauna@enea.com>

Phase out sfc_colorado1 from the CI

Now that the upstream ODL Netvirt & SFC communities have resolved the
blocking issues for the OPNFV SFC is a good time to phase out the
workaround testcase we had for C1 and use the original again

Change-Id: Ifcc66612a21821d684b336129059da500068e67c
Signed-off-by: George Paraskevopoulos <geopar@intracom-telecom.com>

Merge "Fix paths in SFC testcase configuration"

Merge "Update onos scenarios in the release notes for Colorado 2.0"

Merge "change path for python ci files"

change path for python ci files

JIRA: FUNCTEST-525

Change-Id: I6b09eaec55e42a3ee1474b21bc7ed87a71118e60
Signed-off-by: Morgan Richomme <morgan.richomme@orange.com>

Feature to know the time it takes to update OVS

ODL takes too much time to update the classification rules and we would like
to measure it to use it as a proof point that it is not acceptable.
This feature allows to measure it.

Change-Id: I00ade7e4aee7c9c81843077104727b98ad9bfea3
Signed-off-by: Manuel Buil <manuel.buil@ericsson.com>

Fix paths in SFC testcase configuration

Change-Id: I9ff272065d8609bd40e02289c2013efd917aed9c
Signed-off-by: George Paraskevopoulos <geopar@intracom-telecom.com>

Fix path issue in Docker file

JIRA: FUNCTEST-525

Change-Id: Icdb2cb2e5b134143f5eddbad7b265d84671fb892
Signed-off-by: Morgan Richomme <morgan.richomme@orange.com>

Remove kingbird installation

This is a quick hack to make docker build work in CI.
Kingbird is used by multisite, but the test case
is empty. The installation of the requirements overlap
with what we already install in requirements.pip
and makes the build fail.
It can be enabled once we resolve the dependencies
across different projects.

JIRA: FUNCTEST-523

Change-Id: I9194a7ae7a5887ee80eb392890dd304837760b66
Signed-off-by: jose.lausuch <jose.lausuch@ericsson.com>

Repo structure modification

- create functest subdirectory
- rename unit tests
- adapt path in exec and config files

JIRA: FUNCTEST-525

Change-Id: Ifd5c6edfb5bda1b09f82848e2269ad5fbeb84d0a
Signed-off-by: Morgan Richomme <morgan.richomme@orange.com>

Merge "Update rally version"

Merge "Delete the reachability tests"

Merge "Do not modify unix rights in case of unit tests"

Update rally version

Change-Id: I53c1d5e616380ff360f53ae014dc0f9ff66b2cb6
Signed-off-by: jose.lausuch <jose.lausuch@ericsson.com>

Restructure SFC-ODL test cases

    - Modularize some of the commonly used operations into small functions
    - Throw Proper error when Fuel has multiple envs and INSTALLER type is not FUEL
    - More error checks

Change-Id: I08a182c280454a8b58715d0035da53250229ef43
Signed-off-by: Vijayendra Radhakrishna <vradhakrishna@mvista.com>

Merge "Upgrade python-keystoneclient"

Upgrade python-keystoneclient

When running the os-odl_l2-bgpvpn-ha scenario I encountered the
following issue:

root@0a60c30641e7:~# . $creds
root@0a60c30641e7:~# neutron net-list
An auth plugin is required to fetch a token
root@0a60c30641e7:~# pip show python-keystoneclient
Name: python-keystoneclient
Version: 2.3.1
Summary: Client Library for OpenStack Identity
Home-page: http://www.openstack.org/
Author: OpenStack
Author-email: openstack-dev@lists.openstack.org
License: UNKNOWN
Location: /usr/local/lib/python2.7/dist-packages
Requires: PrettyTable, stevedore, requests, six, oslo.i18n, oslo.utils,
oslo.config, pbr, oslo.serialization, keystoneauth1, iso8601,
debtcollector, positional

Upgrading the python-keystoneclient package resolves it.

Change-Id: I5b2564cc7980ef42df90ec454ea5b6dbc121b3de
Signed-off-by: George Paraskevopoulos <geopar@intracom-telecom.com>

Adapting testcase to Boron SR1

Boron SR1 fixed the issue creating the first classification rule, however
it takes quite some time to do it. We need to wait a bit.

Change-Id: Ib4d3ea98d68dcb2084374cb28c3772d375629826
Signed-off-by: Manuel Buil <manuel.buil@ericsson.com>

Merge "Fix typo in Dockerfile"

Merge "Remove python-keystoneclient downgrade and keep the newer version"

Add security group rule for DHCP

Due to a new change in Boron SR1 we need to add the DHCP security group
rule explicitly.

Change-Id: I0d3d0447e7c31046bdfbb08da8752ef130830c59
Signed-off-by: George Paraskevopoulos <geopar@intracom-telecom.com>

Delete the reachability tests

It removes 001__reachability.robot as it is now part of OpenDaylight
integration/test. It completes the commit which pushes upstream the
reachability tests [1].

[1] https://git.opendaylight.org/gerrit/#/c/46910/

Change-Id: I72926cd4ab77e12ba4aeabf03bdd35619d43ffd3
Signed-off-by: Cédric Ollivier <cedric.ollivier@orange.com>

Do not modify unix rights in case of unit tests

Even if the unit tests define main, nosetests oblige by default to
remove their executable bit. It also fixes the unix rights of Sfc.py.

Change-Id: Icbbb5b3118b16eff75b13d927e674a9764d6d83f
Signed-off-by: Cédric Ollivier <cedric.ollivier@orange.com>

Remove python-keystoneclient downgrade and keep the newer version

The docker build fails due to some inconsistency in the
keystone versions. See JIRA for more info.

JIRA: FUNCTEST-523

Change-Id: Ic8aeb564c2f8827417d49958c65916ff555bc706
Signed-off-by: jose.lausuch <jose.lausuch@ericsson.com>

Fix typo in Dockerfile

Change-Id: I9ee40dcfd815997d5ebd126e690c5f2b54af3364
Signed-off-by: jose.lausuch <jose.lausuch@ericsson.com>

bug fix on log file creation for unit tests

JIRA: FUNCTEST-326

Change-Id: Iae797d00c0bda07fce098f4a054dfc8f5bba069b
Signed-off-by: Morgan Richomme <morgan.richomme@orange.com>

Add exit return code for unit tests

Note that this patch should trigger some refactoring
1: repo structure, uggly hack due to the fact that the code
is at the root of the repo. The name can be change when cloning
leading to python path issues

2: logger is called with harcoded file in functest_logger.py
uggly hack to create the file is not already present

Basically hacks were necessary to be able to run the unit tests
locally and from jenkins

JIRA: FUNCTEST-336

Change-Id: Ib88256a167c003805d480f57c218c37d8d5962d8
Signed-off-by: Morgan Richomme <morgan.richomme@orange.com>

Update onos scenarios in the release notes for Colorado 2.0

Change-Id: Ia7cf9566e8ffc81ddd59b86eb84d2f740e195d5e
Signed-off-by: jose.lausuch <jose.lausuch@ericsson.com>

Fix bug in ovs utils

Change-Id: I86995a2fce5199c9267edc0e0596d868cc7d20ab
Signed-off-by: George Paraskevopoulos <geopar@intracom-telecom.com>

Merge "Ignore files created by run_unit_tests.sh"

Update release notes for Colorado 2.0

Change-Id: I64a66bf11fe04df91dd2ef8c0bf91c4e19739863
Signed-off-by: jose.lausuch <jose.lausuch@ericsson.com>

Merge "Complete OVS logging for sfc testcases"

Bug fix for odl-sfc

We forgot to add the path to the file, so the script was not executing

Change-Id: I3ec226f12e6db3402b20d9fcefaa0acecd5b3a70
Signed-off-by: Manuel Buil <manuel.buil@ericsson.com>

Complete OVS logging for sfc testcases

- Add archiving capability in ovs_utils
- Refactor common code into a single method
- Add logging for compute nodes
- Rename jumphost to proxy to avoid confusion

Change-Id: I332bcb537d914c25febae53d5d48943e666da4f9
Signed-off-by: George Paraskevopoulos <geopar@intracom-telecom.com>

Add ovs logging in sfc_colorado1

Change-Id: I25671508c28d44b83263073971c2bf52cea80c58
Signed-off-by: George Paraskevopoulos <geopar@intracom-telecom.com>

Merge "Add OVS logger"

Add OVS logger

Add utility class to log OVS flows from a remote server.

Change-Id: I80cb5b20dc15477771beb912f44cab28c7397e24
Signed-off-by: George Paraskevopoulos <geopar@intracom-telecom.com>

Ignore files created by run_unit_tests.sh

It mainly ignores functest_venv and files created by nose and
coverage.

Change-Id: If2695716c35b25b84774cf00c298229d803c9c21
Signed-off-by: Cédric Ollivier <cedric.ollivier@orange.com>

Cover KeyError in ODLTestCases.run()

It simply tests if run returns EX_RUN_ERROR when a mandatory env var
is unset (for instance SDN_CONTROLLER_IP in case of apex).

Change-Id: Ib172975d84eb0953dd13bad32506bbd750ec4b8d
Signed-off-by: Cédric Ollivier <cedric.ollivier@orange.com>

Merge "Fix nosetests call in run_unit_tests.sh"

Added more logs to track better errors

Apparently in the CI, the delete.sh script is not executed and we want to
know why

Change-Id: Iefbeb7f0222b3ea9664f5b03c6e0a5fbaaaa3a1f
Signed-off-by: Manuel Buil <manuel.buil@ericsson.com>

Fix nosetests call in run_unit_tests.sh

It adds the missing whitespace and only lists the packages for which
unit tests have been developped. It also adds python-neutronclient
as requirement.

Change-Id: Id14b0698cb3636333751d61ff954500a665e1551
Signed-off-by: Cédric Ollivier <cedric.ollivier@orange.com>

Add Copyright headers

It follows OPNFV Contribution Guidelines [1].

[1] https://wiki.opnfv.org/display/DEV/Contribution+Guidelines

Change-Id: I0f603468510e5bb500e2be0f7815eefde3581b03
Signed-off-by: Cédric Ollivier <cedric.ollivier@orange.com>

Merge "Move unit tests in unit_tests"

Merge "Add full Apache 2.0 licence in LICENSE"

Move unit tests in unit_tests

It also renames files and removes exec rights to be conformed with
nose.

Change-Id: Ib93973a7d4b543360372fb1092a58896f687ec84
Signed-off-by: Cédric Ollivier <cedric.ollivier@orange.com>

Import TestCasesBase from functest dir

Change-Id: I285e9cd1c5c562fac8b786c4afe1e9f5d7593dff
Signed-off-by: Cédric Ollivier <cedric.ollivier@orange.com>

Merge "Add unittests dir"

Add unittests dir

JIRA: FUNCTEST-336

Change-Id: Icd958552fafb4e8dc58f9008586bcaf33862ccd4
Signed-off-by: Morgan Richomme <morgan.richomme@orange.com>

Merge "Add wrappers for Tacker Python client"

Add full Apache 2.0 licence in LICENSE

Change-Id: I717780331064817cf2e07a1c327f5c6991ad449e
Signed-off-by: Morgan Richomme <morgan.richomme@orange.com>

Add wrappers for Tacker Python client

New module: functest.utils.openstack_tacker

Change-Id: Ie02b72d53c824eeff944bc76e4cae58c8de9044a
Signed-off-by: George Paraskevopoulos <geopar@intracom-telecom.com>

Merge "Get OS_ env vars via os.environ"

Merge "Extend rally test case exclusion feature"

Get OS_ env vars via os.environ

It simply avoids executing env and grep.

JIRA: FUNCTEST-271

Change-Id: If71aeb9c7b10df5dca54ca9cbc35ba5e6b5ebef4
Signed-off-by: Cédric Ollivier <cedric.ollivier@orange.com>

Extend rally test case exclusion feature

Regular expression matching support for test cases on blacklist.

JIRA: FUNCTEST-491

Change-Id: I4dc61ab0d93d699dd5e77ee3198a62d1bddd020a
Signed-off-by: Juha Kosonen <juha.kosonen@nokia.com>

Use importlib to load testcases

It modifies run_tests.py to dynamically execute testcases and then
removes the test condition about odl.
It also induces that the modules and the related classes must be
defined in ci/testcases.yaml.

JIRA: FUNCTEST-353

Change-Id: I6ad67b70624aac6bf805c9bde4dfef7c9fbd5c00
Signed-off-by: Cédric Ollivier <cedric.ollivier@orange.com>

Add OpenDaylightTesting unit tests

It adds unit tests checking OpenDaylightTesting.
Several minor issues have also been fixed in this module when writing
these unit tests:
 - the exceptions raised by main are caught when the testcases are
   launched from cmdline,
 - a warning message indicates that the temporarily files cannot be
   removed.

JIRA: FUNCTEST-512

Change-Id: I873f0bbf4c3b7f416ca5515580e8aeab90773fdc
Signed-off-by: Cédric Ollivier <cedric.ollivier@orange.com>

Remove exits in OpenStack client utils

It prevents openstack_utils from exiting when the mandatory env vars
are unset. Every testcase is now in charge of handling the exception
MissingEnvVar.

JIRA: FUNCTEST-438

Change-Id: I0e321b544a470c1f2f2fa62b3e061fe5f938e112
Signed-off-by: Cédric Ollivier <cedric.ollivier@orange.com>

Merge "Conform ODL to TestCasesBase"

Merge "Add a parent class for test cases."

Multi-compute support and python refactoring

We added support for multi-compute and changed one file from bash to python

Change-Id: Ife3d5a8e41936c044cfe88664187d81c18d96b93
Signed-off-by: Manuel Buil <manuel.buil@ericsson.com>

Merge "Unify rally test case exclusion mechanisms"

Merge "Ignore rally_conf.json"

Ignore rally_conf.json

As rally_conf.json is created from where run_tests.py is launched,
we cannot set an absolute path.

Change-Id: I66c5a9644dc41ba91e90ffb5eecfc6b0ebebf204
Signed-off-by: Cédric Ollivier <cedric.ollivier@orange.com>

Conform ODL to TestCasesBase

Now ODLTestCases inherits from TestCasesBase what induces several
modifications of function definitions.
It also renames functest_run to run and run to main and they now
return the code status defined in TestCasesBase instead of True and
False (run_tests.py has been adapted as well).

It checks if errno is equal to EEXIST when makedir raises an OSError
exception.

JIRA: FUNCTEST-353

Change-Id: I88240a9ce8e491dab4c7e6c604f3ecc62cf9edce
Signed-off-by: Cédric Ollivier <cedric.ollivier@orange.com>

Add a parent class for test cases.

It adds TestCasesBase on which test cases can be based.
It also adds the related unit tests.

JIRA: FUNCTEST-353

Change-Id: Ib2aeb24ce9d43e6384e8b38bf57ee78dd726345a
Signed-off-by: Cédric Ollivier <cedric.ollivier@orange.com>

Merge "Remove exit() in ft_utils.execute_command"

Unify rally test case exclusion mechanisms

In all cases exclusion is now controlled via blacklist file.

JIRA: FUNCTEST-511

Change-Id: I482c33b6da4c9b711ebeddc13855b1337ab217eb
Signed-off-by: Juha Kosonen <juha.kosonen@nokia.com>

Merge "Spawn instances in nova availability zone"

Merge "Bug fixes and updates to fit ODL Boron SR0"

Merge "remove 3rd part files with MIT or BSD license"

remove 3rd part files with MIT or BSD license

Change-Id: I941093e91897d1425720b5acdbf072cf620f131d
Signed-off-by: Morgan Richomme <morgan.richomme@orange.com>

Stop copying obsolete files

It completes the previous review [1] which removes several robot files.

[1] https://gerrit.opnfv.org/gerrit/#/c/23069/

Change-Id: I64c43e6833af1ac468933e09d48fecef812da697
Signed-off-by: Cédric Ollivier <cedric.ollivier@orange.com>

Spawn instances in nova availability zone

Change-Id: I9dc3a00b3c96cf23916388a52efd610e4649dfff
Signed-off-by: George Paraskevopoulos <geopar@intracom-telecom.com>

Merge "Delete obsolete robot files"

Bug fixes and updates to fit ODL Boron SR0

Small bug fixes and some changes are done in order to be compatible with
ODL Boron SR0

Change-Id: I02f2ed8c734145ff6e198f9529728a97a5c97a75
Signed-off-by: Manuel Buil <manuel.buil@ericsson.com>

Remove exit() in ft_utils.execute_command

It simply removes the exit call in ft_utils.execute_command which is
quite safe as every testcase sets exit_on_error to False

JIRA: FUNCTEST-438

Change-Id: Ia273de0955cc3ea65a150c626638400ce614da00
Signed-off-by: Cédric Ollivier <cedric.ollivier@orange.com>

Delete obsolete robot files

The robot files which delete neutron resources are now hosted by ODL
test [1]. They can now be safely removed.

https://git.opendaylight.org/gerrit/#/c/46749/

Change-Id: I2fb730ec3f5fbc380b5699e5fbfbb45a6524d2fe
Signed-off-by: Cédric Ollivier <cedric.ollivier@orange.com>

Create shallow clones with a history truncated

Change-Id: I9d946581becaad54b99ec6baf6fd5d842d60ada7
Signed-off-by: Cédric Ollivier <cedric.ollivier@orange.com>

Merge "Update INFO information after PTL election"

Bug fix in odl-sfc testcase

Test is stopping if the route to the VMs ip range is already there because
the command that adds that, exits with code 1 and set -e is activated.
Now it is checked if it is there and if not, the command is executed

Change-Id: I820a55aff2572aadcb1950fa9218b114a9058c57
Signed-off-by: Manuel Buil <manuel.buil@ericsson.com>