Delete the reachability tests

It removes 001__reachability.robot as it is now part of OpenDaylight
integration/test. It completes the commit which pushes upstream the
reachability tests [1].

[1] https://git.opendaylight.org/gerrit/#/c/46910/

Change-Id: I72926cd4ab77e12ba4aeabf03bdd35619d43ffd3
Signed-off-by: Cédric Ollivier <cedric.ollivier@orange.com>

bug fix on log file creation for unit tests

JIRA: FUNCTEST-326

Change-Id: Iae797d00c0bda07fce098f4a054dfc8f5bba069b
Signed-off-by: Morgan Richomme <morgan.richomme@orange.com>

Add exit return code for unit tests

Note that this patch should trigger some refactoring
1: repo structure, uggly hack due to the fact that the code
is at the root of the repo. The name can be change when cloning
leading to python path issues

2: logger is called with harcoded file in functest_logger.py
uggly hack to create the file is not already present

Basically hacks were necessary to be able to run the unit tests
locally and from jenkins

JIRA: FUNCTEST-336

Change-Id: Ib88256a167c003805d480f57c218c37d8d5962d8
Signed-off-by: Morgan Richomme <morgan.richomme@orange.com>

Fix bug in ovs utils

Change-Id: I86995a2fce5199c9267edc0e0596d868cc7d20ab
Signed-off-by: George Paraskevopoulos <geopar@intracom-telecom.com>

Merge "Ignore files created by run_unit_tests.sh"

Update release notes for Colorado 2.0

Change-Id: I64a66bf11fe04df91dd2ef8c0bf91c4e19739863
Signed-off-by: jose.lausuch <jose.lausuch@ericsson.com>

Merge "Complete OVS logging for sfc testcases"

Bug fix for odl-sfc

We forgot to add the path to the file, so the script was not executing

Change-Id: I3ec226f12e6db3402b20d9fcefaa0acecd5b3a70
Signed-off-by: Manuel Buil <manuel.buil@ericsson.com>

Complete OVS logging for sfc testcases

- Add archiving capability in ovs_utils
- Refactor common code into a single method
- Add logging for compute nodes
- Rename jumphost to proxy to avoid confusion

Change-Id: I332bcb537d914c25febae53d5d48943e666da4f9
Signed-off-by: George Paraskevopoulos <geopar@intracom-telecom.com>

Add ovs logging in sfc_colorado1

Change-Id: I25671508c28d44b83263073971c2bf52cea80c58
Signed-off-by: George Paraskevopoulos <geopar@intracom-telecom.com>

Merge "Add OVS logger"

Add OVS logger

Add utility class to log OVS flows from a remote server.

Change-Id: I80cb5b20dc15477771beb912f44cab28c7397e24
Signed-off-by: George Paraskevopoulos <geopar@intracom-telecom.com>

Ignore files created by run_unit_tests.sh

It mainly ignores functest_venv and files created by nose and
coverage.

Change-Id: If2695716c35b25b84774cf00c298229d803c9c21
Signed-off-by: Cédric Ollivier <cedric.ollivier@orange.com>

Cover KeyError in ODLTestCases.run()

It simply tests if run returns EX_RUN_ERROR when a mandatory env var
is unset (for instance SDN_CONTROLLER_IP in case of apex).

Change-Id: Ib172975d84eb0953dd13bad32506bbd750ec4b8d
Signed-off-by: Cédric Ollivier <cedric.ollivier@orange.com>

Merge "Fix nosetests call in run_unit_tests.sh"

Added more logs to track better errors

Apparently in the CI, the delete.sh script is not executed and we want to
know why

Change-Id: Iefbeb7f0222b3ea9664f5b03c6e0a5fbaaaa3a1f
Signed-off-by: Manuel Buil <manuel.buil@ericsson.com>

Fix nosetests call in run_unit_tests.sh

It adds the missing whitespace and only lists the packages for which
unit tests have been developped. It also adds python-neutronclient
as requirement.

Change-Id: Id14b0698cb3636333751d61ff954500a665e1551
Signed-off-by: Cédric Ollivier <cedric.ollivier@orange.com>

Add Copyright headers

It follows OPNFV Contribution Guidelines [1].

[1] https://wiki.opnfv.org/display/DEV/Contribution+Guidelines

Change-Id: I0f603468510e5bb500e2be0f7815eefde3581b03
Signed-off-by: Cédric Ollivier <cedric.ollivier@orange.com>

Merge "Move unit tests in unit_tests"

Merge "Add full Apache 2.0 licence in LICENSE"

Move unit tests in unit_tests

It also renames files and removes exec rights to be conformed with
nose.

Change-Id: Ib93973a7d4b543360372fb1092a58896f687ec84
Signed-off-by: Cédric Ollivier <cedric.ollivier@orange.com>

Import TestCasesBase from functest dir

Change-Id: I285e9cd1c5c562fac8b786c4afe1e9f5d7593dff
Signed-off-by: Cédric Ollivier <cedric.ollivier@orange.com>

Merge "Add unittests dir"

Add unittests dir

JIRA: FUNCTEST-336

Change-Id: Icd958552fafb4e8dc58f9008586bcaf33862ccd4
Signed-off-by: Morgan Richomme <morgan.richomme@orange.com>

Merge "Add wrappers for Tacker Python client"

Add full Apache 2.0 licence in LICENSE

Change-Id: I717780331064817cf2e07a1c327f5c6991ad449e
Signed-off-by: Morgan Richomme <morgan.richomme@orange.com>

Add wrappers for Tacker Python client

New module: functest.utils.openstack_tacker

Change-Id: Ie02b72d53c824eeff944bc76e4cae58c8de9044a
Signed-off-by: George Paraskevopoulos <geopar@intracom-telecom.com>

Merge "Get OS_ env vars via os.environ"

Merge "Extend rally test case exclusion feature"

Get OS_ env vars via os.environ

It simply avoids executing env and grep.

JIRA: FUNCTEST-271

Change-Id: If71aeb9c7b10df5dca54ca9cbc35ba5e6b5ebef4
Signed-off-by: Cédric Ollivier <cedric.ollivier@orange.com>

Extend rally test case exclusion feature

Regular expression matching support for test cases on blacklist.

JIRA: FUNCTEST-491

Change-Id: I4dc61ab0d93d699dd5e77ee3198a62d1bddd020a
Signed-off-by: Juha Kosonen <juha.kosonen@nokia.com>

Use importlib to load testcases

It modifies run_tests.py to dynamically execute testcases and then
removes the test condition about odl.
It also induces that the modules and the related classes must be
defined in ci/testcases.yaml.

JIRA: FUNCTEST-353

Change-Id: I6ad67b70624aac6bf805c9bde4dfef7c9fbd5c00
Signed-off-by: Cédric Ollivier <cedric.ollivier@orange.com>

Add OpenDaylightTesting unit tests

It adds unit tests checking OpenDaylightTesting.
Several minor issues have also been fixed in this module when writing
these unit tests:
 - the exceptions raised by main are caught when the testcases are
   launched from cmdline,
 - a warning message indicates that the temporarily files cannot be
   removed.

JIRA: FUNCTEST-512

Change-Id: I873f0bbf4c3b7f416ca5515580e8aeab90773fdc
Signed-off-by: Cédric Ollivier <cedric.ollivier@orange.com>

Remove exits in OpenStack client utils

It prevents openstack_utils from exiting when the mandatory env vars
are unset. Every testcase is now in charge of handling the exception
MissingEnvVar.

JIRA: FUNCTEST-438

Change-Id: I0e321b544a470c1f2f2fa62b3e061fe5f938e112
Signed-off-by: Cédric Ollivier <cedric.ollivier@orange.com>

Merge "Conform ODL to TestCasesBase"

Merge "Add a parent class for test cases."

Multi-compute support and python refactoring

We added support for multi-compute and changed one file from bash to python

Change-Id: Ife3d5a8e41936c044cfe88664187d81c18d96b93
Signed-off-by: Manuel Buil <manuel.buil@ericsson.com>

Merge "Unify rally test case exclusion mechanisms"

Merge "Ignore rally_conf.json"

Ignore rally_conf.json

As rally_conf.json is created from where run_tests.py is launched,
we cannot set an absolute path.

Change-Id: I66c5a9644dc41ba91e90ffb5eecfc6b0ebebf204
Signed-off-by: Cédric Ollivier <cedric.ollivier@orange.com>

Conform ODL to TestCasesBase

Now ODLTestCases inherits from TestCasesBase what induces several
modifications of function definitions.
It also renames functest_run to run and run to main and they now
return the code status defined in TestCasesBase instead of True and
False (run_tests.py has been adapted as well).

It checks if errno is equal to EEXIST when makedir raises an OSError
exception.

JIRA: FUNCTEST-353

Change-Id: I88240a9ce8e491dab4c7e6c604f3ecc62cf9edce
Signed-off-by: Cédric Ollivier <cedric.ollivier@orange.com>

Add a parent class for test cases.

It adds TestCasesBase on which test cases can be based.
It also adds the related unit tests.

JIRA: FUNCTEST-353

Change-Id: Ib2aeb24ce9d43e6384e8b38bf57ee78dd726345a
Signed-off-by: Cédric Ollivier <cedric.ollivier@orange.com>

Merge "Remove exit() in ft_utils.execute_command"

Unify rally test case exclusion mechanisms

In all cases exclusion is now controlled via blacklist file.

JIRA: FUNCTEST-511

Change-Id: I482c33b6da4c9b711ebeddc13855b1337ab217eb
Signed-off-by: Juha Kosonen <juha.kosonen@nokia.com>

Merge "Spawn instances in nova availability zone"

Merge "Bug fixes and updates to fit ODL Boron SR0"

Merge "remove 3rd part files with MIT or BSD license"

remove 3rd part files with MIT or BSD license

Change-Id: I941093e91897d1425720b5acdbf072cf620f131d
Signed-off-by: Morgan Richomme <morgan.richomme@orange.com>

Stop copying obsolete files

It completes the previous review [1] which removes several robot files.

[1] https://gerrit.opnfv.org/gerrit/#/c/23069/

Change-Id: I64c43e6833af1ac468933e09d48fecef812da697
Signed-off-by: Cédric Ollivier <cedric.ollivier@orange.com>

Spawn instances in nova availability zone

Change-Id: I9dc3a00b3c96cf23916388a52efd610e4649dfff
Signed-off-by: George Paraskevopoulos <geopar@intracom-telecom.com>

Merge "Delete obsolete robot files"

Bug fixes and updates to fit ODL Boron SR0

Small bug fixes and some changes are done in order to be compatible with
ODL Boron SR0

Change-Id: I02f2ed8c734145ff6e198f9529728a97a5c97a75
Signed-off-by: Manuel Buil <manuel.buil@ericsson.com>

Remove exit() in ft_utils.execute_command

It simply removes the exit call in ft_utils.execute_command which is
quite safe as every testcase sets exit_on_error to False

JIRA: FUNCTEST-438

Change-Id: Ia273de0955cc3ea65a150c626638400ce614da00
Signed-off-by: Cédric Ollivier <cedric.ollivier@orange.com>

Delete obsolete robot files

The robot files which delete neutron resources are now hosted by ODL
test [1]. They can now be safely removed.

https://git.opendaylight.org/gerrit/#/c/46749/

Change-Id: I2fb730ec3f5fbc380b5699e5fbfbb45a6524d2fe
Signed-off-by: Cédric Ollivier <cedric.ollivier@orange.com>

Create shallow clones with a history truncated

Change-Id: I9d946581becaad54b99ec6baf6fd5d842d60ada7
Signed-off-by: Cédric Ollivier <cedric.ollivier@orange.com>

Merge "Update INFO information after PTL election"

Bug fix in odl-sfc testcase

Test is stopping if the route to the VMs ip range is already there because
the command that adds that, exits with code 1 and set -e is activated.
Now it is checked if it is there and if not, the command is executed

Change-Id: I820a55aff2572aadcb1950fa9218b114a9058c57
Signed-off-by: Manuel Buil <manuel.buil@ericsson.com>

Small fixes in sfc testcase

Change-Id: Ib1c4fb64fdf72bcae99d05db3c3a41721c78ce27
Signed-off-by: George Paraskevopoulos <geopar@intracom-telecom.com>

Update INFO information after PTL election

Change-Id: Ie90c9a6accc10b2542c7a21c748911991d9019dc
Signed-off-by: Morgan Richomme <morgan.richomme@orange.com>

Merge "Use huge page for dpdk (ovs) scenario"

Use huge page for dpdk (ovs) scenario

JIRA: FUNCTEST-487

Change-Id: I41d0180b622623699bccc3f7413ffbbb468f7656
Signed-off-by: Morgan Richomme <morgan.richomme@orange.com>

Merge "Refactor rally task scenario files"

Merge "Remove old tacker setup"

Remove old tacker setup

No need to install tacker here. We do it with fuel-plugin-tacker.

Change-Id: Ic912048b8a0f169b062ac14788d94757c81bf073
Signed-off-by: George Paraskevopoulos <geopar@intracom-telecom.com>

Add Serena update on Functest Dashboard

Change-Id: I30386c3ba09292ed0bcdbeb83ec1b0eb13114968
Signed-off-by: Morgan Richomme <morgan.richomme@orange.com>

Refactor rally task scenario files

Use a dedicated scenario file for each scenario (full, sanity) instead
of a shared one.

JIRA: FUNCTEST-501

Change-Id: Icd45d6bf11b605f073c2667e9948589ee0a3b75c
Signed-off-by: Juha Kosonen <juha.kosonen@nokia.com>

Merge "Move sfc custom flavor creation"

Move sfc custom flavor creation

The custom flavor that is needed for the sfc test case is created in the
tacker deployment phase.
The result of this is that when we use alternative methods of deploying
tacker (i.e. the tacker fuel plugin) the test fails.

Changes:
- Move the flavor creation inside the test case code
- Add an optional public parameter in the [get_or_]create_flavor utility
  functions.

Change-Id: Iea13f172076770dde3876b7e27edc9b7ca9b28db
Signed-off-by: George Paraskevopoulos <geopar@intracom-telecom.com>

Merge "make logger in vping a local variable"

make logger in vping a local variable

JIRA: FUNCTEST-493

Change-Id: I9f0c91b3fdbfb62c277b2c452ec124f67b21c653
Signed-off-by: SerenaFeng <feng.xiaowei@zte.com.cn>

Merge "SFC test: Add port 80 to security groups"

SFC test: Add port 80 to security groups

Change-Id: If5772b356beb19b7d2f8a0ae9278146bc2e528e3
Signed-off-by: George Paraskevopoulos <geopar@intracom-telecom.com>

vPing ssh outpust wrong logger

set logger file according to case_name rather than use fixed 'vping_userdata'

JIRA: FUNCTEST-490

Change-Id: I65169a59ec1978410fdbd6dadc82da024a4504c7
Signed-off-by: SerenaFeng <feng.xiaowei@zte.com.cn>

Fix tag version for documentation

Change-Id: Ib6f775d096bc43701f76f7bebc4a3181fc3f50de
Signed-off-by: jose.lausuch <jose.lausuch@ericsson.com>

Increment counter in sfc_colorado1

Avoid infinite loop

Change-Id: I2b024b188dcf0cdddb924c5bd13c9dfe81183bdd
Signed-off-by: George Paraskevopoulos <geopar@intracom-telecom.com>

Open secgroups and add check_ssh in sfc_colorado1

- Open port 22 in every security group
- Add check_ssh for sfc_colorado1
- Replace exits with continue statements
  in sfc_colorado1 test loop

Change-Id: Ic7a7ba67c729667621cc0d1114ee2a42d8846247
Signed-off-by: George Paraskevopoulos <geopar@intracom-telecom.com>

Merge "Update release note"

Merge "Add SSH connectivity check"

Add SSH connectivity check

- Remove sleep after floating IP assignment
- Add ssh connection check
- Fix iptables instruction

Change-Id: I1a7aa7f928592f148ff4bcd20167e4684f7a7dbe
Signed-off-by: George Paraskevopoulos <geopar@intracom-telecom.com>

Update release note

JIRA: FUNCTEST-436

Change-Id: I78a33b9755134ec75fe7882edd25e80d3007e88a
Signed-off-by: Morgan Richomme <morgan.richomme@orange.com>

Add odl_sfc test in apex as the scenario is run

Change-Id: I81a74a9f7c6ae54ba1b2be7ec27a11ae3a2392b9
Signed-off-by: Morgan Richomme <morgan.richomme@orange.com>

Merge "Review release note for COlorado"

Review release note for COlorado

JIRA: FUNCTEST-436

Change-Id: Ib6916bc0cb1729ebd273b1f7b85227dfaf803c51
Signed-off-by: Morgan Richomme <morgan.richomme@orange.com>

Bug fix for the SFC-CI test case

A iteration is added so that the test is run several times.
We are experiencing that ODL requires one deployment for things
to work

Change-Id: Ic70e8f2dabbf03827dd6d7396d2ab8177140cc97
Signed-off-by: Manuel Buil <manuel.buil@ericsson.com>

[ODL-SFC] Bugfix: replace string "22" by "22/tcp"

This fixes a small bug in
https://gerrit.opnfv.org/gerrit/#/c/21833/

JIRA: JIRA: SFC-48

Change-Id: I92ad973369109a107700443c074dfae6f6c21516
Signed-off-by: jose.lausuch <jose.lausuch@ericsson.com>

[ODL-SFC] Open port 22 in default secgroup for sfc scenario

JIRA: SFC-48

After some troublehsooting done in Boron RC3.5, vPing
doesn't work because the instances are created on 2
security groups. One (vping-sg) opens port 22 but
the default secgroup doesn't. This patch allows port
22 also on the default and therefore vPing passes.

This patch is to workaround a bug in ODL. The bug
will be reported to the corresponding community.

Change-Id: I807249d42cebe7c8dccd78a3496c1d34996d73ee
Signed-off-by: jose.lausuch <jose.lausuch@ericsson.com>

Remove parser test case from bgpvpn scenarios

Due to the same performance issue encountered in bgpvpn
scenarios, Jenkins still times out and can't have a summary
of all the tests and upload logs to artifacts.
The removal of this test case will affect only
Colorado 1.0, and will be reactivated in
Colorado 2.0 with ODL Boron.

Change-Id: Ic2d8cc43a1a732daa063aa7c01a309a3dfa2050d
Signed-off-by: jose.lausuch <jose.lausuch@ericsson.com>

Merge "Remove TODO in Functest user guide - Add links to feature project user guide - Add links to external web site - Change Dashboard picture"

Style the headers for release-notes

Title level was inconsistent for release notes

Change-Id: I3e8edc04e6bcd77134a43e4543f4255ff49e16d6
Signed-off-by: cristinapauna <cristina.pauna@enea.com>

Update results on ARM

Add a table with the scenarios supported by ARM and the coresponing results

Change-Id: Ie32189d15b743e35052c023888ec1da98facb91a
Signed-off-by: cristinapauna <cristina.pauna@enea.com>

Remove TODO in Functest user guide
- Add links to feature project user guide
- Add links to external web site
- Change Dashboard picture

JIRA: FUNCTEST-434

Change-Id: Ifc760c376361ed5452a874e373767b51d761b91f
Signed-off-by: Morgan Richomme <morgan.richomme@orange.com>

Merge "Updated results info for os-odl_l2-fdio-noha"

Updated results info for os-odl_l2-fdio-noha

Updated results info reflecting latest info in
testresults.opnfv.org database.
Added link to results information.

Change-Id: I1389f0caf7742c37189846c413a17a840fa1448d
Signed-off-by: Frank Brockners <fbrockne@cisco.com>

Add user guide link for copper

JIRA: COPPER-1
Add colorado folder
Add user guide content
Update note on HA deployment of VIM services.
Correct specified
Correct link (add /docs)

Change-Id: I44e996a2c51a868cb4212085d45482a9545ea2e9
Signed-off-by: blsaws <bryan.sullivan@att.com>

Fix formatting error

This is a fix for https://jira.opnfv.org/browse/FUNCTEST-477
The script terminated due to incomplete formatting

Change-Id: I580750e2fe6b1b8957ab017c64d44b9693760860
Signed-off-by: cristinapauna <cristina.pauna@enea.com>

Update release notes with ARM results

Add a link to the Funtest results on ARM in the fuel section

Change-Id: I1ecf5ab4ac5ef00c64309ac6b8488a673149f361
Signed-off-by: cristinapauna <cristina.pauna@enea.com>

Merge "Added support for custom images and flavors in tempest"

Corrected Promise links (According to final opnfvdocs directives)

Change-Id: I1d565a92bf9dd2de8ae679c4ca9c0bb5a9148830
Signed-off-by: Bertrand Souville <souville@docomolab-euro.com>

Merge "Update release Note"

Added support for custom images and flavors in tempest

Change-Id: I9335ed1517097e83175a265b603a6707adf476b6
Signed-off-by: juraj.linkes <jlinkes@cisco.com>