Merge "Add simple error logs in result DB"

Take report arg into account

$report is now tested before calling odlreport2db.py

Change-Id: I92be1488f710065dbc0a0c00e8023c6201028c2f
Signed-off-by: Cédric Ollivier <cedric.ollivier@orange.com>

Add simple error logs in result DB

Used afterwards for the reporting to identify quickly
which case(s) are failing

Change-Id: I0030c69000ec36e42f7791630639fce5bc4b0f1e
Signed-off-by: Morgan Richomme <morgan.richomme@orange.com>

Add security_scan in Functest CI pipeline

JIRA: FUNCTEST-258

Change-Id: Idbf6006910982a9a165952ca3031966855bcb29d
Signed-off-by: Morgan Richomme <morgan.richomme@orange.com>

Merge "Added 60 sec delay before launching instances in healthcheck"

Push results if INSTALLER_TYPE and NODE_NAME are defined

INSTALLER_TYPE and NODE_NAME are also checked before pushing ODL
results in DB

Change-Id: If92c8b50d3ae7618475aeb25ab732c6dddb08019
Signed-off-by: Cédric Ollivier <cedric.ollivier@orange.com>

Allow unknown ci_installer or ci_scenario in is_compatible

ci_installer and ci_scenario are only tested if they are set. At least one of
theses variables must be set to get dependencies

It modifies the previous logic introduced by the first implementation of
tier_handler.py [1]

[1] https://gerrit.opnfv.org/gerrit/#/c/12579/

Change-Id: Icc9663a620f0b18f502b3eff7c0ce0d71e4e5910
Signed-off-by: Cédric Ollivier <cedric.ollivier@orange.com>

Added 60 sec delay before launching instances in healthcheck

This delay should be removed after resolving Jira case APEX-149.
The purpose is to give some time to populate openflow rules
by SDN controller in case of odl_l2 scenario.

Change-Id: I05c0b82a7544e934d82f1fa37e2f146aab03f7b9
Signed-off-by: vitikkan <viktor.tikkanen@nokia.com>

Join Rally_full and Tempest_full in the same Tier

JIRA: FUNCTEST-190

Change-Id: Ib82c59e0a68ed73caba79a0d5b2000861ee31552
Signed-off-by: jose.lausuch <jose.lausuch@ericsson.com>

Push bgpvpn_api results into Test DB

JIRA: FUNCTEST-234

Change-Id: I0494043bff6a37dc94724dfee1a718a1ab9fbcf3
Signed-off-by: Morgan Richomme <morgan.richomme@orange.com>

Preserving Nova instances from os_defaults.yaml

Previously clean_openstack deleted all the existing instances
even if they were included into os_defaults.yaml.

Change-Id: Id7c17ec86a5616c44bd2965844a4a8545054358b
Signed-off-by: vitikkan <viktor.tikkanen@nokia.com>

Fix path for vping.sh and exit if SCP fails

Change-Id: I28b394071ae739af60f7e7007cc54e96f13d39db
Signed-off-by: jose.lausuch <jose.lausuch@ericsson.com>

fix vPing paths post refactoring effect

Change-Id: I24e961965db5103af1625418e7f5ae977bcabf54
Signed-off-by: Morgan Richomme <morgan.richomme@orange.com>

Change 'testcases' directory structure

JIRA: FUNCTEST-226

- Remove all 'CI' subdirs
- Remove VIM dir and have OpenStack dir within /testcases/
- Split rally and tempest in 2 different dirs

Change-Id: Icfc76d18a84f7a18d93ae1a5ec7dc7a560bb7ce9
Signed-off-by: jose.lausuch <jose.lausuch@ericsson.com>

Merge "BGPVPN test case refactored"

Merge "Catch TypeError exceptions in ci/tier_handler.py"

BGPVPN test case refactored

BGPVPN test case is refactored and moved into bgpvpn.py module.

JIRA: FUNCTEST-234

Change-Id: Ib0dd6e11f3c568470d9c3837ca192da767c64843
Signed-off-by: vitikkan <viktor.tikkanen@nokia.com>

Refactor ODL vars in ci/exec_test.sh

neutron_ip is set equal to neutron public endpoint and odl_ip to
neutron_ip or SDN_CONTROLLER according to INSTALLER_TYPE.
It also doesn't exit if INSTALLER_TYPE is unset.

Change-Id: I9ffa9f2837216ba88645d9bdfeeedd7a86a50b84
Signed-off-by: Cédric Ollivier <cedric.ollivier@orange.com>

Replace error in ci/exec_test.sh

error undefined in ci/exec_test.sh is now replaced by echo $msg >&2

Change-Id: I90fc44d94680206a2b0e85f9dfa5c48dadf6ac04
Signed-off-by: Cédric Ollivier <cedric.ollivier@orange.com>

Catch TypeError exceptions in ci/tier_handler.py

If INSTALLER_TYPE is unset, is_compatible returns False instead of
raising an ErrorType exception.

Change-Id: I55c219808851907a19e2aa0124eb13d53a5e685d
Signed-off-by: Cédric Ollivier <cedric.ollivier@orange.com>

Merge "Added handling of blacklist for tempest"

Added handling of blacklist for tempest

It is now possible to exclude some specific test cases ("black list")
from the test case suites.

JIRA: FUNCTEST-197

Change-Id: I2946a010793da0a3d3ef1d96aa0ca0840e8a761d
Signed-off-by: vitikkan <viktor.tikkanen@nokia.com>

Add protections if INSTALLER_TYPE is unset

It avoids unary operator expected errors.

Change-Id: Ie717631b651b258d9bf62706f09c6f6b7c534620
Signed-off-by: Cédric Ollivier <cedric.ollivier@orange.com>

Merge "Fix typos in testcases.yaml"

Fix typos in testcases.yaml

Change-Id: I7b014c55b626a06c0b4aaba006691f726f88acac
Signed-off-by: Cédric Ollivier <cedric.ollivier@orange.com>

Respect multiline syntax in Dockerfile

It fixes errors in /home/opnfv/.bashrc induced by [1].

[1] https://gerrit.opnfv.org/gerrit/#/c/13699/

Change-Id: I07ff6504ee8fee7428b700553419d1208e639379
Signed-off-by: Cédric Ollivier <cedric.ollivier@orange.com>

Fix a few nits in prepare_env and dockerfile

Change-Id: Idb407ab80a41be0838c35d79819f8953885ba668
Signed-off-by: jose.lausuch <jose.lausuch@ericsson.com>

Specify the field id in neutron arguments

It fixes the parsing error when 2 subnets are created on a specific
network.

Change-Id: I46154a65d0e916387faea5b506ae6a93240c6726
Signed-off-by: Cédric Ollivier <cedric.ollivier@orange.com>

Removed obsolete modules

testcases/VIM/OpenStack/CI/libraries/check_os.sh
testcases/VIM/OpenStack/CI/libraries/os_defaults.yaml

Change-Id: I835bfbdc9aa43903ca2ad6041a38216fd68263a5
Signed-off-by: vitikkan <viktor.tikkanen@nokia.com>

Split tempest into smoke and full modes

"tempest_smoke_serial" and "tempest_full_parallel" test cases
replace the original "tempest" case.

Corrected fetching tempest results from "rally verify list"
output (last result is taken instead of the first one). This
correction is needed when "rally verify start" is run multiple
times.

JIRA: FUNCTEST-242

Change-Id: I544a22081655af819dbaaaafc0ba0fa6eae1e4ea
Signed-off-by: vitikkan <viktor.tikkanen@nokia.com>

Enable sanity mode of Rally test for the CI runs

JIRA: FUNCTEST-241

Change-Id: Ie37657bf9e8c01ae4126c1c45146d8aadb2c5775
Signed-off-by: Juha Kosonen <juha.kosonen@nokia.com>

Adapt tiers to run depending on WEEKLY/DAILY

JIRA: FUNCTEST-244

Change-Id: I11bf28baff52b75b0f6c58845edc22f266dfcbe8
Signed-off-by: jose.lausuch <jose.lausuch@ericsson.com>

Merge "CLI implementation"

Create a private shared network for Rally

Since functest-net will be obsolete, own private network, subnet and
router is created for Rally tests.

JIRA: FUNCTEST-240

Change-Id: I8a30e2b4fe12238dba526c21188c85f75bacc0b8
Signed-off-by: Juha Kosonen <juha.kosonen@nokia.com>

Creating private network for Tempest

Since functest-net will be obsolete, own private network,
subnet and router is taken into use for Tempest test.

JIRA: FUNCTEST-239

Change-Id: I2b9f6aae74dc36decf305a4531fe0a071031aca3
Signed-off-by: vitikkan <viktor.tikkanen@nokia.com>

CLI implementation

JIRA: FUNCTEST-243

Change-Id: Ibf0ef9bcc5f3aeda96b050827b954ce060317613
Signed-off-by: jose.lausuch <jose.lausuch@ericsson.com>

Generic Function to create a private network

This is to be used by all the tests which need a private network to work,
for example Tempest, Rally, vPing, ssh..

Added example for vPing and promise scripts.

Change-Id: I5d79e7b60b81b0f34230ea3ef2f3076697a1958c
Signed-off-by: jose.lausuch <jose.lausuch@ericsson.com>

Fix shebang of python scripts

Change-Id: I8a05fd6fbb0d392a27f354a6b8cacf33073bf17f
Signed-off-by: Juha Kosonen <juha.kosonen@nokia.com>

Add results dir to Dockerfile

This will allow to create the functest.log used by logger in
/home/opnfv/functest/results/functest.log

Change-Id: Iebc1130942c4e4a5f592cfa247e7ba7403559a59
Signed-off-by: jose.lausuch <jose.lausuch@ericsson.com>

Don't exit on error when destroying rally deployment

Also, some improvements in execute_command function

Change-Id: I8271d55202b8859701275d5f7322a7bd4894e475
Signed-off-by: jose.lausuch <jose.lausuch@ericsson.com>

Fix bug config_functest.yaml location

Change-Id: I3b28eb7015f6f1418ef04ca91103e313f71f74e3
Signed-off-by: jose.lausuch <jose.lausuch@ericsson.com>

Refactor, add logger handler to collect all the logs to a file as well

JIRA: FUNCTEST-190

Also:
- remove old code that are not used any more
- improve execute_command function
- fix logger output for run_tempest

Change-Id: Ib268738ada1b9de2a418ef01e684a90e6f4e02ed
Signed-off-by: jose.lausuch <jose.lausuch@ericsson.com>

Refactor improvements

JIRA: FUNCTEST-190

- Deleted unnecessary old scripts
- Fixed healtcheck logging
- Moved config_functest.yaml to /ci/
- Created env var CONFIG_FUNCTEST_YAML pointing to that new location
- Modified all scripts which open config_functest.yaml using the new env var

Change-Id: Ic4f0e40a70c02ac08287a1d621956f602bdee177
Signed-off-by: jose.lausuch <jose.lausuch@ericsson.com>

Merge "Create CLI template for Functest"

Add command to execute the actual tests

JIRA: FUNCTEST-190

Run_tests was generating the tests cases to be executed, but
not actually running them.
This patch also includes a small enhancement to avoid too much
output when showing which tiers to be tested.

Change-Id: Id70cfe44a8263ce7f598386668a33c67a8961b42
Signed-off-by: jose.lausuch <jose.lausuch@ericsson.com>

Enhance output when showing tiers and testcases info

JIRA: FUNCTEST-190

Change-Id: I43e26700ee3c92be64d79243c6762a3ccd5d42d3
Signed-off-by: jose.lausuch <jose.lausuch@ericsson.com>

Create CLI template for Functest

JIRA: FUNCTEST-235

Change-Id: I235a53781fbcde91ccf15d15ea52c96ee2ee9433
Signed-off-by: jose.lausuch <jose.lausuch@ericsson.com>

Source the credentials in run_tests.py

JIRA: FUNCTEST-227
JIRA: FUNCTEST-190

OpenStack clean was failing due to this.

Change-Id: Ia4dcf084becb532f157c0924baf44bb2441f6379
Signed-off-by: jose.lausuch <jose.lausuch@ericsson.com>

Functest - documentation small corrections

Signed-off-by: David Blaisonneau <david.blaisonneau@orange.com>

Merge "Add a step to enable docker run without sudo"

Execute successive scenarios after task failure

Log the result of task validation and proceed executing next rally
scenario when the current task start-up fails.

JIRA: FUNCTEST-230

Change-Id: I5544a9559636f671035578f9cc5cf6f934bcbcd8
Signed-off-by: Juha Kosonen <juha.kosonen@nokia.com>

Merge "Create run_test.py using the tier mechanism to run the tests"

Add a step to enable docker run without sudo

Signed-off-by: David Blaisonneau <david.blaisonneau@orange.com>

Create run_test.py using the tier mechanism to run the tests

JIRA: FUNCTEST-227
JIRA: FUNCTEST-190

Change-Id: I5445ad36ec65e62d48c8f5b16352caea2e51e3c9
Signed-off-by: jose.lausuch <jose.lausuch@ericsson.com>

Merge "Replace all the loggers by the functest logger module"

Merge "Prepare Brahmaputra 3.0 release"

Prepare Brahmaputra 3.0 release

Change-Id: I12530573ff6cac7764e169225e130d46455ce54f
Signed-off-by: Morgan Richomme <morgan.richomme@orange.com>

Replace all the loggers by the functest logger module

JIRA: FUNCTEST-228

Change-Id: If7a3c8cb08e9fbdf155fc5eff5330f79e5f8d234
Signed-off-by: jose.lausuch <jose.lausuch@ericsson.com>

Create prepare_env.py from prepare_env.sh and config_functest.py

JIRA: FUNCTEST-227

Change-Id: I1aa890b9f91ec524c766ba3c460666ed227f2126
Signed-off-by: jose.lausuch <jose.lausuch@ericsson.com>

Corrected path for clean_openstack.py

Signed-off-by: vitikkan <viktor.tikkanen@nokia.com>

Move functest_utils and openstack_utils to directory /utils

JIRA: FUNCTEST-226

Change-Id: I74d09f6322844b25ab45a02156317ae76ab40d8a
Signed-off-by: jose.lausuch <jose.lausuch@ericsson.com>

Merge "Add Functest Logger centralized Class"

Add Functest Logger centralized Class

JIRA: FUNCTEST-228

This is to be used by all the scripts using logging mechanisms.
Usage:

  import functest_logger as fl
  logger = fl.Logger("<script_name>").getLogger()

  # treat it as a normal logger object, as before:
  logger.info("message to be shown with - INFO - ")
  logger.debug("message to be shown with - DEBUG -")

Change-Id: I94e248523bc9bc148c9d171c978804b5d1865dd9
Signed-off-by: jose.lausuch <jose.lausuch@ericsson.com>

Corrected logging.Formatter parameters

Signed-off-by: vitikkan <viktor.tikkanen@nokia.com>

Merge "Add untracked files to ignore"

Corrected if statement for clean_openstack

Change-Id: I3d8c0cb81dc4906ea989bd36dc8c29bf9f1f6396
Signed-off-by: vitikkan <viktor.tikkanen@nokia.com>

Remove backslashs for line continuation

JIRA: FUNCTEST-213

Change-Id: Ia50521cf8fcf60a847aa44fe0ea59b6e64830e92
Signed-off-by: Cédric Ollivier <cedric.ollivier@orange.com>

Add untracked files to ignore

.gitignore also lists pyc, .project and .pydevproject files

Change-Id: Ica9997b54476108f2fcea865e10f3faef831a852
Signed-off-by: Cédric Ollivier <cedric.ollivier@orange.com>

Add tier_handler and tier_builder

tier_handler: defines the classes for Tier,TestCase and Dependency
tier_builder: reads the testcases.yaml and creates a list of objects
              that will be used later on to execute the tests

JIRA: FUNCTEST-190

Change-Id: Iabef344aff036ad3b525088af59fb21b16b02fc8
Signed-off-by: jose.lausuch <jose.lausuch@ericsson.com>

ConfigParser is used for tempest.conf updating

Bash commands are replaced with python's ConfigParser routines
for configuration file reading/updating.

Removed updating of ssh_user_regex parameter since it is now
into upstream Rally code.

JIRA: FUNCTEST-198

Change-Id: I95f926948a395993e28e993bf7ea2872d6b5c969
Signed-off-by: vitikkan <viktor.tikkanen@nokia.com>

Merge "Introduce a sanity test mode for Rally test"

Introduce a sanity test mode for Rally test

In a sanity test mode the number of iterations is reduced and only
a subset of tests is executed.

JIRA: FUNCTEST-220

Change-Id: I722f12b8cc6df29bfcb81b8798d8d0802b207d94
Signed-off-by: Juha Kosonen <juha.kosonen@nokia.com>

Fix regex to exclude vPing_ssh and vIMS for scenario dealing with bgpvpn

previous regex was excluding most of the scenario

Change-Id: I7dd9e2b3a844eab232a2b44af382202fca2253ca
Signed-off-by: Morgan Richomme <morgan.richomme@orange.com>

Affect version field in results for all the testcases

Previously version was scenario

JIRA: FUNCTEST-225

Change-Id: Ia86f83dbe98ad5f9dbced60c46e57f58eccba7e9
Signed-off-by: Morgan Richomme <morgan.richomme@orange.com>

Enable PYTHONPATH env variable inside the container

JIRA: FUNCTEST-224

Change-Id: Ib10dc312a761b06fe36174c5c19a0165f746593e
Signed-off-by: jose.lausuch <jose.lausuch@ericsson.com>

prepare_env CI_DEBUG when calling generate_defaults.py

JIRA: FUNCTEST-205

Change-Id: I3887f5ab408667437675e12c9247c7075080f0f8
Signed-off-by: jose.lausuch <jose.lausuch@ericsson.com>

Remove cleanup from vPing scripts, and use the existing cleanup script

JIRA: FUNCTEST-215

Change-Id: I1ec494097a9b70de142da9f90136256535af5100
Signed-off-by: jose.lausuch <jose.lausuch@ericsson.com>

Fix Flake8 Violations in the Functest scripts

JIRA: FUNCTEST-213

Change-Id: I66c02dd6ff12ffb9798ebe44a4cfe7bfc73e76c3
Signed-off-by: jose.lausuch <jose.lausuch@ericsson.com>

Add Tier scripts handlers and list of test cases yaml

JIRA: FUNCTEST-190

Change-Id: If63034be36e5a7a5d8b3f549444d53fb9ce28b55
Signed-off-by: jose.lausuch <jose.lausuch@ericsson.com>

Print openstack info only if CI_DEBUG==true

JIRA: FUNCTEST-205

Change-Id: I550d26ba1fddcedf5697dadd38a85148ecef2d44
Signed-off-by: jose.lausuch <jose.lausuch@ericsson.com>

Remove RALLY_REPO in config_functest since it is not used

Change-Id: Ifb3b338543b4ce3b961564a6e9cb1e943634af3d
Signed-off-by: jose.lausuch <jose.lausuch@ericsson.com>

Dockerfile, fix typo in git clone command

Change-Id: Ic14f81362357d0a653bf174b1ccdc859bd7cea5e
Signed-off-by: jose.lausuch <jose.lausuch@ericsson.com>

Small adaptations in prepare_env,run_tests and common

Change-Id: I5f31392b04b168247e332bc2ea97efeb733cdf97
Signed-off-by: jose.lausuch <jose.lausuch@ericsson.com>

Adapt Functest output to the env variable CI_DEBUG

JIRA: FUNCTEST-205

Apply CI_DEBUG environment variable in the call to the scripts

Change-Id: Ia8da993de8a60517b475f763c22ce06e9ce35b3e
Signed-off-by: jose.lausuch <jose.lausuch@ericsson.com>

Merge "Quote missing"

Quote missing

The missing " was causing some problems, like the REPOS_DIR variable missing

Previous:
Fixes unset REPOS_DIR var

REPOS_DIR never gets set in the script, and it looks like it should be
/home/opnfv/repos according to what is in the container.  This patch
defaults it to that location.

Change-Id: I739f7df52f4a0f3506fd77d72dfb09a4658f06c0
Signed-off-by: Tim Rozet <trozet@redhat.com>

Merge "Author: Luke Hinds <lhinds@redhat.com> Date:   Mon 18 Apr 11:48:27 2016 +0100"

Merge "Generating test lists for tempest"

Remove all the repo handling in prepare_env

JIRA: FUNCTEST-203

Since almost all the repos always pull from master and latest,
this is about saving some time and to avoid needing internet
to pull or checkout the repos. The needed repos content has to be
present in the docker image.

Change-Id: Ia6e1ed2b5d5b2aff8661a38eb64a081cc8016019
Signed-off-by: jose.lausuch <jose.lausuch@ericsson.com>

Allow rally to use existing glance image

This allows to use a prebuilt glance image without deleting it after the test.
For ARM platforms this is especially helpful because the test image is
three-part and can be created before running any tests.

Change-Id: Ia79f519d10fc9155ab2fb44a3e427ae3bb1ce399
Signed-off-by: Ciprian Barbu <ciprian.barbu@enea.com>

Author: Luke Hinds <lhinds@redhat.com>
Date:   Mon 18 Apr 11:48:27 2016 +0100

    JIRA: FUNCTEST-169 Inital commit of security test code

    The following code peforms NFVi based SCAP security scans.
    This code is still pending integration with functest scripts,
    for when flashtest development is complete.

    Amend: Removed pyc file, requirements.txt and fixed flake8

Change-Id: Ie182ae5c21d36218f5c9b389c4b6e63ecbf1d151
Signed-off-by: lukehinds <lukehinds@gmail.com>

Generating test lists for tempest

'testr list-tests' command is now used for generating smoke and full
test case lists for tempest.

test_list.txt file is replaced by defcore_req.txt file which contains
latest (2016.01) DefCore test case for possible references.

Partly implements JIRA: FUNCTEST-196

Change-Id: I993aa8a3919b97d50f081725ced686dbe6ffc4b7
Signed-off-by: vitikkan <viktor.tikkanen@nokia.com>

Add healthcheck test case to test_exec_priority

JIRA: FUNCTEST-199

Change-Id: I7ced0a78a93387d94709501fbbaba1c67c93c1cb
Signed-off-by: jose.lausuch <jose.lausuch@ericsson.com>

Update python-openstackclient to version 2.3.0

Change-Id: Ic9e68ade15e93f76d17db715c5790eaa31b49209
Signed-off-by: jose.lausuch <jose.lausuch@ericsson.com>

[BGPVPN] Exclude vims and vping_ssh from testlist

Since vims and vping_ssh are meant to fail for
bgpvpn scenario we will exclude them
from testlist.

Change-Id: Id9da6fdd3d9a1d7c1fb5c7fb1379c13720af34af

Merge "[BGPVPN] Use system wide installation of tempest"

[BGPVPN] Use system wide installation of tempest

Since rally setup tempest system-wide now
we do not integrate with the virtual env
of tempest anymore.

Change-Id: Ia5f132371c4eb0b67ac84bf044b349480195f633

Revert "[BGPVPN] Rally create the v-env which is needed"

This reverts commit 07beceb07f8cf8d6e86d2c188b3ad81688a9827f.

Change-Id: I22c9e3726abee28db3fa311aae8e273e8b353402

[BGPVPN] Rally create the v-env which is needed

Since we rely on the v-env which is created
by rally we run bgpvpn testcases after rally.

Change-Id: Ie54e3332c9130dc337303855a4b5c36df4e3d1fb

Adding Apex able to run BGPVPN tests

Change-Id: Ia346f5843fc4a1242c9a60f4dbe07e54c4920f46