Split tempest into smoke and full modes

"tempest_smoke_serial" and "tempest_full_parallel" test cases
replace the original "tempest" case.

Corrected fetching tempest results from "rally verify list"
output (last result is taken instead of the first one). This
correction is needed when "rally verify start" is run multiple
times.

JIRA: FUNCTEST-242

Change-Id: I544a22081655af819dbaaaafc0ba0fa6eae1e4ea
Signed-off-by: vitikkan <viktor.tikkanen@nokia.com>

Enable sanity mode of Rally test for the CI runs

JIRA: FUNCTEST-241

Change-Id: Ie37657bf9e8c01ae4126c1c45146d8aadb2c5775
Signed-off-by: Juha Kosonen <juha.kosonen@nokia.com>

Adapt tiers to run depending on WEEKLY/DAILY

JIRA: FUNCTEST-244

Change-Id: I11bf28baff52b75b0f6c58845edc22f266dfcbe8
Signed-off-by: jose.lausuch <jose.lausuch@ericsson.com>

Merge "CLI implementation"

Create a private shared network for Rally

Since functest-net will be obsolete, own private network, subnet and
router is created for Rally tests.

JIRA: FUNCTEST-240

Change-Id: I8a30e2b4fe12238dba526c21188c85f75bacc0b8
Signed-off-by: Juha Kosonen <juha.kosonen@nokia.com>

Creating private network for Tempest

Since functest-net will be obsolete, own private network,
subnet and router is taken into use for Tempest test.

JIRA: FUNCTEST-239

Change-Id: I2b9f6aae74dc36decf305a4531fe0a071031aca3
Signed-off-by: vitikkan <viktor.tikkanen@nokia.com>

CLI implementation

JIRA: FUNCTEST-243

Change-Id: Ibf0ef9bcc5f3aeda96b050827b954ce060317613
Signed-off-by: jose.lausuch <jose.lausuch@ericsson.com>

Generic Function to create a private network

This is to be used by all the tests which need a private network to work,
for example Tempest, Rally, vPing, ssh..

Added example for vPing and promise scripts.

Change-Id: I5d79e7b60b81b0f34230ea3ef2f3076697a1958c
Signed-off-by: jose.lausuch <jose.lausuch@ericsson.com>

Fix shebang of python scripts

Change-Id: I8a05fd6fbb0d392a27f354a6b8cacf33073bf17f
Signed-off-by: Juha Kosonen <juha.kosonen@nokia.com>

Add results dir to Dockerfile

This will allow to create the functest.log used by logger in
/home/opnfv/functest/results/functest.log

Change-Id: Iebc1130942c4e4a5f592cfa247e7ba7403559a59
Signed-off-by: jose.lausuch <jose.lausuch@ericsson.com>

Don't exit on error when destroying rally deployment

Also, some improvements in execute_command function

Change-Id: I8271d55202b8859701275d5f7322a7bd4894e475
Signed-off-by: jose.lausuch <jose.lausuch@ericsson.com>

Fix bug config_functest.yaml location

Change-Id: I3b28eb7015f6f1418ef04ca91103e313f71f74e3
Signed-off-by: jose.lausuch <jose.lausuch@ericsson.com>

Refactor, add logger handler to collect all the logs to a file as well

JIRA: FUNCTEST-190

Also:
- remove old code that are not used any more
- improve execute_command function
- fix logger output for run_tempest

Change-Id: Ib268738ada1b9de2a418ef01e684a90e6f4e02ed
Signed-off-by: jose.lausuch <jose.lausuch@ericsson.com>

Refactor improvements

JIRA: FUNCTEST-190

- Deleted unnecessary old scripts
- Fixed healtcheck logging
- Moved config_functest.yaml to /ci/
- Created env var CONFIG_FUNCTEST_YAML pointing to that new location
- Modified all scripts which open config_functest.yaml using the new env var

Change-Id: Ic4f0e40a70c02ac08287a1d621956f602bdee177
Signed-off-by: jose.lausuch <jose.lausuch@ericsson.com>

Merge "Create CLI template for Functest"

Add command to execute the actual tests

JIRA: FUNCTEST-190

Run_tests was generating the tests cases to be executed, but
not actually running them.
This patch also includes a small enhancement to avoid too much
output when showing which tiers to be tested.

Change-Id: Id70cfe44a8263ce7f598386668a33c67a8961b42
Signed-off-by: jose.lausuch <jose.lausuch@ericsson.com>

Enhance output when showing tiers and testcases info

JIRA: FUNCTEST-190

Change-Id: I43e26700ee3c92be64d79243c6762a3ccd5d42d3
Signed-off-by: jose.lausuch <jose.lausuch@ericsson.com>

Create CLI template for Functest

JIRA: FUNCTEST-235

Change-Id: I235a53781fbcde91ccf15d15ea52c96ee2ee9433
Signed-off-by: jose.lausuch <jose.lausuch@ericsson.com>

Source the credentials in run_tests.py

JIRA: FUNCTEST-227
JIRA: FUNCTEST-190

OpenStack clean was failing due to this.

Change-Id: Ia4dcf084becb532f157c0924baf44bb2441f6379
Signed-off-by: jose.lausuch <jose.lausuch@ericsson.com>

Functest - documentation small corrections

Signed-off-by: David Blaisonneau <david.blaisonneau@orange.com>

Merge "Add a step to enable docker run without sudo"

Execute successive scenarios after task failure

Log the result of task validation and proceed executing next rally
scenario when the current task start-up fails.

JIRA: FUNCTEST-230

Change-Id: I5544a9559636f671035578f9cc5cf6f934bcbcd8
Signed-off-by: Juha Kosonen <juha.kosonen@nokia.com>

Merge "Create run_test.py using the tier mechanism to run the tests"

Add a step to enable docker run without sudo

Signed-off-by: David Blaisonneau <david.blaisonneau@orange.com>

Create run_test.py using the tier mechanism to run the tests

JIRA: FUNCTEST-227
JIRA: FUNCTEST-190

Change-Id: I5445ad36ec65e62d48c8f5b16352caea2e51e3c9
Signed-off-by: jose.lausuch <jose.lausuch@ericsson.com>

Merge "Replace all the loggers by the functest logger module"

Merge "Prepare Brahmaputra 3.0 release"

Prepare Brahmaputra 3.0 release

Change-Id: I12530573ff6cac7764e169225e130d46455ce54f
Signed-off-by: Morgan Richomme <morgan.richomme@orange.com>

Replace all the loggers by the functest logger module

JIRA: FUNCTEST-228

Change-Id: If7a3c8cb08e9fbdf155fc5eff5330f79e5f8d234
Signed-off-by: jose.lausuch <jose.lausuch@ericsson.com>

Create prepare_env.py from prepare_env.sh and config_functest.py

JIRA: FUNCTEST-227

Change-Id: I1aa890b9f91ec524c766ba3c460666ed227f2126
Signed-off-by: jose.lausuch <jose.lausuch@ericsson.com>

Corrected path for clean_openstack.py

Signed-off-by: vitikkan <viktor.tikkanen@nokia.com>

Move functest_utils and openstack_utils to directory /utils

JIRA: FUNCTEST-226

Change-Id: I74d09f6322844b25ab45a02156317ae76ab40d8a
Signed-off-by: jose.lausuch <jose.lausuch@ericsson.com>

Merge "Add Functest Logger centralized Class"

Add Functest Logger centralized Class

JIRA: FUNCTEST-228

This is to be used by all the scripts using logging mechanisms.
Usage:

  import functest_logger as fl
  logger = fl.Logger("<script_name>").getLogger()

  # treat it as a normal logger object, as before:
  logger.info("message to be shown with - INFO - ")
  logger.debug("message to be shown with - DEBUG -")

Change-Id: I94e248523bc9bc148c9d171c978804b5d1865dd9
Signed-off-by: jose.lausuch <jose.lausuch@ericsson.com>

Corrected logging.Formatter parameters

Signed-off-by: vitikkan <viktor.tikkanen@nokia.com>

Merge "Add untracked files to ignore"

Corrected if statement for clean_openstack

Change-Id: I3d8c0cb81dc4906ea989bd36dc8c29bf9f1f6396
Signed-off-by: vitikkan <viktor.tikkanen@nokia.com>

Remove backslashs for line continuation

JIRA: FUNCTEST-213

Change-Id: Ia50521cf8fcf60a847aa44fe0ea59b6e64830e92
Signed-off-by: Cédric Ollivier <cedric.ollivier@orange.com>

Add untracked files to ignore

.gitignore also lists pyc, .project and .pydevproject files

Change-Id: Ica9997b54476108f2fcea865e10f3faef831a852
Signed-off-by: Cédric Ollivier <cedric.ollivier@orange.com>

Add tier_handler and tier_builder

tier_handler: defines the classes for Tier,TestCase and Dependency
tier_builder: reads the testcases.yaml and creates a list of objects
              that will be used later on to execute the tests

JIRA: FUNCTEST-190

Change-Id: Iabef344aff036ad3b525088af59fb21b16b02fc8
Signed-off-by: jose.lausuch <jose.lausuch@ericsson.com>

ConfigParser is used for tempest.conf updating

Bash commands are replaced with python's ConfigParser routines
for configuration file reading/updating.

Removed updating of ssh_user_regex parameter since it is now
into upstream Rally code.

JIRA: FUNCTEST-198

Change-Id: I95f926948a395993e28e993bf7ea2872d6b5c969
Signed-off-by: vitikkan <viktor.tikkanen@nokia.com>

Merge "Introduce a sanity test mode for Rally test"

Introduce a sanity test mode for Rally test

In a sanity test mode the number of iterations is reduced and only
a subset of tests is executed.

JIRA: FUNCTEST-220

Change-Id: I722f12b8cc6df29bfcb81b8798d8d0802b207d94
Signed-off-by: Juha Kosonen <juha.kosonen@nokia.com>

Fix regex to exclude vPing_ssh and vIMS for scenario dealing with bgpvpn

previous regex was excluding most of the scenario

Change-Id: I7dd9e2b3a844eab232a2b44af382202fca2253ca
Signed-off-by: Morgan Richomme <morgan.richomme@orange.com>

Affect version field in results for all the testcases

Previously version was scenario

JIRA: FUNCTEST-225

Change-Id: Ia86f83dbe98ad5f9dbced60c46e57f58eccba7e9
Signed-off-by: Morgan Richomme <morgan.richomme@orange.com>

Enable PYTHONPATH env variable inside the container

JIRA: FUNCTEST-224

Change-Id: Ib10dc312a761b06fe36174c5c19a0165f746593e
Signed-off-by: jose.lausuch <jose.lausuch@ericsson.com>

prepare_env CI_DEBUG when calling generate_defaults.py

JIRA: FUNCTEST-205

Change-Id: I3887f5ab408667437675e12c9247c7075080f0f8
Signed-off-by: jose.lausuch <jose.lausuch@ericsson.com>

Remove cleanup from vPing scripts, and use the existing cleanup script

JIRA: FUNCTEST-215

Change-Id: I1ec494097a9b70de142da9f90136256535af5100
Signed-off-by: jose.lausuch <jose.lausuch@ericsson.com>

Fix Flake8 Violations in the Functest scripts

JIRA: FUNCTEST-213

Change-Id: I66c02dd6ff12ffb9798ebe44a4cfe7bfc73e76c3
Signed-off-by: jose.lausuch <jose.lausuch@ericsson.com>

Add Tier scripts handlers and list of test cases yaml

JIRA: FUNCTEST-190

Change-Id: If63034be36e5a7a5d8b3f549444d53fb9ce28b55
Signed-off-by: jose.lausuch <jose.lausuch@ericsson.com>

Print openstack info only if CI_DEBUG==true

JIRA: FUNCTEST-205

Change-Id: I550d26ba1fddcedf5697dadd38a85148ecef2d44
Signed-off-by: jose.lausuch <jose.lausuch@ericsson.com>

Remove RALLY_REPO in config_functest since it is not used

Change-Id: Ifb3b338543b4ce3b961564a6e9cb1e943634af3d
Signed-off-by: jose.lausuch <jose.lausuch@ericsson.com>

Dockerfile, fix typo in git clone command

Change-Id: Ic14f81362357d0a653bf174b1ccdc859bd7cea5e
Signed-off-by: jose.lausuch <jose.lausuch@ericsson.com>

Small adaptations in prepare_env,run_tests and common

Change-Id: I5f31392b04b168247e332bc2ea97efeb733cdf97
Signed-off-by: jose.lausuch <jose.lausuch@ericsson.com>

Adapt Functest output to the env variable CI_DEBUG

JIRA: FUNCTEST-205

Apply CI_DEBUG environment variable in the call to the scripts

Change-Id: Ia8da993de8a60517b475f763c22ce06e9ce35b3e
Signed-off-by: jose.lausuch <jose.lausuch@ericsson.com>

Merge "Quote missing"

Quote missing

The missing " was causing some problems, like the REPOS_DIR variable missing

Previous:
Fixes unset REPOS_DIR var

REPOS_DIR never gets set in the script, and it looks like it should be
/home/opnfv/repos according to what is in the container.  This patch
defaults it to that location.

Change-Id: I739f7df52f4a0f3506fd77d72dfb09a4658f06c0
Signed-off-by: Tim Rozet <trozet@redhat.com>

Merge "Author: Luke Hinds <lhinds@redhat.com> Date:   Mon 18 Apr 11:48:27 2016 +0100"

Merge "Generating test lists for tempest"

Remove all the repo handling in prepare_env

JIRA: FUNCTEST-203

Since almost all the repos always pull from master and latest,
this is about saving some time and to avoid needing internet
to pull or checkout the repos. The needed repos content has to be
present in the docker image.

Change-Id: Ia6e1ed2b5d5b2aff8661a38eb64a081cc8016019
Signed-off-by: jose.lausuch <jose.lausuch@ericsson.com>

Allow rally to use existing glance image

This allows to use a prebuilt glance image without deleting it after the test.
For ARM platforms this is especially helpful because the test image is
three-part and can be created before running any tests.

Change-Id: Ia79f519d10fc9155ab2fb44a3e427ae3bb1ce399
Signed-off-by: Ciprian Barbu <ciprian.barbu@enea.com>

Author: Luke Hinds <lhinds@redhat.com>
Date:   Mon 18 Apr 11:48:27 2016 +0100

    JIRA: FUNCTEST-169 Inital commit of security test code

    The following code peforms NFVi based SCAP security scans.
    This code is still pending integration with functest scripts,
    for when flashtest development is complete.

    Amend: Removed pyc file, requirements.txt and fixed flake8

Change-Id: Ie182ae5c21d36218f5c9b389c4b6e63ecbf1d151
Signed-off-by: lukehinds <lukehinds@gmail.com>

Generating test lists for tempest

'testr list-tests' command is now used for generating smoke and full
test case lists for tempest.

test_list.txt file is replaced by defcore_req.txt file which contains
latest (2016.01) DefCore test case for possible references.

Partly implements JIRA: FUNCTEST-196

Change-Id: I993aa8a3919b97d50f081725ced686dbe6ffc4b7
Signed-off-by: vitikkan <viktor.tikkanen@nokia.com>

Add healthcheck test case to test_exec_priority

JIRA: FUNCTEST-199

Change-Id: I7ced0a78a93387d94709501fbbaba1c67c93c1cb
Signed-off-by: jose.lausuch <jose.lausuch@ericsson.com>

Update python-openstackclient to version 2.3.0

Change-Id: Ic9e68ade15e93f76d17db715c5790eaa31b49209
Signed-off-by: jose.lausuch <jose.lausuch@ericsson.com>

[BGPVPN] Exclude vims and vping_ssh from testlist

Since vims and vping_ssh are meant to fail for
bgpvpn scenario we will exclude them
from testlist.

Change-Id: Id9da6fdd3d9a1d7c1fb5c7fb1379c13720af34af

Merge "[BGPVPN] Use system wide installation of tempest"

[BGPVPN] Use system wide installation of tempest

Since rally setup tempest system-wide now
we do not integrate with the virtual env
of tempest anymore.

Change-Id: Ia5f132371c4eb0b67ac84bf044b349480195f633

Revert "[BGPVPN] Rally create the v-env which is needed"

This reverts commit 07beceb07f8cf8d6e86d2c188b3ad81688a9827f.

Change-Id: I22c9e3726abee28db3fa311aae8e273e8b353402

[BGPVPN] Rally create the v-env which is needed

Since we rely on the v-env which is created
by rally we run bgpvpn testcases after rally.

Change-Id: Ie54e3332c9130dc337303855a4b5c36df4e3d1fb

Adding Apex able to run BGPVPN tests

Change-Id: Ia346f5843fc4a1242c9a60f4dbe07e54c4920f46

Add healthcheck test case to config_functest.yaml

JIRA: FUNCTEST-199

Change-Id: I82fa45eafd078490162e275877673e263479bb8f
Signed-off-by: jose.lausuch <jose.lausuch@ericsson.com>

Create health check test case

JIRA: FUNCTEST-199

Change-Id: Iee40f182cdbe848d0f87619b7dd06fbce34d0440
Signed-off-by: jose.lausuch <jose.lausuch@ericsson.com>

Merge "add bash script to config pip and easy_install"

Lack of Internet connectivity is not treated as fatal

Implements partly JIRA: FUNCTEST-195

Change-Id: Iacf9216bb549109e07a6cbc9b68c863f17736df4
Signed-off-by: vitikkan <viktor.tikkanen@nokia.com>

Merge "update of INFO file"

add bash script to config pip and easy_install

JIRA: FUNCTEST-139

Change-Id: Iec0c1d0315ded19286fa2df8478567f4cda194b4
Signed-off-by: SerenaFeng <feng.xiaoewi@zte.com.cn>

Remove unused Rally scenarios and run script

run_rally.py is longer in use, it has been replaced with
run_rally-cert.py already earlier.

JIRA: FUNCTEST-191

Change-Id: I81b5060ed9a30e758afe75321052f120e9cf7389
Signed-off-by: Juha Kosonen <juha.kosonen@nokia.com>

Merge "Split functest_utils.py into 2 scripts"

[BGPVPN] Remove odl-vpnservice test cases

The odl-vpnservice test cases are meant to be
tested in the mini-net setup. We would need to
change our enviroment under test to include
mini-net to be able to run this tests.

Since this is not wanted we remove the test
cases.

Change-Id: Ic916e1e89d54fea78371bc566d8428141949e412

Split functest_utils.py into 2 scripts

JIRA: FUNCTEST-186

All the openstack related functions are in openstack_utils.py and
the remaining functions in functest_utils.py
All the scripts are adapted to this structure.

Change-Id: I7f3805779741f0b085985d0d053feb429250b1ea
Signed-off-by: jose.lausuch <jose.lausuch@ericsson.com>

[BGPVPN] Bugfix for /etc/tempest/ no there

Change-Id: I0dbbbf486e97c202eba2b4b38d877a836942759b

Allow vping to use existing glance image

This allows to use a prebuilt glance image without deleting it after the test.
For ARM platforms this is especially helpful because the test image is
three-part and can be created before running any tests.

Change-Id: I3bc16eab592b9ad629693c402466755b6fa6db8a
Signed-off-by: Ciprian Barbu <ciprian.barbu@enea.com>

update of INFO file

Change-Id: I3345ac117efa5f1ab51f25c23c0351b67c6bac9a
Signed-off-by: Morgan Richomme <morgan.richomme@orange.com>

bugfix single quote

Change-Id: I3391b9a3d0dd84402b7d2b588b9611a8035966d7

Bugfix result criteria

Change-Id: I5f5f7b88f1b42d2cecd0444339ee117da61ac2a1
Signed-off-by: boucherv <valentin.boucher@orange.com>

Add status when pushing Tempest results

Change-Id: Ie4ad96d9c580370ae9f451ea440a71cf7a6fb841
Signed-off-by: Morgan Richomme <morgan.richomme@orange.com>

ONOS can now support vPing_userdata testcase, remove the exception in the config for CI

Change-Id: I80828e431ad879bff0d44d476d6a076520ee8132
Signed-off-by: Morgan Richomme <morgan.richomme@orange.com>

Try configdrive in vping userdata test case

JIRA: FUNCTEST-158

Change-Id: Ic4205a4a7d125bc2b160403daf5e577d6d29c34f
Signed-off-by: carey.xu <carey.xuhan@huawei.com>

improve status criteria

Change-Id: Icfab7ead860d96cef119cc63e9fccfd9d62c009d
Signed-off-by: boucherv <valentin.boucher@orange.com>

Fix support for CACERT and set OS_INSECURE=true

JIRA: FUNCTEST-145

Change-Id: If8fce037117d7c7d16d08a558d0675cbfe5f9836
Signed-off-by: jose.lausuch <jose.lausuch@ericsson.com>

Merge "Revert "Checkout the Latest stable Tempest""

Revert "Checkout the Latest stable Tempest"

This reverts commit fd95510eb2caa63ec1613b271fb620f9c66e2278.

Change-Id: I33cb69b740e60571ef5c4ab07c0f48185eb8b410

Merge "Add criteria and version when pushing the results into test DB"

Add criteria and version when pushing the results into test DB

JIRA: FUNCTEST-151

Change-Id: Iac36f28db5f2203d7b2977a2bb973534fe167bac
Signed-off-by: Morgan Richomme <morgan.richomme@orange.com>

Checkout the Latest stable Tempest

To not consume any unstable tempest
we checkout the latest stable
version.

Change-Id: I5a0a29a12bf6e3205988df2151b2f3b6477904f2

Add exception handling for output processing

Handle the exception if parsed result in report cannot be converted to a
numeric value.

JIRA: FUNCTEST-149

Change-Id: Ibb259abdaa800761ee8dd2270c6bc2529081242d
Signed-off-by: Juha Kosonen <juha.kosonen@nokia.com>

Test numbers creation before starting the signal test

Change-Id: Ife6a21e0dc3b12d1efd7aeb398b1ca0b85458a42
Signed-off-by: boucherv <valentin.boucher@orange.com>

A non default argument cannot be placed before a default one.

This is blocking the execution of functest from jenkins

Change-Id: I880b455016ae716db234fd118c8456829fec9861
Signed-off-by: jose.lausuch <jose.lausuch@ericsson.com>

Have vIMS and Promise packages pre installed in the docker image.

Also, change to master in Functest repo.

JIRA: FUNCTEST-148

Change-Id: Ie4f3991adde9296fe86d4bedd4a9ca5e8aea33b3
Signed-off-by: jose.lausuch <jose.lausuch@ericsson.com>