Lessons learned for Tempest into Berlin presentation

Change-Id: I5599e887fcdad1f70a23e3f7be16acebe7c13250
Signed-off-by: vitikkan <viktor.tikkanen@nokia.com>

Remove unused librairies in robot files

Change-Id: Ifade280e02354b20869d54b15ba89838d2857640
Signed-off-by: Cédric Ollivier <cedric.ollivier@orange.com>

Merge "Add yardstick section into Presentation"

Merge "Add reachability testcase for ODL"

Enable security scanning

Change-Id: Ib179ee6b2fcc7cf6c9ac522fdb83755ecbb99f52
Signed-off-by: Luke Hinds <lukehinds@gmail.com>

Add reachability testcase for ODL

It simply gets the complete lists of networks, subnets and ports.

Change-Id: I529c381996ee45f0b11f5fa24844f25c2f8f4a93
Signed-off-by: Cédric Ollivier <cedric.ollivier@orange.com>

Reduce rally run script log output

Log scenario specific tables only in debug mode.

JIRA: FUNCTEST-312

Change-Id: Iacfdfb8156b1d5e9bc0a85abc1d6a10d6cac032e
Signed-off-by: Juha Kosonen <juha.kosonen@nokia.com>

Add yardstick section into Presentation

I add yardstick section into the Conversation with
Testing Community Presentation.
please feel free to give comments to me.

Change-Id: I42662e8fed6d258c7613b7097ddd54dedfd72141
JIRA:-
Signed-off-by: kubi <jean.gaoliang@huawei.com>

SSH key key type select improvements and jump host rename

JIRA: FUNCTEST-310

Change-Id: I7adca57febfe8e6861d22de18858c6afd97b5199
Signed-off-by: Luke Hinds <lukehinds@gmail.com>

Remove unnecessary defaults from rally task file

Parameters used in test scenarios are defined and correctly set by run
script. No need to hardcode defaults in task file.

JIRA: FUNCTEST-311

Change-Id: Ic7decfc5144c40a50cd32862eb4aed263930a78e
Signed-off-by: Juha Kosonen <juha.kosonen@nokia.com>

Fix bug: use right format for date when pushing to DB

JIRA: FUNCTEST-303

Change-Id: I53e7c8f963ef0fa248d76e0d1c5f04326a750dcc
Signed-off-by: Morgan Richomme <morgan.richomme@orange.com>

Remove external server references on Rally scenarios

Use url derived from OS_AUTH_URL on a scenario making http request and
checking the response. This way successful test execution does not
require internet connection nor rely on external servers functionality.

JIRA: FUNCTEST-201

Change-Id: Ic11f8f5c32d015624bdec1db07d8bb49f7b77bc8
Signed-off-by: Juha Kosonen <juha.kosonen@nokia.com>

Creating Glance image for Tempest suite

If not yet existing, Cirros-0.3.4 image is created before
running Tempest test suite. Source file for the image is included
into opnfv/functest Docker container.

JIRA: FUNCTEST-195

Change-Id: I980193c4207c1301ca4e3b6e850b4056e6aa0130
Signed-off-by: vitikkan <viktor.tikkanen@nokia.com>

Fix flake8 violations

Change-Id: I911eab6d4c0cdcfcf4d75f03e91c528d3388876c
Signed-off-by: Morgan Richomme <morgan.richomme@orange.com>

bug fix: end_time var does not exist to calculate duration

Change-Id: If73b6fbf022a837e4cb0190ab8074d18017ca57b
Signed-off-by: Morgan Richomme <morgan.richomme@orange.com>

Merge "little changes in testapi presentation"

Merge "Update testapi presentation"

little changes in testapi presentation

change testapi0.png file
rename test_criteria to criteria
change criteria description from passed/failed to PASS/FAILED

JIRA: FUNCTEST-308

Change-Id: I29c05c4068c50cfe47ab6b5e8acc3d797f2ff43a
Signed-off-by: SerenaFeng <feng.xiaowei@zte.com.cn>

Update testapi presentation

Change-Id: Ic1fd53a7a1e7cc35259bc2af78dab791617b6185
Signed-off-by: Morgan Richomme <morgan.richomme@orange.com>

Fixes and Docker Specific Attributes on security_scan

JIRA:  FUNCTEST-306

Fixed Incorrect logging format
Added Key Download
Added Docker Specifics discovered during tests

Change-Id: I0c275c77a1eeb5911afb472bd0cb9c8020ae5879
Signed-off-by: Luke Hinds <lukehinds@gmail.com>

Fix vPing success criteria evaluation bugfix

Switching back to the odl approach. Need more discussions
to see how to evaluate the result from testcases.yaml

Change-Id: Iaa866db3010d35bd2cc427190dfe64db6b732a93
Signed-off-by: jose.lausuch <jose.lausuch@ericsson.com>

Add CPerf slide to OPNFV Summit Berlin deck

Change-Id: Ia1d3ce3c220a405821d8fae80cb5f4ddd22c72ec
Signed-off-by: Daniel Farrell <dfarrell@redhat.com>

Merge "Fixes incorrect parenthesis format & adds ft_logger import"

Fixes incorrect parenthesis format & adds ft_logger import

JIRA: FUNCTEST-302

Change-Id: Id83077a1b1376f726ea8abd4a97e5b705c22f9cc
Signed-off-by: Luke Hinds <lukehinds@gmail.com>

Adapt functest testcase to APi refactoring

JIRA: FUNCTEST-303

Change-Id: Ia276d9ca6e8d62b496c3b5f81561b14b02c43fd7
Signed-off-by: Morgan Richomme <morgan.richomme@orange.com>

Merge changes I23a47424,I34393b03

* changes:
  Add presentation for test API
  Presentation Test community Design Summit

Added paramiko.util.log_to_file

JIRA: FUNCTEST-301

Change-Id: I489653d4e47232c5bf51bbae54d2a89c7ac780b6
Signed-off-by: Luke Hinds <lukehinds@gmail.com>

Use current ODL Integration/Test repo

ODL Integration used to contain system testing, Karaf distribution
building and packaging/delivery logic. It was split into three
projects in August 2015: Int/Test, Int/Distribution and Int/Packaging.

https://wiki.opendaylight.org/view/Archive_Proposals/Integration

The integration.git repo Functest was cloning is the old one,
containing all three projects. It hasn't been updated since the split.

The new integration-test.git repo is the current version of ODL's system
test code.

This change also clones ODL from its official Gerrit, instead of its
GitHub mirror.

Change-Id: I6b38b1fedada504411ca0e0639355339f373084c
Signed-off-by: Daniel Farrell <dfarrell@redhat.com>

Add presentation for test API

Change-Id: I23a474247680751bb4f9ac0cc17b00229edd8886
Signed-off-by: Morgan Richomme <morgan.richomme@orange.com>

Presentation Test community Design Summit

Change-Id: I34393b0398f1c7a4f7aef9fea79f265ec5c915b5
Signed-off-by: Morgan Richomme <morgan.richomme@orange.com>

Stop the job and quit with error if a test case fails

JIRA: FUNCTEST-282

Change-Id: I9fd638c19333772040481140f9e2324b7d80772f
Signed-off-by: jose.lausuch <jose.lausuch@ericsson.com>

Replace subnet by port

It also fixes several upper case letters and formats *delete*.robot

Change-Id: I071be39860dd33296a067e4f3d0188d36e9b9660
Signed-off-by: Cédric Ollivier <cedric.ollivier@orange.com>

Rename Robot Framework sources to *.robot

It avoids mixing robot and txt suffixes in the same directory.

Change-Id: Ia2288cc9ad7dc86fc9a4cea2c6ca7a08a7dd3e3c
Signed-off-by: Cédric Ollivier <cedric.ollivier@orange.com>

Merge "Add criteria in testcases.yaml and Test class"

Fix duplicated output when using the functest logger

JIRA: FUNCTEST-275

Change-Id: I49c66521652b31d5bb398ea4013ac061f320d725
Signed-off-by: jose.lausuch <jose.lausuch@ericsson.com>

Merge "Add framework for presentations"

Merge "Check correctly arguments"

Check correctly arguments

It fixes argument parsing and verifies all mandatory arguments are
provided. It also prevents UnboundLocalError exceptions.

Change-Id: Iec3403533b312c95dd453236ccadb1fe495d61cd
Signed-off-by: Cédric Ollivier <cedric.ollivier@orange.com>

Add criteria in testcases.yaml and Test class

JIRA: FUNCTEST-257

Added example of usage in vping_ssh

Change-Id: Iac143b811db163f0f86682b0688948c20843ede5
Signed-off-by: jose.lausuch <jose.lausuch@ericsson.com>

bug fix: pb when pushing bgpvpn results when no failed
failed field is empty (not equal to 0)

JIRA: FUNCTEST-234

Change-Id: Ic243e1e23615d585a735266d9012fc4c52d67ba3
Signed-off-by: Morgan Richomme <morgan.richomme@orange.com>

Merge "Add Apex based security scan code"

Avoid tuples when printing multiple strings

It fixes bugs induced by [1].

[1] https://gerrit.opnfv.org/gerrit/#/c/12623

Change-Id: I0232b14bed767b3ff857192146551a7963699bb9
Signed-off-by: Cédric Ollivier <cedric.ollivier@orange.com>

Write login correctly

Change-Id: I1806fb7ac3d276065badd8537f84339c18a1856e
Signed-off-by: Cédric Ollivier <cedric.ollivier@orange.com>

Add Apex based security scan code

JIRA: FUNCTEST-169

Performs a SCAP based security scan of all overcloud
nodes, followed by report download to functest dashboard

Change-Id: I9058227e19c0877e5f8913931febdd667a908cdd
Signed-off-by: lukehinds <lukehinds@gmail.com>

Remove unused CI_DEBUG

Change-Id: I78028dd7694f90f7cf81fc58f48b8afb713b5e12
Signed-off-by: Cédric Ollivier <cedric.ollivier@orange.com>

Bugfix: can not find tempest.log

JIRA: FUNCTEST-269

Remove dependency on CI_DEBUG and use subprocess.call to
redirect stdout to tempest.log in any case.

Change-Id: Ibac68bec7f98007d24def25fd609051b5c528fc7
Signed-off-by: SerenaFeng <feng.xiaowei@zte.com.cn>

Merge "bug fix: if all tests passed failed could be empty"

bug fix: if all tests passed failed could be empty

consider failed only if regex match

JIRA: FUNCTEST-234

Change-Id: Ie9d29c7bc1eb2f051600d689133b47bf276bc856
Signed-off-by: Morgan Richomme <morgan.richomme@orange.com>

Merge "Use flavor name instead of flavor id"

Merge "Add simple error logs in result DB"

Take report arg into account

$report is now tested before calling odlreport2db.py

Change-Id: I92be1488f710065dbc0a0c00e8023c6201028c2f
Signed-off-by: Cédric Ollivier <cedric.ollivier@orange.com>

Add simple error logs in result DB

Used afterwards for the reporting to identify quickly
which case(s) are failing

Change-Id: I0030c69000ec36e42f7791630639fce5bc4b0f1e
Signed-off-by: Morgan Richomme <morgan.richomme@orange.com>

Use flavor name instead of flavor id

Default flavor id changes if its attributes have been modified.
Flavor name is used instead of flavor id.

Change-Id: I7a076eed4ebef13a83594bf9017895bd6fb36bd2
Signed-off-by: Cédric Ollivier <cedric.ollivier@orange.com>

Add security_scan in Functest CI pipeline

JIRA: FUNCTEST-258

Change-Id: Idbf6006910982a9a165952ca3031966855bcb29d
Signed-off-by: Morgan Richomme <morgan.richomme@orange.com>

Merge "Added 60 sec delay before launching instances in healthcheck"

Push results if INSTALLER_TYPE and NODE_NAME are defined

INSTALLER_TYPE and NODE_NAME are also checked before pushing ODL
results in DB

Change-Id: If92c8b50d3ae7618475aeb25ab732c6dddb08019
Signed-off-by: Cédric Ollivier <cedric.ollivier@orange.com>

Allow unknown ci_installer or ci_scenario in is_compatible

ci_installer and ci_scenario are only tested if they are set. At least one of
theses variables must be set to get dependencies

It modifies the previous logic introduced by the first implementation of
tier_handler.py [1]

[1] https://gerrit.opnfv.org/gerrit/#/c/12579/

Change-Id: Icc9663a620f0b18f502b3eff7c0ce0d71e4e5910
Signed-off-by: Cédric Ollivier <cedric.ollivier@orange.com>

Added 60 sec delay before launching instances in healthcheck

This delay should be removed after resolving Jira case APEX-149.
The purpose is to give some time to populate openflow rules
by SDN controller in case of odl_l2 scenario.

Change-Id: I05c0b82a7544e934d82f1fa37e2f146aab03f7b9
Signed-off-by: vitikkan <viktor.tikkanen@nokia.com>

Join Rally_full and Tempest_full in the same Tier

JIRA: FUNCTEST-190

Change-Id: Ib82c59e0a68ed73caba79a0d5b2000861ee31552
Signed-off-by: jose.lausuch <jose.lausuch@ericsson.com>

Add framework for presentations

Change-Id: I8ba24fb4b2a3a6c8d8c69f15a1fd9259aea4ab6c
Signed-off-by: Morgan Richomme <morgan.richomme@orange.com>

Push bgpvpn_api results into Test DB

JIRA: FUNCTEST-234

Change-Id: I0494043bff6a37dc94724dfee1a718a1ab9fbcf3
Signed-off-by: Morgan Richomme <morgan.richomme@orange.com>

Preserving Nova instances from os_defaults.yaml

Previously clean_openstack deleted all the existing instances
even if they were included into os_defaults.yaml.

Change-Id: Id7c17ec86a5616c44bd2965844a4a8545054358b
Signed-off-by: vitikkan <viktor.tikkanen@nokia.com>

Fix path for vping.sh and exit if SCP fails

Change-Id: I28b394071ae739af60f7e7007cc54e96f13d39db
Signed-off-by: jose.lausuch <jose.lausuch@ericsson.com>

fix vPing paths post refactoring effect

Change-Id: I24e961965db5103af1625418e7f5ae977bcabf54
Signed-off-by: Morgan Richomme <morgan.richomme@orange.com>

Change 'testcases' directory structure

JIRA: FUNCTEST-226

- Remove all 'CI' subdirs
- Remove VIM dir and have OpenStack dir within /testcases/
- Split rally and tempest in 2 different dirs

Change-Id: Icfc76d18a84f7a18d93ae1a5ec7dc7a560bb7ce9
Signed-off-by: jose.lausuch <jose.lausuch@ericsson.com>

Merge "BGPVPN test case refactored"

Merge "Catch TypeError exceptions in ci/tier_handler.py"

BGPVPN test case refactored

BGPVPN test case is refactored and moved into bgpvpn.py module.

JIRA: FUNCTEST-234

Change-Id: Ib0dd6e11f3c568470d9c3837ca192da767c64843
Signed-off-by: vitikkan <viktor.tikkanen@nokia.com>

Refactor ODL vars in ci/exec_test.sh

neutron_ip is set equal to neutron public endpoint and odl_ip to
neutron_ip or SDN_CONTROLLER according to INSTALLER_TYPE.
It also doesn't exit if INSTALLER_TYPE is unset.

Change-Id: I9ffa9f2837216ba88645d9bdfeeedd7a86a50b84
Signed-off-by: Cédric Ollivier <cedric.ollivier@orange.com>

Replace error in ci/exec_test.sh

error undefined in ci/exec_test.sh is now replaced by echo $msg >&2

Change-Id: I90fc44d94680206a2b0e85f9dfa5c48dadf6ac04
Signed-off-by: Cédric Ollivier <cedric.ollivier@orange.com>

Catch TypeError exceptions in ci/tier_handler.py

If INSTALLER_TYPE is unset, is_compatible returns False instead of
raising an ErrorType exception.

Change-Id: I55c219808851907a19e2aa0124eb13d53a5e685d
Signed-off-by: Cédric Ollivier <cedric.ollivier@orange.com>

Merge "Added handling of blacklist for tempest"

Added handling of blacklist for tempest

It is now possible to exclude some specific test cases ("black list")
from the test case suites.

JIRA: FUNCTEST-197

Change-Id: I2946a010793da0a3d3ef1d96aa0ca0840e8a761d
Signed-off-by: vitikkan <viktor.tikkanen@nokia.com>

Add protections if INSTALLER_TYPE is unset

It avoids unary operator expected errors.

Change-Id: Ie717631b651b258d9bf62706f09c6f6b7c534620
Signed-off-by: Cédric Ollivier <cedric.ollivier@orange.com>

Merge "Fix typos in testcases.yaml"

Fix typos in testcases.yaml

Change-Id: I7b014c55b626a06c0b4aaba006691f726f88acac
Signed-off-by: Cédric Ollivier <cedric.ollivier@orange.com>

Respect multiline syntax in Dockerfile

It fixes errors in /home/opnfv/.bashrc induced by [1].

[1] https://gerrit.opnfv.org/gerrit/#/c/13699/

Change-Id: I07ff6504ee8fee7428b700553419d1208e639379
Signed-off-by: Cédric Ollivier <cedric.ollivier@orange.com>

Fix a few nits in prepare_env and dockerfile

Change-Id: Idb407ab80a41be0838c35d79819f8953885ba668
Signed-off-by: jose.lausuch <jose.lausuch@ericsson.com>

Specify the field id in neutron arguments

It fixes the parsing error when 2 subnets are created on a specific
network.

Change-Id: I46154a65d0e916387faea5b506ae6a93240c6726
Signed-off-by: Cédric Ollivier <cedric.ollivier@orange.com>

Removed obsolete modules

testcases/VIM/OpenStack/CI/libraries/check_os.sh
testcases/VIM/OpenStack/CI/libraries/os_defaults.yaml

Change-Id: I835bfbdc9aa43903ca2ad6041a38216fd68263a5
Signed-off-by: vitikkan <viktor.tikkanen@nokia.com>

Split tempest into smoke and full modes

"tempest_smoke_serial" and "tempest_full_parallel" test cases
replace the original "tempest" case.

Corrected fetching tempest results from "rally verify list"
output (last result is taken instead of the first one). This
correction is needed when "rally verify start" is run multiple
times.

JIRA: FUNCTEST-242

Change-Id: I544a22081655af819dbaaaafc0ba0fa6eae1e4ea
Signed-off-by: vitikkan <viktor.tikkanen@nokia.com>

Enable sanity mode of Rally test for the CI runs

JIRA: FUNCTEST-241

Change-Id: Ie37657bf9e8c01ae4126c1c45146d8aadb2c5775
Signed-off-by: Juha Kosonen <juha.kosonen@nokia.com>

Adapt tiers to run depending on WEEKLY/DAILY

JIRA: FUNCTEST-244

Change-Id: I11bf28baff52b75b0f6c58845edc22f266dfcbe8
Signed-off-by: jose.lausuch <jose.lausuch@ericsson.com>

Merge "CLI implementation"

Create a private shared network for Rally

Since functest-net will be obsolete, own private network, subnet and
router is created for Rally tests.

JIRA: FUNCTEST-240

Change-Id: I8a30e2b4fe12238dba526c21188c85f75bacc0b8
Signed-off-by: Juha Kosonen <juha.kosonen@nokia.com>

Creating private network for Tempest

Since functest-net will be obsolete, own private network,
subnet and router is taken into use for Tempest test.

JIRA: FUNCTEST-239

Change-Id: I2b9f6aae74dc36decf305a4531fe0a071031aca3
Signed-off-by: vitikkan <viktor.tikkanen@nokia.com>

CLI implementation

JIRA: FUNCTEST-243

Change-Id: Ibf0ef9bcc5f3aeda96b050827b954ce060317613
Signed-off-by: jose.lausuch <jose.lausuch@ericsson.com>

Generic Function to create a private network

This is to be used by all the tests which need a private network to work,
for example Tempest, Rally, vPing, ssh..

Added example for vPing and promise scripts.

Change-Id: I5d79e7b60b81b0f34230ea3ef2f3076697a1958c
Signed-off-by: jose.lausuch <jose.lausuch@ericsson.com>

Fix shebang of python scripts

Change-Id: I8a05fd6fbb0d392a27f354a6b8cacf33073bf17f
Signed-off-by: Juha Kosonen <juha.kosonen@nokia.com>

Add results dir to Dockerfile

This will allow to create the functest.log used by logger in
/home/opnfv/functest/results/functest.log

Change-Id: Iebc1130942c4e4a5f592cfa247e7ba7403559a59
Signed-off-by: jose.lausuch <jose.lausuch@ericsson.com>

Don't exit on error when destroying rally deployment

Also, some improvements in execute_command function

Change-Id: I8271d55202b8859701275d5f7322a7bd4894e475
Signed-off-by: jose.lausuch <jose.lausuch@ericsson.com>

Fix bug config_functest.yaml location

Change-Id: I3b28eb7015f6f1418ef04ca91103e313f71f74e3
Signed-off-by: jose.lausuch <jose.lausuch@ericsson.com>

Refactor, add logger handler to collect all the logs to a file as well

JIRA: FUNCTEST-190

Also:
- remove old code that are not used any more
- improve execute_command function
- fix logger output for run_tempest

Change-Id: Ib268738ada1b9de2a418ef01e684a90e6f4e02ed
Signed-off-by: jose.lausuch <jose.lausuch@ericsson.com>

Refactor improvements

JIRA: FUNCTEST-190

- Deleted unnecessary old scripts
- Fixed healtcheck logging
- Moved config_functest.yaml to /ci/
- Created env var CONFIG_FUNCTEST_YAML pointing to that new location
- Modified all scripts which open config_functest.yaml using the new env var

Change-Id: Ic4f0e40a70c02ac08287a1d621956f602bdee177
Signed-off-by: jose.lausuch <jose.lausuch@ericsson.com>

Merge "Create CLI template for Functest"

Add command to execute the actual tests

JIRA: FUNCTEST-190

Run_tests was generating the tests cases to be executed, but
not actually running them.
This patch also includes a small enhancement to avoid too much
output when showing which tiers to be tested.

Change-Id: Id70cfe44a8263ce7f598386668a33c67a8961b42
Signed-off-by: jose.lausuch <jose.lausuch@ericsson.com>

Enhance output when showing tiers and testcases info

JIRA: FUNCTEST-190

Change-Id: I43e26700ee3c92be64d79243c6762a3ccd5d42d3
Signed-off-by: jose.lausuch <jose.lausuch@ericsson.com>

Create CLI template for Functest

JIRA: FUNCTEST-235

Change-Id: I235a53781fbcde91ccf15d15ea52c96ee2ee9433
Signed-off-by: jose.lausuch <jose.lausuch@ericsson.com>

Source the credentials in run_tests.py

JIRA: FUNCTEST-227
JIRA: FUNCTEST-190

OpenStack clean was failing due to this.

Change-Id: Ia4dcf084becb532f157c0924baf44bb2441f6379
Signed-off-by: jose.lausuch <jose.lausuch@ericsson.com>

Functest - documentation small corrections

Signed-off-by: David Blaisonneau <david.blaisonneau@orange.com>