Create Rally summary report also for verbose mode

Also:
- Fix percentage format of summary
- Get the percentage from the row 'total'

JIRA: FUNCTEST-134

Change-Id: Ifb45523921b4096c3242578cf4ddc6b084e8bbb2
Signed-off-by: jose.lausuch <jose.lausuch@ericsson.com>

Push rally summary results into DB

json produced by Rally are pushed to rally_details

Change-Id: I2f057093307cb395f5c5ffd42c3d228b05133a09
Signed-off-by: Morgan Richomme <morgan.richomme@orange.com>

Merge "Remove obsolete public network definitions"

Create Rally output summary at the end of the tests

Added template to start pushing results to DB

JIRA: FUNCTEST-134

Change-Id: Ibc04eae8478827146947df2bcf3460b8c7ef0bc7
Signed-off-by: jose.lausuch <jose.lausuch@ericsson.com>

Remove obsolete public network definitions

Use functest_utils.py routines in run_rally-cert.py to retrive external
network name instead of static definition in config_functest.yaml. Also
change the network name and id setting in task arguments.

Change-Id: Iced9e9a28e79d6ac6ddd2f9f593481949f5fc8a0
Signed-off-by: Juha Kosonen <juha.kosonen@nokia.com>

Merge "doctor: adds logger"

Merge "update doc - update external test cases - add chapter on push to DB"

doctor: adds logger

Change-Id: Idc9c0f17049b9e6d2d7a0b8dc2bf35778d3c29dd
Signed-off-by: Ryota MIBU <r-mibu@cq.jp.nec.com>

update doc
- update external test cases
- add chapter on push to DB

Change-Id: I10cd5c9583233604c8b8595f173c690f45124789
Signed-off-by: Morgan Richomme <morgan.richomme@orange.com>

Used sed instead of crudini for updating regex

It seems that crudini has limitations regarding quotation marks
so sed tool is used instead in order to replace ssh_user_regex
parameter into tempest.conf file.

Change-Id: I8587b3e6b0c15930407ab90bf05f00086348edf6
Signed-off-by: Viktor Tikkanen <viktor.tikkanen@nokia.com>

Merge "enable doctor test scenario"

Merge "Added configuration of ssh_user_regex parameter"

Added configuration of ssh_user_regex parameter

Some Rally versions don't set correctly SSH user name into
tempest.conf file so that e.g. test_server_basicops test case
of Tempest suite fails with "Please login as 'cirros' user,
not as root" error. This change ensures that correct SSH user
info will be used for Cirros images created by Rally.

Change-Id: I90dcad0024f2034ef3ed20d2c6981e675213558d
Signed-off-by: Viktor Tikkanen <viktor.tikkanen@nokia.com>

enable doctor test scenario

Change-Id: If0e050e979d886fff436daa384a97a651a56aaa5
Signed-off-by: Ryota MIBU <r-mibu@cq.jp.nec.com>

Merge "Reduce the number of iterations to ten in rally scenarios"

Reduce the number of iterations to ten in rally scenarios

Change-Id: Ibefc3f5eeb57ff6a1daa0be26f482ed0376a0d40
Signed-off-by: Juha Kosonen <juha.kosonen@nokia.com>

update user guide
- change vIMS logs
- add Promise logs
- modify section on OpenStack audit (now dynamic)
- minor reformating of tables
- typos
- add troubleshooting section on vPing and vPing_userdata

JIRA: FUNCTEST-113

Change-Id: Ib29c4d5e2c4f10f64de764491fc536495b39ea3d
Signed-off-by: Morgan Richomme <morgan.richomme@orange.com>

Import request python module for promise test case

Change-Id: I437766fe1c595a60a82af3c49a5eb29974e0da33
Signed-off-by: jose.lausuch <jose.lausuch@ericsson.com>

Merge "Fix success status parsing of rally results"

Fix success status parsing of rally results

Change-Id: I6053bce6cc919af7ac34a16843b2583e45f01ac2
Signed-off-by: Juha Kosonen <juha.kosonen@nokia.com>

Use python json parser to get the results form the Promise json report

JIRA: FUNCTEST-68

Also, add sleep to let the promise instances terminate,
otherwise, clean_openstack will detect them while they
are still being removed and will fail.

Change-Id: I7a5543143758483eb1d7e06dbe4922e9f1e05cfb
Signed-off-by: jose.lausuch <jose.lausuch@ericsson.com>

Revert "bug fix: get installer using functest_utils"

This reverts commit a6a3af39986e61f5f7c9094befec41fd753610d5.

Change-Id: I33d5d77ce166a324582a8f5ca11d75c5d9628c14

bug fix: get installer using functest_utils

JIRA: FUNCTEST-68

Change-Id: I0b4847f28ca77e171ca525b301b7bfa6cf366e94
Signed-off-by: Morgan Richomme <morgan.richomme@orange.com>

Merge "FIX:use 'info' after sourcing the common.sh"

FIX: sleep 3 second to release create_venv.sh from chmod command

sometimes vIMS failed to create venv for "Text file busy",it should
be a side effect of last command "chmod +x ..."

Change-Id: I6a94b644e89988efa92afc46e9fbdeb8564db89e
Signed-off-by: grakiss <grakiss.wanglei@huawei.com>

Merge "Show Promise results output and push results to DB"

FIX:use 'info' after sourcing the common.sh

Change-Id: I0572375d79983791970ece0d31ed2e3d7df8cfc3
Signed-off-by: grakiss <grakiss.wanglei@huawei.com>

Show Promise results output and push results to DB

JIRA: FUNCTEST-68

Change-Id: Iecb1becee1fc788a7c854227a8c3ea2252898eba
Signed-off-by: jose.lausuch <jose.lausuch@ericsson.com>

Consider volumes and floatingips as defaults in clean_openstack

Change-Id: I3ffc864768a7c474ee1063eecee1e2085de807b5
Signed-off-by: jose.lausuch <jose.lausuch@ericsson.com>

Merge "Create security groups with ICMP and SSH rules for vPing tests"

bug fix to run tempest and minor display error in run_test.sh

Change-Id: Ic30bdd1c514aa8dcab37ba91de2f8879729a80a2
Signed-off-by: Morgan Richomme <morgan.richomme@orange.com>

Create security groups with ICMP and SSH rules for vPing tests

JIRA: FUNCTEST-133

Some installers don't allow icmp and TCP port 22 (SSH)
in the default security group. To avoid any dependency
with the installer, vPing will create its own security
group with those rules and delete it afterwards.

Change-Id: I6f31f21c240d80eed8bead638af51aa7e1e92aad
Signed-off-by: jose.lausuch <jose.lausuch@ericsson.com>

Report vPing timeouts to the DB with duration = 0 and test status=NOK

JIRA: FUNCTEST-132

Change-Id: Ida0c485504fd07db29b0c33ac59da6944da303a9
Signed-off-by: jose.lausuch <jose.lausuch@ericsson.com>

Merge "Remove error message if instance is not found"

Remove error message if instance is not found

Reason: vping calls this function until the VMs are deleted,
when that happens, it throws an exception and returns None,
which is fine, but the message error on the output is a
bit confusing if you don't know the context.

Change-Id: I8a4c408197d3c83151fb15a12387575d9fe1d553
Signed-off-by: jose.lausuch <jose.lausuch@ericsson.com>

Small improvements with output messages

Change-Id: I4c274df30bc3123bef23d5423a1762a07dd93e68
Signed-off-by: jose.lausuch <jose.lausuch@ericsson.com>

Use openstack client to avoid keystone deprecation warnings

Change-Id: Ib82b3f20d0c23fc67201c7159e3b3a6de5c201cf
Signed-off-by: jose.lausuch <jose.lausuch@ericsson.com>

Merge "Use generate_defaults instead of os_defaults fixed parameters"

Use promise-flavor if exists and don't try to create it again

Change-Id: I02ba76acb02f9785d13ca9bcd61ebe1290fa1cd7
Signed-off-by: jose.lausuch <jose.lausuch@ericsson.com>

Use generate_defaults instead of os_defaults fixed parameters

JIRA: FUNCTEST-131

Running generate_defaults.py in prepare_env.sh (before running any test)
will create a file with the CURRENT OpenStack objects in
the deployment. After each test, the cleanup script will take into
consideration those parameters instead of the specified in
os_defaults.yaml

Keep os_defaults.yaml for the moment

Change-Id: I5f38fef47f0a6d79407d1d582b1e7d3713503e07
Signed-off-by: jose.lausuch <jose.lausuch@ericsson.com>

Merge "Add script to generate the OpenStack defaults"

Add script to generate the OpenStack defaults

JIRA: FUNCTEST-131

It checks the existing Openstack objects in the current
deployment (i.e. when the script is executed) and it will
create a yaml file to be used afterwards by clean_openstack.

This way, a user can generate the defaults when needed if there
are things that are not meant to be deleted without fear of
using clean_openstack.

Change-Id: Iacf204bdd14f591df21b3f243d27199ead2404b0
Signed-off-by: jose.lausuch <jose.lausuch@ericsson.com>

Enable all rally outputs in verbose mode

In verbose mode the complete output of rally tests is shown.

Change-Id: I315c89b270312b13b3630b97cc24e5f529952645
Signed-off-by: Juha Kosonen <juha.kosonen@nokia.com>

Adding structure to pull content into central docs.

Including minor fixes and corrections.

Change-Id: I7c4bd9ca4f5fb35aeb2350096520c66b11aecbe8
Signed-off-by: ChristopherPrice <christopher.price@ericsson.com>

Merge "use scenario instead of git info in version field of the test results"

Merge "Add testcases results to DB"

Merge "Replace openstack single clients by python-openstackcclient"

Export private net OS_TEST_NETWORK for Promise tests

Change-Id: Ie2e83a049a98f8e63245c3b992ff379fd353a0be
Signed-off-by: jose.lausuch <jose.lausuch@ericsson.com>

Replace openstack single clients by python-openstackcclient

Some projects like Promise need to use the openstack cli directly.
This requirement will also install automatically the following dependent clients:
python-cinderclient (1.5.0)
python-glanceclient (1.2.0)
python-keystoneclient (2.1.1)
python-neutronclient (4.0.0)
python-novaclient (3.2.0)
python-openstackclient (2.0.0)

Change-Id: I6836b8765364b30ae877ec4d1e8d88c8927b030d
Signed-off-by: jose.lausuch <jose.lausuch@ericsson.com>

Add testcases results to DB

Change-Id: Iada89aa690f6b3f1d041328b641620ceb0279912

Add aodh default user for apex

Noticed here:
https://build.opnfv.org/ci/view/functest/job/functest-apex-opnfv-jump-1-daily-master/lastBuild/consoleFull

Change-Id: I508f8c2d6e19ba2ee5e633a3ed323693b06a6692
Signed-off-by: jose.lausuch <jose.lausuch@ericsson.com>

use scenario instead of git info in version field of the test results

Change-Id: Ie80cc39e64d0fe70981623229560aa145df95c50
Signed-off-by: Morgan Richomme <morgan.richomme@orange.com>

Merge "fix the bug of onos test report"

Copy tempest.conf to results dir to be uploaded to artifacts

Change-Id: I9cfe566c085dc45410a03650a9cf2a84de004d19
Signed-off-by: jose.lausuch <jose.lausuch@ericsson.com>

Merge "Create stdout and stderr files for Tempest results"

Add promise section from patch 8361 of Gerald

Change-Id: I106239377020cedafa64ba58cbc765fd9dab7d61
Signed-off-by: Morgan Richomme <morgan.richomme@orange.com>

Merge "Editorials"

Create stdout and stderr files for Tempest results

Change-Id: Ibd45dd628dc64db16af28102276f5523f55fcaf4
Signed-off-by: jose.lausuch <jose.lausuch@ericsson.com>

bugfix: self.logger

Change-Id: I6e9b3a833f590831cddac83e00a6b8809410d2cb
Signed-off-by: boucherv <valentin.boucher@orange.com>

Editorials

Addressing the doc8 warnings.
Fixes also the wrong image file path.
Some more bug fixing on indentation.
Addressing severe title level inconsistencies.

Change-Id: I9ca235205056bf78c8f370055d05b6c6b3b7367d
Signed-off-by: Gerald Kunzmann <kunzmann@docomolab-euro.com>

fix the bug of onos test report

Change-Id: I34a068f991b89af6c65c895c7e9e604eac5dadf6

Merge "Change scenario start/result messages in run_rally-cert.py"

Merge "Add some error result in result db api"

Change scenario start/result messages in run_rally-cert.py

Change-Id: I2f5d4f327ab88b6855569d920a275ec801eb0311
Signed-off-by: Juha Kosonen <juha.kosonen@nokia.com>

Add some error result in result db api

Change-Id: I1c5f9bc51c04e321ace8c0ee0312be28d321910f
Signed-off-by: boucherv <valentin.boucher@orange.com>

Merge "Add scenario name to Rally result message"

Merge "Changed to use $(repos_dir) and removed #"

Merge "Update doc"

Update doc

Change-Id: I415f090e38fa382e0c768758b4b82dd3a7c9294f
Signed-off-by: Morgan Richomme <morgan.richomme@orange.com>

Add scenario name to Rally result message

Change-Id: I1eb6604c9ad658b65cc47c8d7d0f47717078a9fe
Signed-off-by: Juha Kosonen <juha.kosonen@nokia.com>

Merge "Small typos fixes in functest_utils.py"

Changed to use $(repos_dir) and removed #

Change-Id: I6e4004aad2d55309b520647eee59608ee7fa66d7
Signed-off-by: Stuart Mackie <wsmackie@juniper.net>

Change to logger.error when there is an error in clean_openstack

Change-Id: I753ded0cbbd9982dfa81ff734ae1f1fdeea6f268
Signed-off-by: jose.lausuch <jose.lausuch@ericsson.com>

Small typos fixes in functest_utils.py

Change-Id: I9fdb1efe11ce62c460f380ba1087ed9fc83611ef
Signed-off-by: jose.lausuch <jose.lausuch@ericsson.com>

Merge "Refactor functest_utils.py"

Refactor functest_utils.py

The order of volume type related functions and the error handling changed
to conform general approach used in functest_utils.py.

Signed-off-by: Juha Kosonen <juha.kosonen@nokia.com>

change for get joid onos ip

Follow change in joid use SDN_CONTROLLER_IP env var instead of ODL_CONTROLLER_IP

Change-Id: I298cfdfe880c52a18580eb607294cf4c7f353e71
Signed-off-by: Morgan Richomme <morgan.richomme@orange.com>

Merge "Reduce Rally output"

Merge "Volume type management moved from run_tests.sh to run_rally-cert.py"

Reduce Rally output

This patch intends to reduce the output of Rally test,
showing only the important information of the tests,
which is the scenario name and the table with results.
Showing the scenario json/yaml is unnecessary since it is
already in the repo.

Change-Id: Iff0ba3fed17212bb4a695c4155747c8aaf683da3
Signed-off-by: jose.lausuch <jose.lausuch@ericsson.com>

Volume type management moved from run_tests.sh to run_rally-cert.py

Change-Id: I80c8b27e041ec5089b816b8515cbc8fa1e8b9eea
Signed-off-by: Juha Kosonen <juha.kosonen@nokia.com>

Fix promise test output

Change-Id: I12bda2e9953228bd0db1810a8a06bfe2e1644ac8
Signed-off-by: jose.lausuch <jose.lausuch@ericsson.com>

Bugfix print arguments in functest_utils.py

Change-Id: I54c94ad43a88732840c0cf915bae42a0cf476e90
Signed-off-by: jose.lausuch <jose.lausuch@ericsson.com>

Merge "Print json result file of Promise testcase"

Print json result file of Promise testcase

JIRA: FUNCTEST-68

Change-Id: Ib89e84b7f4d6f3cfe990655c941705af1da24bfb
Signed-off-by: jose.lausuch <jose.lausuch@ericsson.com>

Merge "Remove possible message "No handlers could be found for logger paramiko""

Merge "Option to redirect stderr output to a file for Tempest test"

Refactor functest_utils.py script

JIRA: FUNCTEST-129

Change-Id: Id5202b1830f7efa77fdb8023d4eeb93775168d29
Signed-off-by: jose.lausuch <jose.lausuch@ericsson.com>

Option to redirect stderr output to a file for Tempest test

The output when we run Tempest from CI is too long
if there are many tests failing. This patch intends to
show only the test cases that passed/failed within a table.
If troubleshooting is needed, it will be a log file with all
the stderr in it.

Change-Id: If5b0f35463a3dae06a0c177de4dc473bfc4687c5
Signed-off-by: jose.lausuch <jose.lausuch@ericsson.com>

Remove possible message "No handlers could be found for logger paramiko"

Change-Id: Ib6324b96489551cd88eb1639cb61d38bff898638
Signed-off-by: jose.lausuch <jose.lausuch@ericsson.com>

FUNCTEST-128
Modify the ssh output match

Change-Id: Ic21823781aa77bdc216dac4c048cd04884516a53
Signed-off-by: CNlukai <lukai1@huawei.com>

Merge "FUNCTEST-127 FIx the condition judgment of vping"

FUNCTEST-127
FIx the condition judgment of vping

Change-Id: I58abace66fb73e0531affc651194473718dfacd5
Signed-off-by: CNlukai <lukai1@huawei.com>

bug fix bad var affection when running ODL

Change-Id: I106f01928a2df71d5a46dad2087d767eb5bdf3d2
Signed-off-by: Morgan Richomme <morgan.richomme@orange.com>

typo fix on odl

Change-Id: If761b7c38f38d3f2c691eab36b797ca7ce7ccb49
Signed-off-by: Morgan Richomme <morgan.richomme@orange.com>

Merge "Add timeout in paramiko ssh command"

Add bgpvpn and odl_vpnservice in config_yaml

Change-Id: I36f875efbb7a39b5b62937cb19c0e854a3a1e15c
Signed-off-by: Morgan Richomme <morgan.richomme@orange.com>

Add timeout in paramiko ssh command

Change-Id: I7ef30c08a2335400a79b8a7baf91a27e5eea02e1
Signed-off-by: jose.lausuch <jose.lausuch@ericsson.com>

Add more OS defaults for Fuel 8.0

Change-Id: I6f569a4fd66020a699702733303ec55c6aeab15d
Signed-off-by: jose.lausuch <jose.lausuch@ericsson.com>