functest compass usage document

JIRA: FUNCTEST-333

add some information in configuration file

Change-Id: I6ec91d15c859b9739904d602aef3a0927f6561b6
Signed-off-by: MatthewLi <matthew.lijun@huawei.com>

Merge "complement Parser related userguide"

complement Parser related userguide

JIRA: FUNCTEST-423

Change-Id: Ib52e04a873a2a924102832fe5461ebab2296464d
Signed-off-by: SerenaFeng <feng.xiaowei@zte.com.cn>

Merge "Config guide workflow simplification"

Config guide workflow simplification

Workflow simplification for config guide. Several good improvement
ideas taken into account. Work is not totally complete yet and may
need separate handling.
Added link to chapter "Apex installer tips" which was accidentally
dropped off.
Moved commands specific to apex to appropriate section.
Took away the Rally as an example of the test case execution behind
a proxy. Rally does not nesessarily need internet connectivity.
I finally removed the dreaded "Whiteschpace" at EOL in several
places.
Adding minor tweaks and finetuning.
Corrected the phrasing of docker installation.

JIRA: FUNCTEST-347

Change-Id: I35c094d1d89538a2991a384bbc70b48b0d18e75d
Signed-off-by: Juha Haapavirta <juha.haapavirta@nokia.com>

Merge "Add report flag for moon"

Merge "resume Parser test run on fuel onos"

Add report flag for moon

JIRA: FUNCTEST-210

Change-Id: I97be5542ae4ae87f1b8d62394ff66068e77f4082
Signed-off-by: Morgan Richomme <morgan.richomme@orange.com>

Merge "Minor fixes for Doctor Project"

Merge "Convert to Unix format"

Minor fixes for Doctor Project

Note: The correct links to Doctor/Promise user guides
will be added once we cut colorado branch

Change-Id: Ib3a75027e7e8a94f8cb31ab827208ec391f2e2a8
Signed-off-by: Bertrand Souville <souville@docomolab-euro.com>

delete extra slash while execute cases test in exec_test.sh

There are two slashes appeared in the path when we execute case test:
/home/opnfv/functest/conf//openstack.creds
/home/opnfv/repos/functest//testcases/OpenStack/vPing/vPing_userdata.py

JIRA: FUNCTEST-421

Change-Id: I4fa8a11499e301dd84d1e1de7c72189b8d84459b
Signed-off-by: SerenaFeng <feng.xiaowei@zte.com.cn>

resume Parser test run on fuel onos

Parser tests was removed by onos people in
change https://gerrit.opnfv.org/gerrit/#/c/18821/.
After we talk about this, we found it was a mis-removal.

JIRA: FUNCTEST-422

Change-Id: I76da8786cac0fc5c874aa69e937d6ae19b20c6b1
Signed-off-by: SerenaFeng <feng.xiaowei@zte.com.cn>

Reorder imports

It conforms to OpenStack Style Guidelines [1]

[1] http://docs.openstack.org/developer/hacking/

Change-Id: I995ff7fa3be995ca59e59c070b93394cd7200066
Signed-off-by: Cédric Ollivier <cedric.ollivier@orange.com>

Convert to Unix format

Change-Id: I3ddb9c38010c6f19ebd507990b57c9c498f49da8
Signed-off-by: Cédric Ollivier <cedric.ollivier@orange.com>

Check the response status code

Now an HTTPError exception is raised in case of a 4XX or 5XX error
response.

Change-Id: Idd91c1d2b2a1b81a1cf7d075527cb302099cdb4e
Signed-off-by: Cédric Ollivier <cedric.ollivier@orange.com>

Merge "Add reporting flag to push reuslts only from CI"

bugfix: wrong directory

Change-Id: I0b39277118ff26496553f9639a1c219fd5783b8f
Signed-off-by: meimei <meimei@huawei.com>

Remove parser tests from fuel onos

Change-Id: I72467575ca3eb79cbd0094882d3a5be73c2cf308
Signed-off-by: wuwb1989 <wuwenbin2@huawei.com>

Add reporting flag to push reuslts only from CI

JIRA: FUNCTEST-416

Change-Id: I1a5800be0dcf75573f44e6214b23917aadc1cbf7
Signed-off-by: Morgan Richomme <morgan.richomme@orange.com>

Merge "[multisite] set the criteria as 100%"

[moon] install moonclient in docker

Change-Id: Ie8b46620dfa995038c0f40e23133ac301496438a
Signed-off-by: meimei <meimei@huawei.com>

[multisite] set the criteria as 100%

Change-Id: I8e6a274c0f250b63c3e6f698b527fc476e1162b8
Signed-off-by: meimei <meimei@huawei.com>

Modify joid tempest list for onos

Change-Id: I0ae03b1f13bbc8801d8c14fa6ff1b93117c80e91
Signed-off-by: wuwb1989 <wuwenbin2@huawei.com>

Merge "blacklist.txt file format corrected"

Merge "output logger info for Parser tests"

blacklist.txt file format corrected

Only last part of blacklist.txt file was loaded by yaml.safe_load()
function. File format is corrected.

JIRA: FUNCTEST-418

Change-Id: I9c922b1a7b739e7d0c0d5afa3e0ea700749f9d50
Signed-off-by: vitikkan <viktor.tikkanen@nokia.com>

output logger info for Parser tests

Parser testcase fails in Functest. Because
there's on Parser debug info, make it difficult
to track failures.

JIRA: FUNCTEST-417

Change-Id: I04152de702f216dc053bdd7922a5672b5712aaff
Signed-off-by: SerenaFeng <feng.xiaowei@zte.com.cn>

Add Domino user guide link, modified description text, remove trailing spaces in index.rst

Change-Id: I357274c8cbe5f312e2ed5b0ee719158e16c2cd60
Signed-off-by: Ulas Kozat <ulas.kozat@gmail.com>

Merge "Update user guide for Colorado"

Merge "Repoint security_scanning to its own repository"

Repoint security_scanning to its own repository

JIRA: FUNCTEST-415

Change-Id: I5ac2bd9b417ae045f4a1c0fa3f4fd2e7c545dbf3
Signed-off-by: Luke Hinds <lukehinds@gmail.com>

Add onos blacklist for tempest

Change-Id: If722e0d3376b8d04766b1eb871caadc5bc6e7c18
Signed-off-by: CNlucius <lukai1@huawei.com>

Fix joid test bug that creation of vm fails

Change-Id: I54d56cb2266ae627e4518f06b14705b672e6f74e
Signed-off-by: wuwb1989 <wuwenbin2@huawei.com>

[multisite]push result to db

Change-Id: Idda3a3a5c8fb20f6894675eb087417e150f8646d
Signed-off-by: meimei <meimei@huawei.com>

Call moon python script to run the moon tests

JIRA: FUNCTEST-210

Change-Id: Ic0a5f5620f9ceb42cb443b2509a2376e48d0cc42
Signed-off-by: Morgan Richomme <morgan.richomme@orange.com>

Merge "copper push to DB fix"

Merge "Update cli output text"

Merge "add parser to feature tier to make it run daily"

Update cli output text

Show correct command for creating snapshot in output when snapshot is
required but not yet created.

Change-Id: I3418406ca3370968248749ec1fdb30196b7d3a00
Signed-off-by: Juha Kosonen <juha.kosonen@nokia.com>

add parser to feature tier to make it run daily

For now parser belongs to vnf tier, but this tier
is defined to run weekly, which is not parser wanted,
so I move it to feature tier to make it run daily.

JIRA: FUNCTEST-413

Change-Id: I5b1fe3e7b140d26fe2e71f0a625e0ffad7937a13
Signed-off-by: SerenaFeng <feng.xiaowei@zte.com.cn>

Update user guide for Colorado

- Automated section
- troubleshooting
- add new feature projects

JIRA: FUNCTEST-406

Change-Id: I6186b287b4defb9dff4547dc228fe5a9326fb6f3
Signed-off-by: Morgan Richomme <morgan.richomme@orange.com>

Provides connection check for package download.

JIRA: FUNCTEST-388

Performs simple connection test, using socket from std python
library. If no connection can be made, socket will timeout and
gracefully move to trying the next compute / control node.

Change-Id: I0048d74d607c8824688c73791c9646f9e9186756
Signed-off-by: Luke Hinds <lukehinds@gmail.com>

copper push to DB fix

JIRA: FUNCTEST-67

Change-Id: I03620f7f41f78da0ab004d55f72da88e9a30a1ea
Signed-off-by: Morgan Richomme <morgan.richomme@orange.com>

Fixing a typo

Multisite jobs kept failing because of a typo.

Signed-off-by: Dimitri Mazmanov <dimitri.mazmanov@ericsson.com>
Change-Id: I6e484e6457c7b8bae7c0343e9307bd15222e4fe3

Merge "Bug fix to eliminate undeterministic behaviour"

Merge "Improve LXD scenario support"

Improve LXD scenario support

JIRA: FUNCTEST-268

Change-Id: I8c8a3eff4a7e94b963c0307010a60723dc13a537
Signed-off-by: boucherv <valentin.boucher@orange.com>

Merge "Tacker post script link changed"

Tacker post script link changed

The tacker post script was modified in the fuel plug-in and thus the link
must be changed

Change-Id: I541eb43baf70171cb7c7ceb3fae284309a1a458b
Signed-off-by: Manuel Buil <manuel.buil@ericsson.com>

[bugfix] should create result folder for multisite

Change-Id: I004225131de57f1597edc62558a3a3e42f31b504
Signed-off-by: meimei <meimei@huawei.com>

[bugfix] pass the wrong argument to rally

Change-Id: I23ff06b53e45e9aa226f430e7d2fb75025281b9e
Signed-off-by: meimei <meimei@huawei.com>

Add conf directory to Dockerfile

Currently mounting the credentials file cannot be done at launch
time since the parent folder doesn't exist. This is usually not
noticed because prepare env will get the credentials file
via ssh, but the docker mount will silently fail.

Change-Id: I2e33c3c218a01ac6e1e5bf09609083dec3647b95
Signed-off-by: Michael Chapman <woppin@gmail.com>

Bug fix to eliminate undeterministic behaviour

When changing the classifier, ODL needs some seconds to update
the switches and sometimes they are not changed when the script
executes the second part of the test ==> test fails

Change-Id: I1fa3306eb7b283d708dbd736d2365456559db9b9
Signed-off-by: Manuel Buil <manuel.buil@ericsson.com>

Merge "Create config_functest patch to update the conf with scenario"

add report flag to parser

parser has no report flag, every time we run the test the results will be reported to db

JIRA: FUNCTEST-410

Change-Id: I6336b4c367fd8edc70e076b81d01d9356580bc22
Signed-off-by: SerenaFeng <feng.xiaowei@zte.com.cn>

Merge "[multisite] refactor the scripts of multiste"

Merge "update pip version of functest docker image"

Merge "Bug fix in functest ODL-SFC"

[multisite] refactor the scripts of multiste

Change-Id: I07f0f5e253b04c9ac70e6dc4ea210e7cecf22c6a
Signed-off-by: meimei <meimei@huawei.com>

change parser path from RNC to vRNC

JIRA: FUNCTEST-409

Change-Id: I83887160a328c6f022efaa1547ca214571a9a01c
Signed-off-by: SerenaFeng <feng.xiaowei@zte.com.cn>

update pip version of functest docker image

JIRA: FUNCTEST-408

Change-Id: Ie14bbd0e2fa6f76957217d27cb8b0c76d4d28a03
Signed-off-by: SerenaFeng <feng.xiaowei@zte.com.cn>

Create config_functest patch to update the conf with scenario

Adding support of LXD scenario

JIRA: FUNCTEST-268

Change-Id: I5891ff9de674d99d32d8db747be501ee8a2e6609
Signed-off-by: boucherv <valentin.boucher@orange.com>

Merge "parser integration bugfix"

Add SKIP status if Domino Test Case is skipped

Change-Id: I099010496dadabc18952de88fd6b3740592fc583
Signed-off-by: Ulas Kozat <ulas.kozat@gmail.com>

parser integration bugfix

JIRA: FUNCTEST-407

Change-Id: I9f202cb09935d9b77c5a977234bec6b505e296fd
Signed-off-by: SerenaFeng <feng.xiaowei@zte.com.cn>

Bug fix in functest ODL-SFC

Change-Id: I496ade3ea5888967e933231f515a340369bffe8f
Signed-off-by: Manuel Buil <manuel.buil@ericsson.com>

Merge "Use Kingbird Bind host URL for Tempest"

Update test with the new SF and new tacker script

- A new SF image was created with a new name. Several files must be updated
- There is a new tacker branch for OPNFV Colorado, an update was made

Change-Id: Ib5ed364467baca32fa204155655318cb1ec189f5
Signed-off-by: Manuel Buil <manuel.buil@ericsson.com>

Use Kingbird Bind host URL for Tempest

Earlier, there was external URL for accessing KB services
in tempest.conf which is not accessible from functest docker.

Use bind host URL for KB service to access from the docker.

Change-Id: I147ffc2cd9883a6913080f9e1ab245807e0ca707
Signed-off-by: ashish singh <ashishsingh2k8@gmail.com>

Merge "Enable Copper functest under JOID"

Merge "Bug fixes odl-sfc + new features"

Bug fixes odl-sfc + new features

* Doing the test with private IPs as floating are currently not working in ODL
* New SF takes more time to start the service. A while loop is added.
* Configuration of the compute set-up due to ODL limitations added

Change-Id: I5449af940caee456262dac66bc47b66fd05c2a70
Signed-off-by: Manuel Buil <manuel.buil@ericsson.com>

Reduced timeout for SSH connection attempt in tempest.conf

Some tempest test cases try to establish SSH connection to
Cirros VMs using default 300s timeout. Since Cirros VMs send
only three DHCP requests with 1 minute interval, future SSH
connection attempts will most probably fail if DHCP response
will not be received right after third request. For that reason
the optimal timeout is slightly above 2 minutes.

JIRA: FUNCTEST-378

Change-Id: I57415ad37a85cd84887d3cac4f7a44f7e145d820
Signed-off-by: vitikkan <viktor.tikkanen@nokia.com>

Merge "Re-generating tempest.conf file before starting tests"

Merge "unify test result check for feature project and apply to parser"

Merge "support "" equals to None check in Testcase.is_compatible"

Re-generating tempest.conf file before starting tests

"rally verify genconfig" command doesn't generate tempest.conf
file if it already exists in the used deployment. This can cause
troubles if some resources (images, flavors etc.) change between
consecutive runs of tempest. The change ensures that tempest.conf
is deleted before executing "rally verify genconfig".

JIRA: FUNCTEST-403

Change-Id: Icf5e380da3cb8757f4177b49028937355e2cf1d7
Signed-off-by: vitikkan <viktor.tikkanen@nokia.com>

unify test result check for feature project and apply to parser

add check_test_result() method to unify test result process

JIRA: FUNCTEST-405

Change-Id: Iee4d2876cbbf372f8c3e3bf94448036669bc7f7e
Signed-off-by: SerenaFeng <feng.xiaowei@zte.com.cn>

support "" equals to None check in Testcase.is_compatible

when check ci_installer/ci_scenario is None, we also check if ci_installer/ci_scenario is ""

JIRA: FUNCTEST-404

Change-Id: Ib8b7b9a98f6eb064d2b3648e5d1334990c69cb2f
Signed-off-by: SerenaFeng <feng.xiaowei@zte.com.cn>

Set lnfo logging level for Doctor tests

JIRA: DOCTOR-63

Change-Id: Iaa8fb5989f69a8853c0e3e03ce87d58fb2d4309b
Signed-off-by: Carlos Goncalves <carlos.goncalves@neclab.eu>

Enable Copper functest under JOID

JIRA: COPPER-4

Change-Id: Ief49cea34ed15ba9c877bf4acd512f4d77cb5016
Signed-off-by: blsaws <bryan.sullivan@att.com>

Merge "Shorter test case names are accepted for tempest blacklist file"

Shorter test case names are accepted for tempest blacklist file

Blacklist file handling is changed so that also partial test case
names are accepted. For example, "tempest.api.object_storage"
entry will exclude all the test cases containing this string.

JIRA: FUNCTEST-401

Change-Id: I620be7dfd5d980a343d2f7cc7c0dbe40598bf65c
Signed-off-by: vitikkan <viktor.tikkanen@nokia.com>

functest utils - get_resolvconf_ns() Ensure that dns works with dns name resolution

JIRA: FUNCTEST-402

Change-Id: I5fa9204aafb13330eb810950aa7bc728f1a69162
Signed-off-by: boucherv <valentin.boucher@orange.com>

Merge "Fix for the endpoint URL for kingbird"

Merge "modfied to mute object storage test on joid."

Fix for the endpoint URL for kingbird

Currently, there is internal IP address which is getting populated
in tempest.conf. Since the tempest are run inside functest docker container
we need to use public IP address for accessing Kingbird services.

Now, there will not be any installer specific endpoints as we had earlier.
All should communicate with public endpoints.

Change-Id: Id22e7e4d9ece9a0000a1186113627b82d6ba400a
Signed-off-by: ashish singh <ashishsingh2k8@gmail.com>

use configured success_rate to check tempest test status

when checking tempest test results using success_rate
configured in testcases.yaml rather than written it in the code

JIRA: FUNCTEST-400

Change-Id: I2a34e3e032a0d94c6a4605fcf09a66c8f8f9b78c
Signed-off-by: SerenaFeng <feng.xiaowei@zte.com.cn>

Fix missing directory when calling bgpvpn tests

Change-Id: Ic9f6b9592202c3bed9d6835eeea7c14971e1c01f
Signed-off-by: jose.lausuch <jose.lausuch@ericsson.com>

Merge "Several bug fixes in ODL-SFC functest testcase"

Several bug fixes in ODL-SFC functest testcase

JIRA: SFC-42

- SSH options added so that the ssh key is not needed
- IPTABLES change done before contacting nova, neutron...
- Fix a problem in the CI test (we need to CD the BASEDIR)

Change-Id: Id63c02a614bf31e5a33637c2bf95270bd1399ff8
Signed-off-by: Manuel Buil <manuel.buil@ericsson.com>

modfied to mute object storage test on joid.

In case of joid we implement ceph-radosgw for object storage which creates
swift api for object storage. Manually i can verify we can upload the
object. But functest is failing other installer removed the API but we
need in JOID for juju based deployment on Openstack. So this patch will
mute the object storage test cases for functest.

Change-Id: I21d2bdc665a9589630cfcacb278cfb65a1c15f11
Signed-off-by: Narinder Gupta <narinder.gupta@canonical.com>

Wrap call to the rest api with try-except while generating report

When the Rest api is not available for some reason
(see associated JIRA), the script fails and it gives also a false
output to Jenkins.

JIRA: FUNCTEST-399

Change-Id: I81622a2e22661889afcf49526c2421af257920a4
Signed-off-by: jose.lausuch <jose.lausuch@ericsson.com>

Add onos_sfc scenario

JIRA:ONOSFW-172

Change-Id: I019edf79f8d343f794aa7af151d8e30c18e2c5f6
Signed-off-by: wuwenbin2 <wuwenbin2@huawei.com>

Add dir_repo_domino to fix bug

JIRA: DOMINO-19

Change-Id: Ib054b859569ef69e32cec650c7dd223199762763
Signed-off-by: Ulas Kozat <ulas.kozat@gmail.com>

Return with exit code in Doctor testcase

JIRA: DOCTOR-63

Change-Id: Ib142a6102a705ee571081651c650ced05f7d5d4f
Signed-off-by: Carlos Goncalves <carlos.goncalves@neclab.eu>

Return with exit code in Promise testcase

JIRA: PROMISE-77

Change-Id: Ie856d7b58f72a253abf4b446e33f3c98d06c50c1
Signed-off-by: Carlos Goncalves <carlos.goncalves@neclab.eu>

Return -1 in Rally if the success criteria is not met

JIRA: FUNCTEST-382

Change-Id: Iaf475ecd3dbfcf6fb639ff146fe96e54c5393a1e
Signed-off-by: Markus Kullberg <markus.kullberg@nokia.com>

Merge "Select test cases in tempest to be blacklisted per each scenario"