Functional testing for tosca2heat translation

in Dockerfile, add parser related work
in config_functest.yaml/testcase.yaml, add parser related configuration
in exec_test.sh to run parser test
add vnf/RNC/parser.py script

JIRA: FUNCTEST-187

Change-Id: I8b53774da00f13b630ec5d9f750817db892a82bb
Signed-off-by: SerenaFeng <feng.xiaowei@zte.com.cn>

Merge "Bugfix: dont stop execution when a test case is not blocking"

Bugfix: dont stop execution when a test case is not blocking

Change-Id: I3564b6f2d8f8057ec2c9753837e3a5fe16a4a866
Signed-off-by: jose.lausuch <jose.lausuch@ericsson.com>

Add endpoint type support on functest

By default public endpoint was used but now you can use internal or admin

JIRA: FUNCTEST-387

Change-Id: If1adaa88248d379ad6d74b20f2dffd76278b67b9
Signed-off-by: boucherv <valentin.boucher@orange.com>

logger the push result of rally test

JIRA: FUNCTEST-393

Change-Id: I94158531739e1e05c694a785a8bbca7f80684af5
Signed-off-by: SerenaFeng <feng.xiaowei@zte.com.cn>

Merge "[bugfix] issures in multisite testcase"

Disable security scan tests

Change-Id: Ic6800f4b1401c44dbded160f45fdd17c706f14f8
Signed-off-by: jose.lausuch <jose.lausuch@ericsson.com>

Make openstack_clean be aware of the names and not only the IDs

Sometimes, when using the same container for a different deployment,
the IDs of the openstack resources are different but the names are
the same. This will avoid cleaning for example the user 'admin'
regardless of the ID it has.

JIRA: FUNCTEST-383

Change-Id: If27603f8f6d0cb7ad0aeba6e3c89ca19e2b8aed2
Signed-off-by: jose.lausuch <jose.lausuch@ericsson.com>

Fix the proper version output for kingbird.

Signed-off-by: Dimitri Mazmanov <dimitri.mazmanov@ericsson.com>

Return -1 in Tempest if the success criteria is not passed.

JIRA: FUNCTEST-381

Change-Id: I533bb50e26a3b97da9fd3bfa007f8ac7ce752a5b
Signed-off-by: jose.lausuch <jose.lausuch@ericsson.com>

Return -1 if copper test fails

Change-Id: Ib66d1b69c73603bab33950ca2c0fca3f07eb3d22
Signed-off-by: jose.lausuch <jose.lausuch@ericsson.com>

[bugfix] issures in multisite testcase

Change-Id: I351311688742c04c2c2b7278015e221178267fda
Signed-off-by: meimei <meimei@huawei.com>

Enable odl-sfc in CI

JIRA:FUNCTEST-392

Change-Id: If1c931df26062501695061e1155eb26ad007c8de
Signed-off-by: Manuel Buil <manuel.buil@ericsson.com>

Bump rally to 0.5.0 and add shyaml

A newer version of rally brings in this change that is required by armband:
https://bugs.launchpad.net/rally/+bug/1580695

The shyaml cli parser can be used to make the healthcheck testcase
configurable, for instance to pass a different cirros image other than the one
for x86_64. Also required by armband to make functest execute all tests.

Change-Id: Ic4976bb6d4a4753e56deade35b641f1127af3162
Signed-off-by: Ciprian Barbu <ciprian.barbu@enea.com>

Merge "[bugfix] miss a argument"

[bugfix] miss a argument

Change-Id: Id8cdf6a5dadee6a2e0ba10772db88c84e5ce13a3
Signed-off-by: meimei <meimei@huawei.com>

substitue misused variable 'total_success' with 'success_rate'

JIRA: FUNCTEST-390

Change-Id: I35a2f72016573fc9e0a8403e436d5568937c5b14
Signed-off-by: SerenaFeng <feng.xiaowei@zte.com.cn>

Generate Functest report at the end of the execution

JIRA: FUNCTEST-89

Change-Id: I10c41efdd6a7f737f57ab15158c8c8d49f392271
Signed-off-by: jose.lausuch <jose.lausuch@ericsson.com>

delete useless stop_time initialization in run_rally-cert.py

stop_time is assigned twice, delete the first one

JIRA:FUNCTEST-384

Change-Id: I380113474e66a73c516f4411d8d7c5832e33921a
Signed-off-by: SerenaFeng <feng.xiaowei@zte.com.cn>

Bug fix for ODL-SFC testcase

The vxlan_tool was sometimes not started properly in the SFs. Now we check
that the process is started

Change-Id: I8b88b76ba30755a1ed339f9e4c374d43e5e0b422
Signed-off-by: Manuel Buil <manuel.buil@ericsson.com>

Bad status on rally_sanity

format total_success to float when compared with numeric 90

JIRA: FUNCTEST-365

Change-Id: I473582053c107bb026bf0e8d76dab46b2e5e3eb6
Signed-off-by: SerenaFeng <feng.xiaowei@zte.com.cn>

add .idea directory to gitignore

ignore .idea created by using pycharm

JIRA: FUNCTEST-386

Change-Id: I425b4525ea16cafc2883f165efd2293a8adb13fb
Signed-off-by: SerenaFeng <feng.xiaowei@zte.com.cn>

Turn off vPing_ssh for odl_l3 scenarios due to odl bug

https://bugs.opendaylight.org/show_bug.cgi?id=5586
JIRA: FUNCTEST-363

Change-Id: I4d195ae7ebbe10cfc4fe2947eecf5f0c051fd4e3
Signed-off-by: jose.lausuch <jose.lausuch@ericsson.com>

Merge "Create a flag in the tests to indicate if they should be blocking or not"

Create a flag in the tests to indicate if they should be blocking or not

JIRA: FUNCTEST-380

Change-Id: I737d71a47ddac80bf0222a1f004af05f509c5971
Signed-off-by: jose.lausuch <jose.lausuch@ericsson.com>

Bug fix for SFC test case

The path is fixed in the sfc_tacker script, some minor bug fixes in sfc.py are
made and the "FAILED" messages are not handled by log.error instead of debug

Change-Id: I2facbd985c1c0c0cac3865504b1bf65940b7ce50
Signed-off-by: Manuel Buil <manuel.buil@ericsson.com>

Add duration message after test execution

Change-Id: Ida68009ba02b2a5135dc4f3ae958fc77088389d7
Signed-off-by: jose.lausuch <jose.lausuch@ericsson.com>

bugfix: Don't try to run a tier if it doesn't contain any enabled test

- Add separation (blank lines) between the test cases output

JIRA: FUNCTEST-349

Change-Id: I54a5d4f33d5776b4754641168c3775d19ca50e4a
Signed-off-by: jose.lausuch <jose.lausuch@ericsson.com>

Fix execute_command function to show all the output

This function wasn't showing anything for some commands,
like 'rally show images' and 'rally show flavors'

JIRA: FUNCTEST-348

Change-Id: I75bf5f3504ea8ffea42c2fb237d6863c655259e1
Signed-off-by: jose.lausuch <jose.lausuch@ericsson.com>

Add cd to test directory

JIRA: COPPER-4

Fix pendantic formatting issue

Change-Id: Iaab44a990fc04addd4c66dc8432bc9428bb5a52f
Signed-off-by: blsaws <bryan.sullivan@att.com>

Bugfix: ODL report to DB fails

JIRA: FUNCTEST-370

Change-Id: I48c8927f3490b86fcf1c95656324429b70201653
Signed-off-by: jose.lausuch <jose.lausuch@ericsson.com>

Merge "Add kingbird endpoint information to functest."

Remove logger as input parameter of functions in openstack_utils

JIRA: FUNCTEST-376

Also some fixes to get rid of flake8 violations in onos-sfc

Change-Id: I52c2fd30a6b81af20ea779db2d73b9386524f7ce
Signed-off-by: jose.lausuch <jose.lausuch@ericsson.com>

Add kingbird endpoint information to functest.

The patch multihops to the fuel node and dynamically retrieves kingbird
endpoint information. It also resolves the controller ip instead of
using the hardcoded value from the config ONLY if the installer type is
Fuel.

Signed-off-by: Dimitri Mazmanov <dimitri.mazmanov@ericsson.com>
Change-Id: I5161df5df3da7283f6374efa6bd1108246c1095a

Add logger to openstack_utils to output error messages

This will help to see the exception error when something
fails

JIRA: FUNCTEST-376

Change-Id: Ibaa6954fc63af00d552ac32b3cf903b9218200d1
Signed-off-by: jose.lausuch <jose.lausuch@ericsson.com>

Merge "Show real time tempest test execution"

Show real time tempest test execution

JIRA: FUNCTEST-375

Change-Id: I4f0cb68639b927f2980389d9331ec260605c8caf
Signed-off-by: jose.lausuch <jose.lausuch@ericsson.com>

Catch timeout exception in vIMS

JIRA: FUNCTEST-368

Change-Id: Ifeec4b89e9a05ee02d5a0829ee787dbd6ef528b2
Signed-off-by: boucherv <valentin.boucher@orange.com>

Exit with -1 return code if something fails in vping tests

Also, turn off debug info from paramiko python module in vping_ssh

JIRA: FUNCTEST-373
JIRA: FUNCTEST-374

Change-Id: I6168cae85db91b2dd6ceac591f12dd9295786b59
Signed-off-by: jose.lausuch <jose.lausuch@ericsson.com>

Extend timeout to check vm in onos-sfc testcase

Change-Id: I68ae154391d8098cab3d3cb05cebe6f1922ca701
Signed-off-by: wuwenbin2 <wuwenbin2@huawei.com>

Don't take openstack snapshot when "-n" option is set

JIRA: FUNCTEST-236

Change-Id: I37bfa4ebe88a8cf02f2cddc8fc4cce70ad87b775
Signed-off-by: jose.lausuch <jose.lausuch@ericsson.com>

[multisite] run on the env of fuel and compass

Change-Id: Ie590a99e8b571af66cc2164c291dd8e9eed47e4a
Signed-off-by: meimei <meimei@huawei.com>

Use blacklist of Tempest test cases for SDNVPN scenario

This patch disables tempest smoke from being executed in bgpvpn scenarios.
Since there is a known upstream issue which won't be resolved before Colorado,
it doesn't make sense to run the test cases in Tempest that will fail due
to that issue.
The Tempest suite will be triggered along with the "features" tier, with
a given blacklist of the known test that will fail.

JIRA: FUNCTEST-369

Change-Id: Ifc533077207e9d62d49bcedcc3cd0936df312891
Signed-off-by: jose.lausuch <jose.lausuch@ericsson.com>

Fixed typo in config.ini for reports.html

JIRA: FUNCTEST-359

Change-Id: Ide565cea987592446a44b168bd4cff0285864192
Signed-off-by: Luke Hinds <lukehinds@gmail.com>

Add functest logger in ODL script

JIRA: FUNCTEST-367

Change-Id: I3a752ca78d274ca8c16f6179534d36f12facc202
Signed-off-by: jose.lausuch <jose.lausuch@ericsson.com>

Push sfc result into DB

Change-Id: I8ab9b5b9322fa3a6905c629e559aa78d9817958f
Signed-off-by: wuwenbin2 <wuwenbin2@huawei.com>

Revert "Disable ODL test."

This reverts commit adf9811e8c0f2fa92ca1c45658a3360e1de8be7e.

JIRA: FUNCTEST-371

Change-Id: I677ed08e017e2b147eec9433b050d3fa480565a2
Signed-off-by: jose.lausuch <jose.lausuch@ericsson.com>

Disable ODL test.

It triggers a lot of errors. See log in the JIRA ticket:
JIRA: FUNCTEST-371

Change-Id: Ia039d36773158850f7746ae6d3a2a65fb350e382
Signed-off-by: jose.lausuch <jose.lausuch@ericsson.com>

Disable ODL reporting to DB

The script odlreport2db.py fails and it needs more investigation
and troubleshooting. For now, we disable it to not block CI

JIRA:FUNCTEST-370

Change-Id: I9952fd7c5238212d6ed1437f1595fdadde9208f2
Signed-off-by: jose.lausuch <jose.lausuch@ericsson.com>

[bug] miss a ; in case statement

Change-Id: I2e3d99203450d2abc93e5f472c6be701a385a3c6
Signed-off-by: meimei <meimei@huawei.com>

Enable domino multi-node test case in Functest

This includes:
 - Add domino.py script
 - Add call to domino.py
 - Add the Domino repo in the Dockerfile
 - Add the test case definition in testcases.yaml

JIRA: FUNCTEST-246

Change-Id: I5a8c3345a14c43fa80e6e86678ae5fb1417b3147
Signed-off-by: Ulas Kozat <ulas.kozat@gmail.com>

Enable new SDNVPN test cases in Functest

JIRA:FUNCTEST-99

The tempest execution has been moved to the sdnvpn
to leverage the logic of execution and collecting
the results from the executor wrapper:
sdnvpn/test/functest/run_tests.py

Change-Id: Ic4763f4ab45dde81f91b241ae91073b9ea47e333
Signed-off-by: jose.lausuch <jose.lausuch@ericsson.com>

Use common way to get the openstack clients

Instead of repeating the code in all the scripts and
importing the openstack libraries, the clients shall
be given by openstack utils, which is its purpose

JIRA: FUNCTEST-163

Change-Id: I1ccc05a3af44ee1ab5938ea9e4e01dbe55f4816d
Signed-off-by: jose.lausuch <jose.lausuch@ericsson.com>

Switch to $SDN_CONTROLLER_IP instead of $neutron_ip

ODL IP is now set to $SDN_CONTROLLER_IP in case of Apex and default.
It follows the next patch [1].

[1] https://gerrit.opnfv.org/gerrit/#/c/16779/

Change-Id: I60238705e45ed31a67da1518ec586e3f2970c13f
Signed-off-by: Cédric Ollivier <cedric.ollivier@orange.com>

[multisite] add kingbird repo and install python lib in docker

JIRA: FUNCTEST-179

Change-Id: Ib88bbbc2d541b2825d768516237a95f68e0418d2
Signed-off-by: meimei <meimei@huawei.com>

[multisite] integrate kingbird tempest testcases

JIRA: FUNCTEST-179

Change-Id: I4a8ae43e2814b3d859c32a6278671f87155aa855
Signed-off-by: meimei <meimei@huawei.com>

Improve timeout management with python

JIRA: FUNCTEST-368

Change-Id: I9f7a6adc807c63694fc5d9fb8a81ad1d2d9d3225
Signed-off-by: boucherv <valentin.boucher@orange.com>

Bump to cloudify-manager 3.3.1

Change-Id: Ica223edb7e2b29ce11634774d8355634b00cada4
Signed-off-by: boucherv <valentin.boucher@orange.com>

Propose a new python file to launch ODL testing

OpenDaylightTesting.py safely replaces start_tests.sh.
It also adds the report of the basic test of RESTConf which was
previously ignored.

JIRA: FUNCTEST-367

Change-Id: I8ba288271455fd9f31cf87aa65bf45cfb53cd8d6
Signed-off-by: Cédric Ollivier <cedric.ollivier@orange.com>

Enhance ips, ports and creds management

It follows the next ODL patch [1] which splits Keystone and Neutron
IPs in Robotframework files. It also adds ODL creds, ODL ports and
tenant name as inputs.

Classical default values are also used now.

[1] https://git.opendaylight.org/gerrit/#/c/41554/

Change-Id: I867f1d4c003c4b96a5d4c3e2f982b5a0e3139217
Signed-off-by: Cédric Ollivier <cedric.ollivier@orange.com>

[multisite] add interface of multisite test suite

JIRA: FUNCTEST-179

Change-Id: I23ae0f73a6efb410e54fedd75537bb2e219344e0
Signed-off-by: meimei <meimei@huawei.com>

Add sfc support for all installers.

JIRA:FUNCTEST-366

Verified in fuel and joid locally.

Change-Id: Ife0fd55361e22b9f2003e592b42558860431747a
Signed-off-by: wuwenbin2 <wuwenbin2@huawei.com>

Merge "Use flavor m1.tiny in healthcheck"

Use flavor m1.tiny in healthcheck

In some small virtual environments, booting 4 VMs using the
flavor m1.small can fail because of insufficient disk space
or available hosts.
Check if the flavor exists, if it doesnt, create it.

Change-Id: Ib7a3f337ea5e0686bcb9af442be175db436e4e8a
Signed-off-by: jose.lausuch <jose.lausuch@ericsson.com>

BugFix --noclean option in the CLI

JIRA: FUNCTEST-340

The flag was placed after the flag -t and it should be
before

Change-Id: I069556b00c31039f1f4cb89c42e17887c45dcb50
Signed-off-by: jose.lausuch <jose.lausuch@ericsson.com>

Merge changes from topics 'fix_unix_rights_py', 'stop_creating_ODL_dir'

* changes:
  Chmod 755 all py files which can be executed
  Stop creating the useless ODL results dir

Chmod 755 all sh files which can be executed

All files where shebang is defined can now be executed by everyone.
It results from [1].

[1] find . -name "*.sh" |xargs grep \#\! |cut -d\:  -f 1 |xargs chmod 755

Change-Id: I8bf1f52e55532d5e82f8188121028e9dd5074294
Signed-off-by: Cédric Ollivier <cedric.ollivier@orange.com>

Chmod 755 all py files which can be executed

All files where __main__ is checked can now be executed by everyone.
It results from [1].

[1] find . -name "*.py" |xargs grep __main__ |cut -d\: -f 1 |xargs chmod 755

Change-Id: I9ad153cfdde0447213e35dac102e668d9e754cf9
Signed-off-by: Cédric Ollivier <cedric.ollivier@orange.com>

Stop creating the useless ODL results dir

Outputs and logs are pushed in ${FUNCTEST_RESULTS_DIR}/odl (instead of
${FUNCTEST_RESULTS_DIR}/ODL). And this directory is created by the
related testing script.

Change-Id: Ie4ad6228d81d3578e777029da45700da09dba8fc
Signed-off-by: Cédric Ollivier <cedric.ollivier@orange.com>

Add fixed_ip and files parameters in openstack_utils in create_instance

This is needed i.e. for sdnvpn test case

Change-Id: I235a6871a86b7a0c4a9ab27a3aef4bfd62ba4d43
Signed-off-by: jose.lausuch <jose.lausuch@ericsson.com>

bug fix: use PASS/FAIL in Onos instead of passed/failed

Change-Id: I6a293d49476a428b82c472dafa47793c494c2c92
Signed-off-by: Morgan Richomme <morgan.richomme@orange.com>

Fix one pep8 violation

Change-Id: I1d57c02bc0e5952bed7f5eb86d0ba602448035e9
Signed-off-by: Cédric Ollivier <cedric.ollivier@orange.com>

Add --noclean option in the CLI

JIRA: FUNCTEST-340

Change-Id: I00cd0a9bf5744bf7ce8998d4bf6427c0766a1322
Signed-off-by: jose.lausuch <jose.lausuch@ericsson.com>

Add delete bgpvpn function in openstack utils

JIRA: FUNCTEST-99

Change-Id: I0d28e5d07c857f4e80d7cf96a2ff4dbf87075abe
Signed-off-by: jose.lausuch <jose.lausuch@ericsson.com>

SFC Testcase for functest

JIRA: FUNCTEST-354

This test case creates two chains, one blocks ssh, the other http
We check with the client that the blocking works in one and then
we change the classifier rules to check the other one

Change-Id: I7d12f5d8b4bc4a7e1566f04e02ca78ac2a4e0920
Signed-off-by: Manuel Buil <manuel.buil@ericsson.com>

Fix onos sfc's block.
Add ping check before login.

Change-Id: If93809ddf727246db453208c79a8e4ecaa288c51
Signed-off-by: wuwenbin2 <wuwenbin2@huawei.com>

Create vnf directory in testcases

JIRA: FUNCTEST-358

Change-Id: I00dacef2a07e3980cc33cdbfad7ea238c1153599
Signed-off-by: Morgan Richomme <morgan.richomme@orange.com>

Merge "Conform start_tests.sh to last ODL patches"

Merge "Update developer guide  documentation"

Conform start_tests.sh to last ODL patches

It mainly removes all hacks vs __init__.robot which can be deleted
since the patches [1] and [2] has been merged.

[1] https://git.opendaylight.org/gerrit/#/c/41461/
[2] https://git.opendaylight.org/gerrit/#/c/41463/

Change-Id: I0692681794737c06609e06f88af64edc6fe98efe
Signed-off-by: Cédric Ollivier <cedric.ollivier@orange.com>

Update developer guide  documentation

JIRA: FUNCTEST-333

Change-Id: Ib5b4d0e28e1ad35e9579465a43fc66d63d4a773c
Signed-off-by: Morgan Richomme <morgan.richomme@orange.com>

Fix function get_hypervisors in openstack utils

JIRA: FUNCTEST-99

Change-Id: I23fd3fae08255d36ec158e5a522640615b5d8a10
Signed-off-by: jose.lausuch <jose.lausuch@ericsson.com>

Added 'vacation' test case

Running this test case illustrates how Functest code base and
performance tend to grow when trying to catch more and more
bugs in OPNFV environment. The case is not bound to any tier.

Change-Id: Ib3c2f3f3d9d78c1251fbb35e6ea6afd3cf1afbdb
Signed-off-by: vitikkan <viktor.tikkanen@nokia.com>

[SDNVPN] Bugfix bgpvpn functions in openstack utils

JIRA: FUNCTEST-99

Change-Id: Ia3fd91ec1dff5283edc3df098bb5cec342f87aea
Signed-off-by: jose.lausuch <jose.lausuch@ericsson.com>

[SDNVPN] Add helper functions to create bgpvpn and associations

JIRA: FUNCTEST-99

These functions are used by sdnvpn test cases
to create vpns and network associations

Change-Id: I2fb25c84d8d02ea1cc92677e6a33e469a5d3ddc3
Signed-off-by: Nikolas Hermanns <nikolas.hermanns@ericsson.com>

[SDNVPN] Adding sdnvpn repo to functest

JIRA: FUNCTEST-99

There are some testcases in the
sdnvpn repo to be executed by
functest. So we need to have the repo cloned.

Change-Id: I9fb11a2429ebd5f911993e4786e616be10cb9a05
Signed-off-by: Nikolas Hermanns <nikolas.hermanns@ericsson.com>

Merge "Adding security_scan section to functest userguide."

Merge "Add Moon in Functest"

Add Moon in Functest

JIRA: FUNCTEST-210

Change-Id: Ibc8792f74c4c62122856cff355e55cda88fc691e
Signed-off-by: Morgan Richomme <morgan.richomme@orange.com>

Merge "Change methods to call openstack utils"

Add BGPVPN neutron client extension for SDNVPN project

JIRA: FUNCTEST-99

Change-Id: I25f5f6769350fdcac9230e168337e9a51fb1fec8
Signed-off-by: jose.lausuch <jose.lausuch@ericsson.com>

Add tacker-client in the functest Docker image

JIRA: FUNCTEST-354

Tacker-client is required for the SFC test cases

Change-Id: I21b1e47c890fb45899f6f83b6583b0ab032662d1
Signed-off-by: Manuel Buil <manuel.buil@ericsson.com>

Adding security_scan section to functest userguide.

JIRA: FUNCTEST-356

Change-Id: Ib7e2fc7eda88425390b37c36cbedc3f89c090f61
Signed-off-by: Luke Hinds <lukehinds@gmail.com>

Merge "Fix tacker client dependencies installation"

Merge "Add support functions for SDNVPN test cases"

Add support functions for SDNVPN test cases

JIRA: FUNCTEST-99

Get availability zones from nova client and
give the possibility to create an instance
on a specific hypervisor (availability zone)

Change-Id: Ieb2d26764c50ea4f4403818bb73a238236e03ee4
Signed-off-by: jose.lausuch <jose.lausuch@ericsson.com>

bug fix: use PASS/FAIL for rally

Change-Id: I1f870aad5b648f24f8097028ba97d6c118402586
Signed-off-by: Morgan Richomme <morgan.richomme@orange.com>

bug fix use FAIL/PASS as criteria for integration in automatic reporting

JIRA: FUNCTEST-355

Change-Id: I683107558b8f83e6de4244d55e6cfd93f0271db7
Signed-off-by: Morgan Richomme <morgan.richomme@orange.com>

Add copper for CI integration

JIRA: FUNCTEST-67

Change-Id: Idffa4ccae4eb51ad335a5c49876bb18731990e84
Signed-off-by: Morgan Richomme <morgan.richomme@orange.com>

Move copper.py to functest repo

JIRA:COPPER-4

Fix minor flake8 issues
Fix PASS|FAIL to match requirements

Change-Id: I91d5ace36c31e4aa189422d8ec20467565e3c4d7
Signed-off-by: blsaws <bryan.sullivan@att.com>