Publish tenantnetwork scenarios

They ease creating all tenant network ressources.
These scenarios should be reused by other more complex ones.

Change-Id: I4ce1872065bde92408d34f2ca8823ce98275d8d5
Signed-off-by: Cédric Ollivier <cedric.ollivier@orange.com>

Merge "Add functest in upper-constraints"

Add functest in upper-constraints

It's required by OPNFV Features such as sfc.
Functest is removed from constraints in Dockerfile else it would
conflict with the local dir.

Change-Id: I2df5cd151b43eb1a4f0320510183d0f28cdf84c3
Signed-off-by: Cédric Ollivier <cedric.ollivier@orange.com>

Merge "Clean requirements"

Clean requirements

It cleans dependencies asked by removed modules.

Change-Id: I3a2013bd5a77e4b99219475fc2c1fc3dc06787be
Signed-off-by: Cédric Ollivier <cedric.ollivier@orange.com>

Fix pylint errors

They are highlighted by the last pylint version.

Change-Id: I473212a413013492716993fb536903b13bff66ed
Signed-off-by: Cédric Ollivier <cedric.ollivier@orange.com>

Add minimal docstings in clearwater_ims_base.py

It will allow forcing 10/10 in any new patchset.

Change-Id: I4cc52a9fb66fdd2c0dcbf9915be262acedac8672
Signed-off-by: Cédric Ollivier <cedric.ollivier@orange.com>

Merge "Leverage on new opnfv/functest-tempest"

Merge "Config flavor metadata via functest - docs update"

Leverage on new opnfv/functest-tempest

It simplifies components, features and smoke containers and they can
now leverage on tempest.

Change-Id: Ie5564b8ba8a58670827af74371194d2583801f1b
Signed-off-by: Cédric Ollivier <cedric.ollivier@orange.com>

Allow overriding the default OPENSTACK_TAG

It allows building containers vs other upper-constraints and then
reusing our Dockerfiles for an older or newer OpenStack versions.

Change-Id: I160e6f7175a11684846cad86c3d47269c88a08ea
Signed-off-by: Cédric Ollivier <cedric.ollivier@orange.com>

Run unit tests as travis-ci job

tox doesn't run perm and py35:
  - travis-ci doesn't set the classical umask
  - ubuntu 14.04 doesn't provide any python 3.5 package

Change-Id: I72ba109b183f079a833a4bab4ab4853d4870ce49
Signed-off-by: Cédric Ollivier <cedric.ollivier@orange.com>

Fix invalid method names in vnfs

Change-Id: Icff1a53ffd7b59d46543b79571b45872a9f243c3
Signed-off-by: Cédric Ollivier <cedric.ollivier@orange.com>

Mock os.makedirs() in test_odl.py

os.makedirs() is called before calling robot.run.

Change-Id: Id651428343510683cd616d8101d22a73ccbf3dad
Signed-off-by: Cédric Ollivier <cedric.ollivier@orange.com>

Run unit tests vs different upper-constraints

It allows setting different upper-constraints (i.e. run unit test vs
OpenStack master).

Change-Id: Ie4f433a9f6b4c68a43ea259abb0f95270fc908ad
Signed-off-by: Cédric Ollivier <cedric.ollivier@orange.com>

Add functest-tempest container

It avoids duplicating operations between functest-smoke,
functest-components, functest-vnf...

It eases building new containers for new tempest-based testcases.

Change-Id: I73b973588f4eb70d1e5874d06d030c5a5d729e95
Signed-off-by: Cédric Ollivier <cedric.ollivier@orange.com>

Update travis-ci config

It stop cross-compiling for arm and creating functest-parser
manifests.

Change-Id: Ic9567232d876e36b3adbff4bc1d4d23ff9ef3b81
Signed-off-by: Cédric Ollivier <cedric.ollivier@orange.com>

Fix pylint warnings in clearwater_ims_base

Change-Id: I663bd2826e43ce888990b012df27ca94e2d49a8d
Signed-off-by: Cédric Ollivier <cedric.ollivier@orange.com>

Remove parser container

Parser conflicts with OpenStack project namespaces due to bad fork
conception. Functest should stop maintaining containers to bypass
issues created by Parser (2 releases).

Change-Id: If52084dc9cb7165a6f53051ad84604bc999dd69c
Signed-off-by: Cédric Ollivier <cedric.ollivier@orange.com>

Remove cloudify_ims_perf

All that modules are uncovered, unverified and deprecated.
They will be safely reverted as soon as they are updated, verified by
gates and unit tests are added.

Change-Id: Iac0893f9f0ccb485d91cd17305e744aff9bf9414
Signed-off-by: Cédric Ollivier <cedric.ollivier@orange.com>

Remove cli and api

cli has been deprecated for a while and restapi is uncovered and
unverified. This patch will be partially reverted as soon as next
unit tests cover functest/api.

It partially updates troubleshooting docs which has to be completed
in a second change [1].

[1] https://jira.opnfv.org/browse/FUNCTEST-982

Change-Id: I08e0bd212fcf5f5c5c220eb2500a6b0a6ff46df7
Signed-off-by: Cédric Ollivier <cedric.ollivier@orange.com>

Support py3 in uncovered packages

It has to be noted that cloudify_rest_client doesn't support py3 then
next unit tests vs cloudify-based testcases would be excluded.

Change-Id: I0b0e64929d1238665c778ce51fd6abd5ccf06b6c
Signed-off-by: Cédric Ollivier <cedric.ollivier@orange.com>

Add py3 support in tempest and rally

Change-Id: I009d38a0db409ab4ec641cba9173ab2386d0ce2a
Signed-off-by: Cédric Ollivier <cedric.ollivier@orange.com>

Config flavor metadata via functest - docs update

Related to the merged patch :
"SNAPS via functest with flavor metadata configurable"

Functest documents are updated accordingly.

Change-Id: I874f041935f64b7240a5ec5de6e9c89b0f4a09fd
Signed-off-by: Panagiotis Karalis <pkaralis@intracom-telecom.com>

Merge "Abort vping_userdata test if IP address is missing"

Abort vping_userdata test if IP address is missing

Do not start checking the result of ping test if the first instance has
no IP address.

JIRA: FUNCTEST-976

Change-Id: I2da3154e63a6a97f86efe8274be84abc437aa133
Signed-off-by: Juha Kosonen <juha.kosonen@nokia.com>

Fix result parsing in cloudify_ims

The previous regex failed when errors are listed [1].

[1] https://build.opnfv.org/ci/view/functest/job/functest-apex-baremetal-daily-fraser/194/console

Change-Id: I57c8bfb8968555c3d43267a06f2bb9a2b95a3268
Signed-off-by: Cédric Ollivier <cedric.ollivier@orange.com>

SNAPS via functest with flavor metadata configurable

The required data for the SNAPS flavors are sent through
the config_functest yaml file in order for the SNAPS scenarios to be
configured accordingly.
If the config_functest yaml file includes empty flavor_extra_specs
or there is not included this parameter, the SNAPS scenarios will be
executed using the hardcoded value.

Change-Id: I4ef46d1fe93497d658414170a72c4520d8f37808
Signed-off-by: Panagiotis Karalis <pkaralis@intracom-telecom.com>

Revert "Stop rolling snaps (bypass bugfixes)"

This reverts commit 8c285c3fb56ce144ff7eb095b6fa401e29a03fc4.

Change-Id: I2acc1cdc7fe2d12c6eb3d100f76c2dc3e502522f
Signed-off-by: Cédric Ollivier <cedric.ollivier@orange.com>

Update cloudify-rest-client to 4.3.2

Change-Id: I8ac0becb57897233c2a12781dc022d9fdfd32f85
Signed-off-by: Cédric Ollivier <cedric.ollivier@orange.com>

Select the right quaff repo

Change-Id: I0aa090bf1f8c6220918ebc1b041bab4a43d444b5
Signed-off-by: Cédric Ollivier <cedric.ollivier@orange.com>

Force unf_ext 0.0.7.4

Else it cannot compile vs arm [1][2]

[1] https://build.opnfv.org/ci/job/functest-vnf-docker-build-arm64-master/231/console
[2] https://github.com/sile/unf/pull/2/commits/74ed3e3b1ec31474cf9b8d8a90aee535607fdfe8

Change-Id: I8b0890c3b7a2a148975635c0f4eafbcc5568fc00
Signed-off-by: Cédric Ollivier <cedric.ollivier@orange.com>

Stop using a forked obsolete repo

It leverages on the official clearwater live test instead.
It now parses the output directly.

Change-Id: Ia7746c13362323daf72b3536d294401f0b7ae42f
Signed-off-by: Cédric Ollivier <cedric.ollivier@orange.com>

Switch to Python3 divide in cloudify_ims

The code simply asks for python3 divide else only live_test = 100% is
considered as successful [1].

[1] https://build.opnfv.org/ci/view/functest/job/functest-apex-baremetal-daily-fraser/169/console

Change-Id: I84690d20791cd3d6a68823eec40f0e4b0f876b72
Signed-off-by: Cédric Ollivier <cedric.ollivier@orange.com>

Switch from OS_ENDPOINT_TYPE to OS_INTERFACE

It also set endpoint_type to public in tempest.conf if unset.

JIRA: FUNCTEST-975

Change-Id: I91bd1d7171b4bcf58dbe818696d5b864d5036619
Signed-off-by: Cédric Ollivier <cedric.ollivier@orange.com>

Return true if at least one passed test

JIRA: FUNCTEST-974

Change-Id: I9915dbb91516baf5307a577c41ede5dca51a2f07
Signed-off-by: Cédric Ollivier <cedric.ollivier@orange.com>

Update clearwater to 129

It switches to Sprint Ulmo [1] which fixes deployment issues in
Orange ONAP Openlab.

[1] http://www.projectclearwater.org/sprint-ulmo-release-note/

Change-Id: I3c32faf4e26e64bb12438238cf1ba66b9771da0d
Signed-off-by: Cédric Ollivier <cedric.ollivier@orange.com>

Merge "Update read and write data path in cinder test"

Update read and write data path in cinder test

Update the path for read/write data
Fix a false possitive result on read_data
Fix read device name
Unmount volume after writing data

JIRA: FUNCTEST-908

Change-Id: I555b5a3daaeff3aa58891e65c0b70094372c04c9
Signed-off-by: Delia Popescu <delia.popescu@enea.com>

Fix tempest result parsing

Detailed results of verifier are in tempest-error.log.

Change-Id: Id5dbdfd3389d1b79dba2bebc5f5ffa7811ef06c8
Signed-off-by: Juha Kosonen <juha.kosonen@nokia.com>

Bypass Cloudify's upper-constraints issues

It installs cmd2 via yum instead as last cmd2 release only supports
python3.

Change-Id: I495d71f11ed48ba47e1aa27965675d4bef7c141e
Signed-off-by: Cédric Ollivier <cedric.ollivier@orange.com>

Fix _do_execute() return code in vping_ssh

Change-Id: I781e51bb56f6cdac8b347e7fd85e70c07eb69e23
Signed-off-by: Cédric Ollivier <cedric.ollivier@orange.com>

Simplify logging

In order to collect logs from features running through
functest framework (mainly for troubleshooting purposes),
the logging mechanism has been updated accordingly.

It should be noted that feature logs are printed in functest.log.
All logs are now printed in functest.log whatever the namespace.

JIRA: SFC-125

Co-Authored-By: Cédric Ollivier <cedric.ollivier@orange.com>
Change-Id: I6cb32e5553749023d490d553ae4653750c52e844
Signed-off-by: Panagiotis Karalis <pkaralis@intracom-telecom.com>
Signed-off-by: Cédric Ollivier <cedric.ollivier@orange.com>

Print vping output instead of Paramiko object

Change-Id: Iddc1abdf443e482e8748434a4ba7d85709d8cd0e
Signed-off-by: Cédric Ollivier <cedric.ollivier@orange.com>

Merge "Stop rolling snaps (bypass bugfixes)"

Stop rolling snaps (bypass bugfixes)

Snaps now requires admin role for creating routers [1].

[1] https://git.opnfv.org/snaps/commit/?id=5a81c2abb920cfe5ea975c37b390838d586a98b1

Change-Id: Ia9a5225e0e31fa3e1c50abb3814e12c98d53e76c
Signed-off-by: Cédric Ollivier <cedric.ollivier@orange.com>

Merge "Add cinder_test testcase"

Add cinder_test testcase

Create 2 instances with Floating IPs
Attach data volume to instance 1
Write data on the volume
Detach volume from instance 1
Attach volume to instance 2
Read data from volume

JIRA: FUNCTEST-908

Change-Id: I10efdfb3b7f9d7e6ab5c6a538052437585d52fb0
Signed-off-by: Delia Popescu <delia.popescu@enea.com>

Set image metadata in tempest

It applied the same operations as [1].
Only one config is used between rally, tempest and vping.

[1] https://gerrit.opnfv.org/gerrit/#/c/57613/

Change-Id: I4d5fd2117d404b7eaa79326e21a35272232d0b92
Signed-off-by: Cédric Ollivier <cedric.ollivier@orange.com>

Bypass Cloudify tenancy issues

It creates a second user to bypass possible bugs and correctly
exits on failure if it cannot connect to manager via ssh.

It leverages on the _member_ user as much as possible.
It also switches all flavor names to avoid conflicts.

It also increases debug logs.

Change-Id: I59cb071248b5ae50952b9f16eb29f7be3f3644ae
Signed-off-by: Cédric Ollivier <cedric.ollivier@orange.com>

Leverage on _member_ user

It leverages on the _member_ user as much as possible.
It also switches all flavor names to avoid conflicts.

It also increases debug logs.

Change-Id: Ica595b0aba81e845ddb1c858fd5d0deb69872319
Signed-off-by: Cédric Ollivier <cedric.ollivier@orange.com>

Merge "Refactor task results manipulation in rally"

Refactor task results manipulation in rally

Use data provided by report generation since the output of task
results is not available as valid JSON if task didn't finish
gracefully.

JIRA: FUNCTEST-966

Change-Id: Ieb906bc209cc26055babd5f4e6b2bb556724f9a8
Signed-off-by: Juha Kosonen <juha.kosonen@nokia.com>

Merge "Fix UserConfig objects"

Fix UserConfig objects

UserConfig is expecting domain_name as arg instead of domain.
Else all vnfs cannot work against non Default domains.

Change-Id: I4bb53df9d9c03524b19ec32f8d346d94ba78d188
Signed-off-by: Cédric Ollivier <cedric.ollivier@orange.com>

Merge "Updated documentation for juju_epc tests"

Updated documentation for juju_epc tests

Change-Id: If9399b7b385cb2660e76fcd42776c0dfcb4f7677
Signed-off-by: soumaya <soumaya.nayek@rebaca.com>

Fine-tuning the juju-epc codebase for better error-handling

The changes are mostly basic/cosmetic in nature.
 - Add some additional info in loggers.
 - Remove timeout from few commands(such as juju deploy)
 - Add exception logging for few commands(such as juju bootstrap).
 - Change rsync to cp for feature file transfer within ABot.

Change-Id: Ibeaae17f1c25d04b7830ed42719b70e6c99228cf
Signed-off-by: soumaya <soumaya.nayek@rebaca.com>

Merge "Update ODL testcase to OpenStack Shade"

Update cirros image version for ARM architecture

Change-Id: Ia7a65a4f83798cb80ca7470d475c2c2d8c9fb6ea
Signed-off-by: Delia Popescu <delia.popescu@enea.com>

Update ODL testcase to OpenStack Shade

Change-Id: I7832b5ed274e181449f9db9fb03a2d27038520ae
Signed-off-by: Cédric Ollivier <cedric.ollivier@orange.com>

Leverage on local descriptor

It simply seems dummy.

Change-Id: Ifb83dd0310f523f211911a35e7b481f9da6f9704
Signed-off-by: Cédric Ollivier <cedric.ollivier@orange.com>

Install Cloudify descritors in functest-vnf

It completes [1] to fix gates [2] and stops getting thirdparty vnf
master (dependencies).

It also prints data to ease debugging.

[1] https://github.com/Orange-OpenSource/opnfv-cloudify-clearwater/commit/abd39d772c77317a25745feaaf312165e7588346
[2] https://build.opnfv.org/ci/view/functest/job/functest-apex-baremetal-daily-fraser/110/console

Change-Id: Ib317a491e54820f4edb01fcecfca9d2a08b40c0f
Signed-off-by: Cédric Ollivier <cedric.ollivier@orange.com>

Add image extra properties back in vping_base

Image extra properties are missing for ARM
Set image_url for ARM
JIRA: ARMBAND-383

Change-Id: I0e2730c3f22214ad61d72424ea76173f1783d0ca
Signed-off-by: Delia Popescu <delia.popescu@enea.com>

Merge "Switch to project domain name"

Merge "Improve ssh timeout in vping_ssh"

Switch to project domain name

At least Fuel, Apex and Joid don't export OS_PROJECT_DOMAIN_ID.
https://build.opnfv.org/ci/view/functest/job/functest-joid-baremetal-daily-master/353/console

Change-Id: I8441d2de1841d5a9ce78c6929fd78da01c45548c
Signed-off-by: Cédric Ollivier <cedric.ollivier@orange.com>

Merge "Make volumes appear as SCSI devices in aarch64"

Improve ssh timeout in vping_ssh

It seems that 10s is not enough for Fuel.

Change-Id: I46d3d2c9091946befb0e056a8c8cc56c59087471
Signed-off-by: Cédric Ollivier <cedric.ollivier@orange.com>

Simplify vping_ssh

It directly calls ping from the ssh socket.
It fixes a possible missing security rule.

It stops blocking if vpings are in failure.

Change-Id: I64092a155bb134fa8b7d31d0d13f695e019540d1
Signed-off-by: Cédric Ollivier <cedric.ollivier@orange.com>

Merge "Functest fail to parse refstack results"

Switch to Shade in rally

Use Shade for managing OpenStack resources in rally.

Change-Id: Ic8b7aaef6886f6ca4930b2ea463317b75ed8d3c9
Signed-off-by: Juha Kosonen <juha.kosonen@nokia.com>

Implement get_external_network via shade

It fixes the current issues as EXTERNAL_NETWORK is mainly unset by
all Installers [1].

[1] https://build.opnfv.org/ci/view/functest/job/functest-fuel-armband-baremetal-arm-daily-fraser/31/console

Change-Id: I8ee62623701c15b9ff962d0a0e07a77934ff03ac
Signed-off-by: Cédric Ollivier <cedric.ollivier@orange.com>

Functest fail to parse refstack results

1. The regular expression can't work well for refstack results
2. Refer to http://testresults.opnfv.org/test/api/v1/results?project=functest&case_name=refstack_defcore&last=1
3. There are 88 success test cases but the list of success is empty
4. Refstack test case name is not always begin with {0}, it maybe any number
5. The test case whose name has the keyword 'fail' will also be list in 'failures'

Change-Id: I5187aaaabdca762256be9162cc85ba42263169bc
Signed-off-by: xudan <xudan16@huawei.com>

Make volumes appear as SCSI devices in aarch64

Adding volumes in openstack by default uses virtio_blk and the
devices appear as /dev/vdX. In aarch64 however a qemu pci slot
is already in use so the tests cannot assign more than one volume
to a VM. Forcing the drives to use virtio-scsi solves the issue
and allows more volumes to be attached as /dev/sdX. The variable
defining the drive is VOLUME_DEVICE_NAME and is passed as
environmental variable when the container is created.

JIRA: ARMBAND-376

Change-Id: Ia688cff338ff319e22a3b26796fa197297c23ce0
Signed-off-by: Charalampos Kominos <Charalampos.Kominos@enea.com>

Rewrite TempestResourcesManager

It now leverages on OpenStack Shade to allow gating OpenStack master
as asked by TSC. Switching to OpenStack master (OpenStack SDK Rocky)
requires to change only one line.

It stops dedicating the network to the user possibly created because
the support is incomplete (the users have to be registed in
tempest.conf and the multiprocessing has to be enforced).

It also writes the second image and the second flavor in tempest.conf.

Change-Id: I9fe2c90a6073ebc240e9aa8fdf2ef93d5dd5f15f
Signed-off-by: Cédric Ollivier <cedric.ollivier@orange.com>

Rewrite vping_ssh and vping_userdata

They now leverage on shade to allow gating OpenStack master as asked
by TSC. Switching to OpenStack master (openstacksdk) requires to
change only one line.

It deletes the related unit tests as they have to be fully rewritten.
They will be added in another change.

Change-Id: I0c60681d6e1c0944960770429ef972947dd85321
Signed-off-by: Cédric Ollivier <cedric.ollivier@orange.com>

Set image_url as filename

It will be reused as soon as vping switches to openstacksdk.

Change-Id: Ib84f4b35b22ead1741579ec9140d3626f9102469
Signed-off-by: Cédric Ollivier <cedric.ollivier@orange.com>

Merge "Add debug logs in cloudify_ims"

Merge "Switch from deploy utils to the right objects"

Merge "Add Rally GnocchiResource scenarios"

Add Rally GnocchiResource scenarios

New scenarios:

GnocchiResource.create_resource (rally_full)
GnocchiResource.create_delete_resource (rally_sanity, rally_full)

Change-Id: Ica03bdd60224d97ef0ec0d45c2cd25c295723ffc
Signed-off-by: Juha Kosonen <juha.kosonen@nokia.com>

Check shell scripts via bashate

It also removes functest/cli/functest-complete.sh.

Change-Id: I5d9313be6a155b4adf1b82ce2b111ec06823cd8f
Signed-off-by: Cédric Ollivier <cedric.ollivier@orange.com>

Switch from deploy utils to the right objects

It also prints the full exceptions and removes useless casts.

Change-Id: I19ff1ae90670833f998c0d17592da82207235229
Signed-off-by: Cédric Ollivier <cedric.ollivier@orange.com>

Add debug logs in cloudify_ims

Change-Id: I47c6d598ce52f292bf2abdd2e9ecbadff6250712
Signed-off-by: Cédric Ollivier <cedric.ollivier@orange.com>

Merge "Update graphs in userguide"

Merge "Fix tier/testcases list"

Bypass NoneType errors when creating router in rally

It converts private subnet name to str as it's mandary till [1].
It could be reverted as soon as [2] is merged in snaps.

[1] https://gerrit.opnfv.org/gerrit/#/c/56091/
[2] https://gerrit.opnfv.org/gerrit/#/c/56171/

Change-Id: Ia728415207f8ecb5b5ac55982f82337c45671c4c
Signed-off-by: Cédric Ollivier <cedric.ollivier@orange.com>

Bypass NoneType errors when creating router

It converts private subnet name to str as it's mandary till [1].
It could be reverted as soon as [2] is merged in snaps.

[1] https://gerrit.opnfv.org/gerrit/#/c/56091/
[2] https://gerrit.opnfv.org/gerrit/#/c/56171/

Change-Id: I849944fa9d4d2be21fe1a37b76c4cfd231b6d56f
Signed-off-by: Cédric Ollivier <cedric.ollivier@orange.com>

Add timeouts in juju_epc

juju_epc still hangs if OpenStack isn't well deployed [1].
As releng doesn't publish logs if the job is aborted, timeout has to
be added mostly everywhere.

[1] https://build.opnfv.org/ci/view/functest/job/functest-apex-baremetal-daily-fraser/31/console

Change-Id: I0296cd811bda0234aab98f184b3ab247a5b32017
Signed-off-by: Cédric Ollivier <cedric.ollivier@orange.com>

Update graphs in userguide

1. Functest structural concept
2. Clearwater architecture

Change-Id: I88e39d6d08f1eb28a389d2b8a7a1669295f6aa49
Signed-off-by: Linda Wang <wangwulin@huawei.com>

Fix tier/testcases list

Change-Id: I15da2df4905efbca4415739fd7c6391b51168c82
Signed-off-by: Linda Wang <wangwulin@huawei.com>

Merge "Update version in setup.cfg (Gambia)"

Merge "Last Release updates before tag (master)"

Update version in setup.cfg (Gambia)

Change-Id: I81ad97a441a050ed9469e178dac8e9dc57c5e72d
Signed-off-by: Cédric Ollivier <cedric.ollivier@orange.com>

Update configguide

JIRA: FUNCTEST-959

Change-Id: Id75689154a63b7258d753f26bb5ff01c0b06012e
Signed-off-by: Linda Wang <wangwulin@huawei.com>

Last Release updates before tag (master)

Change-Id: Icbe6943d574ab5878833fb0cfbc8cd05c65756d6
Signed-off-by: Cédric Ollivier <cedric.ollivier@orange.com>

Merge "Update test results in userguide"

Merge "Update log config for Restapi"

Merge "Fix image paths in cloudify_ims_perf.yaml"