Refactor tempest common

It also renames two testcases and updates all docs because tests
run in parallel in case of tempest smoke.

To force one thread as before:
run:
    module: 'functest.opnfv_tests.openstack.tempest.tempest'
    class: 'TempestCommon'
    args:
        mode: '^tempest\.(api|scenario).*\[.*\bsmoke\b.*\]$'
        option:
            - '--concurrency=1'

JIRA: FUNCTEST-989

Change-Id: I1348f5908400a5046be8edf983db4afa12e546c3
Signed-off-by: Cédric Ollivier <cedric.ollivier@orange.com>
(cherry picked from commit eb8f57466325f398c6b8b5f4d15005c71879a269)

Add helper to find string in console

It allows checking when cloud-init is finished (see heat_ims).

Change-Id: I951aabff29457d7b7544a809f9fce1f83706035e
Signed-off-by: Cédric Ollivier <cedric.ollivier@orange.com>
(cherry picked from commit a80ebe8794dd2693203ceea65a13a69dcf508f94)

Minor change about subnet pool

It reverts the subnet pool to 192.168.120.0/24.
It avoids conflicts with default CPE private subnets.

It also increases cloudify spawning timeout.

Change-Id: I70183cede0690c2cbc74f9c30a38892d829db2c9
Signed-off-by: Cédric Ollivier <cedric.ollivier@orange.com>
(cherry picked from commit cb7e4e1e0687b79a0528ebe6a37683049d960210)

Increase timeout when creating servers

It takes times to prepare disk on compute nodes (spawning).
The default value is enough for all cirros VMs but it has to be
increased for all cloudify VMs (4.1G).

Change-Id: I3f1fc0142a73c586e9219a2718bfc467cc48e275
Signed-off-by: Cédric Ollivier <cedric.ollivier@orange.com>
(cherry picked from commit c391f57e6797e544d14285ca433b2499ed84cd5f)

Reduce cloudify manager disk size

40 Gb is enough

Change-Id: Iae6a72fcf91fda67bbd036f478e344478d48264f
Signed-off-by: Valentin Boucher <valentin.boucher@kontron.com>
(cherry picked from commit 363060485f107bb0af09977e101abc54f1fa207c)

Add secrets operations in cloudify.py

It tries to prevent race conditions when running cloudify_ims.

Traceback (most recent call last):
  File "/usr/lib/python2.7/site-packages/functest/core/singlevm.py", line 411, in run
    if not self.execute():
  File "/usr/lib/python2.7/site-packages/functest/opnfv_tests/vnf/ims/cloudify_ims.py", line 120, in execute
    self.cfy_client.secrets.create(k, val)
  File "/usr/lib/python2.7/site-packages/cloudify_rest_client/secrets.py", line 86, in create
    response = self.api.put('/secrets/{0}'.format(key), data=data)
  File "/usr/lib/python2.7/site-packages/cloudify_rest_client/client.py", line 263, in put
    timeout=timeout)
  File "/usr/lib/python2.7/site-packages/cloudify_rest_client/client.py", line 233, in do_request
    'SSL, but the client does'.format(e)
ConnectionError: ('Connection aborted.', BadStatusLine("''",))

Change-Id: Id2603bbda462b50d3140b6f45894c8810d542e4c
Signed-off-by: Cédric Ollivier <cedric.ollivier@orange.com>
(cherry picked from commit f426c72f2bb6381c631794a4b9f4c3322832e0d3)

Force a GET operations on cloudify API

Cloudify is considered as running by the client but sometimes it
failed when listing secrets right after. It adds that check in
cloudify.py.

Traceback (most recent call last):
  File "/usr/lib/python2.7/site-packages/functest/core/singlevm.py", line 391, in run
    if not self.execute():
  File "/usr/lib/python2.7/site-packages/functest/opnfv_tests/vnf/ims/cloudify_ims.py", line 119, in execute
    secrets_list = self.cfy_client.secrets.list()
  File "/usr/lib/python2.7/site-packages/cloudify_rest_client/secrets.py", line 113, in list
    response = self.api.get('/secrets', params=params)
  File "/usr/lib/python2.7/site-packages/cloudify_rest_client/client.py", line 252, in get
    timeout=timeout)
  File "/usr/lib/python2.7/site-packages/cloudify_rest_client/client.py", line 233, in do_request
    'SSL, but the client does'.format(e)
ConnectionError: ('Connection aborted.', BadStatusLine("''",))

Change-Id: Ie1b25ff529cfbf9f7476821499da369a46126e81
Signed-off-by: Cédric Ollivier <cedric.ollivier@orange.com>
(cherry picked from commit c4c3a33b9e6ae87c15331bf95e5544f0f680e4f0)

Publish cloudify scenario

It eases deploying any vnf via Cloudify.
It also stops duplicating code between vims and vrouter.

Co-Authored-By: Valentin Boucher <valentin.boucher@kontron.com>
Change-Id: I5fe06d91804f4781f6b1301da12862bac793ffbb
Signed-off-by: Cédric Ollivier <ollivier.cedric@gmail.com>
(cherry picked from commit 4c32f394e4ca9058ca69571754ff15156149251d)

Set swift_operator_role if required

Apex creates member as default role which conflicts with the default
swift_operator_role [1]. It detects the default role in lowercase as
well and write it in rally.conf if required.

[1] https://build.opnfv.org/ci/view/functest/job/functest-apex-virtual-suite-master/116/console

Change-Id: Ic4dc98c793207fc32ff35852472742c92db6699c
Signed-off-by: Cédric Ollivier <cedric.ollivier@orange.com>
(cherry picked from commit bafbd217c68c70ae66e052833c3e33298b35da0c)

Revert "Temporarily disable Snaps CreateRouterSuccessTests"

This reverts commit 7786a54c5abe32380468a924f77895b573c576d3.

Change-Id: I53e5f0073191079ab41a8159df2001ff9745da5a
Signed-off-by: Cédric Ollivier <cedric.ollivier@orange.com>

Revert "Temporarily disable HOT including OS::Nova::FloatingIPAssociation"

This reverts commit 95dcfcad2edd90ccde2b40281dab7464f6555237.

Change-Id: I969fb6b4b4808b98af01a5820f029e345daa3f10
Signed-off-by: Cédric Ollivier <cedric.ollivier@orange.com>

Delete the right dir when building functest-vnf

It reduces a lot the size of the docker image.

Change-Id: Ifd577169697b33dfd89594e8dd3afe4aa34ec7f9
Signed-off-by: Cédric Ollivier <cedric.ollivier@orange.com>
(cherry picked from commit 2dcec69c4e9ed34d7046afa694e738c040be02e9)

Temporarily disable HOT including OS::Nova::FloatingIPAssociation

Change-Id: I31b76c5b3604845367c10f6e5d55c415042f6d47
Signed-off-by: Cédric Ollivier <cedric.ollivier@orange.com>
(cherry picked from commit 59ba5abb31018282bca796ee0c0652d61192c6bf)

Force new project.id when creating new users

Else it raises side effects when both project.id and project.name are
defined (see Apex [1])

[1] https://build.opnfv.org/ci/view/functest/job/functest-apex-baremetal-daily-master/148/console

Change-Id: I98665ed55a55fdd02e25d8ad17b78d84548b0ec8
Signed-off-by: Cédric Ollivier <cedric.ollivier@orange.com>
(cherry picked from commit ff0ae3f577311611f8c7ad9ef21370c439e8565b)

Protect vs former interface format

Compass still set publicURL [1]

[1] https://build.opnfv.org/ci/view/functest/job/functest-compass-baremetal-daily-fraser/lastFailedBuild/consoleFull

Change-Id: I88c6ca336a7017f97f4c07719156e567d1afb9df
Signed-off-by: Cédric Ollivier <cedric.ollivier@orange.com>
(cherry picked from commit 06b9ace7a0333d723972502ab3ce5784b6cba689)

Avoid duplicating tempest section in rally.conf

Change-Id: I79598cce2c7dfe0a2e969ddd32735c3eb189fa7a
Signed-off-by: Cédric Ollivier <cedric.ollivier@orange.com>
(cherry picked from commit 8b912cec489a96178fcac5667c03e20850149c3a)

Reuse the right detected role name

It completes "Try to get Member or member role" [1][2].

[1] https://gerrit.opnfv.org/gerrit/#/c/59661/
[2] https://build.opnfv.org/ci/view/functest/job/functest-apex-baremetal-daily-master/144/console

Change-Id: Ib38b513906b08d6f85834e03f5415e83b66b733b
Signed-off-by: Cédric Ollivier <cedric.ollivier@orange.com>
(cherry picked from commit 1222e8c0f3699c5d74c54df11e5cdf00fd468b59)

Add tempest section in rally.conf

It completes the previous patch [1][2].

[1] https://gerrit.opnfv.org/gerrit/#/c/59681/
[2] https://build.opnfv.org/ci/view/functest/job/functest-compass-virtual-daily-master/555/console

Change-Id: I93ad9db2c7a8a0691fed8bf58f5e21d8f3dc9c57
Signed-off-by: Cédric Ollivier <cedric.ollivier@orange.com>
(cherry picked from commit bf39607ee1128f6a9b46c37c0a8ac1e582d39ea5)

Clean all possible resources

It checks all openstack resources before cleaning.
It allows removing images even if the test fail quickly.

Change-Id: I1763b8a70fa7ffeb03c435e8e775c7afd1a7adac
Signed-off-by: Cédric Ollivier <cedric.ollivier@orange.com>
(cherry picked from commit 6166caffe31888ef237874fdcaf088ac4ff8d003)

Cover vping_ssh

Change-Id: I37c52057a45d76e081a1a0145baee96041ca25a5
Signed-off-by: Cédric Ollivier <cedric.ollivier@orange.com>
(cherry picked from commit 98d1a3d8b9beae43f2dacdc79309c39c2435feed)

Fix delete_keypair arg

It uses keypair name instead of id as expected by Shade.
It also increases timers as it boots an ubuntu VM.

Change-Id: I8cd131e7c7a94c8f6b0fcc54a4d75ef8af31b807
Signed-off-by: Cédric Ollivier <cedric.ollivier@orange.com>
(cherry picked from commit e2e68a3806dc89fdc35cc7925b2c6c4118d5569d)

Check the status of inherited steps

Change-Id: If63c228f2844194279b560515f4ab24a4ee88be0
Signed-off-by: Cédric Ollivier <cedric.ollivier@orange.com>
(cherry picked from commit 4fb7e1330137fb77ed1b29bbc7c1491b6e12d9b6)

Force result = 0 if exception

self.result can be positive due to intermediary steps (scenarios).
Else it can return false positives [1].

[1] https://build.opnfv.org/ci/view/functest/job/functest-apex-virtual-suite-master/113/console

Change-Id: Iecadee7f7380fda5273a0668aff1b441647c45aa
Signed-off-by: Cédric Ollivier <cedric.ollivier@orange.com>
(cherry picked from commit f83c5fc1f0ecd3b93a39b3cf90ed9cd478cb37a6)

Update rally image name regex

The default value doesn't conform with our image names.
Else it downloads the image from internet which may be not possible
(offline testing, proxy or deployment l3 issues [1])

[1] https://build.opnfv.org/ci/view/functest/job/functest-apex-virtual-suite-master/113/console

Change-Id: I7d951967784d591e7155fe8582299aaa9b680b10
Signed-off-by: Cédric Ollivier <cedric.ollivier@orange.com>
(cherry picked from commit 8c5703e4e2382f7091aa7f8008d65ce68fa0bf56)

Print all debug messages in a second file

All modules are allowed to print in functest.debug.log.

Change-Id: I9c0be258dba985c9d3171bc2d324464e41e1c584
Signed-off-by: Cédric Ollivier <cedric.ollivier@orange.com>
(cherry picked from commit b1f50e31dccb8fa3badd61c57ec76b8b4abb4510)

Try to get Member or member role

Keystone roles are case insensitive and Apex declares member which
couldn't be detected. Then conflict occured when creating the
mandatory role [1].

It now searches the default role in lower case too.

[1] https://build.opnfv.org/ci/view/functest/job/functest-apex-baremetal-daily-master/141/console

Change-Id: I687ecfe768ab4717fdb42a135c4bf9b76733ffd9
Signed-off-by: Cédric Ollivier <cedric.ollivier@orange.com>
(cherry picked from commit 4f89564b20e9c3462614706a616d469540631786)

Define one logger per key module

Snaps is printing lots of error messages which makes user confused.
It will decrease the size of functest.log.

Change-Id: I2c7d8ec968350563fbfbd62dcc2fc39b13b39a78
Signed-off-by: Cédric Ollivier <ollivier.cedric@gmail.com>
(cherry picked from commit 3f4e49c480ac9a72c76c7c8435caad2fcf81abf0)

Temporarily disable Snaps CreateRouterSuccessTests

The test could be falsy regarding the possible external network
configs [1]. This patch will be reverted as soon as the bug is closed
[2].

[1] https://build.opnfv.org/ci/view/functest/job/functest-apex-baremetal-daily-fraser/246/console
[2] https://jira.opnfv.org/browse/SNAPS-320

Change-Id: I680656b300f0d669e8d96bec6c94a4a804ebbecb
Signed-off-by: Cédric Ollivier <cedric.ollivier@orange.com>
(cherry picked from commit 74c4e99c18d00d80ce7a2c2f0c36e656a842b966)

Get aarch64 image metadata for cinder and vping testcase

Image metadata for cinder and vping tests is no longer set for ARM

Change-Id: I2ab8e6ce55c6e619b96e49ecec7afe727a902345
Signed-off-by: Delia Popescu <delia.popescu@enea.com>
(cherry picked from commit c944ba0ae455c57e268f687128a9332ea3351e11)

Abort vping_userdata test if IP address is missing

Do not start checking the result of ping test if the first instance has
no IP address.

JIRA: FUNCTEST-976

Change-Id: I2da3154e63a6a97f86efe8274be84abc437aa133
Signed-off-by: Juha Kosonen <juha.kosonen@nokia.com>
(cherry picked from commit 34ba453f1924f0d3ccd54d38db82fe008ab40442)

Create Member role if required

It seems there is no common role configuration between OPNFV
installers. Then it creates/removes the expected role if required.

Change-Id: I38a92e2522a401f46a59813b9e9443a11d6c7060
Signed-off-by: Cédric Ollivier <cedric.ollivier@orange.com>
(cherry picked from commit b3916af1754e02bb952b431a36c70b0c3aee9a0a)

Inherit rally from VmReady1

It also fixes clean().

Change-Id: I42d1305d5cdb5a717cfa7fce26798ac7102310f7
Signed-off-by: Cédric Ollivier <cedric.ollivier@orange.com>
(cherry picked from commit 43d6672e637a5b5b68ac4c382140996b4b9b17da)

Update patches for all tests based on scenarios

Change-Id: Iff7fd8e6c14bdfb67ae146c5be1e073673a951d8
Signed-off-by: Cédric Ollivier <cedric.ollivier@orange.com>
(cherry picked from commit 780ca99c712cf6c94147bfc72095fba61768e74b)

Fix role name for tenantnetwork

Role name _member_ is no longer available
The test returnes OpenstackCloudException that
role _member_ is not found

Change-Id: I37c8dfe6c4da04009ccabbc49e12c2123d92832b
Signed-off-by: Delia Popescu <delia.popescu@enea.com>
(cherry picked from commit 7597d0af5d3e25e9f0eccc74eb4e904f3389332d)

Add dedug data when creating project/user

https://build.opnfv.org/ci/view/functest/job/functest-apex-baremetal-daily-master/127/console

Change-Id: I233cef05560eba5f238b0eea3e2c56cb3c882931
Signed-off-by: Cédric Ollivier <cedric.ollivier@orange.com>
(cherry picked from commit 6a3328b3e9d77810b725e96d21a225283396cfcf)

Force the use of public endpoints in shaker.py

It now leverages on the new user created and gets the public endpoint.

Change-Id: Iead106e614a73708cb13e33b49a2f438766a3056
Signed-off-by: Cédric Ollivier <cedric.ollivier@orange.com>
(cherry picked from commit 192cdecb5d7ed16641d1c5520450be38e9e0f166)

Improve scenarios to reduce duplicate codes

Change-Id: I71f79b9ac8314ac979d4b1009f662baa7c93a4fd
Signed-off-by: Cédric Ollivier <cedric.ollivier@orange.com>
(cherry picked from commit d2bf2e00eaedb5113f4baee3a707aa026dd1c18d)

Fix hardcoded value

Change-Id: I070e1404a4b0dba4733f38e2de32e1fa77254ddc
Signed-off-by: Cédric Ollivier <cedric.ollivier@orange.com>
(cherry picked from commit 9927a930bd77b7be7fa079472838f0c9f10e1c13)

Decrease the log level when connecting in singlevm

https://build.opnfv.org/ci/view/functest/job/functest-compass-baremetal-daily-master/172/console

Change-Id: I0fd3bb833d306626c0eb6393fff3d0fca0579100
Signed-off-by: Cédric Ollivier <cedric.ollivier@orange.com>
(cherry picked from commit 92bbc5c3e4f84ee141cdf5cc78d296e27f246124)

Fix user/project create operations

os_client_config creates a singleton which forbids the previous
processing. It also cleans remaining resources and allows
publishing public images (needed by Tempest)

Change-Id: I3a0ad8664b263d3ee8599efe2973465006d5750b
Signed-off-by: Cédric Ollivier <cedric.ollivier@orange.com>
(cherry picked from commit c717c43b1257e126296a4b1d697c8f6a72728855)

Update tempest to inherit from VmReady1

It also copies tempest.conf due to side effects raised by
Barbican plugins.

Change-Id: Ie87680f5d2e68527a5a61aac302838afc339dde8
Signed-off-by: Cédric Ollivier <cedric.ollivier@orange.com>
(cherry picked from commit 9ef0bcbeb22ca70ff2ceb750c08fb24e46a9d0ea)

Publish vmready scenarios

It will simplify code in juju_epc, tempest, etc.

Change-Id: I195ae1d7d75f1c2f2eba76ae3c5307153e9b9759
Signed-off-by: Cédric Ollivier <cedric.ollivier@orange.com>
(cherry picked from commit b2824f4dc2f32731667e2cf511635dc885d08be9)

Publish singlevm scenarios

They ease creating all ressources to execute command in a new VM
reachable via ssh. This scenarios should be reused by other
more advanced ones (shaker, vping, cinder, etc.).

Change-Id: If23866827c64a7afbdd8ff596dbc33710ee4ee20
Signed-off-by: Cédric Ollivier <cedric.ollivier@orange.com>
(cherry picked from commit 0f6c31a434873068e6c3bfecf31930536bf59d2f)

Publish tenantnetwork scenarios

They ease creating all tenant network ressources.
These scenarios should be reused by other more complex ones.

Change-Id: I4ce1872065bde92408d34f2ca8823ce98275d8d5
Signed-off-by: Cédric Ollivier <cedric.ollivier@orange.com>
(cherry picked from commit 979161874ba837f55a53aba391966c52433123e6)

Update release notes for 6.2.0

Change-Id: I140b02cb0b7c991f0818b7d3e3447e8485e923ee
Signed-off-by: Cédric Ollivier <cedric.ollivier@orange.com>

Modify config_patch.yaml according to the new snaps config

It allows verifying ovs scenarios via snaps.

JIRA: FUNCTEST-984

Change-Id: I0fedadc0b9e265c424ae3221469b8d28b9a68afa
Signed-off-by: Cédric Ollivier <cedric.ollivier@orange.com>
(cherry picked from commit 06caf7c89f3a49185e9b9c1cfe40720b25ee2bc2)

Config flavor metadata via functest - docs update

Related to the merged patch :
"SNAPS via functest with flavor metadata configurable"

Functest documents are updated accordingly.

Change-Id: I874f041935f64b7240a5ec5de6e9c89b0f4a09fd
Signed-off-by: Panagiotis Karalis <pkaralis@intracom-telecom.com>
(cherry picked from commit a62dc183e6a916095b31f22a294d8f81306bf23b)

SNAPS via functest with flavor metadata configurable

The required data for the SNAPS flavors are sent through
the config_functest yaml file in order for the SNAPS scenarios to be
configured accordingly.
If the config_functest yaml file includes empty flavor_extra_specs
or there is not included this parameter, the SNAPS scenarios will be
executed using the hardcoded value.

Change-Id: I4ef46d1fe93497d658414170a72c4520d8f37808
Signed-off-by: Panagiotis Karalis <pkaralis@intracom-telecom.com>
(cherry picked from commit 5a94beb62293151ef6f4e94ed500579de1f3673e)

Revert "Stop rolling snaps (bypass bugfixes)"

This reverts commit 5c6b1b4710f2a69f11a1ccb1c699f7c8c3616290.

Change-Id: Ifcdf508f792741f947dee6c8eed1ff5dd57ab3cc
Signed-off-by: Cédric Ollivier <cedric.ollivier@orange.com>

Add minimal docstings in clearwater_ims_base.py

It will allow forcing 10/10 in any new patchset.

Change-Id: I4cc52a9fb66fdd2c0dcbf9915be262acedac8672
Signed-off-by: Cédric Ollivier <cedric.ollivier@orange.com>
(cherry picked from commit f1353fff60344b01c588d9724b3b1de819cbe661)

Mock os.makedirs() in test_odl.py

os.makedirs() is called before calling robot.run.

Change-Id: Id651428343510683cd616d8101d22a73ccbf3dad
Signed-off-by: Cédric Ollivier <cedric.ollivier@orange.com>
(cherry picked from commit 383ed86699816f633f007c515338d0fa022bf4fc)

Fix pylint warnings in clearwater_ims_base

Change-Id: I663bd2826e43ce888990b012df27ca94e2d49a8d
Signed-off-by: Cédric Ollivier <cedric.ollivier@orange.com>
(cherry picked from commit 020ac360117ad3dffceef7286b2a4888664f5cf4)

Fix invalid method names in vnfs

Change-Id: Icff1a53ffd7b59d46543b79571b45872a9f243c3
Signed-off-by: Cédric Ollivier <cedric.ollivier@orange.com>

Fix result parsing in cloudify_ims

The previous regex failed when errors are listed [1].

[1] https://build.opnfv.org/ci/view/functest/job/functest-apex-baremetal-daily-fraser/194/console

Change-Id: I57c8bfb8968555c3d43267a06f2bb9a2b95a3268
Signed-off-by: Cédric Ollivier <cedric.ollivier@orange.com>
(cherry picked from commit da3c805f8829f67d4d4154cd24f322ccf516b450)

Update cloudify-rest-client to 4.3.2

Change-Id: I8ac0becb57897233c2a12781dc022d9fdfd32f85
Signed-off-by: Cédric Ollivier <cedric.ollivier@orange.com>
(cherry picked from commit 776eccccedbd560e8be332504bfa3cdfcbdc66e3)

Select the right quaff repo

Change-Id: I0aa090bf1f8c6220918ebc1b041bab4a43d444b5
Signed-off-by: Cédric Ollivier <cedric.ollivier@orange.com>
(cherry picked from commit 759cd4bb92e171b16af5c6c1206352b92096d596)

Force unf_ext 0.0.7.4

Else it cannot compile vs arm [1][2]

[1] https://build.opnfv.org/ci/job/functest-vnf-docker-build-arm64-master/231/console
[2] https://github.com/sile/unf/pull/2/commits/74ed3e3b1ec31474cf9b8d8a90aee535607fdfe8

Change-Id: I8b0890c3b7a2a148975635c0f4eafbcc5568fc00
Signed-off-by: Cédric Ollivier <cedric.ollivier@orange.com>
(cherry picked from commit e9b5f08ddbdfefd6cbdf226a10b79b2349c4c86b)

Stop using a forked obsolete repo

It leverages on the official clearwater live test instead.
It now parses the output directly.

Conflicts:
    docker/vnf/Dockerfile

Change-Id: Ia7746c13362323daf72b3536d294401f0b7ae42f
Signed-off-by: Cédric Ollivier <cedric.ollivier@orange.com>
(cherry picked from commit 0c55898253147b8fb6e5ef1afbf6f462a5b343b5)

Switch to Python3 divide in cloudify_ims

The code simply asks for python3 divide else only live_test = 100% is
considered as successful [1].

[1] https://build.opnfv.org/ci/view/functest/job/functest-apex-baremetal-daily-fraser/169/console

Change-Id: I84690d20791cd3d6a68823eec40f0e4b0f876b72
Signed-off-by: Cédric Ollivier <cedric.ollivier@orange.com>
(cherry picked from commit f7b6a9a8d69313bbb8203eaf25b2d78d86ae799c)

Switch from OS_ENDPOINT_TYPE to OS_INTERFACE

It also set endpoint_type to public in tempest.conf if unset.

JIRA: FUNCTEST-975

Change-Id: I91bd1d7171b4bcf58dbe818696d5b864d5036619
Signed-off-by: Cédric Ollivier <cedric.ollivier@orange.com>
(cherry picked from commit 4f9789cfab845d7209f5a2fc2209cad8941d02d6)

Return true if at least one passed test

JIRA: FUNCTEST-974

Change-Id: I9915dbb91516baf5307a577c41ede5dca51a2f07
Signed-off-by: Cédric Ollivier <cedric.ollivier@orange.com>
(cherry picked from commit d77a8c4158562dea02500a7b6240b4934ab4fc7c)

Update clearwater to 129

It switches to Sprint Ulmo [1] which fixes deployment issues in
Orange ONAP Openlab.

[1] http://www.projectclearwater.org/sprint-ulmo-release-note/

Change-Id: I3c32faf4e26e64bb12438238cf1ba66b9771da0d
Signed-off-by: Cédric Ollivier <cedric.ollivier@orange.com>
(cherry picked from commit a66e3b24e4dccd9e58fa5947d9850df48e74f07e)

Bypass Cloudify's upper-constraints issues

It installs cmd2 via yum instead as last cmd2 release only supports
python3.

Change-Id: I495d71f11ed48ba47e1aa27965675d4bef7c141e
Signed-off-by: Cédric Ollivier <cedric.ollivier@orange.com>
(cherry picked from commit 8b81b33530a9e46e7e6e7f8b81e752892bf9f2b9)

Fix _do_execute() return code in vping_ssh

Change-Id: I781e51bb56f6cdac8b347e7fd85e70c07eb69e23
Signed-off-by: Cédric Ollivier <cedric.ollivier@orange.com>
(cherry picked from commit 30e4106b56608595885e1b46ad4b668866ab9426)

Simplify logging

In order to collect logs from features running through
functest framework (mainly for troubleshooting purposes),
the logging mechanism has been updated accordingly.

It should be noted that feature logs are printed in functest.log.
All logs are now printed in functest.log whatever the namespace.

JIRA: SFC-125

Co-Authored-By: Cédric Ollivier <cedric.ollivier@orange.com>
Change-Id: I6cb32e5553749023d490d553ae4653750c52e844
Signed-off-by: Panagiotis Karalis <pkaralis@intracom-telecom.com>
Signed-off-by: Cédric Ollivier <cedric.ollivier@orange.com>
(cherry picked from commit ceaea7f0cb95bce7f71d29dff71d58654cf0e700)

Print vping output instead of Paramiko object

Change-Id: Iddc1abdf443e482e8748434a4ba7d85709d8cd0e
Signed-off-by: Cédric Ollivier <cedric.ollivier@orange.com>
(cherry picked from commit 72b17bc82ac5c6a388adbfc8a564f118d0ccd247)

Add debug logs in cloudify_ims

Change-Id: I47c6d598ce52f292bf2abdd2e9ecbadff6250712
Signed-off-by: Cédric Ollivier <cedric.ollivier@orange.com>
(cherry picked from commit e5abdcc0d867f293dd89c9ba1a398071ef2cedd0)

Bypass Cloudify tenancy issues

It creates a second user to bypass possible bugs and correctly
exits on failure if it cannot connect to manager via ssh.

It leverages on the _member_ user as much as possible.
It also switches all flavor names to avoid conflicts.

It also increases debug logs.

Change-Id: I59cb071248b5ae50952b9f16eb29f7be3f3644ae
Signed-off-by: Cédric Ollivier <cedric.ollivier@orange.com>
(cherry picked from commit a3542307b369ab91ee24d1fed534b565cd4030d7)

Leverage on _member_ user

It leverages on the _member_ user as much as possible.
It also switches all flavor names to avoid conflicts.

It also increases debug logs.

Change-Id: Ica595b0aba81e845ddb1c858fd5d0deb69872319
Signed-off-by: Cédric Ollivier <cedric.ollivier@orange.com>
(cherry picked from commit 8238ec092d2823fbb77537169580721ed0c4d03e)

Stop rolling snaps (bypass bugfixes)

Snaps now requires admin role for creating routers [1].

[1] https://git.opnfv.org/snaps/commit/?h=stable/fraser&id=b351d8cf4d882c7ec3acbd0111b4d0bf1747c9d3

Change-Id: If3148ffac3e572f7971dbd56dad889e0028a763a
Signed-off-by: Cédric Ollivier <cedric.ollivier@orange.com>

Set image metadata in tempest

It applied the same operations as [1].
Only one config is used between rally, tempest and vping.

[1] https://gerrit.opnfv.org/gerrit/#/c/57613/

Change-Id: I4d5fd2117d404b7eaa79326e21a35272232d0b92
Signed-off-by: Cédric Ollivier <cedric.ollivier@orange.com>
(cherry picked from commit 46d61dac3e306249e729f45d25e33c3b4d7986e9)

Update Release Notes (Fraser.1)

Change-Id: I574d1477e59c4261e385b5457bf351b0a4085899
Signed-off-by: Cédric Ollivier <cedric.ollivier@orange.com>

Switch to Shade in rally

Use Shade for managing OpenStack resources in rally.

Conflicts:
    functest/opnfv_tests/openstack/rally/rally.py
    functest/tests/unit/openstack/rally/test_rally.py

Change-Id: Ic8b7aaef6886f6ca4930b2ea463317b75ed8d3c9
Signed-off-by: Juha Kosonen <juha.kosonen@nokia.com>
(cherry picked from commit e32353a740a3aaa76031fe9c2372b11f88add1bb)

Update ODL testcase to OpenStack Shade

Conflicts:
    functest/opnfv_tests/sdn/odl/odl.py
    functest/tests/unit/odl/test_odl.py

Change-Id: I7832b5ed274e181449f9db9fb03a2d27038520ae
Signed-off-by: Cédric Ollivier <cedric.ollivier@orange.com>
(cherry picked from commit c9b0a0a1bf5b30f241dee566c815d4e527ec9628)

Switch to project domain name

At least Fuel, Apex and Joid don't export OS_PROJECT_DOMAIN_ID.
https://build.opnfv.org/ci/view/functest/job/functest-joid-baremetal-daily-master/353/console

Change-Id: I8441d2de1841d5a9ce78c6929fd78da01c45548c
Signed-off-by: Cédric Ollivier <cedric.ollivier@orange.com>
(cherry picked from commit 084dd47cdeb68f150165e009877ed995cb9db6dc)

Rewrite TempestResourcesManager

It now leverages on OpenStack Shade to allow gating OpenStack master
as asked by TSC. Switching to OpenStack master (OpenStack SDK Rocky)
requires to change only one line.

It stops dedicating the network to the user possibly created because
the support is incomplete (the users have to be registed in
tempest.conf and the multiprocessing has to be enforced).

It also writes the second image and the second flavor in tempest.conf.

Conflicts:
    functest/opnfv_tests/openstack/tempest/tempest.py
    functest/tests/unit/openstack/tempest/test_conf_utils.py
    functest/tests/unit/openstack/tempest/test_tempest.py

Change-Id: I9fe2c90a6073ebc240e9aa8fdf2ef93d5dd5f15f
Signed-off-by: Cédric Ollivier <cedric.ollivier@orange.com>
(cherry picked from commit 9fb702111ae63824a2e293d327437d0486a565d2)

Add image extra properties back in vping_base

Image extra properties are missing for ARM
Set image_url for ARM
JIRA: ARMBAND-383

Change-Id: I0e2730c3f22214ad61d72424ea76173f1783d0ca
Signed-off-by: Delia Popescu <delia.popescu@enea.com>
(cherry picked from commit 1aaeab75130345ae9198de23d013f9840044c8b5)

Improve ssh timeout in vping_ssh

It seems that 10s is not enough for Fuel.

Change-Id: I46d3d2c9091946befb0e056a8c8cc56c59087471
Signed-off-by: Cédric Ollivier <cedric.ollivier@orange.com>
(cherry picked from commit e1e1317226b4022b6e77ae7ddcc9a1ef9d8ccbd2)

Simplify vping_ssh

It directly calls ping from the ssh socket.
It fixes a possible missing security rule.

It stops blocking if vpings are in failure.

Change-Id: I64092a155bb134fa8b7d31d0d13f695e019540d1
Signed-off-by: Cédric Ollivier <cedric.ollivier@orange.com>
(cherry picked from commit 213ca8e4e4d155ed6d5626020e56c3a241d1dace)

Implement get_external_network via shade

It fixes the current issues as EXTERNAL_NETWORK is mainly unset by
all Installers [1].

[1] https://build.opnfv.org/ci/view/functest/job/functest-fuel-armband-baremetal-arm-daily-fraser/31/console

Change-Id: I8ee62623701c15b9ff962d0a0e07a77934ff03ac
Signed-off-by: Cédric Ollivier <cedric.ollivier@orange.com>
(cherry picked from commit 8cf94642d8e41af5b23892323528aaab0e087a83)

Rewrite vping_ssh and vping_userdata

They now leverage on shade to allow gating OpenStack master as asked
by TSC. Switching to OpenStack master (openstacksdk) requires to
change only one line.

It deletes the related unit tests as they have to be fully rewritten.
They will be added in another change.

Conflict:
    functest/opnfv_tests/openstack/vping/vping_base.py

Change-Id: I0c60681d6e1c0944960770429ef972947dd85321
Signed-off-by: Cédric Ollivier <cedric.ollivier@orange.com>
(cherry picked from commit f1fbaabcc46dafe4b9937af600294f042cab31e0)

Set image_url as filename

It will be reused as soon as vping switches to openstacksdk.

Change-Id: Ib84f4b35b22ead1741579ec9140d3626f9102469
Signed-off-by: Cédric Ollivier <cedric.ollivier@orange.com>
(cherry picked from commit 67d0f2c89b22a18580c6a3acdcdff1648af36e95)

Switch from deploy utils to the right objects

It also prints the full exceptions and removes useless casts.

Change-Id: I19ff1ae90670833f998c0d17592da82207235229
Signed-off-by: Cédric Ollivier <cedric.ollivier@orange.com>
(cherry picked from commit fd18d52e94cc293c32bb7f69a00ec4604bdace0e)

Merge "Fix UserConfig objects" into stable/fraser

Fix UserConfig objects

UserConfig is expecting domain_name as arg instead of domain.
Else all vnfs cannot work against non Default domains.

Change-Id: I4bb53df9d9c03524b19ec32f8d346d94ba78d188
Signed-off-by: Cédric Ollivier <cedric.ollivier@orange.com>
(cherry picked from commit 4bdb6e5de13eb5dc7f175dcc45d0dfedd0582fe4)

Fine-tuning the juju-epc codebase for better error-handling

The changes are mostly basic/cosmetic in nature.
 - Add some additional info in loggers.
 - Remove timeout from few commands(such as juju deploy)
 - Add exception logging for few commands(such as juju bootstrap).
 - Change rsync to cp for feature file transfer within ABot.

Change-Id: Ibeaae17f1c25d04b7830ed42719b70e6c99228cf
Signed-off-by: soumaya <soumaya.nayek@rebaca.com>
(cherry picked from commit a69c4be1d1b4c6cc5021a14e63c9f73d28490942)

Updated documentation for juju_epc tests

Change-Id: If9399b7b385cb2660e76fcd42776c0dfcb4f7677
Signed-off-by: soumaya <soumaya.nayek@rebaca.com>
(cherry picked from commit bd029d8b6b6801461904a257d566cd46a8c8d130)

Update cirros image version for ARM architecture

Change-Id: Ia7a65a4f83798cb80ca7470d475c2c2d8c9fb6ea
Signed-off-by: Delia Popescu <delia.popescu@enea.com>
(cherry picked from commit c967e4702b215b3899c822c60529651335220cfa)

Leverage on local descriptor

It simply seems dummy.

Change-Id: Ifb83dd0310f523f211911a35e7b481f9da6f9704
Signed-off-by: Cédric Ollivier <cedric.ollivier@orange.com>
(cherry picked from commit 7668df132aa661973a37aa5842be502765ba4922)

Install Cloudify descritors in functest-vnf

It completes [1] to fix gates [2] and stops getting thirdparty vnf
master (dependencies).

It also prints data to ease debugging.

[1] https://github.com/Orange-OpenSource/opnfv-cloudify-clearwater/commit/abd39d772c77317a25745feaaf312165e7588346
[2] https://build.opnfv.org/ci/view/functest/job/functest-apex-baremetal-daily-fraser/110/console

Conflicts:
    docker/vnf/Dockerfile
    functest/opnfv_tests/vnf/ims/cloudify_ims.yaml

Change-Id: Ib317a491e54820f4edb01fcecfca9d2a08b40c0f
Signed-off-by: Cédric Ollivier <cedric.ollivier@orange.com>
(cherry picked from commit 19807ef8967c21da41fe5f5566751be8de250434)

Merge "Functest fail to parse tempest-based results" into stable/fraser

Make volumes appear as SCSI devices in aarch64

Adding volumes in openstack by default uses virtio_blk and the
devices appear as /dev/vdX. In aarch64 however a qemu pci slot
is already in use so the tests cannot assign more than one volume
to a VM. Forcing the drives to use virtio-scsi solves the issue
and allows more volumes to be attached as /dev/sdX. The variable
defining the drive is VOLUME_DEVICE_NAME and is passed as
environmental variable when the container is created.

JIRA: ARMBAND-376

Change-Id: Ia688cff338ff319e22a3b26796fa197297c23ce0
Signed-off-by: Charalampos Kominos <Charalampos.Kominos@enea.com>
(cherry picked from commit a663c33645681f66ebe6b6af79c4e9f5910fb26b)

Functest fail to parse tempest-based results

1. The regular expression can't work well for all tempest-based results
2. Refer to http://testresults.opnfv.org/test/api/v1/results?project=functest&case_name=refstack_defcore&last=1
3. There are 88 success test cases but the list of success is empty
4. tempest test case name is not always begin with {0}, it maybe any number
5. The test case whose name has the keyword 'fail' will also be list in 'failures'

Change-Id: I5187aaaabdca762256be9162cc85ba42263169bc
Signed-off-by: xudan <xudan16@huawei.com>
(cherry picked from commit 9286e052afe194c400479275edaa2aaf8ed52de8)

Control vping cleanup step via --noclean

Change-Id: Ic43b100348e77fd96aab9abc5a9ec4a0b47a2f87
Signed-off-by: Linda Wang <wangwulin@huawei.com>
(cherry picked from commit 1ca85485f74d09dfd6787b75fb40cb70dce64e4b)

Check shell scripts via bashate

It also removes functest/cli/functest-complete.sh.

Change-Id: I5d9313be6a155b4adf1b82ce2b111ec06823cd8f
Signed-off-by: Cédric Ollivier <cedric.ollivier@orange.com>
(cherry picked from commit 00b78ca96bef67166e0118a0dbdb5152f401a608)

Update graphs in userguide

1. Functest structural concept
2. Clearwater architecture

Change-Id: I88e39d6d08f1eb28a389d2b8a7a1669295f6aa49
Signed-off-by: Linda Wang <wangwulin@huawei.com>
(cherry picked from commit ccaa9c9d495575bd16da001a984597456bf152e4)

Bypass NoneType errors when creating router in rally

It converts private subnet name to str as it's mandary till [1].
It could be reverted as soon as [2] is merged in snaps.

[1] https://gerrit.opnfv.org/gerrit/#/c/56091/
[2] https://gerrit.opnfv.org/gerrit/#/c/56171/

Change-Id: Ia728415207f8ecb5b5ac55982f82337c45671c4c
Signed-off-by: Cédric Ollivier <cedric.ollivier@orange.com>
(cherry picked from commit f0870e3735324941f5bd77243f36f9214cd531ac)

Bypass NoneType errors when creating router

It converts private subnet name to str as it's mandary till [1].
It could be reverted as soon as [2] is merged in snaps.

[1] https://gerrit.opnfv.org/gerrit/#/c/56091/
[2] https://gerrit.opnfv.org/gerrit/#/c/56171/

Change-Id: I849944fa9d4d2be21fe1a37b76c4cfd231b6d56f
Signed-off-by: Cédric Ollivier <cedric.ollivier@orange.com>

Add timeouts in juju_epc

juju_epc still hangs if OpenStack isn't well deployed [1].
As releng doesn't publish logs if the job is aborted, timeout has to
be added mostly everywhere.

[1] https://build.opnfv.org/ci/view/functest/job/functest-apex-baremetal-daily-fraser/31/console

Change-Id: I0296cd811bda0234aab98f184b3ab247a5b32017
Signed-off-by: Cédric Ollivier <cedric.ollivier@orange.com>
(cherry picked from commit 6279d9372d0a1827bb14e365cd02e9888941315d)

Merge "Update configguide" into stable/fraser