Add build.sh for functest-xtesting

JIRA: FUNCTEST-948

Change-Id: If174ac0cc5716ccd6f5bcd6b5627feb222d05b0b
Signed-off-by: Delia Popescu <delia.popescu@enea.com>

Add py3 support in samples

Change-Id: I402be2f5921577985218306161a6efe1b9d62a48
Signed-off-by: Cédric Ollivier <cedric.ollivier@orange.com>

Return all status when running tiers

Change-Id: I31a062304d47c055c14e5afe8f560c3048b071f4
Signed-off-by: Cédric Ollivier <cedric.ollivier@orange.com>

Stop filtering the project when calculating results

Change-Id: Ia0917426775831176206f4bb300d513cc3190e08
Signed-off-by: Cédric Ollivier <cedric.ollivier@orange.com>

Remove Functest-related env vars

Change-Id: If1b44ad61db58fd3d02817373255c6467f515e85
Signed-off-by: Cédric Ollivier <cedric.ollivier@orange.com>

Leverage on tags for all versions

Change-Id: I7e8c1a9f97711c935b61696b348183b382c15d12
Signed-off-by: Cédric Ollivier <cedric.ollivier@orange.com>

Set universal wheels

Change-Id: I856b02ff26808cc56ecee62570f5370795abc178
Signed-off-by: Cédric Ollivier <cedric.ollivier@orange.com>

Ensure py27 and py35 supports

Change-Id: Ia1cd423be2e55ab7539bcd2551c53792c08b976a
Signed-off-by: Cédric Ollivier <cedric.ollivier@orange.com>

Add mandatory package infos (PyPI)

Change-Id: I2ab4eb5f2916ee26cd3be48eb4fa2074d020967c
Signed-off-by: Cédric Ollivier <cedric.ollivier@orange.com>

Switch from /home/opnfv/functest to /var/lib/xtesting

Functest containers will have to create symlinks to allow publishing
artifacts.

All classes create the mandatory dirs.

Change-Id: Ia1f215005d553dd6d64685e4d8a3f5c843c5db7a
Signed-off-by: Cédric Ollivier <cedric.ollivier@orange.com>

Remove obsolete Alpine packages

Change-Id: Ibaaaab6af46cf3bf76be5442f5e155de592e727e
Signed-off-by: Cédric Ollivier <cedric.ollivier@orange.com>

Publish Dockerfile and samples

Change-Id: Ie776fea631f04bb42d8ae80bc658318d8644d0e5
Signed-off-by: Cédric Ollivier <cedric.ollivier@orange.com>

Fully cover tier_builder.py

Change-Id: I48ad1d430bb56b5be75b003800990a251f6a4065
Signed-off-by: Cédric Ollivier <cedric.ollivier@orange.com>

Remove all OpenStack operations in vnf.py

Change-Id: I356305f3c59b51f97f5fb1335369834a77fda9b1
Signed-off-by: Cédric Ollivier <cedric.ollivier@orange.com>

Rename all Functest refs to Xtesting

It mainly renames python modules and then the related documentation
config files.

Change-Id: I186010bb88d3d39afe7b8fd1ebcef9c690cc1282
Signed-off-by: Cédric Ollivier <cedric.ollivier@orange.com>

Clean all OpenStack related modules

Xtesting is only focused on the framework and entry points.

Change-Id: I1a4146ed8519438b13810a20ddf1140c35bb6ecd
Signed-off-by: Cédric Ollivier <cedric.ollivier@orange.com>

Merge "Raise exceptions when SDN_CONTROLLER_IP is None"

Merge "Stop raising keystoneauth1 exceptions in odl unit tests"

Merge "Fix KeyError of OS_AUTH_URL"

Raise exceptions when SDN_CONTROLLER_IP is None

Change-Id: Ia0d00a6b3c4c4936dc10602e838f507beea0c592
Signed-off-by: Cédric Ollivier <cedric.ollivier@orange.com>

Stop raising keystoneauth1 exceptions in odl unit tests

It simply raises Exceptions to avoid depending on keystoneauth1.
Snaps may also reraise another exception.

Change-Id: Ib3041b2d8ff51ee098f2bf0b9918079b7945abf3
Signed-off-by: Cédric Ollivier <cedric.ollivier@orange.com>

Remove openstack utils

They have been obsolete since we fully switched to snaps.
The files are being moved to SDNVPN which is the last project using
them [1].

[1] https://gerrit.opnfv.org/gerrit/#/c/52631/

Change-Id: I277b92a04cf6bc7b30015eed76f03f17830fad2b
Signed-off-by: Cédric Ollivier <cedric.ollivier@orange.com>

Fix KeyError of OS_AUTH_URL

Change-Id: Iaaa657ebb8ed017429b640ffaaf03b6d204e887a
Signed-off-by: Linda Wang <wangwulin@huawei.com>

Switch to snaps in orchestra testcases

It also stops using the floating ip in userdata to avoid a race
condition (all-in-one).

The DNS server is now configured by Neutron instead of the testcases.

Change-Id: I6efed71339d98403f7fd137ff50f1941b5b5a03c
Signed-off-by: Cédric Ollivier <cedric.ollivier@orange.com>

Fix default identity version in conf_utils

Change-Id: I2e78958b3c96b36a5fac636a1817424fb102afea
Signed-off-by: Cédric Ollivier <cedric.ollivier@orange.com>

Set Energy default values to None

It conforms with the other default values.

Change-Id: Id46110c5aedf244f94e83b5b0389b135f075ffc8
Signed-off-by: Cédric Ollivier <cedric.ollivier@orange.com>

Switch to $REPO in travis-ci jobs

It conforms with "Use functest repo variable" [1]

[1] https://gerrit.opnfv.org/gerrit/#/c/52513/

Change-Id: I09b438d784fbeb5e3686b441e6944c87c0f88382
Signed-off-by: Cédric Ollivier <cedric.ollivier@orange.com>

Print env vars and env_file

It simply eases detecting wrong inputs [1].

[1] https://build.opnfv.org/ci/view/functest/job/functest-apex-baremetal-daily-master/796/console

Change-Id: I0784c29265c69a6ba4a049226196bcdd70b0a572
Signed-off-by: Cédric Ollivier <cedric.ollivier@orange.com>

Automatically download defcore.txt

It stops writing files in Functest package dirs and cleans instance
variables in refstack modules too.

Change-Id: Iaddbe4fbaf12d1af207b86d4e44258efdc6d6f3a
Signed-off-by: Cédric Ollivier <cedric.ollivier@orange.com>

Update Functest to meet last snaps updates

It removes obsolete mockey patches in Rally unit tests and adds
keystone client as params when needed in orchestra_*ims.py [1].

[1] https://gerrit.opnfv.org/gerrit/#/c/52473/

Change-Id: Id02954d16f5f54cc0c390fadb498e14c6bab6ff9
Signed-off-by: Cédric Ollivier <cedric.ollivier@orange.com>

Merge "Use functest repo variable"

Use functest repo variable

related to: https://gerrit.opnfv.org/gerrit/#/c/52509/

JIRA: FUNCTEST-917

Change-Id: I79512253b37254b9247fda083500e160dba66d6f
Signed-off-by: Delia Popescu <delia.popescu@enea.com>

Switch from CONST to CONF

It also removes constants.CONST and env.Environment which are now
useless.

Depends-On: I764a0a2a24447c941d1e726f3116593b29dd1c1e
Depends-On: I6cfa832466dcefd737314633d807512e46267a69
Change-Id: Ife41c59d9f2e6ec4e49df38af962039f99554bc5
Signed-off-by: Cédric Ollivier <cedric.ollivier@orange.com>

Merge "Use constants for Functest config file"

Use constants for Functest config file

env_file can't be defined in a config file simply because it's an
entry point (Jenkins jobs, end users)

Change-Id: Ie23c0ef90efc839d60f0f3a9754c58746b1f3a00
Signed-off-by: Cédric Ollivier <cedric.ollivier@orange.com>

Merge "Unify security group operations"

Merge "Leverage of snaps creds to get the right region name"

Merge "Print stdout and stderr when calling commands over SSH"

Print stdout and stderr when calling commands over SSH

It will help debugging possible issues vs APEX [1].

[1] https://build.opnfv.org/ci/view/functest/job/functest-apex-baremetal-daily-master/792/console

Change-Id: I610f5b0a7774440c51fa086fad4f61c9be0571dc
Signed-off-by: Cédric Ollivier <cedric.ollivier@orange.com>

Unify security group operations

It updates juju_epc to conform with cloudify_ims and
cloudify_vrouter regarding security group operations.

Change-Id: I2bc4a16ec17f2836564df82d3ceddd3bc73ece7a
Signed-off-by: Cédric Ollivier <cedric.ollivier@orange.com>

Leverage of snaps creds to get the right region name

Else it gets the defaut value as it's unset in env.

Change-Id: Ic2a9cdaed7891fe2723f960782c81c0cbb04e8f0
Signed-off-by: Cédric Ollivier <cedric.ollivier@orange.com>

Create a second user in cloudify_vrouter

It mainly bypasses a bug when a similar network name has already been
created.

We can't apply the same operations for cloudify_vims because the key
must be created by the _member_ user.
Snaps haven't allowed that since [1] has been merged

[1] https://gerrit.opnfv.org/gerrit/#/c/52157/

Change-Id: I90131487d0e08a4d95c684efb16a8009c3709a8e
Signed-off-by: Cédric Ollivier <cedric.ollivier@orange.com>

Merge "Remove deprecated monkey patches"

Merge "Remove last CONST.__getattribute__()"

Merge "Generate tempest verification report (HTML)"

Remove deprecated monkey patches

OpenStack utils are being removed.

Change-Id: I2a41297034654f678afa5a7a818961a4cd0cee73
Signed-off-by: Cédric Ollivier <cedric.ollivier@orange.com>

Remove last CONST.__getattribute__()

Change-Id: I82f6aa1e723c88eebd4c7410da4b9741a482e9bc
Signed-off-by: Cédric Ollivier <cedric.ollivier@orange.com>

Manage region in cloudify_ims.py

It must be completed by a new change in opnfv-cloudify-clearwater [1].

[1] https://github.com/Orange-OpenSource/opnfv-cloudify-clearwater/pull/18

Change-Id: Ic3a323e33b9742835159f5386e9247c6ac965f51
Signed-off-by: Cédric Ollivier <cedric.ollivier@orange.com>

Fix credentials in cloudify_vrouter

It completes [1] which partially fixes cloudify_vrouter [2].
It now handles region name too and formats long arg lists too.

[1] https://gerrit.opnfv.org/gerrit/#/c/52175/
[2] https://gerrit.opnfv.org/gerrit/#/c/50747/

Change-Id: I592d12d7df6837531560acfc4afc0636f485c671
Signed-off-by: Cédric Ollivier <cedric.ollivier@orange.com>

Generate tempest verification report (HTML)

JIRA: FUNCTEST-934

Change-Id: I2befbd3f2b2311f69b24321c7e9544fb43df3a9d
Signed-off-by: Juha Kosonen <juha.kosonen@nokia.com>

Disable orchestra_clearwaterims in functest-vnf

It fixes a typo.

Change-Id: I684eab0ed74e2ebcb6f72442d0b3012d1b5de7aa
Signed-off-by: Cédric Ollivier <cedric.ollivier@orange.com>

Precise Tempest tests list

Else full mode could run tests defined in tempest plugins too [1].

[1] https://docs.openstack.org/tempest/latest/plugin-registry.html

Change-Id: I4355b03ba1b9ba47938f748c4f1a8822fd412142
Signed-off-by: Cédric Ollivier <cedric.ollivier@orange.com>

Enhance variable manipulation in tempest

Use getattr/setattr to read/write CONST.

JIRA: FUNCTEST-932

Change-Id: Ic9a944100c60563b16f5d89b622ef7f04183cceb
Signed-off-by: Juha Kosonen <juha.kosonen@nokia.com>

Remove one debug print

Change-Id: I531d1e519fc0352525993c69142eea14b99a3f63
Signed-off-by: Cédric Ollivier <cedric.ollivier@orange.com>

Mock additional methods related to OpenStackFlavor

keystone_utils.keystone_client() and keystone_utils.get_project()
have to be mocked when unit testing flavor creation since [1].

[1] https://gerrit.opnfv.org/gerrit/#/c/52157/

Change-Id: I898cde1001c14d0b450c3dd43ade7dca47b1ffb3
Signed-off-by: Cédric Ollivier <cedric.ollivier@orange.com>

Add suffixes in vnf keypair names

Change-Id: Ia9c8ef535b16326a520367d2c7c98b7e8db4822c
Signed-off-by: Cédric Ollivier <cedric.ollivier@orange.com>

Get properly env vars or their default values

It defines env.get() as an unique way to get Functest env vars or
their default values. It can be considered as a wrapper above os.environ.

It enforces backward compatibility via CONST which mustn't be used
for that purpose. It should be noted that it also stops using CONST
for getting OpenStack env vars.

Change-Id: I333dc1afbc0123166a7eaff8b551370098efa341
Signed-off-by: Cédric Ollivier <cedric.ollivier@orange.com>

Merge "Removed os_utils and fully switched to snaps"

Add suffixes to OpenStack resource names

All vnf testcases have to add suffixes in OpenStack resources names
simply because the password is now generated before any run [1].

Snaps mainly creates the resource only if unfound in all tenants [2].
Then one remaining resource could easily raise permissions denied.
It avoid conflicts between vrouter and cloudify_ims which are using the
same names.

[1] https://gerrit.opnfv.org/gerrit/#/c/50747/
[2] https://jira.opnfv.org/browse/SNAPS-257

Depends-On: If56cc44fe35ca06bc9033af620ddd3c0586877fe
Change-Id: I1800886e575189b64fdc580a5ee6b59c81fcde5c
Signed-off-by: Cédric Ollivier <cedric.ollivier@orange.com>

Fix typos in cloudify_ims

Change-Id: I5d29b3e58cae7e9a334ec6f264cdb5e280860d97
Signed-off-by: Cédric Ollivier <cedric.ollivier@orange.com>

Stop reading SDN_CONTROLLER env var.

Joid doesn't support ODL and this exception is no longer needed.
It will be a simple switch from SDN_CONTROLLER to SDN_CONTROLLER_IP
if Joid supports ODL again.

Change-Id: I925965f9c1adf24914e4110ff3206443f4063ac8
Signed-off-by: Cédric Ollivier <cedric.ollivier@orange.com>

Removed os_utils and fully switched to snaps

JIRA: FUNCTEST-925

Change-Id: Ibcbf42c34b764fda09d4d49513b261aae296a68b
Signed-off-by: soumaya <soumaya.nayek@rebaca.com>

Merge "Stop reading NODE_NAME in tempest and refstack"

Stop reading NODE_NAME in tempest and refstack

NODE_NAME should only be read by TestCase when publishing the results
to the database. Other debug data are already printed by run_tests.

INSTALLER_TYPE and DEPLOY_SCENARIO are also unused by refstack.

Change-Id: Ib82d5c1512553beba2c56f4ec2860cb2593f801e
Signed-off-by: Cédric Ollivier <cedric.ollivier@orange.com>

Merge "Enable doctor-notification"

Enable doctor-notification

The testcase has been expected to work since the nova bug [1] was
bypassed [2].

[1] https://bugs.launchpad.net/nova/+bug/1742827
[2] https://gerrit.opnfv.org/gerrit/#/c/52075/

Change-Id: If53da6313381cf69a0093a6677db3d9033fb8f48
Signed-off-by: Cédric Ollivier <cedric.ollivier@orange.com>

Merge "Only filter boot_server_from_volume_and_delete via scenario"

Merge "Remove INSTALLER_IP from Functest"

Only filter boot_server_from_volume_and_delete via scenario

It can be safely merged as only joid supports '^os-nosdn-lxd-(no)?ha$'
scenarios. It aims at testing all installers in the same way which
would have made much sense if another installer supported this
scenarios.

Change-Id: I145102df3f6394b6fff28590923100e0f1e6cb66
Signed-off-by: Cédric Ollivier <cedric.ollivier@orange.com>

Merge "Test vnf in all os-nosdn-nofeature scenarios"

Merge "Enhance variable manipulation in rally"

Remove INSTALLER_IP from Functest

It's mandatory for testcases which are out of Functest.

Change-Id: Ia5f5134334ad9f69d44409d817616fa9033fae95
Signed-off-by: Cédric Ollivier <cedric.ollivier@orange.com>

Enhance variable manipulation in rally

- utilize env vars directly via os module
- use getattr to read CONST

JIRA: FUNCTEST-931

Change-Id: I893a91331e26846f8effe2d3d58522950bd096fd
Signed-off-by: Juha Kosonen <juha.kosonen@nokia.com>

Test vnf in all os-nosdn-nofeature scenarios

It allows setting os-nosdn-nofeature-noha as default value if
DEPLOY_SCENARIO is unset.

As orchestra* testcases are already disabled, it's useless to ask a
specific installer. All vnf testcases should work vs any installer.

Change-Id: Ia388f96348f9d06745f8d1669962d7f1c4e47d84
Signed-off-by: Cédric Ollivier <cedric.ollivier@orange.com>

Temporarily disable doctor-notification

It's currently forbidding gating all APEX' scenarios [1] (even
os-nosdn-nofeature-* [2]). It will be enabled when it's fixed or when
functest jobs are rewritten [3]

[1] https://build.opnfv.org/ci/view/functest/job/functest-apex-baremetal-daily-master/772/console
[2] https://build.opnfv.org/ci/view/functest/job/functest-apex-baremetal-daily-master/770/console
[3] https://gerrit.opnfv.org/gerrit/#/c/51853/

Change-Id: I571c464aabe02f67a9e98ca1ab42d8a7efc672ee
Signed-off-by: Cédric Ollivier <cedric.ollivier@orange.com>

Merge "Remove obsolote env var IS_CI_RUN"

Merge "Read env vars instead of using CONST in API"

Merge "Export env vars instead of CONST in refstack"

Merge "Improve the way of getting env values"

Merge "Improve the way of setting values in CONST"

Merge "Fix the config of fixed_network_name in tempest"

Remove obsolote env var IS_CI_RUN

Change-Id: I284e0ec97792620db08005a617f584b81a1eae63
Signed-off-by: Cédric Ollivier <cedric.ollivier@orange.com>

Improve the way of getting env values

It simply reads env vars instead of calling CONST.__getattribute__()

Change-Id: If3137f3cfb9f3102388988a82393b9b2f4e99f60
Signed-off-by: Cédric Ollivier <cedric.ollivier@orange.com>

Improve the way of setting values in CONST

Use setattr instead of internal method (__setattr__).
It must be completed by patches fixing [1] [2] and [3].

[1] https://jira.opnfv.org/browse/FUNCTEST-930
[2] https://jira.opnfv.org/browse/FUNCTEST-931
[3] https://jira.opnfv.org/browse/FUNCTEST-932

Change-Id: I9558f33f5ed4559b6031d75951d5637c0c0ef8cb
Signed-off-by: Linda Wang <wangwulin@huawei.com>

Simplify functest/cli/commands/cli_env.py

CONST shouldn't be used for getting/setting env vars.
It adds complexity and may raise side effects.

It also removes the obsolete env var CI_DEBUG.

Change-Id: I8a8fde0fa781351d5eabd2698ca8aae9dee76fb8
Signed-off-by: Cédric Ollivier <cedric.ollivier@orange.com>

Merge "Export env vars via os.environ in test_openstack_utils.py"

Read env vars instead of using CONST in API

Also, improve the way of getting env values.

JIRA: FUNCTEST-933

Change-Id: Ia66bbaf683df03c2874fafe578b84bb78a4f3fd1
Signed-off-by: Linda Wang <wangwulin@huawei.com>

Export env vars instead of CONST in refstack

JIRA: FUNCTEST-930

Change-Id: I7f28ee0b9a55c53a11f03509c3f9e8eb37cc43a9
Signed-off-by: Linda Wang <wangwulin@huawei.com>

Merge "Enable invalid-name warnings in tempest modules"

Fix the config of fixed_network_name in tempest

Change-Id: I58726d0fec5b2da4ea8ac1f9925fe56d2f9d7ce0
Signed-off-by: Linda Wang <wangwulin@huawei.com>

Merge "Export env vars via os.environ in test_cli_env.py"

Enable invalid-name warnings in tempest modules

Do not suppress pylint invalid-name warnings but conform the naming
convention.

Change-Id: I324d25b3081fe8a366249559b343c1b9cacadb21
Signed-off-by: Juha Kosonen <juha.kosonen@nokia.com>

Merge "Fix pylint errors/warnings in tempest modules"

Export env vars via os.environ in test_openstack_utils.py

CONST shouldn't be used for getting/setting env vars.
It adds complexity and may raise side effects.

Change-Id: I8319748dd2f0abb95b82a2f65191cac8ccba7f5e
Signed-off-by: Cédric Ollivier <cedric.ollivier@orange.com>

Export env vars via os.environ in test_cli_env.py

CONST shouldn't be used for getting/setting env vars.
It adds complexity and may raise side effects.

Change-Id: Id80a03aff6eb908a792f1d07addaad4770e8d0cb
Signed-off-by: Cédric Ollivier <cedric.ollivier@orange.com>

Decrease log level in Energy messages

Energy could be safely disabled if one env var is missing.
No error message should be printed in console [1].

It could be enhanced in a second step to print the reasons (missing
or incorrect env vars) instead of the full stack.

[1] https://build.opnfv.org/ci/view/functest/job/functest-apex-baremetal-daily-master/766/console

Change-Id: I9c405edae16d186f02c632113de1317c89703991
Signed-off-by: Cédric Ollivier <cedric.ollivier@orange.com>

Run all daily testcases if CI_LOOP is unset

Then CI_LOOP is no longer mandatory and it bypasses the current
jenkins jobs's issue [1][2][3].

[1] https://gerrit.opnfv.org/gerrit/#/c/51981/
[2] https://build.opnfv.org/ci/view/functest/job/functest-apex-baremetal-daily-master/763/console
[3] https://build.opnfv.org/ci/view/functest/job/functest-apex-baremetal-daily-master/764/console

Change-Id: I73629079d70e0f43e609d3861490573e10fd216c
Signed-off-by: Cédric Ollivier <cedric.ollivier@orange.com>

Read the env file only if exists

Change-Id: I8e718e583a5a47a089755c31e623a44732e5ba1e
Signed-off-by: Cédric Ollivier <cedric.ollivier@orange.com>

Ensure logging is disabled when unit testing feature

Change-Id: Ibe08477a8b50a6c9b71ab4e5b0ebaaab36692b08
Signed-off-by: Cédric Ollivier <cedric.ollivier@orange.com>

Unlink robotframework from constants

Change-Id: Ic2c6c84c3824ec3fa208824ae67f1769d4e18c4f
Signed-off-by: Cédric Ollivier <cedric.ollivier@orange.com>