Merge "Removed os_utils and fully switched to snaps"

Add suffixes to OpenStack resource names

All vnf testcases have to add suffixes in OpenStack resources names
simply because the password is now generated before any run [1].

Snaps mainly creates the resource only if unfound in all tenants [2].
Then one remaining resource could easily raise permissions denied.
It avoid conflicts between vrouter and cloudify_ims which are using the
same names.

[1] https://gerrit.opnfv.org/gerrit/#/c/50747/
[2] https://jira.opnfv.org/browse/SNAPS-257

Depends-On: If56cc44fe35ca06bc9033af620ddd3c0586877fe
Change-Id: I1800886e575189b64fdc580a5ee6b59c81fcde5c
Signed-off-by: Cédric Ollivier <cedric.ollivier@orange.com>

Fix typos in cloudify_ims

Change-Id: I5d29b3e58cae7e9a334ec6f264cdb5e280860d97
Signed-off-by: Cédric Ollivier <cedric.ollivier@orange.com>

Stop reading SDN_CONTROLLER env var.

Joid doesn't support ODL and this exception is no longer needed.
It will be a simple switch from SDN_CONTROLLER to SDN_CONTROLLER_IP
if Joid supports ODL again.

Change-Id: I925965f9c1adf24914e4110ff3206443f4063ac8
Signed-off-by: Cédric Ollivier <cedric.ollivier@orange.com>

Removed os_utils and fully switched to snaps

JIRA: FUNCTEST-925

Change-Id: Ibcbf42c34b764fda09d4d49513b261aae296a68b
Signed-off-by: soumaya <soumaya.nayek@rebaca.com>

Merge "Stop reading NODE_NAME in tempest and refstack"

Stop reading NODE_NAME in tempest and refstack

NODE_NAME should only be read by TestCase when publishing the results
to the database. Other debug data are already printed by run_tests.

INSTALLER_TYPE and DEPLOY_SCENARIO are also unused by refstack.

Change-Id: Ib82d5c1512553beba2c56f4ec2860cb2593f801e
Signed-off-by: Cédric Ollivier <cedric.ollivier@orange.com>

Merge "Enable doctor-notification"

Enable doctor-notification

The testcase has been expected to work since the nova bug [1] was
bypassed [2].

[1] https://bugs.launchpad.net/nova/+bug/1742827
[2] https://gerrit.opnfv.org/gerrit/#/c/52075/

Change-Id: If53da6313381cf69a0093a6677db3d9033fb8f48
Signed-off-by: Cédric Ollivier <cedric.ollivier@orange.com>

Merge "Only filter boot_server_from_volume_and_delete via scenario"

Merge "Remove INSTALLER_IP from Functest"

Only filter boot_server_from_volume_and_delete via scenario

It can be safely merged as only joid supports '^os-nosdn-lxd-(no)?ha$'
scenarios. It aims at testing all installers in the same way which
would have made much sense if another installer supported this
scenarios.

Change-Id: I145102df3f6394b6fff28590923100e0f1e6cb66
Signed-off-by: Cédric Ollivier <cedric.ollivier@orange.com>

Merge "Test vnf in all os-nosdn-nofeature scenarios"

Merge "Enhance variable manipulation in rally"

Remove INSTALLER_IP from Functest

It's mandatory for testcases which are out of Functest.

Change-Id: Ia5f5134334ad9f69d44409d817616fa9033fae95
Signed-off-by: Cédric Ollivier <cedric.ollivier@orange.com>

Enhance variable manipulation in rally

- utilize env vars directly via os module
- use getattr to read CONST

JIRA: FUNCTEST-931

Change-Id: I893a91331e26846f8effe2d3d58522950bd096fd
Signed-off-by: Juha Kosonen <juha.kosonen@nokia.com>

Test vnf in all os-nosdn-nofeature scenarios

It allows setting os-nosdn-nofeature-noha as default value if
DEPLOY_SCENARIO is unset.

As orchestra* testcases are already disabled, it's useless to ask a
specific installer. All vnf testcases should work vs any installer.

Change-Id: Ia388f96348f9d06745f8d1669962d7f1c4e47d84
Signed-off-by: Cédric Ollivier <cedric.ollivier@orange.com>

Temporarily disable doctor-notification

It's currently forbidding gating all APEX' scenarios [1] (even
os-nosdn-nofeature-* [2]). It will be enabled when it's fixed or when
functest jobs are rewritten [3]

[1] https://build.opnfv.org/ci/view/functest/job/functest-apex-baremetal-daily-master/772/console
[2] https://build.opnfv.org/ci/view/functest/job/functest-apex-baremetal-daily-master/770/console
[3] https://gerrit.opnfv.org/gerrit/#/c/51853/

Change-Id: I571c464aabe02f67a9e98ca1ab42d8a7efc672ee
Signed-off-by: Cédric Ollivier <cedric.ollivier@orange.com>

Merge "Remove obsolote env var IS_CI_RUN"

Merge "Read env vars instead of using CONST in API"

Merge "Export env vars instead of CONST in refstack"

Merge "Improve the way of getting env values"

Merge "Improve the way of setting values in CONST"

Merge "Fix the config of fixed_network_name in tempest"

Remove obsolote env var IS_CI_RUN

Change-Id: I284e0ec97792620db08005a617f584b81a1eae63
Signed-off-by: Cédric Ollivier <cedric.ollivier@orange.com>

Improve the way of getting env values

It simply reads env vars instead of calling CONST.__getattribute__()

Change-Id: If3137f3cfb9f3102388988a82393b9b2f4e99f60
Signed-off-by: Cédric Ollivier <cedric.ollivier@orange.com>

Improve the way of setting values in CONST

Use setattr instead of internal method (__setattr__).
It must be completed by patches fixing [1] [2] and [3].

[1] https://jira.opnfv.org/browse/FUNCTEST-930
[2] https://jira.opnfv.org/browse/FUNCTEST-931
[3] https://jira.opnfv.org/browse/FUNCTEST-932

Change-Id: I9558f33f5ed4559b6031d75951d5637c0c0ef8cb
Signed-off-by: Linda Wang <wangwulin@huawei.com>

Simplify functest/cli/commands/cli_env.py

CONST shouldn't be used for getting/setting env vars.
It adds complexity and may raise side effects.

It also removes the obsolete env var CI_DEBUG.

Change-Id: I8a8fde0fa781351d5eabd2698ca8aae9dee76fb8
Signed-off-by: Cédric Ollivier <cedric.ollivier@orange.com>

Merge "Export env vars via os.environ in test_openstack_utils.py"

Read env vars instead of using CONST in API

Also, improve the way of getting env values.

JIRA: FUNCTEST-933

Change-Id: Ia66bbaf683df03c2874fafe578b84bb78a4f3fd1
Signed-off-by: Linda Wang <wangwulin@huawei.com>

Export env vars instead of CONST in refstack

JIRA: FUNCTEST-930

Change-Id: I7f28ee0b9a55c53a11f03509c3f9e8eb37cc43a9
Signed-off-by: Linda Wang <wangwulin@huawei.com>

Merge "Enable invalid-name warnings in tempest modules"

Fix the config of fixed_network_name in tempest

Change-Id: I58726d0fec5b2da4ea8ac1f9925fe56d2f9d7ce0
Signed-off-by: Linda Wang <wangwulin@huawei.com>

Merge "Export env vars via os.environ in test_cli_env.py"

Enable invalid-name warnings in tempest modules

Do not suppress pylint invalid-name warnings but conform the naming
convention.

Change-Id: I324d25b3081fe8a366249559b343c1b9cacadb21
Signed-off-by: Juha Kosonen <juha.kosonen@nokia.com>

Merge "Fix pylint errors/warnings in tempest modules"

Export env vars via os.environ in test_openstack_utils.py

CONST shouldn't be used for getting/setting env vars.
It adds complexity and may raise side effects.

Change-Id: I8319748dd2f0abb95b82a2f65191cac8ccba7f5e
Signed-off-by: Cédric Ollivier <cedric.ollivier@orange.com>

Export env vars via os.environ in test_cli_env.py

CONST shouldn't be used for getting/setting env vars.
It adds complexity and may raise side effects.

Change-Id: Id80a03aff6eb908a792f1d07addaad4770e8d0cb
Signed-off-by: Cédric Ollivier <cedric.ollivier@orange.com>

Decrease log level in Energy messages

Energy could be safely disabled if one env var is missing.
No error message should be printed in console [1].

It could be enhanced in a second step to print the reasons (missing
or incorrect env vars) instead of the full stack.

[1] https://build.opnfv.org/ci/view/functest/job/functest-apex-baremetal-daily-master/766/console

Change-Id: I9c405edae16d186f02c632113de1317c89703991
Signed-off-by: Cédric Ollivier <cedric.ollivier@orange.com>

Run all daily testcases if CI_LOOP is unset

Then CI_LOOP is no longer mandatory and it bypasses the current
jenkins jobs's issue [1][2][3].

[1] https://gerrit.opnfv.org/gerrit/#/c/51981/
[2] https://build.opnfv.org/ci/view/functest/job/functest-apex-baremetal-daily-master/763/console
[3] https://build.opnfv.org/ci/view/functest/job/functest-apex-baremetal-daily-master/764/console

Change-Id: I73629079d70e0f43e609d3861490573e10fd216c
Signed-off-by: Cédric Ollivier <cedric.ollivier@orange.com>

Read the env file only if exists

Change-Id: I8e718e583a5a47a089755c31e623a44732e5ba1e
Signed-off-by: Cédric Ollivier <cedric.ollivier@orange.com>

Ensure logging is disabled when unit testing feature

Change-Id: Ibe08477a8b50a6c9b71ab4e5b0ebaaab36692b08
Signed-off-by: Cédric Ollivier <cedric.ollivier@orange.com>

Unlink robotframework from constants

Change-Id: Ic2c6c84c3824ec3fa208824ae67f1769d4e18c4f
Signed-off-by: Cédric Ollivier <cedric.ollivier@orange.com>

Merge "Remove one obsolete var"

Merge "Unlink feature from constants"

Merge "Unlink vnf from constants"

Merge "Unlink run_tests from constants"

Fix pylint errors/warnings in tempest modules

JIRA: FUNCTEST-913

Change-Id: I37b25bbcf43fb1d6f7de0c815ad49070d1e1af12
Signed-off-by: Juha Kosonen <juha.kosonen@nokia.com>

Merge "Unlink Energy from functest utils and constants"

Merge "Move get_dict_by_test() into run_tests.py"

Merge "Conform with OpenStackUser.get_os_creds() in juju_epc"

Merge "Get neutron endpoint via snaps in odl"

Remove one obsolete var

Else it simply forces the config file into xtesting.

Change-Id: I33153997f2aa422e50cea011f6a4e7eb567a83d7
Signed-off-by: Cédric Ollivier <cedric.ollivier@orange.com>

Unlink feature from constants

Saving results dir as class attribute seems better in the context of
xtesting.

Change-Id: If40303d07d3be9bdc09d990f560cbeda429fd642
Signed-off-by: Cédric Ollivier <cedric.ollivier@orange.com>

Unlink vnf from constants

It generates a default description which all testcases can easily
override.

Change-Id: I81b97c394cf064088767cc934295602f01a7f739
Signed-off-by: Cédric Ollivier <cedric.ollivier@orange.com>

Unlink run_tests from constants

run_tests.py doesn't read any functest config file what is mandatory
for xtesting.

Change-Id: I49f672c54a606acead75f573d1ce496c81fb235a
Signed-off-by: Cédric Ollivier <cedric.ollivier@orange.com>

Unlink Energy from functest utils and constants

It requires an update of releng jobs which have to export
ENERGY_RECORDER_API_URL = http://energy.opnfv.fr/resources

Change-Id: Iecd5d49b4d4c961c9dc51e43e54df1fcd4027266
Signed-off-by: Cédric Ollivier <cedric.ollivier@orange.com>

Move get_dict_by_test() into run_tests.py

It also removes functest_utils.get_criteria_by_test()

Change-Id: I3f265642acd053755e32f8e92f1086b93517c247
Signed-off-by: Cédric Ollivier <cedric.ollivier@orange.com>

Conform with OpenStackUser.get_os_creds() in juju_epc

UserSettings are not linked to any project then abot has to be passed
as arg when calling get_os_creds. Else it returns the project
registered in credentials instead of the one created by this testcase.

Change-Id: Ia0658cc9af155df06de3d14e21e5288dad6367f9
Signed-off-by: Cédric Ollivier <cedric.ollivier@orange.com>

Merge "Move source_credentials() into run_tests.py"

Merge "Refactor tempest resource manager"

Get neutron endpoint via snaps in odl

Change-Id: Iaf0e451e7f6bd7d22459f8d3509b39773527cfea
Signed-off-by: Cédric Ollivier <cedric.ollivier@orange.com>

Move source_credentials() into run_tests.py

It's also renamed source_envfile().

Change-Id: I0e7c38c2def125961f86dc2bc9a63cfb6ad87c03
Signed-off-by: Cédric Ollivier <cedric.ollivier@orange.com>

Refactor tempest resource manager

Split resource creation into several methods.

Implements partly JIRA: FUNCTEST-913

Change-Id: Ic0dd5782c604498066c636deef10b0c18c1cb48d
Signed-off-by: Juha Kosonen <juha.kosonen@nokia.com>

Add variablefile as possible robot.run() args

Change-Id: Ic80840957b4d9c3c4a1615696a2851f3f5bf7bf4
Signed-off-by: Cédric Ollivier <cedric.ollivier@orange.com>

Revert "Temporary disable one unstable snaps test"

This reverts commit 728e77ab3dbf075a21829a56d83cf34751bcdef6.

Change-Id: I6e5d3fa2cdf423b3c4c149108afbd9a18f0fc4b3
Signed-off-by: Cédric Ollivier <cedric.ollivier@orange.com>

Temporary disable one unstable snaps test

Else all verify jobs are failing [1]

[1] https://jira.opnfv.org/browse/SNAPS-263

Change-Id: Ic2dca7f2387af1f98d3720b8db05dc3ccd54098c
Signed-off-by: Cédric Ollivier <cedric.ollivier@orange.com>

Remove dns server from juju_epc config

The dns server shoud be set by the Cloud provider via Neutron configs.
Snaps is currently enforcing 8.8.8.8 as default too.

Change-Id: I3e9a25d8bbfbab4cd1d44e394235b329df86e82e
Signed-off-by: Cédric Ollivier <cedric.ollivier@orange.com>

Merge "Disable orchestra_* testcases"

Fix rally cinder volume attach scenarios

Add network id to following scenarios:

CinderVolumes.create_snapshot_and_attach_volume
CinderVolumes.create_nested_snapshots_and_attach_volume

JIRA: FUNCTEST-929

Change-Id: If95babebf9ea6205684494395bdfd72d5203f4bf
Signed-off-by: Juha Kosonen <juha.kosonen@nokia.com>

Disable orchestra_* testcases

They can be simply disabled and they unsuccessfully run vs Daily only.

In a second step, moving the related python modules in a new
orchestra repository could be a good solution simply because they
don't reach our coding criteria.

The best way is still to update them according to our rules and to
check all installers thanks to these two vnfs.

Change-Id: If36b16f0ed95d7039db9455a32c18f7fd1a739ef
Signed-off-by: Cédric Ollivier <cedric.ollivier@orange.com>

Stop printing data sent to DB

https://build.opnfv.org/ci/view/functest/job/functest-daisy-baremetal-daily-master/lastFailedBuild/console

Change-Id: I0f794159d05fe21f659ecf3b5a9fa407620b723d
Signed-off-by: Cédric Ollivier <cedric.ollivier@orange.com>

Fix docstrings

Else sphinx can't parse snaps_suite_builder.py and IxRestUtils.py.

Change-Id: Iab231a043120154bce708263474b9f9926c1f715
Signed-off-by: Cédric Ollivier <cedric.ollivier@orange.com>

Switch to the readthedocs theme for api docs

It also adds a requirement file for external doc tools wich couldn't
handle upper constraints.

Change-Id: Idf8f43e5e1a845055ce248f1dc8b8d676a3ac37b
Signed-off-by: Cédric Ollivier <cedric.ollivier@orange.com>

Remove yamllint from upper-constraints.txt

OpenStack doesn't list test requirements in upper constraints [1].

[́1] https://github.com/openstack/requirements/blob/stable/pike/upper-constraints.txt

Change-Id: I7472158d385beb311c159563bc3bb973c4a2d4c7
Signed-off-by: Cédric Ollivier <cedric.ollivier@orange.com>

Add build_sphinx section in setup.cfg

Change-Id: Ieac48a1a213bc5cd62a42dab1c74c80761e82fd1
Signed-off-by: Cédric Ollivier <cedric.ollivier@orange.com>

Blacklist Quotas.nova_update_and_delete test

Excluded since the test occasionally fails due to race condition issue
on quota manipulation in nova [1].

[1] https://bugs.launchpad.net/nova/+bug/1552622

Change-Id: Ib979c1e371727aa3adea9dc0b5955e7ed24881cf
Signed-off-by: Juha Kosonen <juha.kosonen@nokia.com>

Merge "Add modules docstrings in snaps"

Increase Rally full criteria

Even if several tests are currently under investigation, it seems
relevant to expect a full success here.

Change-Id: I6a8c5fb5a7dd4bfb5c3a2e7a93de1c0bec77c878
Signed-off-by: Cédric Ollivier <cedric.ollivier@orange.com>

Add modules docstrings in snaps

JIRA: FUNCTEST-922

Change-Id: I058486427fe55e1d1ce939fce20d75ff7afde85c
Signed-off-by: Linda Wang <wangwulin@huawei.com>

Update results printed in configguide.rst

It updates the entry points and all results.
It also takes into account that:
  - juju_epc was added
  - fds was moved to features

It should be noted that refstack_defcore, parser and several vnfs are
failing from the time being.

Change-Id: I918a7767005569f03115749ad121a6c7a04c04a9
Signed-off-by: Cédric Ollivier <cedric.ollivier@orange.com>

Fix links in configguide.rst

It also removes trailing whitespaces.

Change-Id: I6a7e4aaff700a85ff1c0c2741624e9359441e0ac
Signed-off-by: Cédric Ollivier <cedric.ollivier@orange.com>

Fix JujuEpc prepare() and deploy_orchestrator()

It bypasses a known unfixed Juju bug [1] by creating a second
'_member_' user [1]. An 'admin' user is still required to create
flavors and by snaps when listing virtual machines.
It highlights a possible bug in user_creator.get_os_creds().

It partially rewrites the testcase by cleaning instance attributes and
by taking several os.system() returns into account. It sets the new
password automatically generated [2] and starts switching from
openstack utils to snaps in vEPC.

This patchset must be completed by unit tests and by another patch
fully switching to snaps in the last methods.

It should be noted that the testcase sets 8.8.8.8 as dns server which
could raise side effects.

[1] https://bugs.launchpad.net/juju/+bug/1710848
[2] https://gerrit.opnfv.org/gerrit/#/c/50747/

Change-Id: Id18b4b185aa1825196e91f6692338169f51faea8
Signed-off-by: Cédric Ollivier <cedric.ollivier@orange.com>

Merge "Do not use shell to execute commands in tempest"

Merge "Stop setting ext net in config"

Merge "Install vEPC dependencies in Dockerfile"

Do not use shell to execute commands in tempest

Change-Id: I4d699481fdc63058c12ca9cfe18138e87025e9b3
Signed-off-by: Juha Kosonen <juha.kosonen@nokia.com>

Stop setting ext net in config

It simply relies on the related env var as expected.

Change-Id: Ibbb1a2ab2cccdff8cafe6f409af383a24778b1f5
Signed-off-by: Cédric Ollivier <cedric.ollivier@orange.com>

Merge "Fix a typo in docstring"

Rename a common credential file for OS and K8S

Change-Id: Ib8d24be4b29ab1de00d5dd5e3442146b2437cb94
Signed-off-by: Linda Wang <wangwulin@huawei.com>

Install vEPC dependencies in Dockerfile

It also cleans sources and packages.

Change-Id: Ie3a1a836c27af295b93386e8df63c0ae5accde84
Signed-off-by: Cédric Ollivier <cedric.ollivier@orange.com>

Merge "Use snaps_utils to get credentials in tempest"

Fix a typo in docstring

Change-Id: I4826240a56141771df202b9b3b416d64d2db2cf4
Signed-off-by: Cédric Ollivier <cedric.ollivier@orange.com>

Add tempest and rally in functest-features

SDNVPN also requires these packages.
It would be refactored in a second step when xtesting is published.

Change-Id: I069ecf8d60dc0ee1a755d0974913b686f4c7ae61
Signed-off-by: Cédric Ollivier <cedric.ollivier@orange.com>

Merge "Removal of deprecated SNAPS-OO classes in juju_epc"

Use snaps_utils to get credentials in tempest

Change-Id: I1d240d5edd536d71c87a7dff4e2676715697d0e2
Signed-off-by: Juha Kosonen <juha.kosonen@nokia.com>

Merge "Fix pylint errors/warnings in rally"

Merge "proper instance status handling"

Removal of deprecated SNAPS-OO classes in juju_epc

It completes the first commit about that topic [1].

[1] https://gerrit.opnfv.org/gerrit/#/c/47617/

Change-Id: I1a55b45f0535ae98681546d4d24bb424cf892aa8
Signed-off-by: Cédric Ollivier <cedric.ollivier@orange.com>

Fix pylint errors/warnings in rally

JIRA: FUNCTEST-906

Change-Id: I484f9a291d5adbedb855450e4ff067dfa4a3b2ae
Signed-off-by: Juha Kosonen <juha.kosonen@nokia.com>