Move api out of the docs directory

The docs directory can only contain static documentation.
All generated html files should be pushed as artifacts at the end of
functest-verify-master.

Change-Id: I17aeab5687b9eb0c7aaf21cbc6b41e8f321c2e63
Signed-off-by: Cédric Ollivier <cedric.ollivier@orange.com>

Merge "Re-Enable Promise testcases"

Merge "Fix some pylint errors in onos package"

Merge "Stop printing in console when testing functest_utils.py"

Merge "Add docstrings in unit"

Merge "Rename the class TestSuiteRunner to Suite"

Merge "Rename test_pytest_suite_runner.py to test_unit.py"

Merge "Rename pytest_suite_runner.py to unit.py"

Fix some pylint errors in onos package

Directories affected:
 - functest/opnfv_tests/sdn/onos/

JIRA: FUNCTEST-796

Change-Id: Iffbb0e9a021d31a32d940128435a9f6ed43a504f
Signed-off-by: Linda Wang <wangwulin@huawei.com>

Stop printing in console when testing functest_utils.py

Change-Id: I6fa0f6f449270199cc4d5b2c88e171091bf92773
Signed-off-by: Cédric Ollivier <cedric.ollivier@orange.com>

Add docstrings in unit

It also adds shebang and conforms the copyright header with the related
OPNFV template.

Change-Id: Iacb0cc8629e3021181eef2e8cb76daf48601abf4
Signed-off-by: Cédric Ollivier <cedric.ollivier@orange.com>

Rename the class TestSuiteRunner to Suite

It conforms with [1].

[1] https://gerrit.opnfv.org/gerrit/#/c/35211/

Change-Id: I11bbdcd63a1691835fb7c6198549edbaf6b758a1
Signed-off-by: Cédric Ollivier <cedric.ollivier@orange.com>

Rename test_pytest_suite_runner.py to test_unit.py

It conforms with [1].

[1] https://gerrit.opnfv.org/gerrit/#/c/35211/

Change-Id: Ife7a161970997cf6cd74e86c343d4879f87b5cf4
Signed-off-by: Cédric Ollivier <cedric.ollivier@orange.com>

Merge "Bugfix: fix two typos"

Rename pytest_suite_runner.py to unit.py

It also adds the rst files to include this module in apidoc.

Change-Id: Iabbb17bc8601265bd9436c75d1afc0b470df1eb4
Signed-off-by: Cédric Ollivier <cedric.ollivier@orange.com>

Call fetch_os_creds.sh from $PATH

Now it's defined as script in releng/modules' setup.py [1]

[1] https://gerrit.opnfv.org/gerrit/#/c/35183/

Co-Authored-By: Cédric Ollivier <cedric.ollivier@orange.com>
Depends-On: Ic77f4e46d6d3396f9891b73105a0eb7aa037754f
JIRA: FUNCTEST-829

Change-Id: Ief821b7326e0a6c2bbcab31bb21629455e4bc9ea
Signed-off-by: Linda Wang <wangwulin@huawei.com>
Signed-off-by: Cédric Ollivier <cedric.ollivier@orange.com>

Bugfix: fix two typos

1. In run_tests.py, test case name is shown before running:
   logger.error(kwargs['test']) -> logger.info(kwargs['test'])
2. In tempest.py, Verication -> Verification

Change-Id: I117838cdb4b0f920c4cf855645d910e623e06868
Signed-off-by: Linda Wang <wangwulin@huawei.com>

Merge "Bugfix: fix the errors of onos_sfc"

Merge "Update test_vnf.py to support py3"

Merge "Remove former run_unit_tests.sh"

Merge "Test decorators.py in testenv:py35"

Merge "Turn Sphinx warnings into errors"

Merge "Check python3 support when running tox"

Merge "Generate api doc when running tox"

Merge "Update apidoc to conform with vnf module"

Merge "Analyse code when running tox"

Merge "Check style when running tox"

Merge "Delete line breaks before binary operator"

Merge "Sort keys when dumping json"

Merge "Ignore .tox"

Merge "Tox utility to run unit tests"

Merge "Update requests as defined in releng"

Merge "Add baro_tests as requirements"

Merge "Install releng via requirements.txt"

Merge "Set default value for CONFIG_FUNCTEST_YAML"

Merge "Fully cover pytest_suite_runner.py"

Merge "Precise self.result in pytest_suite_runner.py"

Merge "Print stack when catching exceptions in run_tests.py"

Merge "Replace CONST.* by getattribute/setattr for refstack"

Update test_vnf.py to support py3

Change-Id: I86dc83b1fc9205f7b8209d63e18439a7e05c646b
Signed-off-by: Cédric Ollivier <cedric.ollivier@orange.com>

Test decorators.py in testenv:py35

Change-Id: I91d5b04f105cf41bef799eccdaabf89cb0440747
Signed-off-by: Cédric Ollivier <cedric.ollivier@orange.com>

Turn Sphinx warnings into errors

Change-Id: Iefc223a9fa6dbc4e9476aca84b3df4304058862b
Signed-off-by: Cédric Ollivier <cedric.ollivier@orange.com>

Remove former run_unit_tests.sh

Depends-On: I934f4ac739d99d0cb29bea8c6aac6d6780b30901

Change-Id: I67c8a25a2e712babf99e32fb4c049b0acfd2e44d
Signed-off-by: Cédric Ollivier <cedric.ollivier@orange.com>

Check python3 support when running tox

It only tests testcase, feature and odl which supports python3.
It creates a temporary requirements.py3.txt which will be safely removed
when we stop using subprocess32 [1] and robotframework-sshlibrary.

[1] https://jira.opnfv.org/browse/FUNCTEST-827

Change-Id: I92021dcb4aca03f64e2441e3bcff34675a3ae879
Signed-off-by: Cédric Ollivier <cedric.ollivier@orange.com>

Generate api doc when running tox

Change-Id: I78b18981d9f916e6174d44c6280706e404c7c9f2
Signed-off-by: Cédric Ollivier <cedric.ollivier@orange.com>

Update apidoc to conform with vnf module

It completes [1].

[1] https://gerrit.opnfv.org/gerrit/#/c/34467/

Change-Id: Ia4a850b740764774b926d5cdb92c8813bc93f9e4
Signed-off-by: Cédric Ollivier <cedric.ollivier@orange.com>

Analyse code when running tox

It filters all messages to ease reading the report.

Change-Id: Iab55bc71cb6026edde29fb9f084a07b2dedf564f
Signed-off-by: Cédric Ollivier <cedric.ollivier@orange.com>

Check style when running tox

Change-Id: Idedf823a1572c40692e445694461b4196b75275d
Signed-off-by: Cédric Ollivier <cedric.ollivier@orange.com>

Delete line breaks before binary operator

They are considered as warnings by flake8.

Change-Id: I84ffedc41c24133aa0d45e312bb095526aa1095b
Signed-off-by: Cédric Ollivier <cedric.ollivier@orange.com>

Sort keys when dumping json

Otherwise dumping them could break some unit tests as they are
unordered collections [1].

[1] https://build.opnfv.org/ci/job/functest-verify-master/4122/

Change-Id: I108e946926ae9690cf2421e565f2bb81500f9160
Signed-off-by: Cédric Ollivier <cedric.ollivier@orange.com>

Ignore .tox

Change-Id: I50e39057edbbfadd57ea912f1f1ba32389639809
Signed-off-by: Cédric Ollivier <cedric.ollivier@orange.com>

Tox utility to run unit tests

Now run_unit_tests.sh only calls tox to allow merging.
It can be safely deleted as soon as the related jjob is updated.

It also removes test_logging.ini.

Co-Authored-By: Cédric Ollivier <cedric.ollivier@orange.com>
Change-Id: I934f4ac739d99d0cb29bea8c6aac6d6780b30901
Signed-off-by: ashishk1994 <ashishk.iiit@gmail.com>
Signed-off-by: Cédric Ollivier <cedric.ollivier@orange.com>

Update requests as defined in releng

Change-Id: I808cb796d18cf7f193a37e7b7d9073a037bb2ae7
Signed-off-by: Cédric Ollivier <cedric.ollivier@orange.com>

Add baro_tests as requirements

It also stops cloning it when building the docker container and updates
the related unit tests.

It bypasses the bug when importing collectd [1].

[1] https://jira.opnfv.org/browse/BAROMETER-79

Change-Id: Ie9f8ea2b3c95d6b1f5405d76b018cdcb62343a58
Signed-off-by: Cédric Ollivier <cedric.ollivier@orange.com>

Install releng via requirements.txt

It should work in all branches if the right requirements.txt is
selected.

Change-Id: I9c46cd52496528835a92e371320debf92117b4fa
Signed-off-by: Cédric Ollivier <cedric.ollivier@orange.com>

Set default value for CONFIG_FUNCTEST_YAML

It calculates via the full path of env.py.

Change-Id: Ief958833f5116cdb116d0153d85a0ae03063ec5c
Signed-off-by: Cédric Ollivier <cedric.ollivier@orange.com>

Activating SDNVPN test cases for master.

Change-Id: I4ba995d412bfeadc708d5a3c643576097867d1ac
Signed-off-by: Tim Irnich <tim.irnich@ericsson.com>

Re-Enable Promise testcases

Change-Id: I438c8f5ad9a517a19b675205964a427e8b57ac44
Signed-off-by: Gerald Kunzmann <kunzmann@docomolab-euro.com>

Bugfix: fix the errors of onos_sfc

1. Update the service type to "identity", "network", "compute" and
   "image", other than "keystone", "neutron", "nova" and "glance".

JIRA: FUNCTEST-820

Change-Id: I81b2311760fd717570561e6471525773378ad2f2
Signed-off-by: Linda Wang <wangwulin@huawei.com>

Fully cover pytest_suite_runner.py

Change-Id: I766afb1d5c6ef53a5b551539662ee363ae8eadee
Signed-off-by: Cédric Ollivier <cedric.ollivier@orange.com>

Precise self.result in pytest_suite_runner.py

It also adds the related unit tests.

Change-Id: I8325bd9a55c69b229e3c48a9e64aa963e685e03d
Signed-off-by: Cédric Ollivier <cedric.ollivier@orange.com>

Merge "Replace CONST.* by getattribute/setattr for rally and tempest"

Merge "Define Runner class"

Replace CONST.* by getattribute/setattr for refstack

Directories affected:
 - functest/opnfv_tests/openstack/refstack_client
and respective unit test

JIRA: FUNCTEST-796

Change-Id: I7f7047d44d71e82bcc1f66ec0b760ff30a13dbd5
Signed-off-by: Linda Wang <wangwulin@huawei.com>

Replace CONST.* by getattribute/setattr for rally and tempest

Directories affected:
 - functest/opnfv_tests/openstack/rally
 - functest/opnfv_tests/openstack/tempest
and respective unit test

JIRA: FUNCTEST-796

Change-Id: I963f5947663f0b660337f3304defb697f5d338f3
Signed-off-by: Linda Wang <wangwulin@huawei.com>

Merge "Modify how to disable logging in unit test."

Merge "Documentation for unit test project"

Merge "Use StringIO in odl.py"

Merge "Move few local ODL SFC confs to global functest confs"

Merge "Replace CONST.* by getattribute/setattr for cli"

Print stack when catching exceptions in run_tests.py

Change-Id: Id94475dd519ce04b87da470f6e6bb5a1c1aa2d75
Signed-off-by: Cédric Ollivier <cedric.ollivier@orange.com>

Merge "Add a new directory to hold pre-downloaded images"

Merge "Use logger instead of printing in console"

Modify how to disable logging in unit test.

Logs are only disabled when the unit tests are run from cmdline.
It allows running them via pytest_suite_runner.py and printing
their results to functest.log.

You should notice that the unit test must disable the logger of the
tested TestCase (e.g. testcase.TestCase.logger.disabled = 1). Otherwise
false logs will be printed in console.

Change-Id: Ic171e4575c8bab2e52db1897ae026b61a03b6247
Signed-off-by: Cédric Ollivier <cedric.ollivier@orange.com>

Merge "Remove check_success_rate"

Use StringIO in odl.py

It avoids creating and removing the temporary file to dump robot output.

Change-Id: Ia5ea66e76ffb8b8327f2da938f177e8ef4c61dd4
Signed-off-by: Cédric Ollivier <cedric.ollivier@orange.com>

Merge "Fix 2 issues related to logger in pytest_suite_runer.py"

Merge "Allow running unittest.TestCase via run_tests.py"

Use logger instead of printing in console

It modifies pytest_suite_runner.py to dump unit test results in
functest.log via logging.

Change-Id: Ic4e7567c5e52e00ad0e485ccb070029b135041b2
Signed-off-by: Cédric Ollivier <cedric.ollivier@orange.com>

Merge "Clean test-requirements.txt"

Remove check_success_rate

After the introduction of is_successful method
in TestCase class, this is not needed anymore.

Change-Id: I70f6f9e10495601cd5443467347b97efe27b81a3
Signed-off-by: jose.lausuch <jose.lausuch@ericsson.com>

Merge "Fix the opera ims instance initialization error"

Replace CONST.* by getattribute/setattr for cli

Directories affected:
 - functest/cli/commands
and respective unit test

JIRA: FUNCTEST-796

Change-Id: I2ad721819d4b8f97098c589c3b5ed3dcc945409d
Signed-off-by: Linda Wang <wangwulin@huawei.com>

Add a new directory to hold pre-downloaded images

Put all images in the new direcotry. If users want to use the
local image, map the local directory to the ${HOME}/functest/images

Change-Id: I0d309b93f52b3da23d6130056f1a19907313ef68
Signed-off-by: helenyao <yaohelan@huawei.com>

Fix 2 issues related to logger in pytest_suite_runer.py

logging.ini requires the full name otherwise all log messages are lost.
Calling basicConfig() is useless as it has been correctly configured by
run_tests.py before.

Change-Id: I03663c01f795b1b844239a9e24379faa529829aa
Signed-off-by: Cédric Ollivier <cedric.ollivier@orange.com>

Allow running unittest.TestCase via run_tests.py

pytest_suite_runner can run any unittest.TestCase thanks to name passed
as run arg. Here is the related functest/ci/testcases.yaml:

  run:
      module: 'functest.core.pytest_suite_runner'
      class: 'PyTestSuiteRunner'
      args:
          name: 'functest.tests.unit.odl.test_odl'

Change-Id: I7c2c611c4afbad1e52bfdca4a3288ccc21491389
Signed-off-by: Cédric Ollivier <cedric.ollivier@orange.com>

Clean test-requirements.txt

Now only the mandatory requirements related to unit testing are listed
in test-requirements.txt.

Change-Id: I2f17a9e18e90d779ddc80b1ace9ac770a76c3385
Signed-off-by: Cédric Ollivier <cedric.ollivier@orange.com>

Update self.result value to INT

So far, the test cases are storing a string "PASS" "FAIL"
in the self.result variable.
The way the new framework works is with INT Values.

Change-Id: I45e8693327740faadd8254b21569adfb2cefa6c8
Signed-off-by: jose.lausuch <jose.lausuch@ericsson.com>

Merge "Conform constants.py with the minimal standards"

Conform constants.py with the minimal standards

It adds the shebang to constants.py and its dependencies and stops
importing from a relative path. It stops printing obsolete values too.

It adds python3 support to them by the way.

Change-Id: Ie7bddcf253eb245844d9e11c17acc69943c1ba63
Signed-off-by: Cédric Ollivier <cedric.ollivier@orange.com>

Merge "Fix an unorderable types error (if python 3)"

Merge "Add Python3 support to the ODL testcase"

Merge "Converted vPing to leverage the object-oriented SNAPS library."

Fix an unorderable types error (if python 3)

Change-Id: I07c5a548f10a1779faead4d9c596a1976aff8866
Signed-off-by: Cédric Ollivier <cedric.ollivier@orange.com>

Add Python3 support to the ODL testcase

It also adds this support to its dependencies.

Change-Id: I0534f0c7b0e15a9ee89f522f314cf5200874454c
Signed-off-by: Cédric Ollivier <cedric.ollivier@orange.com>

Update/Add requirements to run ODL robot CSIT

It conforms test_odl.py with the new RobotFramework API too.
It also updates test-requirements.txt as required by the current
implementation of run_unit_tests.sh.

Co-Authored-By: Cédric Ollivier <cedric.ollivier@orange.com>
Change-Id: Ibca0150a40d3b8a3f736be1e9dcbf9ce56af0299
Signed-off-by: Jamo Luhrsen <jluhrsen@redhat.com>
Signed-off-by: Cédric Ollivier <cedric.ollivier@orange.com>

Converted vPing to leverage the object-oriented SNAPS library.

JIRA: FUNCTEST-577

1. Replaced procedural openstack_utils with the object-oriented SNAPS
   library
2. Tests now clean themselves up.
3. Improved code documentation.
4. Removed dependency on file-based Cirros image and now leveraging the
   download URL.
5. Removed hardcoded location to the testcases.yaml file to leverage
   the value in config_functest.yaml
6. Included optional flavor metadata based on the scenario being tested
7. Included support for multi-part images.
8. Added enhanced support for configurable images. see SNAPS-76

Fixed line length verification problem with the previous submission
Fixed retrieval of external network name to be dynamic.
Changed external network name retrieval to leverage the newly merged
snap_util.get_ext_net_name() function
Added the creation and deletion of flavors.
SNAPS now has the ability to add/remove security groups from running instances.
Changed VMInstance constructor by moving userdata to configuration object.

Change-Id: I0ef5e268eb153d696bb4d9a7533f780e5c603d26
Signed-off-by: spisarski <s.pisarski@cablelabs.com>

Define Runner class

It simply converts run_tests.py's functions to Runner's methods.
This proposal could be enhanced in a second step to fully leverage on
object programming.

It defines as instance variables the former static variables to allow
multiple runs (it's mandatory for unit testing).

All false positives in unit tests are fixed but run_tests.py is still
not fully covered.

Change-Id: I8f91c132aa8b2248041f31e46238dd5598344d34
Signed-off-by: Cédric Ollivier <cedric.ollivier@orange.com>

Merge "Fix one minor typo"

Merge "Fully cover the decorator"