Merge "Revert rally version to 0.8.1"

Merge "Clone tempest repository in the Docker image"

Revert rally version to 0.8.1

1. Now rally version 0.9.1 is installed via "bash install_rally.sh
   --yes", cause the default RALLY_GIT_BRANCH is master. Then
   some rally related tests will fail as rally tests have not been
   updated in functest
2. rally version 0.8.1 can be installed via --branch 0.8.1

Change-Id: I04003134f070a1a35db2c02f2209e77365be592f
Signed-off-by: Linda Wang <wangwulin@huawei.com>

Clone tempest repository in the Docker image

Rally needs to have a copy of the Tempest repository
in order to install the verifier. Otherwise, rally will
clone it automatically anyway.

This also uplifts the tempest version to 15.0.0 which targets
Ocata deployments according to [1]

[1]: https://releases.openstack.org/ocata/

Change-Id: I30e922a261a4ab1875d48c4754df09426b5f67e4
Signed-off-by: jose.lausuch <jose.lausuch@ericsson.com>

Fix command in prepare env to execute check_os.sh

[1] introduced a bug when adding "sh" to the call.
There is no need to use sh or bash in the command string.

[1]: https://gerrit.opnfv.org/gerrit/#/c/36163/

Change-Id: I9ce443721b69945a4a749da0caa6c008cc8ca284
Signed-off-by: jose.lausuch <jose.lausuch@ericsson.com>

Merge "Use directly OpenStack project packages"

Merge "Change barometer module to load"

Merge "Remove all references to /home/opnfv/repos/functest"

Use directly OpenStack project packages

It stops cloning via git for the next OpenStack projects:
  - networking-bgpvpn
  - rally
  - tempest
  - kingbird
  - refstack-client

It should be noted that refstack_client's setup_env is not designed
to run in Alpine.

Change-Id: I00d17912cad39a0c872d317317e98a78ca9ded2c
Signed-off-by: Cédric Ollivier <cedric.ollivier@orange.com>

Change barometer module to load

As [1] is merged, the way to call the barometer test case is
different as it is hosted in Barometer repo instead of Functest.
The former files are also simply removed too.

baro-tests is no longer a requirement. It is installed as any
third party project.

[1] https://gerrit.opnfv.org/gerrit/#/c/35927/

Co-Authored-By: Cédric Ollivier <cedric.ollivier@orange.com>
Change-Id: Iea56b48fa781600eb3a6ac74662ea8a29f556f99
Signed-off-by: Jose Lausuch <jose.lausuch@ericsson.com>
Signed-off-by: Cédric Ollivier <cedric.ollivier@orange.com>

Remove all references to /home/opnfv/repos/functest

It also removes relative (and incomplete) references which could be
defined in modules instead of this global configuration.

Change-Id: Ie20dc3547e49b6224aa8100cd380d37b87ece5a9
Signed-off-by: Cédric Ollivier <cedric.ollivier@orange.com>

Merge "Promote Linda Wang as a committer"

Stop getting git data from functest dir

Functest is no longer a git clone.

Change-Id: Ieaceacaa820e9a7a3c64e8c1fbd2a8a9321f234d
Signed-off-by: Cédric Ollivier <cedric.ollivier@orange.com>

Clean requirements.txt

It removes all requirements which are not detected by pipreqs [1]
except:
  - robotframework-httplibrary
  - robotframework-requests==0.4.7
  - robotframework-sshlibrary==2.1.3

They seem indirectly required for the next ODL suites: old_netvirt
and fds.

It also defines pbr as requirement and orders dnspython3 conditions.

[1] https://github.com/bndr/pipreqs

Change-Id: Idcd01296e5a5862ff8528dc083468b5c4905c9f9
Signed-off-by: Cédric Ollivier <cedric.ollivier@orange.com>

Remove module references __file__

It allows functest to be run directly from a zip file [1].

[1] https://setuptools.readthedocs.io/en/latest/setuptools.html#setting-the-zip-safe-flag

Change-Id: I596a71e8cf2bed6dd79655bd5beeb047876a188c
Signed-off-by: Cédric Ollivier <cedric.ollivier@orange.com>

Merge "Update Suite details pushed to DB"

Merge "Update (test-)requirements.txt"

Update Suite details pushed to DB

It now reports stats and dumps stream into details.
By the way, it fixes a bug when serializing the former details.

Change-Id: Idd388708071ca3185e5a07bc7e977f2d9837dc95
Signed-off-by: Cédric Ollivier <cedric.ollivier@orange.com>

Merge "Refactor core VNF class"

Update (test-)requirements.txt

It updates requirements.txt and test-requirements.txt according to
OpenStack stable/ocata. It removes useless copyrights.

Change-Id: I603b3030df231f210af47232f20aef85a08e20ba
Signed-off-by: Cédric Ollivier <cedric.ollivier@orange.com>

Promote Linda Wang as a committer

Change-Id: I13528178e97c0b83843888444c5925600cc8c720
Signed-off-by: Jose Lausuch <jose.lausuch@ericsson.com>

Merge "Leverage on pbr (Python Build Reasonableness)"

Merge "Configure the param auth_version in tempest.conf"

Bugfix: fix the return value

openstack_snapshot and openstack_clean should return 0 when they are run
successfully.

JIRA: FUNCTEST-835

Change-Id: I3fcc24ab985de382e0e59b129cb467d66a9a0de2
Signed-off-by: Linda Wang <wangwulin@huawei.com>

Leverage on pbr (Python Build Reasonableness)

pbr can inject requirements into the install_requires, tests_require
and/or dependency_links arguments to setup. They were previously
falsy unset.

It also supports conditional dependencies which can be added to the
requirements (e.g. subprocess32; python_version=='2.7').
Then requirements.py3.txt is removed.

It also removes functest/cli/setup.py which seems false and obsolete.

Dockerfile is updated as well. One temporarily link is created because
of several hardcoded paths in Functest.

Change-Id: I14b3b25e07fbac490dd1d5ce943ec02c5b11f242
Signed-off-by: Cédric Ollivier <cedric.ollivier@orange.com>

Configure the param auth_version in tempest.conf

1. If the auth_url is "https://192.168.31.222:443/identity-admin/v3", the
   auth_version in tempest.conf is supposed to be "v3", not "id".
2. For rally 0.8.1. it is a bug when obtaining the auth_version, please see
   [1], which has been fixed in rally master.

[1]: https://review.openstack.org/#/c/468599/

Change-Id: Ia7474938a741a0954f17f7c7650544dbc0a28853
Signed-off-by: Linda Wang <wangwulin@huawei.com>

Merge "Remove call to fetch_os_creds.sh"

Merge "Make tempest user_password more complicated"

Merge "Remove a former action listed in framework.md"

Merge "Add the copyright header to decorators.py"

Merge "Use PrettyTable to show functest env"

Merge "Update setuptools version to 30.0.0"

Remove call to fetch_os_creds.sh

After [1], the openstack credentials
are provided to Functest as a volume
directly from CI. The same has to be
done manually.
Functest doesn't need the script
fetch_os_creds.sh any longer.

[1] https://gerrit.opnfv.org/gerrit/#/c/35199/

Change-Id: I0883ad7b248526cfe9df3fde984345bd41869e82
Signed-off-by: jose.lausuch <jose.lausuch@ericsson.com>

Update setuptools version to 30.0.0

Change-Id: I318446a873a7362a1b7e53b00e9e4daf658c3abb
Signed-off-by: jose.lausuch <jose.lausuch@ericsson.com>

Refactor core VNF class

- Simplify processing
- Implement run method to inherit testcase methods
- Add unit tests
- Fix all pylint issues

It also obliges vnf and its uts to be rated 10/10 by pylint.

JIRA: FUNCTEST-830

Co-Authored-By: Cédric Ollivier <cedric.ollivier@orange.com>
Change-Id: I8dd24eea55089277c9e5b2b51fb14dc377f2fcaf
Signed-off-by: Morgan Richomme <morgan.richomme@orange.com>
Signed-off-by: Cédric Ollivier <cedric.ollivier@orange.com>

Merge "Update setuptools version to 35.0.2"

Merge "Enable tempest offline by use_custom_images=True"

Remove a former action listed in framework.md

This documentation was already updated to take criteria into account.

Change-Id: I5d795e6dcbda6dec15b03debb3f3b8bce073d474
Signed-off-by: Cédric Ollivier <cedric.ollivier@orange.com>

Add the copyright header to decorators.py

Change-Id: Ie7c60b8ca174c9c95920d0b7ef73b8eff60ae7e1
Signed-off-by: Cédric Ollivier <cedric.ollivier@orange.com>

Use PrettyTable to show functest env

Change-Id: I64800ae7738e0f4215c4c2948967cf60c005032e
Signed-off-by: Cédric Ollivier <cedric.ollivier@orange.com>

Use constants in odl

Change-Id: I134b0efd3dd0faec389087a4dac59de09eae087e
Signed-off-by: Linda Wang <wangwulin@huawei.com>

Make tempest user_password more complicated

For some SUTs, the password for creating user is required to contain
at least 8 characters and three types of characters for security.

Change-Id: Iea770397fc6781d24fbfd0798e2da6bd65293866
Signed-off-by: Linda Wang <wangwulin@huawei.com>

Update setuptools version to 35.0.2

Docker build failed in CI due to the low version of setuptools(3.3)

Change-Id: I5e9b15f59e2cc5e78f5ab1b30fd1525b667f09fb
Signed-off-by: Linda Wang <wangwulin@huawei.com>

Merge "Use CONST to retrieve db_url rather than getter function"

Merge "Added unit tests for the connection_check test case."

Use CONST to retrieve db_url rather than getter function

1. Remove get_db_url()
2. If TEST_DB_URL declared in env, update test_db_url in
   config_functest.yaml file during env preparation
3. No matter TEST_DB_URL declared in env or not,
   Result_DB = CONST.__getattribute__("results_test_db_url")

JIRA: FUNCTEST-763

Change-Id: I20da7ef98bbcc56731e0ff7061b05c1dde6cbfc3
Signed-off-by: Linda Wang <wangwulin@huawei.com>

Added unit tests for the connection_check test case.

JIRA: FUNCTEST-813

Change-Id: Ib851a3942e181b1a91cad695504613868a340d15
Signed-off-by: spisarski <s.pisarski@cablelabs.com>

Return pylint status code for modules rated 10/10

It ensures that no pylint errors or warnings can be introduced by a
new change. The first pylint call (to report issues) will be safely
removed when all pylint errors and warnings are fixed in functest.

Change-Id: I9ff7b7d5a7738c3d6d769267a78c28828c3e4523
Signed-off-by: Cédric Ollivier <cedric.ollivier@orange.com>

Enable tempest offline by use_custom_images=True

1. The image cirros or testvm is required for tempest.conf to run
   tempest testcases.
2. If no images are created in openstack, which just match the
   img_name_regex (default="^.*(cirros|testvm).*$"), it is needed to
   download cirros image online.

Change-Id: Ib5a38a0135b3dd80ad685e33ed35b7b6135b9c87
Signed-off-by: Linda Wang <wangwulin@huawei.com>

Fix a typo in framework.md

It completes [1].

[1] https://gerrit.opnfv.org/gerrit/#/c/35551/

Change-Id: I7b12cf48d9f47665f5d6a005d3cb8d448946409d
Signed-off-by: Cédric Ollivier <cedric.ollivier@orange.com>

Fix a typo in docstring

Change-Id: Ie03004474658bd3317a9be8a6b00f5bda1133f2c
Signed-off-by: Cédric Ollivier <cedric.ollivier@orange.com>

Merge "Define create_snapshot() and clean() in TestCase"

Merge "vping&snaps_xxx support not_hugepage_supported pod"

Define create_snapshot() and clean() in TestCase

They replace the former calls in run_tests which are not suitable for all
test cases. Now any test case can define how to clean its resources.

If the snapshot cannot be created, the test case is considered as
failed. Only a message is printed if any failure during cleaning.

It also defines a new class called OSGCTestCase useful for test cases
which don't clean their OpenStack resources.
All test cases located in opnfv_tests/openstack inherit from it to
keep the global behavior unchanged.

It also deletes exit instructions in openstack_clean and
openstack_snapshot, removes clean flags in testcases.yaml and updates
the related utils.

All Docs are modified as well.

JIRA: FUNCTEST-438

Change-Id: I8938e6255708012380389763a24059ace4ce45d8
Signed-off-by: Cédric Ollivier <cedric.ollivier@orange.com>

Merge "Chmod 755 functest/ci/download_images.sh"

Merge "Fix one email address in INFO"

Merge "Switch shebangs to /usr/bin/env python"

Merge "Export the Pylint results via pylint.out"

Merge "Rename framework.html to index.html"

Chmod 755 functest/ci/download_images.sh

It's designed to be called via Jenkins and was fixed by the next rule:

$ find ${FUNCTEST_REPO_DIR} -name "*.sh" \
  |xargs grep \#\! |cut -d\: -f 1 |xargs chmod -c 755

Change-Id: I186aa9c3227dbac4e80f9a463632efdb2512020e
Signed-off-by: Cédric Ollivier <cedric.ollivier@orange.com>

Fix one email address in INFO

Change-Id: I0ae2f2aaca547f47fa30dd2bf67f5e348c202ce7
Signed-off-by: Cédric Ollivier <cedric.ollivier@orange.com>

Merge "Move api out of the docs directory"

Rename framework.html to index.html

It simplifies the url of the presentation.

Change-Id: I23c449d98d5efcbeb27802a62f607f55ec658ebf
Signed-off-by: Cédric Ollivier <cedric.ollivier@orange.com>

Move api out of the docs directory

The docs directory can only contain static documentation.
All generated html files should be pushed as artifacts at the end of
functest-verify-master.

Change-Id: I17aeab5687b9eb0c7aaf21cbc6b41e8f321c2e63
Signed-off-by: Cédric Ollivier <cedric.ollivier@orange.com>

Rename logger to __logger in unit.py

This mangling ensures that all info messages printed from core packages.

Change-Id: I77ac1c80360d45ef19ed7c3fa05a894804c92216
Signed-off-by: Cédric Ollivier <cedric.ollivier@orange.com>

Protect against self.suite = None

Change-Id: Ie3370ebfdd51b9aff707e50b754ca52796e49fbf
Signed-off-by: Cédric Ollivier <cedric.ollivier@orange.com>

Merge "Re-Enable Promise testcases"

Merge "Fix some pylint errors in onos package"

Switch shebangs to /usr/bin/env python

It modified the shebang to /usr/bin/env which is considered as more
flexible.

Change-Id: I9c8cdb4243d41a83d524499cc91060d3700e008b
Signed-off-by: Cédric Ollivier <cedric.ollivier@orange.com>

Export the Pylint results via pylint.out

It allows integrating Pylint with Jenkins (pylint.out can be defined
as the "XML filename pattern" after installing the Violations plugin
[1]).

It's considered as fine to locally disable warnings such as docstrings
in unit tests. No pylint rcfile is defined for only two options.

Tox still prints the partial results in console to be interpreted by
users. The persistent flag is removed to conform with nosetests args.

[1] https://wiki.jenkins-ci.org/display/JENKINS/Violations

Change-Id: I21662b27c8e4b61e65c4c3f5aab968e3e7dd6d90
Signed-off-by: Cédric Ollivier <cedric.ollivier@orange.com>

vping&snaps_xxx support not_hugepage_supported pod

if flavor_metadata is set to {'hw:mem_page_size': 'any'}, it means
hugepage must be support by pod. but actually hugepage is not supported
by all pods

Change-Id: Ib0b716ecedacf7eeba2c0d0080be2707b1a87e73
Signed-off-by: SerenaFeng <feng.xiaowei@zte.com.cn>

Merge "Stop printing in console when testing functest_utils.py"

Merge "Add docstrings in unit"

Merge "Rename the class TestSuiteRunner to Suite"

Merge "Rename test_pytest_suite_runner.py to test_unit.py"

Merge "Rename pytest_suite_runner.py to unit.py"

Fix some pylint errors in onos package

Directories affected:
 - functest/opnfv_tests/sdn/onos/

JIRA: FUNCTEST-796

Change-Id: Iffbb0e9a021d31a32d940128435a9f6ed43a504f
Signed-off-by: Linda Wang <wangwulin@huawei.com>

Stop printing in console when testing functest_utils.py

Change-Id: I6fa0f6f449270199cc4d5b2c88e171091bf92773
Signed-off-by: Cédric Ollivier <cedric.ollivier@orange.com>

Add docstrings in unit

It also adds shebang and conforms the copyright header with the related
OPNFV template.

Change-Id: Iacb0cc8629e3021181eef2e8cb76daf48601abf4
Signed-off-by: Cédric Ollivier <cedric.ollivier@orange.com>

Rename the class TestSuiteRunner to Suite

It conforms with [1].

[1] https://gerrit.opnfv.org/gerrit/#/c/35211/

Change-Id: I11bbdcd63a1691835fb7c6198549edbaf6b758a1
Signed-off-by: Cédric Ollivier <cedric.ollivier@orange.com>

Rename test_pytest_suite_runner.py to test_unit.py

It conforms with [1].

[1] https://gerrit.opnfv.org/gerrit/#/c/35211/

Change-Id: Ife7a161970997cf6cd74e86c343d4879f87b5cf4
Signed-off-by: Cédric Ollivier <cedric.ollivier@orange.com>

Merge "Bugfix: fix two typos"

Rename pytest_suite_runner.py to unit.py

It also adds the rst files to include this module in apidoc.

Change-Id: Iabbb17bc8601265bd9436c75d1afc0b470df1eb4
Signed-off-by: Cédric Ollivier <cedric.ollivier@orange.com>

Call fetch_os_creds.sh from $PATH

Now it's defined as script in releng/modules' setup.py [1]

[1] https://gerrit.opnfv.org/gerrit/#/c/35183/

Co-Authored-By: Cédric Ollivier <cedric.ollivier@orange.com>
Depends-On: Ic77f4e46d6d3396f9891b73105a0eb7aa037754f
JIRA: FUNCTEST-829

Change-Id: Ief821b7326e0a6c2bbcab31bb21629455e4bc9ea
Signed-off-by: Linda Wang <wangwulin@huawei.com>
Signed-off-by: Cédric Ollivier <cedric.ollivier@orange.com>

Bugfix: fix two typos

1. In run_tests.py, test case name is shown before running:
   logger.error(kwargs['test']) -> logger.info(kwargs['test'])
2. In tempest.py, Verication -> Verification

Change-Id: I117838cdb4b0f920c4cf855645d910e623e06868
Signed-off-by: Linda Wang <wangwulin@huawei.com>

Merge "Bugfix: fix the errors of onos_sfc"

Merge "Update test_vnf.py to support py3"

Merge "Remove former run_unit_tests.sh"

Merge "Test decorators.py in testenv:py35"

Merge "Turn Sphinx warnings into errors"

Merge "Check python3 support when running tox"

Merge "Generate api doc when running tox"

Merge "Update apidoc to conform with vnf module"

Merge "Analyse code when running tox"

Merge "Check style when running tox"

Merge "Delete line breaks before binary operator"

Merge "Sort keys when dumping json"

Merge "Ignore .tox"

Merge "Tox utility to run unit tests"

Merge "Update requests as defined in releng"