Merge "Added unit tests for api_check, health_check, and smoke tests."

Merge "Don't display functest report for single test cases"

Fix floating ips issue in openstack_clean

floatingips is a list of dictionaries where the attributes
are a bit different than in the previous implementation.

Change-Id: I8e8429b1819bba35a4a829f274c60b77ab2eea7e
Signed-off-by: jose.lausuch <jose.lausuch@ericsson.com>

Merge "Make rally support https insecure deployment"

Fixed problem to vping userdata introducted by SNAPS-OO patch.

Changed get_vm_inst() to return a domain object forgot to change the call
in vping_userdata.py.

JIRA: SNAPS-92

Change-Id: I7585dcde483c39fa850e5184686f42bbf2e8f3c5
Signed-off-by: spisarski <s.pisarski@cablelabs.com>

Merge "Use glance to list images"

Merge "Change floating ips management from nova to neutron"

Merge "Enable vping offline"

Merge "Take OpenStack's constraints into account"

Merge "Define logger as Feature instance attribute"

Merge "Install opera via python package"

Merge "Install OPNFV sdnvpn via python package"

Merge "Stop personalizing the common Dockerfile"

Change floating ips management from nova to neutron

Nova does not longer support floating ip creation/deletion.
This patch moves that logic to neutron client.

Change-Id: I2c4146149fe5be534d9c50d78d831b5af1957ad7
Signed-off-by: jose.lausuch <jose.lausuch@ericsson.com>

Don't display functest report for single test cases

When executing a single test case, it is not neccessary
to show duplicated information about the result of the test
case. The functest report only makes sense when running
multiple tests.
e.g. functest testcase run vping_ssh

The report is still showed when doing:
     functest testcase run all

Change-Id: I92d97d6111ecd9484a14c72cf4bb0c2bbe3ae6bf
Signed-off-by: jose.lausuch <jose.lausuch@ericsson.com>

Take OpenStack's constraints into account

upper-constraints.txt contains a pinned list of the entire set of
transitive requirements for OpenStack [1].

We will add OPNFV's constraints as well for OPNFV projects and
their requirements when they are ready.

[1] https://specs.openstack.org/openstack/openstack-specs/specs/requirements-management.html

Change-Id: I2e23584f957e4de191341800d24c8b2776ef9143
Signed-off-by: Cédric Ollivier <cedric.ollivier@orange.com>

Make rally support https insecure deployment

When running in https environment, rally should support insecure
deployment if no cacert file is provided.

JIRA: FUNCTEST-828

Change-Id: I29b0fc8c2e1b74a1ce08293706cd9f11f975b6d5
Signed-off-by: Linda Wang <wangwulin@huawei.com>

Merge "Remove calls to deployment handler in prepare env"

Use glance to list images

1. Images list is not supported by novaclient 8.0.0
2. It moves images list out of nova and into glance

Change-Id: I2a2d40a2ca3a0cf1ebfb55697b3c58af8748a805
Signed-off-by: Linda Wang <wangwulin@huawei.com>

Merge "Enable https insecure for functest"

Enable vping offline

Images used are changed to leverage local file.

Change-Id: I42a89c8c33054a23e226d22358fe268770986a76
Signed-off-by: Linda Wang <wangwulin@huawei.com>

Merge "Revert rally version to 0.8.1"

Remove calls to deployment handler in prepare env

The reason is that some installers have changed the mechanism and the adapters
are not valid any more and the method to access the deployment information fails
Fuel -> MCP
Compass -> Containers

This shall be deactivated to avoid errors in CI until the new installer
adapters are implememnted.

Change-Id: I995b914bf55d5da76f27e715d170dd22e84d677c
Signed-off-by: jose.lausuch <jose.lausuch@ericsson.com>

Merge "Clone tempest repository in the Docker image"

Revert rally version to 0.8.1

1. Now rally version 0.9.1 is installed via "bash install_rally.sh
   --yes", cause the default RALLY_GIT_BRANCH is master. Then
   some rally related tests will fail as rally tests have not been
   updated in functest
2. rally version 0.8.1 can be installed via --branch 0.8.1

Change-Id: I04003134f070a1a35db2c02f2209e77365be592f
Signed-off-by: Linda Wang <wangwulin@huawei.com>

Clone tempest repository in the Docker image

Rally needs to have a copy of the Tempest repository
in order to install the verifier. Otherwise, rally will
clone it automatically anyway.

This also uplifts the tempest version to 15.0.0 which targets
Ocata deployments according to [1]

[1]: https://releases.openstack.org/ocata/

Change-Id: I30e922a261a4ab1875d48c4754df09426b5f67e4
Signed-off-by: jose.lausuch <jose.lausuch@ericsson.com>

Fix command in prepare env to execute check_os.sh

[1] introduced a bug when adding "sh" to the call.
There is no need to use sh or bash in the command string.

[1]: https://gerrit.opnfv.org/gerrit/#/c/36163/

Change-Id: I9ce443721b69945a4a749da0caa6c008cc8ca284
Signed-off-by: jose.lausuch <jose.lausuch@ericsson.com>

Define logger as Feature instance attribute

It allows any Feature subclass to print warning messages in console
and debug messages in a dedicated file.

Co-Authored-By: Cédric Ollivier <cedric.ollivier@orange.com>
Change-Id: Ic5b1b1184c16cf50f0baadc3904075d0acdf3c6d
Signed-off-by: Jose Lausuch <jose.lausuch@ericsson.com>
Signed-off-by: Cédric Ollivier <cedric.ollivier@orange.com>

Install opera via python package

It should be noted that the other OPNFV projects cannot currently be
installed via python packages for many reasons (e.g. binaries not
included, no setup.py...).

Change-Id: Iaf1c960471b2dd8916eb1a49cb46f50b7dfb9b88
Signed-off-by: Cédric Ollivier <cedric.ollivier@orange.com>

Install OPNFV sdnvpn via python package

Change-Id: Ibcaef4eb8658bfe7d1900a8cd6a7b48740524526
Signed-off-by: jose.lausuch <jose.lausuch@ericsson.com>

Stop personalizing the common Dockerfile

Any personal config can be applied to another Dockerfile which
inherits from this one.

Change-Id: Ifb77c0d5821c2b40f2f3e1d6adee6f83d0cd0b29
Signed-off-by: Cédric Ollivier <cedric.ollivier@orange.com>

Enable https insecure for functest

1. When running in https environment, functest should provide an
   option to disable server certificate verification.
2. For check_os.sh, the param "--insecure" is passed to openstack
   cli, e.g.. openstack --insecure server list.

JIRA: FUNCTEST-828

Change-Id: Ie2c5b14152c92e87318fcfaf8b234f59275eb6b8
Signed-off-by: Linda Wang <wangwulin@huawei.com>

Merge "Use directly OpenStack project packages"

Merge "Change barometer module to load"

Merge "Remove all references to /home/opnfv/repos/functest"

Use directly OpenStack project packages

It stops cloning via git for the next OpenStack projects:
  - networking-bgpvpn
  - rally
  - tempest
  - kingbird
  - refstack-client

It should be noted that refstack_client's setup_env is not designed
to run in Alpine.

Change-Id: I00d17912cad39a0c872d317317e98a78ca9ded2c
Signed-off-by: Cédric Ollivier <cedric.ollivier@orange.com>

Change barometer module to load

As [1] is merged, the way to call the barometer test case is
different as it is hosted in Barometer repo instead of Functest.
The former files are also simply removed too.

baro-tests is no longer a requirement. It is installed as any
third party project.

[1] https://gerrit.opnfv.org/gerrit/#/c/35927/

Co-Authored-By: Cédric Ollivier <cedric.ollivier@orange.com>
Change-Id: Iea56b48fa781600eb3a6ac74662ea8a29f556f99
Signed-off-by: Jose Lausuch <jose.lausuch@ericsson.com>
Signed-off-by: Cédric Ollivier <cedric.ollivier@orange.com>

Added unit tests for api_check, health_check, and smoke tests.

In addition to the creation of the unit tests, this patch simplifies
the mocks for connection check as there was an unused annotation.
This patch also refactors the building of the test suite from the
constructor to the run() method.

JIRA: FUNCTEST-813

Change-Id: I7ff5d0389db36141a33ee3a8f76e04b922f8a95f
Signed-off-by: spisarski <s.pisarski@cablelabs.com>

Remove all references to /home/opnfv/repos/functest

It also removes relative (and incomplete) references which could be
defined in modules instead of this global configuration.

Change-Id: Ie20dc3547e49b6224aa8100cd380d37b87ece5a9
Signed-off-by: Cédric Ollivier <cedric.ollivier@orange.com>

Merge "Promote Linda Wang as a committer"

Stop getting git data from functest dir

Functest is no longer a git clone.

Change-Id: Ieaceacaa820e9a7a3c64e8c1fbd2a8a9321f234d
Signed-off-by: Cédric Ollivier <cedric.ollivier@orange.com>

Clean requirements.txt

It removes all requirements which are not detected by pipreqs [1]
except:
  - robotframework-httplibrary
  - robotframework-requests==0.4.7
  - robotframework-sshlibrary==2.1.3

They seem indirectly required for the next ODL suites: old_netvirt
and fds.

It also defines pbr as requirement and orders dnspython3 conditions.

[1] https://github.com/bndr/pipreqs

Change-Id: Idcd01296e5a5862ff8528dc083468b5c4905c9f9
Signed-off-by: Cédric Ollivier <cedric.ollivier@orange.com>

Remove module references __file__

It allows functest to be run directly from a zip file [1].

[1] https://setuptools.readthedocs.io/en/latest/setuptools.html#setting-the-zip-safe-flag

Change-Id: I596a71e8cf2bed6dd79655bd5beeb047876a188c
Signed-off-by: Cédric Ollivier <cedric.ollivier@orange.com>

Merge "Update Suite details pushed to DB"

Merge "Update (test-)requirements.txt"

Update Suite details pushed to DB

It now reports stats and dumps stream into details.
By the way, it fixes a bug when serializing the former details.

Change-Id: Idd388708071ca3185e5a07bc7e977f2d9837dc95
Signed-off-by: Cédric Ollivier <cedric.ollivier@orange.com>

Merge "Refactor core VNF class"

Update (test-)requirements.txt

It updates requirements.txt and test-requirements.txt according to
OpenStack stable/ocata. It removes useless copyrights.

Change-Id: I603b3030df231f210af47232f20aef85a08e20ba
Signed-off-by: Cédric Ollivier <cedric.ollivier@orange.com>

Promote Linda Wang as a committer

Change-Id: I13528178e97c0b83843888444c5925600cc8c720
Signed-off-by: Jose Lausuch <jose.lausuch@ericsson.com>

Merge "Leverage on pbr (Python Build Reasonableness)"

Merge "Configure the param auth_version in tempest.conf"

Bugfix: fix the return value

openstack_snapshot and openstack_clean should return 0 when they are run
successfully.

JIRA: FUNCTEST-835

Change-Id: I3fcc24ab985de382e0e59b129cb467d66a9a0de2
Signed-off-by: Linda Wang <wangwulin@huawei.com>

Leverage on pbr (Python Build Reasonableness)

pbr can inject requirements into the install_requires, tests_require
and/or dependency_links arguments to setup. They were previously
falsy unset.

It also supports conditional dependencies which can be added to the
requirements (e.g. subprocess32; python_version=='2.7').
Then requirements.py3.txt is removed.

It also removes functest/cli/setup.py which seems false and obsolete.

Dockerfile is updated as well. One temporarily link is created because
of several hardcoded paths in Functest.

Change-Id: I14b3b25e07fbac490dd1d5ce943ec02c5b11f242
Signed-off-by: Cédric Ollivier <cedric.ollivier@orange.com>

Configure the param auth_version in tempest.conf

1. If the auth_url is "https://192.168.31.222:443/identity-admin/v3", the
   auth_version in tempest.conf is supposed to be "v3", not "id".
2. For rally 0.8.1. it is a bug when obtaining the auth_version, please see
   [1], which has been fixed in rally master.

[1]: https://review.openstack.org/#/c/468599/

Change-Id: Ia7474938a741a0954f17f7c7650544dbc0a28853
Signed-off-by: Linda Wang <wangwulin@huawei.com>

Merge "Remove call to fetch_os_creds.sh"

Merge "Make tempest user_password more complicated"

Merge "Remove a former action listed in framework.md"

Merge "Add the copyright header to decorators.py"

Merge "Use PrettyTable to show functest env"

Merge "Update setuptools version to 30.0.0"

Remove call to fetch_os_creds.sh

After [1], the openstack credentials
are provided to Functest as a volume
directly from CI. The same has to be
done manually.
Functest doesn't need the script
fetch_os_creds.sh any longer.

[1] https://gerrit.opnfv.org/gerrit/#/c/35199/

Change-Id: I0883ad7b248526cfe9df3fde984345bd41869e82
Signed-off-by: jose.lausuch <jose.lausuch@ericsson.com>

Update setuptools version to 30.0.0

Change-Id: I318446a873a7362a1b7e53b00e9e4daf658c3abb
Signed-off-by: jose.lausuch <jose.lausuch@ericsson.com>

Refactor core VNF class

- Simplify processing
- Implement run method to inherit testcase methods
- Add unit tests
- Fix all pylint issues

It also obliges vnf and its uts to be rated 10/10 by pylint.

JIRA: FUNCTEST-830

Co-Authored-By: Cédric Ollivier <cedric.ollivier@orange.com>
Change-Id: I8dd24eea55089277c9e5b2b51fb14dc377f2fcaf
Signed-off-by: Morgan Richomme <morgan.richomme@orange.com>
Signed-off-by: Cédric Ollivier <cedric.ollivier@orange.com>

Merge "Update setuptools version to 35.0.2"

Merge "Enable tempest offline by use_custom_images=True"

Remove a former action listed in framework.md

This documentation was already updated to take criteria into account.

Change-Id: I5d795e6dcbda6dec15b03debb3f3b8bce073d474
Signed-off-by: Cédric Ollivier <cedric.ollivier@orange.com>

Add the copyright header to decorators.py

Change-Id: Ie7c60b8ca174c9c95920d0b7ef73b8eff60ae7e1
Signed-off-by: Cédric Ollivier <cedric.ollivier@orange.com>

Use PrettyTable to show functest env

Change-Id: I64800ae7738e0f4215c4c2948967cf60c005032e
Signed-off-by: Cédric Ollivier <cedric.ollivier@orange.com>

Use constants in odl

Change-Id: I134b0efd3dd0faec389087a4dac59de09eae087e
Signed-off-by: Linda Wang <wangwulin@huawei.com>

Make tempest user_password more complicated

For some SUTs, the password for creating user is required to contain
at least 8 characters and three types of characters for security.

Change-Id: Iea770397fc6781d24fbfd0798e2da6bd65293866
Signed-off-by: Linda Wang <wangwulin@huawei.com>

Update setuptools version to 35.0.2

Docker build failed in CI due to the low version of setuptools(3.3)

Change-Id: I5e9b15f59e2cc5e78f5ab1b30fd1525b667f09fb
Signed-off-by: Linda Wang <wangwulin@huawei.com>

Merge "Use CONST to retrieve db_url rather than getter function"

Merge "Added unit tests for the connection_check test case."

Use CONST to retrieve db_url rather than getter function

1. Remove get_db_url()
2. If TEST_DB_URL declared in env, update test_db_url in
   config_functest.yaml file during env preparation
3. No matter TEST_DB_URL declared in env or not,
   Result_DB = CONST.__getattribute__("results_test_db_url")

JIRA: FUNCTEST-763

Change-Id: I20da7ef98bbcc56731e0ff7061b05c1dde6cbfc3
Signed-off-by: Linda Wang <wangwulin@huawei.com>

Added unit tests for the connection_check test case.

JIRA: FUNCTEST-813

Change-Id: Ib851a3942e181b1a91cad695504613868a340d15
Signed-off-by: spisarski <s.pisarski@cablelabs.com>

Return pylint status code for modules rated 10/10

It ensures that no pylint errors or warnings can be introduced by a
new change. The first pylint call (to report issues) will be safely
removed when all pylint errors and warnings are fixed in functest.

Change-Id: I9ff7b7d5a7738c3d6d769267a78c28828c3e4523
Signed-off-by: Cédric Ollivier <cedric.ollivier@orange.com>

Enable tempest offline by use_custom_images=True

1. The image cirros or testvm is required for tempest.conf to run
   tempest testcases.
2. If no images are created in openstack, which just match the
   img_name_regex (default="^.*(cirros|testvm).*$"), it is needed to
   download cirros image online.

Change-Id: Ib5a38a0135b3dd80ad685e33ed35b7b6135b9c87
Signed-off-by: Linda Wang <wangwulin@huawei.com>

Fix a typo in framework.md

It completes [1].

[1] https://gerrit.opnfv.org/gerrit/#/c/35551/

Change-Id: I7b12cf48d9f47665f5d6a005d3cb8d448946409d
Signed-off-by: Cédric Ollivier <cedric.ollivier@orange.com>

Fix a typo in docstring

Change-Id: Ie03004474658bd3317a9be8a6b00f5bda1133f2c
Signed-off-by: Cédric Ollivier <cedric.ollivier@orange.com>

Merge "Define create_snapshot() and clean() in TestCase"

Merge "vping&snaps_xxx support not_hugepage_supported pod"

Define create_snapshot() and clean() in TestCase

They replace the former calls in run_tests which are not suitable for all
test cases. Now any test case can define how to clean its resources.

If the snapshot cannot be created, the test case is considered as
failed. Only a message is printed if any failure during cleaning.

It also defines a new class called OSGCTestCase useful for test cases
which don't clean their OpenStack resources.
All test cases located in opnfv_tests/openstack inherit from it to
keep the global behavior unchanged.

It also deletes exit instructions in openstack_clean and
openstack_snapshot, removes clean flags in testcases.yaml and updates
the related utils.

All Docs are modified as well.

JIRA: FUNCTEST-438

Change-Id: I8938e6255708012380389763a24059ace4ce45d8
Signed-off-by: Cédric Ollivier <cedric.ollivier@orange.com>

Merge "Chmod 755 functest/ci/download_images.sh"

Merge "Fix one email address in INFO"

Merge "Switch shebangs to /usr/bin/env python"

Merge "Export the Pylint results via pylint.out"

Merge "Rename framework.html to index.html"

Chmod 755 functest/ci/download_images.sh

It's designed to be called via Jenkins and was fixed by the next rule:

$ find ${FUNCTEST_REPO_DIR} -name "*.sh" \
  |xargs grep \#\! |cut -d\: -f 1 |xargs chmod -c 755

Change-Id: I186aa9c3227dbac4e80f9a463632efdb2512020e
Signed-off-by: Cédric Ollivier <cedric.ollivier@orange.com>

Fix one email address in INFO

Change-Id: I0ae2f2aaca547f47fa30dd2bf67f5e348c202ce7
Signed-off-by: Cédric Ollivier <cedric.ollivier@orange.com>

Merge "Move api out of the docs directory"

Rename framework.html to index.html

It simplifies the url of the presentation.

Change-Id: I23c449d98d5efcbeb27802a62f607f55ec658ebf
Signed-off-by: Cédric Ollivier <cedric.ollivier@orange.com>

Move api out of the docs directory

The docs directory can only contain static documentation.
All generated html files should be pushed as artifacts at the end of
functest-verify-master.

Change-Id: I17aeab5687b9eb0c7aaf21cbc6b41e8f321c2e63
Signed-off-by: Cédric Ollivier <cedric.ollivier@orange.com>

Rename logger to __logger in unit.py

This mangling ensures that all info messages printed from core packages.

Change-Id: I77ac1c80360d45ef19ed7c3fa05a894804c92216
Signed-off-by: Cédric Ollivier <cedric.ollivier@orange.com>

Protect against self.suite = None

Change-Id: Ie3370ebfdd51b9aff707e50b754ca52796e49fbf
Signed-off-by: Cédric Ollivier <cedric.ollivier@orange.com>

Merge "Re-Enable Promise testcases"

Merge "Fix some pylint errors in onos package"

Switch shebangs to /usr/bin/env python

It modified the shebang to /usr/bin/env which is considered as more
flexible.

Change-Id: I9c8cdb4243d41a83d524499cc91060d3700e008b
Signed-off-by: Cédric Ollivier <cedric.ollivier@orange.com>

Export the Pylint results via pylint.out

It allows integrating Pylint with Jenkins (pylint.out can be defined
as the "XML filename pattern" after installing the Violations plugin
[1]).

It's considered as fine to locally disable warnings such as docstrings
in unit tests. No pylint rcfile is defined for only two options.

Tox still prints the partial results in console to be interpreted by
users. The persistent flag is removed to conform with nosetests args.

[1] https://wiki.jenkins-ci.org/display/JENKINS/Violations

Change-Id: I21662b27c8e4b61e65c4c3f5aab968e3e7dd6d90
Signed-off-by: Cédric Ollivier <cedric.ollivier@orange.com>

vping&snaps_xxx support not_hugepage_supported pod

if flavor_metadata is set to {'hw:mem_page_size': 'any'}, it means
hugepage must be support by pod. but actually hugepage is not supported
by all pods

Change-Id: Ib0b716ecedacf7eeba2c0d0080be2707b1a87e73
Signed-off-by: SerenaFeng <feng.xiaowei@zte.com.cn>

Merge "Stop printing in console when testing functest_utils.py"