Get install_rally.sh from git.openstack.org

Change-Id: I99a87e2399c1be79dabc9109e10665fc9ef8bee2
Signed-off-by: Cédric Ollivier <cedric.ollivier@orange.com>

Switch to official tosca-parser and heat-translator

They replace the python packages located in parser which don't
meet OpenStack's upper constraints [1].

It completes [2] which simply keeps the wrong logic of
parser/tests/parser_install.sh.

[1] https://build.opnfv.org/ci/job/functest-docker-build-push-master/1170/console
[2] https://gerrit.opnfv.org/gerrit/#/c/36653/

Change-Id: If108b8d1fad08237b8a57d82bf5601f4d6ecf64e
Signed-off-by: Cédric Ollivier <cedric.ollivier@orange.com>

Leverage on parser python packages in Dockerfile

It also stops calling parser_install.sh.
This file is replaced by the 2 new requirements in
docker/thirdparty-requirements.txt:
  - tosca-parser
  - heat-translator

Change-Id: Ic9dcdd81df9800fc8e559a07f9c100a20bea2290
Signed-off-by: Cédric Ollivier <cedric.ollivier@orange.com>

Update paths in functest/ci/testcases.yaml

It follows the changes switching to python packages.
It shall be noted  that several cmds could be enhanced.

Change-Id: I8cf3595d1e8044b650deb4ec733bf973c0bf1b3f
Signed-off-by: Cédric Ollivier <cedric.ollivier@orange.com>

Merge "Remove Rally requests scenario"

Remove Rally requests scenario

HttpRequests scenario is not directly related to OpenStack and not
supported by Rally in https environment.

Change-Id: I2e91d129d82dfaba62eca25e3e4890ff54f52ac6
Signed-off-by: Juha Kosonen <juha.kosonen@nokia.com>

Updated fds testcase criteria

Initially, we only executed fds testcase on odl_l2 fdio scenarios.
Now we're extending this to all odl fdio scenarios.

Change-Id: Ieb2454f02847361fdf3274b11f20a996a916ad90
Signed-off-by: juraj.linkes <jlinkes@cisco.com>

Merge "Increase timeout of Open Baton installation"

Merge "Add sfc in thirdparty-requirements.txt"

Merge "Add securityscanning in thirdparty-requirements.txt"

Merge "Remove obsolete repos in functest/ci/config_functest.yaml"

Add sfc in thirdparty-requirements.txt

Now it can be installed via python package [1] and then be listed in
thirdparty-requirements.txt.

[1] https://gerrit.opnfv.org/gerrit/#/c/36445/

Change-Id: Iae7482865917e51a96a180b0a987ab0ff26a0190
Signed-off-by: Cédric Ollivier <cedric.ollivier@orange.com>

Increase timeout of Open Baton installation

Change-Id: Ifdc24a3fc9e2c315b41f9e68bccb88df36252b0c
JIRA: ORCHESTRA-14
Signed-off-by: Michael Pauls <michael.pauls@fokus.fraunhofer.de>

Remove Tempest repo and use the one created by Refstack

Refstack clones the repo in /home/opnfv/.tempest. Rally can use
that repo which is checked out to the REFSTACK_TAG=15.0.0
This way, we avoid having twice the same files.

Change-Id: I9b05d29b1c9bdf3d10539b771d0d20abb2b7cc37
Signed-off-by: jose.lausuch <jose.lausuch@ericsson.com>

Merge "enable doctor-notification test case"

Merge "Added unit tests for api_check, health_check, and smoke tests."

Merge "Don't display functest report for single test cases"

enable doctor-notification test case

Change-Id: If2b6b46f3f192f58636c55f3ddc9e80b9e22be3c
Signed-off-by: Ryota MIBU <r-mibu@cq.jp.nec.com>

Fix floating ips issue in openstack_clean

floatingips is a list of dictionaries where the attributes
are a bit different than in the previous implementation.

Change-Id: I8e8429b1819bba35a4a829f274c60b77ab2eea7e
Signed-off-by: jose.lausuch <jose.lausuch@ericsson.com>

Merge "Make rally support https insecure deployment"

Fixed problem to vping userdata introducted by SNAPS-OO patch.

Changed get_vm_inst() to return a domain object forgot to change the call
in vping_userdata.py.

JIRA: SNAPS-92

Change-Id: I7585dcde483c39fa850e5184686f42bbf2e8f3c5
Signed-off-by: spisarski <s.pisarski@cablelabs.com>

Add securityscanning in thirdparty-requirements.txt

Now it can be installed via python package [1] and then be listed in
thirdparty-requirements.txt.

[1] https://gerrit.opnfv.org/gerrit/#/c/36437/

Change-Id: Ib9489de1f46993fa9fe35485fa95baf003d44974
Signed-off-by: Cédric Ollivier <cedric.ollivier@orange.com>

Remove obsolete repos in functest/ci/config_functest.yaml

It completes "Use directly OpenStack project packages" [1].
kingbird becomes a dependency.

[1] https://gerrit.opnfv.org/gerrit/#/c/36125/

Change-Id: I2cb9e3a2146a2b2bbae89dde9917c5ace70048a6
Signed-off-by: Cédric Ollivier <cedric.ollivier@orange.com>

Merge "Use glance to list images"

Merge "Change floating ips management from nova to neutron"

Merge "Enable vping offline"

Merge "Take OpenStack's constraints into account"

Merge "Define logger as Feature instance attribute"

Merge "Install opera via python package"

Merge "Install OPNFV sdnvpn via python package"

Merge "Stop personalizing the common Dockerfile"

Change floating ips management from nova to neutron

Nova does not longer support floating ip creation/deletion.
This patch moves that logic to neutron client.

Change-Id: I2c4146149fe5be534d9c50d78d831b5af1957ad7
Signed-off-by: jose.lausuch <jose.lausuch@ericsson.com>

Don't display functest report for single test cases

When executing a single test case, it is not neccessary
to show duplicated information about the result of the test
case. The functest report only makes sense when running
multiple tests.
e.g. functest testcase run vping_ssh

The report is still showed when doing:
     functest testcase run all

Change-Id: I92d97d6111ecd9484a14c72cf4bb0c2bbe3ae6bf
Signed-off-by: jose.lausuch <jose.lausuch@ericsson.com>

Take OpenStack's constraints into account

upper-constraints.txt contains a pinned list of the entire set of
transitive requirements for OpenStack [1].

We will add OPNFV's constraints as well for OPNFV projects and
their requirements when they are ready.

[1] https://specs.openstack.org/openstack/openstack-specs/specs/requirements-management.html

Change-Id: I2e23584f957e4de191341800d24c8b2776ef9143
Signed-off-by: Cédric Ollivier <cedric.ollivier@orange.com>

Make rally support https insecure deployment

When running in https environment, rally should support insecure
deployment if no cacert file is provided.

JIRA: FUNCTEST-828

Change-Id: I29b0fc8c2e1b74a1ce08293706cd9f11f975b6d5
Signed-off-by: Linda Wang <wangwulin@huawei.com>

Merge "Remove calls to deployment handler in prepare env"

Use glance to list images

1. Images list is not supported by novaclient 8.0.0
2. It moves images list out of nova and into glance

Change-Id: I2a2d40a2ca3a0cf1ebfb55697b3c58af8748a805
Signed-off-by: Linda Wang <wangwulin@huawei.com>

Merge "Enable https insecure for functest"

Enable vping offline

Images used are changed to leverage local file.

Change-Id: I42a89c8c33054a23e226d22358fe268770986a76
Signed-off-by: Linda Wang <wangwulin@huawei.com>

Merge "Revert rally version to 0.8.1"

Remove calls to deployment handler in prepare env

The reason is that some installers have changed the mechanism and the adapters
are not valid any more and the method to access the deployment information fails
Fuel -> MCP
Compass -> Containers

This shall be deactivated to avoid errors in CI until the new installer
adapters are implememnted.

Change-Id: I995b914bf55d5da76f27e715d170dd22e84d677c
Signed-off-by: jose.lausuch <jose.lausuch@ericsson.com>

Merge "Clone tempest repository in the Docker image"

Revert rally version to 0.8.1

1. Now rally version 0.9.1 is installed via "bash install_rally.sh
   --yes", cause the default RALLY_GIT_BRANCH is master. Then
   some rally related tests will fail as rally tests have not been
   updated in functest
2. rally version 0.8.1 can be installed via --branch 0.8.1

Change-Id: I04003134f070a1a35db2c02f2209e77365be592f
Signed-off-by: Linda Wang <wangwulin@huawei.com>

Clone tempest repository in the Docker image

Rally needs to have a copy of the Tempest repository
in order to install the verifier. Otherwise, rally will
clone it automatically anyway.

This also uplifts the tempest version to 15.0.0 which targets
Ocata deployments according to [1]

[1]: https://releases.openstack.org/ocata/

Change-Id: I30e922a261a4ab1875d48c4754df09426b5f67e4
Signed-off-by: jose.lausuch <jose.lausuch@ericsson.com>

Fix command in prepare env to execute check_os.sh

[1] introduced a bug when adding "sh" to the call.
There is no need to use sh or bash in the command string.

[1]: https://gerrit.opnfv.org/gerrit/#/c/36163/

Change-Id: I9ce443721b69945a4a749da0caa6c008cc8ca284
Signed-off-by: jose.lausuch <jose.lausuch@ericsson.com>

Define logger as Feature instance attribute

It allows any Feature subclass to print warning messages in console
and debug messages in a dedicated file.

Co-Authored-By: Cédric Ollivier <cedric.ollivier@orange.com>
Change-Id: Ic5b1b1184c16cf50f0baadc3904075d0acdf3c6d
Signed-off-by: Jose Lausuch <jose.lausuch@ericsson.com>
Signed-off-by: Cédric Ollivier <cedric.ollivier@orange.com>

Install opera via python package

It should be noted that the other OPNFV projects cannot currently be
installed via python packages for many reasons (e.g. binaries not
included, no setup.py...).

Change-Id: Iaf1c960471b2dd8916eb1a49cb46f50b7dfb9b88
Signed-off-by: Cédric Ollivier <cedric.ollivier@orange.com>

Install OPNFV sdnvpn via python package

Change-Id: Ibcaef4eb8658bfe7d1900a8cd6a7b48740524526
Signed-off-by: jose.lausuch <jose.lausuch@ericsson.com>

Stop personalizing the common Dockerfile

Any personal config can be applied to another Dockerfile which
inherits from this one.

Change-Id: Ifb77c0d5821c2b40f2f3e1d6adee6f83d0cd0b29
Signed-off-by: Cédric Ollivier <cedric.ollivier@orange.com>

Enable https insecure for functest

1. When running in https environment, functest should provide an
   option to disable server certificate verification.
2. For check_os.sh, the param "--insecure" is passed to openstack
   cli, e.g.. openstack --insecure server list.

JIRA: FUNCTEST-828

Change-Id: Ie2c5b14152c92e87318fcfaf8b234f59275eb6b8
Signed-off-by: Linda Wang <wangwulin@huawei.com>

Merge "Use directly OpenStack project packages"

Merge "Change barometer module to load"

Merge "Remove all references to /home/opnfv/repos/functest"

Use directly OpenStack project packages

It stops cloning via git for the next OpenStack projects:
  - networking-bgpvpn
  - rally
  - tempest
  - kingbird
  - refstack-client

It should be noted that refstack_client's setup_env is not designed
to run in Alpine.

Change-Id: I00d17912cad39a0c872d317317e98a78ca9ded2c
Signed-off-by: Cédric Ollivier <cedric.ollivier@orange.com>

Change barometer module to load

As [1] is merged, the way to call the barometer test case is
different as it is hosted in Barometer repo instead of Functest.
The former files are also simply removed too.

baro-tests is no longer a requirement. It is installed as any
third party project.

[1] https://gerrit.opnfv.org/gerrit/#/c/35927/

Co-Authored-By: Cédric Ollivier <cedric.ollivier@orange.com>
Change-Id: Iea56b48fa781600eb3a6ac74662ea8a29f556f99
Signed-off-by: Jose Lausuch <jose.lausuch@ericsson.com>
Signed-off-by: Cédric Ollivier <cedric.ollivier@orange.com>

Added unit tests for api_check, health_check, and smoke tests.

In addition to the creation of the unit tests, this patch simplifies
the mocks for connection check as there was an unused annotation.
This patch also refactors the building of the test suite from the
constructor to the run() method.

JIRA: FUNCTEST-813

Change-Id: I7ff5d0389db36141a33ee3a8f76e04b922f8a95f
Signed-off-by: spisarski <s.pisarski@cablelabs.com>

Remove all references to /home/opnfv/repos/functest

It also removes relative (and incomplete) references which could be
defined in modules instead of this global configuration.

Change-Id: Ie20dc3547e49b6224aa8100cd380d37b87ece5a9
Signed-off-by: Cédric Ollivier <cedric.ollivier@orange.com>

Merge "Promote Linda Wang as a committer"

Stop getting git data from functest dir

Functest is no longer a git clone.

Change-Id: Ieaceacaa820e9a7a3c64e8c1fbd2a8a9321f234d
Signed-off-by: Cédric Ollivier <cedric.ollivier@orange.com>

Clean requirements.txt

It removes all requirements which are not detected by pipreqs [1]
except:
  - robotframework-httplibrary
  - robotframework-requests==0.4.7
  - robotframework-sshlibrary==2.1.3

They seem indirectly required for the next ODL suites: old_netvirt
and fds.

It also defines pbr as requirement and orders dnspython3 conditions.

[1] https://github.com/bndr/pipreqs

Change-Id: Idcd01296e5a5862ff8528dc083468b5c4905c9f9
Signed-off-by: Cédric Ollivier <cedric.ollivier@orange.com>

Remove module references __file__

It allows functest to be run directly from a zip file [1].

[1] https://setuptools.readthedocs.io/en/latest/setuptools.html#setting-the-zip-safe-flag

Change-Id: I596a71e8cf2bed6dd79655bd5beeb047876a188c
Signed-off-by: Cédric Ollivier <cedric.ollivier@orange.com>

Merge "Update Suite details pushed to DB"

Merge "Update (test-)requirements.txt"

Update Suite details pushed to DB

It now reports stats and dumps stream into details.
By the way, it fixes a bug when serializing the former details.

Change-Id: Idd388708071ca3185e5a07bc7e977f2d9837dc95
Signed-off-by: Cédric Ollivier <cedric.ollivier@orange.com>

Merge "Refactor core VNF class"

Update (test-)requirements.txt

It updates requirements.txt and test-requirements.txt according to
OpenStack stable/ocata. It removes useless copyrights.

Change-Id: I603b3030df231f210af47232f20aef85a08e20ba
Signed-off-by: Cédric Ollivier <cedric.ollivier@orange.com>

Promote Linda Wang as a committer

Change-Id: I13528178e97c0b83843888444c5925600cc8c720
Signed-off-by: Jose Lausuch <jose.lausuch@ericsson.com>

Merge "Leverage on pbr (Python Build Reasonableness)"

Merge "Configure the param auth_version in tempest.conf"

Bugfix: fix the return value

openstack_snapshot and openstack_clean should return 0 when they are run
successfully.

JIRA: FUNCTEST-835

Change-Id: I3fcc24ab985de382e0e59b129cb467d66a9a0de2
Signed-off-by: Linda Wang <wangwulin@huawei.com>

Leverage on pbr (Python Build Reasonableness)

pbr can inject requirements into the install_requires, tests_require
and/or dependency_links arguments to setup. They were previously
falsy unset.

It also supports conditional dependencies which can be added to the
requirements (e.g. subprocess32; python_version=='2.7').
Then requirements.py3.txt is removed.

It also removes functest/cli/setup.py which seems false and obsolete.

Dockerfile is updated as well. One temporarily link is created because
of several hardcoded paths in Functest.

Change-Id: I14b3b25e07fbac490dd1d5ce943ec02c5b11f242
Signed-off-by: Cédric Ollivier <cedric.ollivier@orange.com>

Configure the param auth_version in tempest.conf

1. If the auth_url is "https://192.168.31.222:443/identity-admin/v3", the
   auth_version in tempest.conf is supposed to be "v3", not "id".
2. For rally 0.8.1. it is a bug when obtaining the auth_version, please see
   [1], which has been fixed in rally master.

[1]: https://review.openstack.org/#/c/468599/

Change-Id: Ia7474938a741a0954f17f7c7650544dbc0a28853
Signed-off-by: Linda Wang <wangwulin@huawei.com>

Merge "Remove call to fetch_os_creds.sh"

Merge "Make tempest user_password more complicated"

Merge "Remove a former action listed in framework.md"

Merge "Add the copyright header to decorators.py"

Merge "Use PrettyTable to show functest env"

Merge "Update setuptools version to 30.0.0"

Remove call to fetch_os_creds.sh

After [1], the openstack credentials
are provided to Functest as a volume
directly from CI. The same has to be
done manually.
Functest doesn't need the script
fetch_os_creds.sh any longer.

[1] https://gerrit.opnfv.org/gerrit/#/c/35199/

Change-Id: I0883ad7b248526cfe9df3fde984345bd41869e82
Signed-off-by: jose.lausuch <jose.lausuch@ericsson.com>

Update setuptools version to 30.0.0

Change-Id: I318446a873a7362a1b7e53b00e9e4daf658c3abb
Signed-off-by: jose.lausuch <jose.lausuch@ericsson.com>

Refactor core VNF class

- Simplify processing
- Implement run method to inherit testcase methods
- Add unit tests
- Fix all pylint issues

It also obliges vnf and its uts to be rated 10/10 by pylint.

JIRA: FUNCTEST-830

Co-Authored-By: Cédric Ollivier <cedric.ollivier@orange.com>
Change-Id: I8dd24eea55089277c9e5b2b51fb14dc377f2fcaf
Signed-off-by: Morgan Richomme <morgan.richomme@orange.com>
Signed-off-by: Cédric Ollivier <cedric.ollivier@orange.com>

Merge "Update setuptools version to 35.0.2"

Merge "Enable tempest offline by use_custom_images=True"

Remove a former action listed in framework.md

This documentation was already updated to take criteria into account.

Change-Id: I5d795e6dcbda6dec15b03debb3f3b8bce073d474
Signed-off-by: Cédric Ollivier <cedric.ollivier@orange.com>

Add the copyright header to decorators.py

Change-Id: Ie7c60b8ca174c9c95920d0b7ef73b8eff60ae7e1
Signed-off-by: Cédric Ollivier <cedric.ollivier@orange.com>

Use PrettyTable to show functest env

Change-Id: I64800ae7738e0f4215c4c2948967cf60c005032e
Signed-off-by: Cédric Ollivier <cedric.ollivier@orange.com>

Use constants in odl

Change-Id: I134b0efd3dd0faec389087a4dac59de09eae087e
Signed-off-by: Linda Wang <wangwulin@huawei.com>

Make tempest user_password more complicated

For some SUTs, the password for creating user is required to contain
at least 8 characters and three types of characters for security.

Change-Id: Iea770397fc6781d24fbfd0798e2da6bd65293866
Signed-off-by: Linda Wang <wangwulin@huawei.com>

Update setuptools version to 35.0.2

Docker build failed in CI due to the low version of setuptools(3.3)

Change-Id: I5e9b15f59e2cc5e78f5ab1b30fd1525b667f09fb
Signed-off-by: Linda Wang <wangwulin@huawei.com>

Merge "Use CONST to retrieve db_url rather than getter function"

Merge "Added unit tests for the connection_check test case."

Use CONST to retrieve db_url rather than getter function

1. Remove get_db_url()
2. If TEST_DB_URL declared in env, update test_db_url in
   config_functest.yaml file during env preparation
3. No matter TEST_DB_URL declared in env or not,
   Result_DB = CONST.__getattribute__("results_test_db_url")

JIRA: FUNCTEST-763

Change-Id: I20da7ef98bbcc56731e0ff7061b05c1dde6cbfc3
Signed-off-by: Linda Wang <wangwulin@huawei.com>

Added unit tests for the connection_check test case.

JIRA: FUNCTEST-813

Change-Id: Ib851a3942e181b1a91cad695504613868a340d15
Signed-off-by: spisarski <s.pisarski@cablelabs.com>

Return pylint status code for modules rated 10/10

It ensures that no pylint errors or warnings can be introduced by a
new change. The first pylint call (to report issues) will be safely
removed when all pylint errors and warnings are fixed in functest.

Change-Id: I9ff7b7d5a7738c3d6d769267a78c28828c3e4523
Signed-off-by: Cédric Ollivier <cedric.ollivier@orange.com>

Enable tempest offline by use_custom_images=True

1. The image cirros or testvm is required for tempest.conf to run
   tempest testcases.
2. If no images are created in openstack, which just match the
   img_name_regex (default="^.*(cirros|testvm).*$"), it is needed to
   download cirros image online.

Change-Id: Ib5a38a0135b3dd80ad685e33ed35b7b6135b9c87
Signed-off-by: Linda Wang <wangwulin@huawei.com>

Fix a typo in framework.md

It completes [1].

[1] https://gerrit.opnfv.org/gerrit/#/c/35551/

Change-Id: I7b12cf48d9f47665f5d6a005d3cb8d448946409d
Signed-off-by: Cédric Ollivier <cedric.ollivier@orange.com>

Fix a typo in docstring

Change-Id: Ie03004474658bd3317a9be8a6b00f5bda1133f2c
Signed-off-by: Cédric Ollivier <cedric.ollivier@orange.com>

Merge "Define create_snapshot() and clean() in TestCase"

Merge "vping&snaps_xxx support not_hugepage_supported pod"

Define create_snapshot() and clean() in TestCase

They replace the former calls in run_tests which are not suitable for all
test cases. Now any test case can define how to clean its resources.

If the snapshot cannot be created, the test case is considered as
failed. Only a message is printed if any failure during cleaning.

It also defines a new class called OSGCTestCase useful for test cases
which don't clean their OpenStack resources.
All test cases located in opnfv_tests/openstack inherit from it to
keep the global behavior unchanged.

It also deletes exit instructions in openstack_clean and
openstack_snapshot, removes clean flags in testcases.yaml and updates
the related utils.

All Docs are modified as well.

JIRA: FUNCTEST-438

Change-Id: I8938e6255708012380389763a24059ace4ce45d8
Signed-off-by: Cédric Ollivier <cedric.ollivier@orange.com>