Allow regex for blacklist scenarios/installers

Reasoning: Some blacklisted test cases apply to a range of scenarios,
e.g. both 'ha' and 'noha' and possibly even to all scenarios for
a specific installer -- therefore the list of excluded scenarios can
get long and unclear. For consistency with rally test case scenarios
also allow regex for installers specification.

Additionally, log the excluded test cases (if any) to debug log.

Change-Id: Ie0bec35d1a6443203d4719ea5428c437c12e5e12
Signed-off-by: Martin Kulhavy <martin.kulhavy@nokia.com>

Merge "Fix get_endpoint"

Inherit packages when creating /src/tempest/.venv

It simply calls the --system-site-packages option as all
requirements are already installed and then saves space.

Change-Id: Ibb37e54bcbbb8bd9b84e6d43a694ab685b561db1
Signed-off-by: Cédric Ollivier <cedric.ollivier@orange.com>

Stop using tempest version in Dockerfile

The sed instruction is enhanced to automatically copy the version
written in the OpenStack's upper-constraints.txt.

Change-Id: Icbfde6fb097b1eaf880184c4f63de11854bfdb47
Signed-off-by: Cédric Ollivier <cedric.ollivier@orange.com>

Fix get_endpoint

Different endpoint urls can be searched with 'admin', 'internal' and
'public' interface.

Change-Id: I57207826d0dc2c18ce0e6a0abf09140f639f64ba
Signed-off-by: Linda Wang <wangwulin@huawei.com>

Remove setup_env for refstack in Dockerfile

It creates a symlink for .tempest required by refstack, and then
install the requirements of tempest into a virtualenv which
should be located in the dir .tempest/.venv.

Now refstack_client is located in /src like tempest to avoid a link
in /usr/local/lib/python2.7/dist-packages.

JIRA: FUNCTEST-846

Change-Id: I99cedd00daaac57f85532ef41b91da20dec3dcb8
Signed-off-by: Linda Wang <wangwulin@huawei.com>

Move rally and tempest to requirements.txt

As rally and tempest are called when preparing env, they are
considered as dependencies. It also modifies on-the-fly
upper-contraints.txt to allow cloning the git repository.

Change-Id: I72e809d4cf15f9f2539a74fce1c6eb444d8c3b47
Signed-off-by: Cédric Ollivier <cedric.ollivier@orange.com>

Fix logger name in vping_base.py

It conforms with logging.ini which requires qualnames.

Change-Id: Ic2f849009c31a3a7bc406fc44c4917d19ccf2424
Signed-off-by: Cédric Ollivier <cedric.ollivier@orange.com>

Add a default value to protect add_images.sh

It sets a default value to the optional env var: FUNCTEST_IMAGES_DIR

Change-Id: Ib78af2aaee27470ad10b0979a68c09963091cbb6
Signed-off-by: Cédric Ollivier <cedric.ollivier@orange.com>

Set repo_tempest to /src/tempest

It also calls pip install via the right src value to prevent from
changing the working dir when building Ubuntu or Alpine containers.

Change-Id: I236524ca270f4173e0636bee60a0f136d77ac07a
Signed-off-by: Cédric Ollivier <cedric.ollivier@orange.com>

Merge "bugfix: vping support not_hugepage_configured pod"

Merge "Enable refstack work on https without SSL checks"

Merge "Enable cloudify_ims"

Enable cloudify_ims

- set VNF test cases as daily cases
- remove enabled: False only for cloudify_ims
- precise default generic scenrio (run only on basic scenario first)

Vnf and cloudify_ims leveraging vnf are ready for merge [1]

[1]: https://gerrit.opnfv.org/gerrit/#/c/36315/

Change-Id: I95ae89358e940ef5e9b8ceabc37588bbcfccfc6c
Signed-off-by: Morgan Richomme <morgan.richomme@orange.com>

Merge "Clone tempest before installing the package"

Enable refstack work on https without SSL checks

When refstack is run in https environment, SSL checks
will be skipped if no cacert file is provided.

JIRA: FUNCTEST-828

Change-Id: Ib44582b4f2f508c7a255a1510dbdc33110fe0f14
Signed-off-by: Linda Wang <wangwulin@huawei.com>

Convert files to Unix format

It fixes "[cloudify_ims] Support Cloudify 4.0" [1]

[1] https://gerrit.opnfv.org/gerrit/#/c/36315/

Change-Id: I70d04e781d7034f37783764ae5e8b399d62bb793
Signed-off-by: Cédric Ollivier <cedric.ollivier@orange.com>

Merge "[cloudify_ims] Support Cloudify 4.0"

Clone tempest before installing the package

Rally and refstack require a tempest working dir.
It now clones the offical repository before running setup.py develop.
14.0 is selected to conform with OpenStack upper-constraints.txt.

Dockerfile downloads the official OpenStack upper-constraints.txt to
remove the condition about tempest which forbids cloning it.

Change-Id: I8410570d660b07a1ecfc48fab93022f72acdaac7
Signed-off-by: Cédric Ollivier <cedric.ollivier@orange.com>

bugfix: vping support not_hugepage_configured pod

this bug was fixed in https://gerrit.opnfv.org/gerrit/#/c/35181/
but was reverted in https://gerrit.opnfv.org/gerrit/#/c/35671/

Change-Id: I5cbbd61ac196dc39c073ffc69254d987e4807130
Signed-off-by: SerenaFeng <feng.xiaowei@zte.com.cn>

Merge "Update the link to firewall_block_image.img"

Fix environment variables in Dockerfile

After merging [1], there were some hardcoded values
pointint to ~/repos/functest.

[1] https://gerrit.opnfv.org/gerrit/#/c/36827/

Change-Id: Icd912ca8ab6226cbdb0cc4f8b6f77572ea43ae06
Signed-off-by: jose.lausuch <jose.lausuch@ericsson.com>

Cleanup Tempest blacklist for Euphrates

This list hasn't been updated in Danube. The idea is
to clean it up and allow all the test cases to be run.
If bugs are detected in Euphrates and there is an upstream
bug report, the affected tests can be added again here.

Change-Id: I44c8b4e8ae78dee7f13f761b6f7f6d8c09b2d0b0
Signed-off-by: jose.lausuch <jose.lausuch@ericsson.com>

Sync thirdparty-requirements.txt

It fixes the condition about the tempest version [1].

[1] https://git.openstack.org/cgit/openstack/requirements/plain/global-requirements.txt?h=stable/ocata

Change-Id: Iaa1f58aec1f58b372ff6280b1f1e4a5422986a55
Signed-off-by: Cédric Ollivier <cedric.ollivier@orange.com>

Fix upper-constraints.txt url

Change-Id: I44f7b476d56bcd7cdac4ba0e5c85717bd41f7e45
Signed-off-by: Cédric Ollivier <cedric.ollivier@orange.com>

Update the link to firewall_block_image.img

As the link http://205.177.226.237:9999/onosfw/firewall_block_image.img
has been deprecated, now the valid link is updated, aiming at running the
testcase onos_sfc.

JIRA: FUNCTEST-820

Change-Id: Id848e3ab92c3b0fb47e3c755d203844dd94d8408
Signed-off-by: Linda Wang <wangwulin@huawei.com>

Merge "Remove the former link /home/opnfv/repos/functest"

Merge "Update cli commands to call console scripts"

Merge "Apply restrictive file permissions"

[cloudify_ims] Support Cloudify 4.0

- Delete all shell commands to use cloudify python lib
- Cloudify Manager installation with a packaged image
- SNAPS integration
- Adapt test_vnf unit tests
- Initiate test cloudify_ims unit tests (to be completed)

JIRA: FUNCTEST-838

Change-Id: Ia4b499d4155e6af5d37d6d5cf4310a5a9693c7ce
Signed-off-by: boucherv <valentin.boucher@orange.com>
Signed-off-by: Morgan Richomme <morgan.richomme@orange.com>

Merge "Energy monitoring SDK update."

Merge "Stop modifying unix perm in cloudify_ims"

Merge "Fix unix permissions in docs/com"

Merge "Remove useless files in docs/com"

Merge "Fix typos in docs"

Remove the former link /home/opnfv/repos/functest

All operations required have been applied [1].

All documentations are updated as well to close the topic.
It should be noted that runfunctest.rst must be hugely updated
because all $PS1 are wrong.

[1] https://gerrit.opnfv.org/gerrit/#/q/project:functest+branch:master+topic:dockerfile

JIRA: FUNCTEST-836

Change-Id: I26658be109fd785d068389816be4260cff823705
Signed-off-by: Cédric Ollivier <cedric.ollivier@orange.com>

Update cli commands to call console scripts

Change-Id: I401879d7ec713b5307817da8b001838c35d9d731
Signed-off-by: Cédric Ollivier <cedric.ollivier@orange.com>

Apply restrictive file permissions

It conforms with [1] by creating a new venv which checks the unix
permissions. As jjobs call Functest console scripts [2], all perms
can be 644.

Dockerfiles are updated as well.

[1] https://security.openstack.org/guidelines/dg_apply-restrictive-file-permissions.html
[2] https://gerrit.opnfv.org/gerrit/#/c/36805/

Depends-On: I9209e6efa1b493e24135402a46df72aaa14115d1
Change-Id: I31bc7f12b775928845e23b6b40288b0a50b87219
Signed-off-by: Cédric Ollivier <cedric.ollivier@orange.com>

Stop modifying unix perm in cloudify_ims

It should be noted that several mockey patches should have been added
in the related unit tests.

Change-Id: I04bf003bc6beed1580c5d052c588f6f4ac23f768
Signed-off-by: Cédric Ollivier <cedric.ollivier@orange.com>

Fix unix permissions in docs/com

It applies restrictive file permissions [1].

[1] https://security.openstack.org/guidelines/dg_apply-restrictive-file-permissions.html

Change-Id: I2b86eaeb44afca999e485308b250004181e103b2
Signed-off-by: Cédric Ollivier <cedric.ollivier@orange.com>

Remove useless files in docs/com

Change-Id: Id4aa3080d2be75bc8fa188136b191034724c357e
Signed-off-by: Cédric Ollivier <cedric.ollivier@orange.com>

Fix typos in docs

Fixed multiple typos and minor spelling errors found in the
documentation.

Change-Id: I102e3b7d3d421042dbef66f261e2183b0dfe24a8
Signed-off-by: Martin Kulhavy <martin.kulhavy@nokia.com>

Energy monitoring SDK update.

add get_current scenario in EnergyRecorder class
enable_recording decorator change:
If a recording session was existing at startup, restart it at the end,
else stop recording

Change-Id: I91524824acb60275e0329452b7d7df2346d7884f
Signed-off-by: Benoit HERARD <benoit.herard@orange.com>

Define download_images.sh and check_os.sh as scripts

It also updates all python scripts which call check_os.sh.
The former healthcheck.sh is removed.

No shell script must be executable in git.

Change-Id: If4e8deb50ebd635a9091e3bb79ef61c07b9660dc
Signed-off-by: Cédric Ollivier <cedric.ollivier@orange.com>

Define console_scripts

Only prepare_env.py and run_tests.py remain executable to avoid
breaking the gate.

As soon as the jenkins jobs are updated to run them from $PATH, tox
will be updated to protect against chmod a+x py files. Dockerfile
will be simplified as well.

Change-Id: Iac1a7ceb6b344e800177226ea39919826f6d3735
Signed-off-by: Cédric Ollivier <cedric.ollivier@orange.com>

Fix unix permissions

Tox will be updated to forbid chmod +ax py files.

Change-Id: I85d4b4a64ec7f3151ab2f24ad09bd7c1144ebe18
Signed-off-by: Cédric Ollivier <cedric.ollivier@orange.com>

Update securityscanning section in testcases.yaml

It follows the next updates of the securityscanning package:
  - Define config.ini as data_file [1]
  - Define security_scan console script [2]

[1] https://gerrit.opnfv.org/gerrit/36635
[2] https://gerrit.opnfv.org/gerrit/36771

Depends-On: I54ffa61f4bcd366c185596056b49e492c88cc78b
Change-Id: I342c00392bb68aad704a89060841eac665e91bdb
Signed-off-by: Cédric Ollivier <cedric.ollivier@orange.com>

Merge "Added unit tests for vping."

Define ODL console_script

main() is excluded from coverage as it usually parses argv.
It also renames ODLTests main() to run_suites() not to exclude this
method.

Change-Id: I3109a65166b21d93e3e376912a32d364931a7ba5
Signed-off-by: Cédric Ollivier <cedric.ollivier@orange.com>

Merge "SNAPS tests now support offline testing."

Remove networking-bgpvpn from Functest requirements

SDNVPN team will take care of installing the module themselves
See https://gerrit.opnfv.org/gerrit/#/c/36505/

Change-Id: Ida38c8324e155906bcd18b12a418e7a62e55e3f0
Signed-off-by: jose.lausuch <jose.lausuch@ericsson.com>

Remove BGPVPN utils in Functest

These util functions should be under control of the SDNVPN
project. After [1] and [2] it is safe to remove them in Functest

[1] https://gerrit.opnfv.org/gerrit/#/c/36655/
[2] https://gerrit.opnfv.org/gerrit/#/c/36505/

Change-Id: I2f6596cd60678bb0c50adb9b4bc0d59545c3fb0a
Signed-off-by: jose.lausuch <jose.lausuch@ericsson.com>

Merge "Fix refstack_defcore"

Get install_rally.sh from git.openstack.org

Change-Id: I99a87e2399c1be79dabc9109e10665fc9ef8bee2
Signed-off-by: Cédric Ollivier <cedric.ollivier@orange.com>

Switch to official tosca-parser and heat-translator

They replace the python packages located in parser which don't
meet OpenStack's upper constraints [1].

It completes [2] which simply keeps the wrong logic of
parser/tests/parser_install.sh.

[1] https://build.opnfv.org/ci/job/functest-docker-build-push-master/1170/console
[2] https://gerrit.opnfv.org/gerrit/#/c/36653/

Change-Id: If108b8d1fad08237b8a57d82bf5601f4d6ecf64e
Signed-off-by: Cédric Ollivier <cedric.ollivier@orange.com>

Leverage on parser python packages in Dockerfile

It also stops calling parser_install.sh.
This file is replaced by the 2 new requirements in
docker/thirdparty-requirements.txt:
  - tosca-parser
  - heat-translator

Change-Id: Ic9dcdd81df9800fc8e559a07f9c100a20bea2290
Signed-off-by: Cédric Ollivier <cedric.ollivier@orange.com>

Update paths in functest/ci/testcases.yaml

It follows the changes switching to python packages.
It shall be noted  that several cmds could be enhanced.

Change-Id: I8cf3595d1e8044b650deb4ec733bf973c0bf1b3f
Signed-off-by: Cédric Ollivier <cedric.ollivier@orange.com>

Fix refstack_defcore

As refstack-client is reinstalled only by the shell setup_env, the path of
.venv and .tempest have been changed.

Change-Id: Id50d0c6384295c2448705961942104abbd799b9b
Signed-off-by: Linda Wang <wangwulin@huawei.com>

Merge "Remove Rally requests scenario"

Added unit tests for vping.

Also removed some instance variables and unnecessary methods.

JIRA: FUNCTEST-813

Change-Id: I13895674a9fd3de16c6a19410661440c5380c2f8
Signed-off-by: spisarski <s.pisarski@cablelabs.com>

SNAPS tests now support offline testing.

Images by type (cirros, centos, ubuntu) can now have the download URL be
overridden, told to leverage a local file, or have custom configuration
when using the snaps.openstack.tests.openstack_tests.py image settings
helper functions.

JIRA: FUNCTEST-809

Change-Id: I790094a7a26eb5a55f53d6e875c658dc5e7ac2f9
Signed-off-by: spisarski <s.pisarski@cablelabs.com>

Remove Rally requests scenario

HttpRequests scenario is not directly related to OpenStack and not
supported by Rally in https environment.

Change-Id: I2e91d129d82dfaba62eca25e3e4890ff54f52ac6
Signed-off-by: Juha Kosonen <juha.kosonen@nokia.com>

Updated fds testcase criteria

Initially, we only executed fds testcase on odl_l2 fdio scenarios.
Now we're extending this to all odl fdio scenarios.

Change-Id: Ieb2454f02847361fdf3274b11f20a996a916ad90
Signed-off-by: juraj.linkes <jlinkes@cisco.com>

Merge "Increase timeout of Open Baton installation"

Merge "Add sfc in thirdparty-requirements.txt"

Merge "Add securityscanning in thirdparty-requirements.txt"

Merge "Remove obsolete repos in functest/ci/config_functest.yaml"

Add sfc in thirdparty-requirements.txt

Now it can be installed via python package [1] and then be listed in
thirdparty-requirements.txt.

[1] https://gerrit.opnfv.org/gerrit/#/c/36445/

Change-Id: Iae7482865917e51a96a180b0a987ab0ff26a0190
Signed-off-by: Cédric Ollivier <cedric.ollivier@orange.com>

Increase timeout of Open Baton installation

Change-Id: Ifdc24a3fc9e2c315b41f9e68bccb88df36252b0c
JIRA: ORCHESTRA-14
Signed-off-by: Michael Pauls <michael.pauls@fokus.fraunhofer.de>

Remove Tempest repo and use the one created by Refstack

Refstack clones the repo in /home/opnfv/.tempest. Rally can use
that repo which is checked out to the REFSTACK_TAG=15.0.0
This way, we avoid having twice the same files.

Change-Id: I9b05d29b1c9bdf3d10539b771d0d20abb2b7cc37
Signed-off-by: jose.lausuch <jose.lausuch@ericsson.com>

Merge "enable doctor-notification test case"

Merge "Added unit tests for api_check, health_check, and smoke tests."

Merge "Don't display functest report for single test cases"

enable doctor-notification test case

Change-Id: If2b6b46f3f192f58636c55f3ddc9e80b9e22be3c
Signed-off-by: Ryota MIBU <r-mibu@cq.jp.nec.com>

Fix floating ips issue in openstack_clean

floatingips is a list of dictionaries where the attributes
are a bit different than in the previous implementation.

Change-Id: I8e8429b1819bba35a4a829f274c60b77ab2eea7e
Signed-off-by: jose.lausuch <jose.lausuch@ericsson.com>

Merge "Make rally support https insecure deployment"

Fixed problem to vping userdata introducted by SNAPS-OO patch.

Changed get_vm_inst() to return a domain object forgot to change the call
in vping_userdata.py.

JIRA: SNAPS-92

Change-Id: I7585dcde483c39fa850e5184686f42bbf2e8f3c5
Signed-off-by: spisarski <s.pisarski@cablelabs.com>

Add securityscanning in thirdparty-requirements.txt

Now it can be installed via python package [1] and then be listed in
thirdparty-requirements.txt.

[1] https://gerrit.opnfv.org/gerrit/#/c/36437/

Change-Id: Ib9489de1f46993fa9fe35485fa95baf003d44974
Signed-off-by: Cédric Ollivier <cedric.ollivier@orange.com>

Remove obsolete repos in functest/ci/config_functest.yaml

It completes "Use directly OpenStack project packages" [1].
kingbird becomes a dependency.

[1] https://gerrit.opnfv.org/gerrit/#/c/36125/

Change-Id: I2cb9e3a2146a2b2bbae89dde9917c5ace70048a6
Signed-off-by: Cédric Ollivier <cedric.ollivier@orange.com>

Merge "Use glance to list images"

Merge "Change floating ips management from nova to neutron"

Merge "Enable vping offline"

Merge "Take OpenStack's constraints into account"

Merge "Define logger as Feature instance attribute"

Merge "Install opera via python package"

Merge "Install OPNFV sdnvpn via python package"

Merge "Stop personalizing the common Dockerfile"

Change floating ips management from nova to neutron

Nova does not longer support floating ip creation/deletion.
This patch moves that logic to neutron client.

Change-Id: I2c4146149fe5be534d9c50d78d831b5af1957ad7
Signed-off-by: jose.lausuch <jose.lausuch@ericsson.com>

Don't display functest report for single test cases

When executing a single test case, it is not neccessary
to show duplicated information about the result of the test
case. The functest report only makes sense when running
multiple tests.
e.g. functest testcase run vping_ssh

The report is still showed when doing:
     functest testcase run all

Change-Id: I92d97d6111ecd9484a14c72cf4bb0c2bbe3ae6bf
Signed-off-by: jose.lausuch <jose.lausuch@ericsson.com>

Take OpenStack's constraints into account

upper-constraints.txt contains a pinned list of the entire set of
transitive requirements for OpenStack [1].

We will add OPNFV's constraints as well for OPNFV projects and
their requirements when they are ready.

[1] https://specs.openstack.org/openstack/openstack-specs/specs/requirements-management.html

Change-Id: I2e23584f957e4de191341800d24c8b2776ef9143
Signed-off-by: Cédric Ollivier <cedric.ollivier@orange.com>

Make rally support https insecure deployment

When running in https environment, rally should support insecure
deployment if no cacert file is provided.

JIRA: FUNCTEST-828

Change-Id: I29b0fc8c2e1b74a1ce08293706cd9f11f975b6d5
Signed-off-by: Linda Wang <wangwulin@huawei.com>

Merge "Remove calls to deployment handler in prepare env"

Use glance to list images

1. Images list is not supported by novaclient 8.0.0
2. It moves images list out of nova and into glance

Change-Id: I2a2d40a2ca3a0cf1ebfb55697b3c58af8748a805
Signed-off-by: Linda Wang <wangwulin@huawei.com>

Merge "Enable https insecure for functest"

Enable vping offline

Images used are changed to leverage local file.

Change-Id: I42a89c8c33054a23e226d22358fe268770986a76
Signed-off-by: Linda Wang <wangwulin@huawei.com>

Merge "Revert rally version to 0.8.1"

Remove calls to deployment handler in prepare env

The reason is that some installers have changed the mechanism and the adapters
are not valid any more and the method to access the deployment information fails
Fuel -> MCP
Compass -> Containers

This shall be deactivated to avoid errors in CI until the new installer
adapters are implememnted.

Change-Id: I995b914bf55d5da76f27e715d170dd22e84d677c
Signed-off-by: jose.lausuch <jose.lausuch@ericsson.com>

Merge "Clone tempest repository in the Docker image"

Revert rally version to 0.8.1

1. Now rally version 0.9.1 is installed via "bash install_rally.sh
   --yes", cause the default RALLY_GIT_BRANCH is master. Then
   some rally related tests will fail as rally tests have not been
   updated in functest
2. rally version 0.8.1 can be installed via --branch 0.8.1

Change-Id: I04003134f070a1a35db2c02f2209e77365be592f
Signed-off-by: Linda Wang <wangwulin@huawei.com>

Clone tempest repository in the Docker image

Rally needs to have a copy of the Tempest repository
in order to install the verifier. Otherwise, rally will
clone it automatically anyway.

This also uplifts the tempest version to 15.0.0 which targets
Ocata deployments according to [1]

[1]: https://releases.openstack.org/ocata/

Change-Id: I30e922a261a4ab1875d48c4754df09426b5f67e4
Signed-off-by: jose.lausuch <jose.lausuch@ericsson.com>