Record the test cases passed in tempest

Also, convert the test cases recorded with string into list

Change-Id: Ie3980a555b4042e6fe9706320d33d4ec4c06ea0c
Signed-off-by: Linda Wang <wangwulin@huawei.com>

Merge "Configure AARCH64 image settings for UEFI"

Merge "update/improve orchestra_ims"

Configure AARCH64 image settings for UEFI

Configure one parted AARCH64 Cirros image settings for AAVMF(UEFI)

Change-Id: I28ca1ead06c1153e2483c163af9da8e70736ac1c
Signed-off-by: Delia Popescu <delia.popescu@enea.com>
JIRA: ARMBAND-279

Merge "Fixed test description for snaps_smoke."

Fixed test description for snaps_smoke.

Change-Id: Ia533337a07c3a47579d0fa97b6bb3b4b3daf94e5
Signed-off-by: spisarski <s.pisarski@cablelabs.com>

update/improve orchestra_ims

-enable orchestra_ims testcase
-update orchestra_ims according to restructed vnf base class
-SNAPS integration
-improve code based on pylint suggestions
-add unit tests (to be completed)

Change-Id: Id12f645c76096376b8a867bf36d7bbb69bac58e7
Signed-off-by: Michael Pauls <michael.pauls@fokus.fraunhofer.de>

Omit space line in openrc file

For alpine testing in compass OSA, sourcing openrc failed due to space
lines included.

Change-Id: I23166090a2fa7c2ce0aa03be581231cbb3cea34a
Signed-off-by: Linda Wang <wangwulin@huawei.com>

Merge "Enable parser project"

Fix dockerfile patch for aarch64

Patched the patch https://gerrit.opnfv.org/gerrit/#/c/37869/
Fixed some issues regarding spaces in the patch file

Change-Id: Ieac4b766e36d274bd044cd4110626b5314ea6556
Signed-off-by: Delia Popescu <delia.popescu@enea.com>

Enable parser project

Enable parser project in functest

Change-Id: I9bbf5dc5904f53d1a0a640726fbf57b2b702bdfe
Signed-off-by: shangxdy <shang.xiaodong@zte.com.cn>

Modified Dockerfile.aarch to a patch

Docker image for functest on ARM was build using a different Dockerfile.
Now the ARM Dockerfile is created with a patch,
in order to avoid modifying both files.
This Dockerfile.aarch64.patch is applied by opnfv-docker.sh from releng project.

Change-Id: Ib3d4230b79811a9c563b2687a78e8c4724f7efc7
Signed-off-by: Delia Popescu <delia.popescu@enea.com>

Merge "Add AARCH64 images back to Functest"

Merge "Save space in Alpine containers"

Merge "Add script to build all containers"

Add id to test_list for tempest_custom

Tempest_custom will fail if only the test name is provided without id.

Change-Id: I170eff4215bcb09c6469072079091670aabaad5b
Signed-off-by: Linda Wang <wangwulin@huawei.com>

Merge "Change calls to SNAPS library exposing OpenStack instance objects."

Add AARCH64 images back to Functest

aarch64 path files is reupdated with aarch64 cirros images
Functest is now able to run on aarch64 too, using the appropriate images
JIRA: ARMBAND-279

Change-Id: I05de0cb8315a33322225a6caedaa64a5a4833e4e
Signed-off-by: Delia Popescu <delia.popescu@enea.com>
Signed-off-by: Alexandru Nemes <alexandru.nemes@enea.com>

Merge "Conform the RefStack testcase with the Rally context"

Merge "Wait for refstack-client to finish"

Save space in Alpine containers

It decreases the size of Functest core and smoke containers by 20%.

Change-Id: Id75117b1404e3cce004ef51c61040cdb7ade6976
Signed-off-by: Cédric Ollivier <cedric.ollivier@orange.com>

Merge "Remove add_images.sh"

Add script to build all containers

It also sets opnfv as default repository as they will be pushed by
releng.

It adds hooks asked for automated build via Docker which allows
continuous integration before the update of jjobs.

Change-Id: I08b55b1ff334afe6c0f58af3100cfa04f76d8ef0
Signed-off-by: Cédric Ollivier <cedric.ollivier@orange.com>

Conform the RefStack testcase with the Rally context

If the RefStack testcase relies on the Tempest configuration
generated by Rally, it must conforms with the related context [1].

[1] https://raw.githubusercontent.com/openstack/rally/0.9.1/rally/plugins/openstack/verification/tempest/context.py

Change-Id: Ia62c0a328c53a1541aeaf8668e1f34ae67898eed
Signed-off-by: Cédric Ollivier <cedric.ollivier@orange.com>

Wait for refstack-client to finish

The previous implementation waited for /bin/sh to finish instead of
refstack-client. Then tempest still ran in background even if the
tescase was considered as finished.

Now all tempest logs are only printed in the dedicated file.

Change-Id: I94cd7c6fe68f3bc21782d8d9c43feee338c103ae
Signed-off-by: Cédric Ollivier <cedric.ollivier@orange.com>

Merge "Release notes for Danube.3.0"

Merge "Correct odl port for compass installer"

Change calls to SNAPS library exposing OpenStack instance objects.

Openstack object structures can change when new API versions are released and
SNAPS no longer is exposing OpenStack object implementations as this makes
the library brittle. The only two SNAPS method calls affected are when functest
needs to query for external networks and when vPing Userdata needs to obtain
the console logs.

JIRA: SNAPS-125

Change-Id: If6000e50eaa274713d9a6c964eabd1f73ded684e
Signed-off-by: spisarski <s.pisarski@cablelabs.com>

Merge "Use decorators for mock patching"

Release notes for Danube.3.0

Change-Id: I528b4ef11b5957856c36c0f18c0aa28a38d450a4
Signed-off-by: jose.lausuch <jose.lausuch@ericsson.com>

Merge "Release notes for Danube 2.0"

Remove add_images.sh

The Docker images should not host any OS image. They shall
be pre-downloaded and mounted as a docker volume to the
functest container.

Also, add scenario argument to skip images that are not needed for
the scenario

Change-Id: I652ec32b177ddea73c8a253359e873f13bf0c950
Signed-off-by: jose.lausuch <jose.lausuch@ericsson.com>

Fix some issues in cloudify_ims

- Blocking ssh
- Timeout for SCP
- Debug in clearwater-ims-base
- Flavor with snaps

Change-Id: Ib11a4ebf20e698caccbb16920ae7d715f931fc58
Signed-off-by: boucherv <valentin.boucher@orange.com>

Correct odl port for compass installer

For the port 8181 has been used by OSA repo LXC
in compass deployment. So we change the port here
in functest to 8080.

Change-Id: Ia262319f7513497db6e849521de6be6328ec97ba
Signed-off-by: Yifei Xue <xueyifei@huawei.com>

Release notes for Danube 2.0

Change-Id: Ibe121dad771f0df36ffa15ec13d637b835cf09a8
Signed-off-by: jose.lausuch <jose.lausuch@ericsson.com>

Merge "Switch to check_deployment instead of check_os.sh"

Switch to check_deployment instead of check_os.sh

Change-Id: Idcc67643f813068c3cd06f4c0dfd3289bb7df138
Signed-off-by: jose.lausuch <jose.lausuch@ericsson.com>

Merge "Add odl configurations for odl testcase in daisy environment"

Merge "New python script to check openstack deployment"

Add odl configurations for odl testcase in daisy environment

To support odl testcase in the environment deployed by daisy installer.

Change-Id: I70bc668520cf28385fcff8489c773b880e7b4080
Signed-off-by: Alex Yang <yangyang1@zte.com.cn>

Merge "Add openssh-client in core"

Use decorators for mock patching

Instead of using the `with` clause, mock patching is prepended to each
testing method as a decorator.

Change-Id: Ieb962d6fd0b9a6cdc649c44e39f69b543426dce9
Signed-off-by: Martin Kulhavy <martin.kulhavy@nokia.com>

Add openssh-client in core

It's required by snaps ansible tests.

Change-Id: Iebd4c7b8de8637a18dd40040749b9a1a0781fff2
Signed-off-by: Cédric Ollivier <cedric.ollivier@orange.com>

Add decorators in testcases for energy recording.

Test cases are:
- rally (sanity and full)
- refstack
- cloudify_ims
- vping_ssh

It also fix a bug on "energy_recording" decorator of energy module.

Change-Id: I625c214552ad1b89eaf7e196e706d7c69b37da33
Signed-off-by: Benoit HERARD <benoit.herard@orange.com>

New python script to check openstack deployment

This is a crucial part of functest env prepare.
The former check_os.sh is missing some error
control and is sometimes trying to connect to an
empty endpoint if the sed/awk commands were wrong.
This python script is more robust in that sense.
You can see an example of execution in [1].

[1] http://paste.openstack.org/raw/614852/

Change-Id: I622befa13b58d2d31a08d307befb12a2be28fe4d
Signed-off-by: jose.lausuch <jose.lausuch@ericsson.com>

Merge "Define CMD in smoke and healthcheck containers"

Merge "Download Functest's upper-constraints.txt"

Merge "Add upper-constraints.txt for Functest"

Merge "Add lesser containers based on Alpine"

Merge "Allow regex for blacklist scenarios/installers"

Merge "Stop redefining $HOME"

Merge "Get rid of install_rally.sh"

Allow regex for blacklist scenarios/installers

Reasoning: Some blacklisted test cases apply to a range of scenarios,
e.g. both 'ha' and 'noha' and possibly even to all scenarios for
a specific installer -- therefore the list of excluded scenarios can
get long and unclear. For consistency with rally test case scenarios
also allow regex for installers specification.

Additionally, log the excluded test cases (if any) to debug log.

Change-Id: Ie0bec35d1a6443203d4719ea5428c437c12e5e12
Signed-off-by: Martin Kulhavy <martin.kulhavy@nokia.com>

Define CMD in smoke and healthcheck containers

Change-Id: I083f8e96fc30bc1793f8c43ff2c155f1c889ae19
Signed-off-by: Cédric Ollivier <cedric.ollivier@orange.com>

Download Functest's upper-constraints.txt

It also removes all temporarily files [1] and reuses OPENSTACK_TAG
and BRANCH args.

[1] https://gerrit.opnfv.org/gerrit/37077

Change-Id: Id87ffdf14ccb1a34f117241c882423adf79f44c5
Signed-off-by: Cédric Ollivier <cedric.ollivier@orange.com>

Add upper-constraints.txt for Functest

It completes OpenStack's upper-constraints.txt by adding Functest's
requirements.

This file is temporarily duplicated to allow building the containers.
It will be removed via a next patch when this patch is merged.

openbaton-cli could be updated (e.g. 3.2.8).

Change-Id: I26de2d22f9e8973c5a58c3cc5129142fa628e57a
Signed-off-by: Cédric Ollivier <cedric.ollivier@orange.com>

Add lesser containers based on Alpine

It splits the full container into:
  - functest-core
  - functest-healthcheck
  - functest-smoke

Smoke suite is currently partial and will be completed later (it may
require updates in third party projects).

Features, components and vnf suites will be integrated in other
patchsets.

Change-Id: I635a7fd84cac583c28bb1c82bc6cc9107a39f7ea
Signed-off-by: Cédric Ollivier <cedric.ollivier@orange.com>

Stop redefining $HOME

Then .rally is located in the real home directory.

Change-Id: I3e261d34a41a4105aef8fc0a996df501d638c030
Signed-off-by: Cédric Ollivier <cedric.ollivier@orange.com>

Get rid of install_rally.sh

It simply creates the required db.

Change-Id: I48fb017f3ebfcdbd5de898b185c1933228bfef16
Signed-off-by: Cédric Ollivier <cedric.ollivier@orange.com>

Merge "Fix get_endpoint"

Inherit packages when creating /src/tempest/.venv

It simply calls the --system-site-packages option as all
requirements are already installed and then saves space.

Change-Id: Ibb37e54bcbbb8bd9b84e6d43a694ab685b561db1
Signed-off-by: Cédric Ollivier <cedric.ollivier@orange.com>

Stop using tempest version in Dockerfile

The sed instruction is enhanced to automatically copy the version
written in the OpenStack's upper-constraints.txt.

Change-Id: Icbfde6fb097b1eaf880184c4f63de11854bfdb47
Signed-off-by: Cédric Ollivier <cedric.ollivier@orange.com>

Fix get_endpoint

Different endpoint urls can be searched with 'admin', 'internal' and
'public' interface.

Change-Id: I57207826d0dc2c18ce0e6a0abf09140f639f64ba
Signed-off-by: Linda Wang <wangwulin@huawei.com>

Remove setup_env for refstack in Dockerfile

It creates a symlink for .tempest required by refstack, and then
install the requirements of tempest into a virtualenv which
should be located in the dir .tempest/.venv.

Now refstack_client is located in /src like tempest to avoid a link
in /usr/local/lib/python2.7/dist-packages.

JIRA: FUNCTEST-846

Change-Id: I99cedd00daaac57f85532ef41b91da20dec3dcb8
Signed-off-by: Linda Wang <wangwulin@huawei.com>

Move rally and tempest to requirements.txt

As rally and tempest are called when preparing env, they are
considered as dependencies. It also modifies on-the-fly
upper-contraints.txt to allow cloning the git repository.

Change-Id: I72e809d4cf15f9f2539a74fce1c6eb444d8c3b47
Signed-off-by: Cédric Ollivier <cedric.ollivier@orange.com>

Fix logger name in vping_base.py

It conforms with logging.ini which requires qualnames.

Change-Id: Ic2f849009c31a3a7bc406fc44c4917d19ccf2424
Signed-off-by: Cédric Ollivier <cedric.ollivier@orange.com>

Add a default value to protect add_images.sh

It sets a default value to the optional env var: FUNCTEST_IMAGES_DIR

Change-Id: Ib78af2aaee27470ad10b0979a68c09963091cbb6
Signed-off-by: Cédric Ollivier <cedric.ollivier@orange.com>

Set repo_tempest to /src/tempest

It also calls pip install via the right src value to prevent from
changing the working dir when building Ubuntu or Alpine containers.

Change-Id: I236524ca270f4173e0636bee60a0f136d77ac07a
Signed-off-by: Cédric Ollivier <cedric.ollivier@orange.com>

Merge "bugfix: vping support not_hugepage_configured pod"

Merge "Enable refstack work on https without SSL checks"

Merge "Enable cloudify_ims"

Enable cloudify_ims

- set VNF test cases as daily cases
- remove enabled: False only for cloudify_ims
- precise default generic scenrio (run only on basic scenario first)

Vnf and cloudify_ims leveraging vnf are ready for merge [1]

[1]: https://gerrit.opnfv.org/gerrit/#/c/36315/

Change-Id: I95ae89358e940ef5e9b8ceabc37588bbcfccfc6c
Signed-off-by: Morgan Richomme <morgan.richomme@orange.com>

Merge "Clone tempest before installing the package"

Enable refstack work on https without SSL checks

When refstack is run in https environment, SSL checks
will be skipped if no cacert file is provided.

JIRA: FUNCTEST-828

Change-Id: Ib44582b4f2f508c7a255a1510dbdc33110fe0f14
Signed-off-by: Linda Wang <wangwulin@huawei.com>

Convert files to Unix format

It fixes "[cloudify_ims] Support Cloudify 4.0" [1]

[1] https://gerrit.opnfv.org/gerrit/#/c/36315/

Change-Id: I70d04e781d7034f37783764ae5e8b399d62bb793
Signed-off-by: Cédric Ollivier <cedric.ollivier@orange.com>

Merge "[cloudify_ims] Support Cloudify 4.0"

Clone tempest before installing the package

Rally and refstack require a tempest working dir.
It now clones the offical repository before running setup.py develop.
14.0 is selected to conform with OpenStack upper-constraints.txt.

Dockerfile downloads the official OpenStack upper-constraints.txt to
remove the condition about tempest which forbids cloning it.

Change-Id: I8410570d660b07a1ecfc48fab93022f72acdaac7
Signed-off-by: Cédric Ollivier <cedric.ollivier@orange.com>

bugfix: vping support not_hugepage_configured pod

this bug was fixed in https://gerrit.opnfv.org/gerrit/#/c/35181/
but was reverted in https://gerrit.opnfv.org/gerrit/#/c/35671/

Change-Id: I5cbbd61ac196dc39c073ffc69254d987e4807130
Signed-off-by: SerenaFeng <feng.xiaowei@zte.com.cn>

Merge "Update the link to firewall_block_image.img"

Fix environment variables in Dockerfile

After merging [1], there were some hardcoded values
pointint to ~/repos/functest.

[1] https://gerrit.opnfv.org/gerrit/#/c/36827/

Change-Id: Icd912ca8ab6226cbdb0cc4f8b6f77572ea43ae06
Signed-off-by: jose.lausuch <jose.lausuch@ericsson.com>

Cleanup Tempest blacklist for Euphrates

This list hasn't been updated in Danube. The idea is
to clean it up and allow all the test cases to be run.
If bugs are detected in Euphrates and there is an upstream
bug report, the affected tests can be added again here.

Change-Id: I44c8b4e8ae78dee7f13f761b6f7f6d8c09b2d0b0
Signed-off-by: jose.lausuch <jose.lausuch@ericsson.com>

Sync thirdparty-requirements.txt

It fixes the condition about the tempest version [1].

[1] https://git.openstack.org/cgit/openstack/requirements/plain/global-requirements.txt?h=stable/ocata

Change-Id: Iaa1f58aec1f58b372ff6280b1f1e4a5422986a55
Signed-off-by: Cédric Ollivier <cedric.ollivier@orange.com>

Fix upper-constraints.txt url

Change-Id: I44f7b476d56bcd7cdac4ba0e5c85717bd41f7e45
Signed-off-by: Cédric Ollivier <cedric.ollivier@orange.com>

Update the link to firewall_block_image.img

As the link http://205.177.226.237:9999/onosfw/firewall_block_image.img
has been deprecated, now the valid link is updated, aiming at running the
testcase onos_sfc.

JIRA: FUNCTEST-820

Change-Id: Id848e3ab92c3b0fb47e3c755d203844dd94d8408
Signed-off-by: Linda Wang <wangwulin@huawei.com>

Merge "Remove the former link /home/opnfv/repos/functest"

Merge "Update cli commands to call console scripts"

Merge "Apply restrictive file permissions"

[cloudify_ims] Support Cloudify 4.0

- Delete all shell commands to use cloudify python lib
- Cloudify Manager installation with a packaged image
- SNAPS integration
- Adapt test_vnf unit tests
- Initiate test cloudify_ims unit tests (to be completed)

JIRA: FUNCTEST-838

Change-Id: Ia4b499d4155e6af5d37d6d5cf4310a5a9693c7ce
Signed-off-by: boucherv <valentin.boucher@orange.com>
Signed-off-by: Morgan Richomme <morgan.richomme@orange.com>

Merge "Energy monitoring SDK update."

Merge "Stop modifying unix perm in cloudify_ims"

Merge "Fix unix permissions in docs/com"

Merge "Remove useless files in docs/com"

Merge "Fix typos in docs"

Remove the former link /home/opnfv/repos/functest

All operations required have been applied [1].

All documentations are updated as well to close the topic.
It should be noted that runfunctest.rst must be hugely updated
because all $PS1 are wrong.

[1] https://gerrit.opnfv.org/gerrit/#/q/project:functest+branch:master+topic:dockerfile

JIRA: FUNCTEST-836

Change-Id: I26658be109fd785d068389816be4260cff823705
Signed-off-by: Cédric Ollivier <cedric.ollivier@orange.com>

Update cli commands to call console scripts

Change-Id: I401879d7ec713b5307817da8b001838c35d9d731
Signed-off-by: Cédric Ollivier <cedric.ollivier@orange.com>

Apply restrictive file permissions

It conforms with [1] by creating a new venv which checks the unix
permissions. As jjobs call Functest console scripts [2], all perms
can be 644.

Dockerfiles are updated as well.

[1] https://security.openstack.org/guidelines/dg_apply-restrictive-file-permissions.html
[2] https://gerrit.opnfv.org/gerrit/#/c/36805/

Depends-On: I9209e6efa1b493e24135402a46df72aaa14115d1
Change-Id: I31bc7f12b775928845e23b6b40288b0a50b87219
Signed-off-by: Cédric Ollivier <cedric.ollivier@orange.com>

Stop modifying unix perm in cloudify_ims

It should be noted that several mockey patches should have been added
in the related unit tests.

Change-Id: I04bf003bc6beed1580c5d052c588f6f4ac23f768
Signed-off-by: Cédric Ollivier <cedric.ollivier@orange.com>

Fix unix permissions in docs/com

It applies restrictive file permissions [1].

[1] https://security.openstack.org/guidelines/dg_apply-restrictive-file-permissions.html

Change-Id: I2b86eaeb44afca999e485308b250004181e103b2
Signed-off-by: Cédric Ollivier <cedric.ollivier@orange.com>

Remove useless files in docs/com

Change-Id: Id4aa3080d2be75bc8fa188136b191034724c357e
Signed-off-by: Cédric Ollivier <cedric.ollivier@orange.com>

Fix typos in docs

Fixed multiple typos and minor spelling errors found in the
documentation.

Change-Id: I102e3b7d3d421042dbef66f261e2183b0dfe24a8
Signed-off-by: Martin Kulhavy <martin.kulhavy@nokia.com>