Do not use shell to execute commands in tempest

Change-Id: I4d699481fdc63058c12ca9cfe18138e87025e9b3
Signed-off-by: Juha Kosonen <juha.kosonen@nokia.com>

Merge "Fix a typo in docstring"

Rename a common credential file for OS and K8S

Change-Id: Ib8d24be4b29ab1de00d5dd5e3442146b2437cb94
Signed-off-by: Linda Wang <wangwulin@huawei.com>

Merge "Use snaps_utils to get credentials in tempest"

Fix a typo in docstring

Change-Id: I4826240a56141771df202b9b3b416d64d2db2cf4
Signed-off-by: Cédric Ollivier <cedric.ollivier@orange.com>

Add tempest and rally in functest-features

SDNVPN also requires these packages.
It would be refactored in a second step when xtesting is published.

Change-Id: I069ecf8d60dc0ee1a755d0974913b686f4c7ae61
Signed-off-by: Cédric Ollivier <cedric.ollivier@orange.com>

Merge "Removal of deprecated SNAPS-OO classes in juju_epc"

Use snaps_utils to get credentials in tempest

Change-Id: I1d240d5edd536d71c87a7dff4e2676715697d0e2
Signed-off-by: Juha Kosonen <juha.kosonen@nokia.com>

Merge "Fix pylint errors/warnings in rally"

Merge "proper instance status handling"

Removal of deprecated SNAPS-OO classes in juju_epc

It completes the first commit about that topic [1].

[1] https://gerrit.opnfv.org/gerrit/#/c/47617/

Change-Id: I1a55b45f0535ae98681546d4d24bb424cf892aa8
Signed-off-by: Cédric Ollivier <cedric.ollivier@orange.com>

Fix pylint errors/warnings in rally

JIRA: FUNCTEST-906

Change-Id: I484f9a291d5adbedb855450e4ff067dfa4a3b2ae
Signed-off-by: Juha Kosonen <juha.kosonen@nokia.com>

Merge "Remove duplicated code related to snaps creds"

Remove duplicated code related to snaps creds

Add support for providing credentials in snaps_utils.

JIRA: FUNCTEST-916

Change-Id: I3e027229d213d3791a115920f7012309cc027712
Signed-off-by: Juha Kosonen <juha.kosonen@nokia.com>

Fix pylint errors about refstack

JIRA: FUNCTEST-907

Change-Id: Ib08a88523c700d35894b9b89b7585425a02065c3
Signed-off-by: Linda Wang <wangwulin@huawei.com>

Merge "Create subnet and net within the same project"

Merge "Enable epc unit tests"

Merge "Fix warnings in all snaps-related modules"

Merge "Fix pylint errors in several utils modules"

Merge "Avoid duplicating get_parameter_from_yaml"

Merge "Fix last Pylint error in Functest"

Enable epc unit tests

It adds the missing __init__.py to activate vepc unit tests.
They are disabled because they are currently false (otherwise
it would block next changes).

Change-Id: I65b32490efde4cc8f6b3d9e6ee19257dcf02c2dd
Signed-off-by: Cédric Ollivier <cedric.ollivier@orange.com>

Fix the connect issue when checking deployment

Socket.connect() requires only one param with type tuple.

Change-Id: I63aa4633e80bde3ad5e1b5af9d67d8f46eb84571
Signed-off-by: Linda Wang <wangwulin@huawei.com>

Create subnet and net within the same project

It is required to create a network and subnet within the same project
for some SUTs.

Change-Id: Icd02edb0aebee93713f315cdbbeb021e9ae82dae
Signed-off-by: Linda Wang <wangwulin@huawei.com>

Fix warnings in all snaps-related modules

It also adds vping/__init__.py to stop skipping vping unit tests.
It removes the useless import os which is not required for mock (here
the mock patch was simply false).

It should be noted that the code is partially duplicated between
snaps_test_runner.py and vping_base_base.py. A small part of code has
been rewritten to fix that without multi inheritance.

Change-Id: I2e3e181ad7dab8aa41afb1e63d0b6795ff0d1610
Signed-off-by: Cédric Ollivier <cedric.ollivier@orange.com>

Merge "Refactor rally report generation"

Fix pylint errors in several utils modules

All utils which are moving to xtesting are now fixed.
It remains OpenStack and Functest utils (+ the related unit tests)
which doesn't move to the new package.

Change-Id: If13c627c8444c62d5c6bf9c8057d6413aa0e56c7
Signed-off-by: Cédric Ollivier <cedric.ollivier@orange.com>

Avoid duplicating get_parameter_from_yaml

It switches to this helper which was locally copied.

Change-Id: Iaa30d83e8c0e2d4472f4ef8fe1da4943e424ebb3
Signed-off-by: Cédric Ollivier <cedric.ollivier@orange.com>

Fix last Pylint error in Functest

It also fixes all pylint warnings in router and the related unit
tests. tox.ini is updated to ensure that no error is introduced.

Change-Id: Iddd74b0dac7b6581d72b04369140006c9e19f998
Signed-off-by: Cédric Ollivier <cedric.ollivier@orange.com>

Refactor rally report generation

- statistic data based on Rally results report
- fix statistics calculations
- use PrettyTable in generating the report

Change-Id: Ic84adc5e30d446aea1f3045ba997c3ddf895e9f5
Signed-off-by: Juha Kosonen <juha.kosonen@nokia.com>

proper instance status handling

This would fix the exception happening in the SDNVPN CI testsuite.
Example: http://artifacts.opnfv.org/logs/functest/lf-pod1/2018-01-21_17-18-06/bgpvpn.log

Change-Id: Ie22dcdbba5299177d4e98e5995433553df5bfa68
Signed-off-by: Periyasamy Palanisamy <periyasamy.palanisamy@ericsson.com>

Fix pylint warnings/errors in cli

cli_testcase and cli_tier have been refactored to avoid duplicating
code. Then functest/cli and funtest/unit/cli can be added to the list
of modules rated 10/10.

Change-Id: Iec90e806397248a10f39080ec554e3f0a6eda7c1
Signed-off-by: Cédric Ollivier <cedric.ollivier@orange.com>

Delete functest_vacation.py

Change-Id: Id0e2769a1989e6778ae41f67ed634e2e5002a83d
Signed-off-by: Cédric Ollivier <cedric.ollivier@orange.com>

Merge RegexMatch into test_cli_env.py

It also deletes SubstrMatch which is not called (then uncovered).

Change-Id: Ifde1e2491ab5e0e75652eb4b25b359e859c2aa95
Signed-off-by: Cédric Ollivier <cedric.ollivier@orange.com>

Disable all missing-docstring warnings in unit tests

Change-Id: I22b7bbdab5f000b4ade6c2ba3a4029c146887cbd
Signed-off-by: Cédric Ollivier <cedric.ollivier@orange.com>

Partially rewrite test_run_tests.py

It mainly fixes pylint issues and leverages on decorators.
It should be noted that run_tests.py is not fully covered (see
xtesting requirements).

Change-Id: I114b67c3c5bfe61d72d004829af513e2014ad8b8
Signed-off-by: Cédric Ollivier <cedric.ollivier@orange.com>

Fully test and cover functest/ci/tier_*

It also fixes check_deployment.py and ci unit tests which were wrong
when testing exceptions.

Now ci modules are rated 10/10 and fully covered.

Change-Id: I30dca491b44cc54aa1abc0d0433c00b4dcabfdc4
Signed-off-by: Cédric Ollivier <cedric.ollivier@orange.com>

Move push_results_to_db to TestCase

It removes the link between TestCase and Functest utils (xtesting).
It should be noted that testresults url can only be set by env var.

Co-Authored-By: Cédric Ollivier <cedric.ollivier@orange.com>
Change-Id: Ie072c675890d0ae2e63619c599d2684a8c7d762d
Signed-off-by: Jose Lausuch <jalausuch@suse.com>
Signed-off-by: Cédric Ollivier <cedric.ollivier@orange.com>

Configure password for the user in vnf

For some SUTs, the password for creating user is not allowed to
be the same as user name, and some even is required to contain
at least 8 characters and three types of characters for security.

It also turns yamllint warnings into errors and fixes the remaining
warnings.

Change-Id: Icf25a7b9ff1c8cee55899198f1e519c9209877ff
Signed-off-by: Linda Wang <wangwulin@huawei.com>

Merge "Fix Rally output retrieval"

Fix Rally output retrieval

Read stdout until nothing left instead of stopping once the child
process is terminated.

Change-Id: I46a2eb93fd614e2e7ff676727eb9dc132c29d03f
Signed-off-by: Juha Kosonen <juha.kosonen@nokia.com>

Update set of region identity attribut

Use OS_REGION_NAME environment variable if defined

Change-Id: Ifcdfc468fa4931ab62ac0f3ead103e15af7c0de6
Signed-off-by: Samuel Bartel <samuel.bartel@orange.com>

Build functest-parser for arm64 via travis-ci

Even if clearwater-live-test dependencies have been updated [1], the
next containers can be built for ARM (ruby raises SEGFAULT via
qemu-user-static):
  - functest-vnf
  - functest-restapi

The related manifest is also updated.

[1] https://gerrit.opnfv.org/gerrit/#/c/50295/8

Change-Id: Ie1eb78436a3da5eb7b5c1028b7f8323e8c3e73a2
Signed-off-by: Cédric Ollivier <cedric.ollivier@orange.com>

Merge "Switch to absolute paths in Dockerfiles"

Switch to absolute paths in Dockerfiles

It updates functest-smoke and functest-restapi.

Change-Id: If4d48f8a6ead1b9b7726a9b7b7baf6b51340a926
Signed-off-by: Cédric Ollivier <cedric.ollivier@orange.com>

Delete the updated Alpine image

It completes "Update Alpine to 3.7" [1].

[1] https://gerrit.opnfv.org/gerrit/#/c/49741/

Change-Id: If836a7ca80f5869c9ffeea65a1c0eacf1042ffab
Signed-off-by: Cédric Ollivier <cedric.ollivier@orange.com>

Merge "Build vnf and restapi containers for ARM"

Build vnf and restapi containers for ARM

The root cause of the problem was the installation
of unf_ext packet. The Gemfile.lock in
https://github.com/boucherv-orange/clearwater-live-test
asked for version 0.0.6 and this version was not found for arm.
When it tried to build the package, the conversion from int
to char error was thrown (issue reported here
https://github.com/knu/ruby-unf_ext/issues/15).

As now version 0.0.7.4 is selected, then the vnf docker
images are built without any other errors.

Gemfile.lock was updated in the original repo,
this fix enables vnf and restapi containers build for ARM.

JIRA: FUNCTEST-899

Change-Id: Id2c5fe82cb3705f58a8175fcf0a17f443e9b7d9d
Signed-off-by: Delia Popescu <delia.popescu@enea.com>

Fix tempest error on Apex

1. Reconfigure v3_endpoint_type only when it is not None. It is
   adminURL by default.
2. Ignore the setting of api_v2_admin, as it only applies if api_v2
   is set to True.

Change-Id: I48b166bdb274467519390af3c1aa5ebf30b38c6d
Signed-off-by: Linda Wang <wangwulin@huawei.com>

Merge "Introduce Euphrates main changes"

Introduce Euphrates main changes

6 topics:
- functest framework
- requirement management
- python packages
- docker slicing
- docker builds
- REST API

Change-Id: Ib25a2df9f1a723861606355aea95f61d53495794
Signed-off-by: Morgan Richomme <morgan.richomme@orange.com>
Signed-off-by: Cédric Ollivier <cedric.ollivier@orange.com>

Remove the judgement of OS_ENDPOINT_TYPE

Remove the judgement of OS_ENDPOINT_TYPE when configuring
[identity-feature-enabled] section in tempest.conf

Change-Id: Ia0f6926cdd6e063c953358df5108b537917418bc
Signed-off-by: Linda Wang <wangwulin@huawei.com>

Merge "Config physical network when creating tempest net"

Merge "Configure physical_network when creating network"

Merge "Remove the obsolete configs in config yaml"

Modify cmd for parser

The modification is related to https://gerrit.opnfv.org/gerrit/#/c/49649/

Change-Id: I51ec841da49dd05ee454896514a9e1b7761ee035
Signed-off-by: shangxdy <shang.xiaodong@zte.com.cn>

Remove the obsolete configs in config yaml

Change-Id: I389f3f4b09274529f92d7a74ebfb0cdd257c493a
Signed-off-by: Linda Wang <wangwulin@huawei.com>

Configure physical_network when creating network

When the network_type is vlan, configuring physical_network
and segmentation_id should be supported by snaps.

JIRA: SNAPS-252

Change-Id: I2d3270a82991230385fdc18889ed5c5e979672b5
Signed-off-by: Linda Wang <wangwulin@huawei.com>

Disable keystone v2 if keystone v3 is available

Change-Id: I9ae18ac6702b6bc1df80e5ff794307929e4aefb9
Signed-off-by: Linda Wang <wangwulin@huawei.com>

Merge "Update Alpine to 3.7"

Merge "Execute feature command by subprocess directly"

Update Alpine to 3.7

It conforms with the last release [1] and Docker latest [2].

[1] https://alpinelinux.org/posts/Alpine-3.7.0-released.html
[2] https://hub.docker.com/_/alpine/

Change-Id: I731b455bd9eb9900c7794643b8605bf73a15726d
Signed-off-by: Cédric Ollivier <cedric.ollivier@orange.com>

Merge "Clean base images only if 1 container was built"

Execute feature command by subprocess directly

Change-Id: I77e86af4e96310c6520d743e4d16c9a7b2e9adf5
Signed-off-by: Linda Wang <wangwulin@huawei.com>

Config physical network when creating tempest net

When the network_type is vlan, physical_network and
segmentation_id could be configured.
This also supports to config physical network when creating
rally net.

Change-Id: I9770968537c1509c5712eada66925a4bf8f6678c
Signed-off-by: Linda Wang <wangwulin@huawei.com>

Merge "Dynamic region name of juju cloud"

Clean base images only if 1 container was built

Change-Id: I0134082d2d150a6dc58e679f9ade81eb6c040266
Signed-off-by: Cédric Ollivier <cedric.ollivier@orange.com>

Clean Docker images after builds

Compared to the related Releng script, it only focuses on cleaning
images. It's considered out of scope to remove remaining docker
containers.

It doesn't force to remove images because base images (e.g. Alpine)
could be selected by other OPNFV projects too. It ensures O is
returned even if one image cannot be removed.

functest-core is removed at the end because all Functest containers
depend on it.

The script works well in a nominal building env. Any remaining
Functest images or containers must be removed by hand.

JIRA: FUNCTEST-898

Co-Authored-By: Cédric Ollivier <cedric.ollivier@orange.com>
Change-Id: I72d8214b711680ec7958af1d427b23dee6337bf6
Signed-off-by: Jose Lausuch <jalausuch@suse.com>
Signed-off-by: Cédric Ollivier <cedric.ollivier@orange.com>

Dynamic region name of juju cloud

Region name in juju cloud has been made dynamic now, region name
will be added in cloud file from os environment variable.
It fixes the issues when runnit juju_epc vs Apex [1].

It also updates ubuntu images to xenial.

[1] https://build.opnfv.org/ci/job/functest-apex-baremetal-daily-master/628/console

Change-Id: I9422af3086141cd40b99e6482883a7081f58c2ea
Signed-off-by: soumaya <soumaya.nayek@rebaca.com>

Add Docker build opts

Change-Id: I91fcb833b6b6216338b4fcb888f093a2086264a7
Signed-off-by: Cédric Ollivier <cedric.ollivier@orange.com>

Add euphrates as a docker tag to the release notes

Change-Id: I35080b3e701de6341926f86e8aa1910ef777f565
Signed-off-by: Jose Lausuch <jalausuch@suse.com>

Update cirros image to 0.4.0

ChangeLog: https://git.launchpad.net/cirros/plain/ChangeLog

Change-Id: Ic41bec08b9dbfa7f1a501d5ba18602ba455fb5d0
Signed-off-by: Michael Polenchuk <mpolenchuk@mirantis.com>

Enable orchestra testcases for Daisy only

The current testcases have several issues which limit the
possible successful runs to Daisy [1].

[1] https://jira.opnfv.org/browse/ORCHESTRA-17

Change-Id: Iecaf21738e19aae6a88171385f11afcffd28a348
Signed-off-by: Cédric Ollivier <cedric.ollivier@orange.com>

Merge "Get auth token when checking deployment"

Merge "Remove logger_test_results"

Merge "Suggest to pull manifests instead of arch tags"

Merge "Remove openstack_[clean,snapshot]"

Suggest to pull manifests instead of arch tags

Change-Id: I17d45782feb38946f9524859354f24d392b56f25
Signed-off-by: Cédric Ollivier <cedric.ollivier@orange.com>

Remove logger_test_results

It was only called in Feature which the result is already printed
(see __str__()).

It also eases moving Feature to xtesting as it breaks the link to
functest_utils.

Change-Id: Ib72d651dc7d89598704ff4d52d8b1ecb2bdade5b
Signed-off-by: Cédric Ollivier <cedric.ollivier@orange.com>

Merge "Fix typos in test_details.rst and test_overview.rst"

Merge "Delete TestCase.create_snapshot()"

Fix typos in test_details.rst and test_overview.rst

Change-Id: I12e9b17927ab9b52d0a727a82975cda7074bd994
Signed-off-by: Cédric Ollivier <cedric.ollivier@orange.com>

Get auth token when checking deployment

JIRA: FUNCTEST-900

Change-Id: Ie313d273a357a35b176b3918de108d85164776fa
Signed-off-by: Linda Wang <wangwulin@huawei.com>

Merge "Blacklist rally ceilometer scenarios"

Remove openstack_[clean,snapshot]

It also removes the related unit tests and updates docs and cli.

Change-Id: Ie11f77402f2b5b7055a0c7c5d931c8ff21124482
Signed-off-by: Cédric Ollivier <cedric.ollivier@orange.com>

Delete TestCase.create_snapshot()

OSGC has been removed then this method can be safely removed.
It also updates run_tests.py.

Change-Id: I4030b7f0351d24d095313ae990b08e65d8f69115
Signed-off-by: Cédric Ollivier <cedric.ollivier@orange.com>

Blacklist rally ceilometer scenarios

Exclude ceilometer test cases since Rally is still utilizing the API
which was deprecated in Pike.

Change-Id: I33be7358c14988f94d38d4b9d42995bd5f022617
Signed-off-by: Juha Kosonen <juha.kosonen@nokia.com>

Merge "Filter out orchestra for ssl enabled deployments"

Merge "Remove OSGCTestCase"

Merge "Switch to public keystone endpoint"

Remove OSGCTestCase

This class is no longer used and must be removed before working on
xtesting.

JIRA: FUNCTEST-887

Change-Id: I3ac1db6ec90d9db301e5461cd79cfcf77291dffc
Signed-off-by: Cédric Ollivier <cedric.ollivier@orange.com>

Switch to public keystone endpoint

It also reorders imports and removes dead code.

Change-Id: I1e7bd03a4bc07df4705c9beed83a37a022ddbd52
Signed-off-by: Cédric Ollivier <cedric.ollivier@orange.com>

Merge "Enforce a versioned public identity endpoint"

Merge "Inject all envs in openrc into CONST"

Merge "Improve the pylint score of functest-core"

Enforce a versioned public identity endpoint

juju simply adds /auth/tokens to the public identity endpoint wich
fails vs an unversioned endpoint as currently advised. It enforces
a versioned endpoint till juju implements the right discovery.

It may be improved to detect the right API version instead of forcing
v3. But v2 is hugely deprecated and no longer used by all OPNFV
installers.

It also fixes errors/warnings listed by pylint.

Change-Id: I6e8ba4b2122c19629426530d2d34e51e1bc609ba
Signed-off-by: Cédric Ollivier <cedric.ollivier@orange.com>

Filter out orchestra for ssl enabled deployments

Skip orchestra tests for the Compass & Fuel/MCP installers
until OpenBaton have updated to version 4.x+ with SSL support.

JIRA: ORCHESTRA-17
Change-Id: I894a08fb5ac83a6b1d59d7bcf3a681a8d596968f
Signed-off-by: Michael Polenchuk <mpolenchuk@mirantis.com>

Inject all envs in openrc into CONST

After "env_prepare" is removed, some specific vars in openrc
(eg,."EXTERNAL_NETWORK") loaded to os.environ should be injected
into CONST in one python process.

Change-Id: Iaa5c6047033dc2a30c533174e2016111759aec31
Signed-off-by: Linda Wang <wangwulin@huawei.com>

[vyos_vrouter] Support https endpoints

JIRA: FUNCTEST-881

vyos_vrouter did not support https endpoints [1].

I fixed the following two points.
 1. Modifying blueprint of Cloudify.
 2. Changing nova client of utilvnf module.

Point 1
 I added command of support https endpoint to blueprint of vyos_vrouter.
 The Blueprint of vyos_vrouter is on our github repository [2].
 I updated our repository.

Point 2
 I changed nova client of utilvnf module.
 Utilvnf module is utility module of vyos_vrouter.
 Nova client of utilvnf module did not support https endpoints.
 So, I changed to use nova client of snaps.

After fixed the source code, I confirmed the vyos_vrouter was succeeded in the following two environments.
 1. Our labs   (Instoller:fuel,    environment of https endpoints)
 2. Orange POD (Instoller:compass, environment of http endpoints)

[1] https://jira.opnfv.org/browse/FUNCTEST-881
[2] https://github.com/oolorg/opnfv-vnf-vyos-blueprint/blob/master/function-test-openstack-blueprint.yaml

Change-Id: I468df0f2486a34bc558ad161eb7de44264549006
Signed-off-by: ShuyaNakama <shuya.nakama@okinawaopenlabs.org>

Merge "Change the name of flavor and disabled ssh-hostname verification."