Enable Doctor testcase

It upates upper-constraints.txt and thirdparty-requirements.txt as
doctor-test was renamed to doctor-tests.

It installs the doctor packages and its requirements via python3.
Then python_version>='3.0' conditions are added to avoid installing
them for python2.

It also calls the new console scripts and modifies the installer
list supporting it.

Conflicts:
    upper-constraints.txt

Co-Authored-By: Cédric Ollivier <cedric.ollivier@orange.com>
Change-Id: Icd855f4534d9d9591165e99aa0eed6b1030018e0
Signed-off-by: dongwenjuan <dong.wenjuan@zte.com.cn>
Signed-off-by: Cédric Ollivier <cedric.ollivier@orange.com>
(cherry picked from commit 1e1fba3aa18ebcbff6746586654805a44e88e9fe)

Add swagger support for Rest API

JIRA: FUNCTEST-854

Change-Id: Ic010604d3ba0cc46092cf2a1ae8bb41afa73c920
Signed-off-by: Linda Wang <wangwulin@huawei.com>
(cherry picked from commit b621b6b4b70299a60ad3e26ed6b04450f84b603e)

Update Docker hooks

It takes euphrates into account in Docker tag name.

Change-Id: Id455152655c8174b7cab9780c27d923f33173f28
Signed-off-by: Cédric Ollivier <cedric.ollivier@orange.com>

Merge "Select ansible 2.3.2.0" into stable/euphrates

Merge "Return Functest status to Jenkins" into stable/euphrates

Merge "Enable parser testcase" into stable/euphrates

Merge "Enable Domino testcase" into stable/euphrates

Merge "Remove securityscanning testcase" into stable/euphrates

Merge "Remove useless enabled: true in testcases.yaml" into stable/euphrates

Merge "Prepare Functest euphrates containers" into stable/euphrates

Merge "Fix one whitespace character" into stable/euphrates

Merge "Fix stable/euphrates .gitreview" into stable/euphrates

Select ansible 2.3.2.0

Badly the ansible version is not defined in OpenStack's
upper-constaints.txt. It must be added in the OPNFV one.

Otherwise, rally fails [1]

[1] https://build.opnfv.org/ci/job/functest-fuel-baremetal-daily-master/1866/console

Change-Id: Id6814376ce96d35db65f6290d0a31283a15de0b2
Signed-off-by: Cédric Ollivier <cedric.ollivier@orange.com>
(cherry picked from commit c3c326570b29276d5ac2f703f64fb5f797de62d2)

Return Functest status to Jenkins

It avoids mixing Functest and Features CI issues by simply exiting the
status of Functest testcases. The result of third-party testcases are
printed into console but are no longer taken into account into the
global status.

Change-Id: I040ff54780db2ddb6d81993839fee09f5e472323
Signed-off-by: Cédric Ollivier <cedric.ollivier@orange.com>
(cherry picked from commit 516d1bd7811f5751d796748ddd52f798bbd5a40f)

Enable parser testcase

Currently parser tescase in functest disabled, it's
neccessary to enable it since we have tested successfully
with the installers of fuel, apex and daisy.

Change-Id: Ic3995cec813cc41c897b9c600b90d1fbbe8a74e2
Signed-off-by: shangxdy <shang.xiaodong@zte.com.cn>
(cherry picked from commit 734cb4d6d66b2fa638e82d366d480404997e005e)

Enable Domino testcase

Domino is part of the OPNFV projects released for E [1].
As now Domino is ready for Functest integration (package and
requirements), the testcase can be enabled.

If the testcase fails, the issues should be related to Domino.

[1] https://lists.opnfv.org/pipermail/opnfv-tech-discuss/2017-September/017951.html

Change-Id: I26f3d3ae338def0f77c46c2cbda1baf3d55c1a41
Signed-off-by: Cédric Ollivier <cedric.ollivier@orange.com>
(cherry picked from commit 555ac3f8656004d469c04370448a8a46f8a1418d)

Remove securityscanning testcase

As the project is no longer released [1], security_scan is removed
from testcases config files.

It stops installing the related python package too.

[1] https://lists.opnfv.org/pipermail/opnfv-tech-discuss/2017-September/017951.html

Conflicts:
      upper-constraints.txt

Change-Id: Ieb9ff4c2975fbf2c85b875a088b0ec18503a3722
Signed-off-by: Cédric Ollivier <cedric.ollivier@orange.com>
(cherry picked from commit 59999eb2f2bf3b28c50a9b75fc551192450d28e3)

Remove useless enabled: true in testcases.yaml

Change-Id: Ief2f4f580b4daef74e64d203fa1fc2be8f7e50c7
Signed-off-by: Cédric Ollivier <cedric.ollivier@orange.com>
(cherry picked from commit 955706810fa3c9adb153bf581c703ec473b57a56)

Prepare Functest euphrates containers

They depend on git commit ids for the next OPNFV projects:
  - releng [1]
  - securityscanning

Securityscanning should be first removed in master and then the patch
will be cherry-picked in stable/euphrates. A temporarily git commit
id is used here to allow building the containers before that changes.

[1] https://lists.opnfv.org/pipermail/opnfv-tech-discuss/2017-September/017865.html

Change-Id: Ib7bd4206a6ef7f5bb8cd58f324d3e437a3b704a1
Signed-off-by: Cédric Ollivier <cedric.ollivier@orange.com>

Fix one whitespace character

Change-Id: I631061178f4c96d28dfa4fcf22af0fef2c4f5db4
Signed-off-by: Cédric Ollivier <cedric.ollivier@orange.com>
(cherry picked from commit d120b6cf30631ee7a0f27f4fc1d07facd6ce4047)

Fix stable/euphrates .gitreview

It simply adds defaultbranch=stable/euphrates

Change-Id: I06cbebc719f9188415d5de68a008d16f0b915dec
Signed-off-by: Cédric Ollivier <cedric.ollivier@orange.com>

increase timeout of NFVO installation

some pods are less powerful and require more time for the
installation of the orchestrator

Change-Id: Iebd39c0ef8f3dcfa7fecb1e507b2f05890b5c490
Signed-off-by: Michael Pauls <michael.pauls@fokus.fraunhofer.de>
(cherry picked from commit f7348cba120c5bd2f4df51b1a290bea4c0d01a61)

Merge "Bug fix: wrong dependency filter for lxd scenarios"

Merge "Refactor resource creation and cleanup in rally"

Bug fix: wrong dependency filter for lxd scenarios

lxd scenario cannot run all the api_check tests, a regex has been set
but on the wrong dependency (installer instead of scenario)

Change-Id: I313e8d1ed3fa30488c100549f574a0cded08768f
Signed-off-by: Morgan Richomme <morgan.richomme@orange.com>

Refactor resource creation and cleanup in rally

Use SNAPS to create and delete resources.

Change-Id: Ic4d390382acea2be196e8a7518cb8cce25276a45
Signed-off-by: Juha Kosonen <juha.kosonen@nokia.com>

Enable tempest run concurrently

Append a guid to the end of names of resources created for tempest,
including project, user, network, images and flavors.

Change-Id: I01fc7c5cb45cd5724a99ba1d220c3f3f7d6639cf
Signed-off-by: Linda Wang <wangwulin@huawei.com>

Merge "New testcase creation named "cloudify_ims_perf""

New testcase creation named "cloudify_ims_perf"

* IMS deployment with "cloudify_ims" testcase
* IXIA infrastructure creation with SNAPS
* Module configuration with REST API
* Configure and run the perf tests with REST API

Change-Id: I3dfddda87f9e9f4f03df375f6a032ded26a627b3
Signed-off-by: boucherv <valentin.boucher@orange.com>
Co-Authored-By: Arturo Sordo Miralles <asordo@ixiacom.com>

Merge "Override tempest upper-constraints in functest-parser"

Merge "Select $OPENSTACK_TAG instead of stable/ocata"

Override tempest upper-constraints in functest-parser

Change-Id: Ib08fb665724bd7b7ec8f8a010486e615d2cd5f5b
Signed-off-by: Cédric Ollivier <cedric.ollivier@orange.com>

Select $OPENSTACK_TAG instead of stable/ocata

It modifies functest and functest-core containers.

Change-Id: I505baf460412e73d3bf4563b13edd849c2f02fac
Signed-off-by: Cédric Ollivier <cedric.ollivier@orange.com>

Merge "Optimize Alpine Dockerfiles"

Merge "Allow reading log file with byte offset"

Optimize Alpine Dockerfiles

It mainly splits vnfs runtime and build dependencies to save space at
the end.

Change-Id: I8307fa416066cc8c50b96862de8bafd2c47a2ace
Signed-off-by: Cédric Ollivier <cedric.ollivier@orange.com>

Add packages in docker alpine containers

To run our SFC tests we require openssh and sshpass to be installed in
the container

Change-Id: I40b3d740855d48939f9411697abbd3bbbb70370f
Signed-off-by: Manuel Buil <mbuil@suse.com>

Merge "Add Functest restapi container"

Merge "Remove thirdparty-requirements.txt in smoke"

Merge "Add Docker automated build hooks for Parser"

Allow reading log file with byte offset

Change-Id: I8cd6acef66d798fa43e20ca9d885dcbaa99a5b42
Signed-off-by: Linda Wang <wangwulin@huawei.com>

Disable urllib3 warnings

1. When running in compass OSA, lots of SubjectAltNameWarnings are
   shown in console, so just disable the warnings here.
   See https://github.com/shazow/urllib3/issues/497 for details
2. Redirect warnings issued by the warnings module to the logging system
   via logging.captureWarnings(True)
3. But urllib3 warning is still there for two cmds about rally/tempest.

Change-Id: Ic22cf8e2babc10c9d55a7ed46b841312a4e430a7
Signed-off-by: Linda Wang <wangwulin@huawei.com>

Add Functest restapi container

It allows running all testcases via Functest REST API [1]. 

[1] https://wiki.opnfv.org/display/functest/Running+test+cases+via+new+Functest+REST+API

Change-Id: Iaa69b7367653398582b876df1362f72c787c6b7b
Signed-off-by: Cédric Ollivier <cedric.ollivier@orange.com>

Remove thirdparty-requirements.txt in smoke

As refstack must be installed via local dir (to sync requirements),
it's useless to list it again in a requirements file.

Change-Id: I9099fff185694fd41cf02e1265b1d4ab7659d7f2
Signed-off-by: Cédric Ollivier <cedric.ollivier@orange.com>

Add Docker automated build hooks for Parser

Change-Id: Ie42058fba915e3fbe9098ff14b31768723e8e24e
Signed-off-by: Cédric Ollivier <cedric.ollivier@orange.com>

Merge "Fix some errors about getting tiers resources"

Merge "set marketplace port to 8080 for NFVO"

Merge "Re-enable orchestra tests (VNF)"

Fix some errors about getting tiers resources

Change-Id: I95cf1cb453e30875498d4dfbbe15f19452c48df1
Signed-off-by: Linda Wang <wangwulin@huawei.com>

set marketplace port to 8080 for NFVO

Change-Id: I336b54e63fcb4a7e64f139628536f334c86b1745
JIRA: ORCHESTRA-17
Signed-off-by: Michael Pauls <michael.pauls@fokus.fraunhofer.de>

Fix bug in cloudify_ims: no return code

Change-Id: I89ab2f9b57d9f4710201af5852aa12925f122079
Signed-off-by: boucherv <valentin.boucher@orange.com>

Remove volume type handling

Rally scenarios don't require volume type to exist as a precondition.

Change-Id: Id735346e062af084635fd8f76f3686005b9b8add
Signed-off-by: Juha Kosonen <juha.kosonen@nokia.com>

Re-enable orchestra tests (VNF)

"Marketplace is now running on port 8080. In addition, we have extended the
marketplace backend in order to return the last modified header so that images
are not re-downloaded all the time tests are executed. It should be done by
Monday EOB" [1]

[1]: https://jira.opnfv.org/browse/ORCHESTRA-17?jql=project%20%3D%20ORCHESTRA

JIRA: ORCHESTRA-17

Change-Id: I17f6316003be9c2c3131ed640e6a32e482d1a174
Signed-off-by: Morgan Richomme <morgan.richomme@orange.com>

Merge "Allow live migration related tests to run"

Merge "Remove Parser from the former Container"

Allow live migration related tests to run

For tempest or rally, if there are more than 1 compute node, live
migration related tests should not be skipped or blacklisted if
shared storage is enabled via ceph.

Change-Id: Ic93e4f508b597c657abe8d246f0cf9c2b5dfd020
Signed-off-by: Linda Wang <wangwulin@huawei.com>

Merge "Remove get_repo_tag"

Remove Parser from the former Container

A dedicated Alpine container has been built for running the Parser
testcase as it requires stable/pike instead of stable/ocata.

Change-Id: Ifece75c64c1ed860eca7d0524ca581f41fc89276
Signed-off-by: Cédric Ollivier <cedric.ollivier@orange.com>

Merge "Exclude api_check on lxd scenarios"

Merge "Use git commit id for refstack-client"

Merge "Fix pylint errors in test_refstack_client"

Use git commit id for refstack-client

Functest should be based on fixed versions of projects which are out
of OPNFV. It selects the last git commit as refstack-client hasn't
defined any tag or branch.

Change-Id: Id7c5ecb0ef88fd1a2b8f34ddfc22c87b7f78c8d4
Signed-off-by: Cédric Ollivier <cedric.ollivier@orange.com>

Update ODL testcase to Keystone v3

As basic neutron tests have been updated [1], ODL testcase must
manage user domain and project domain names.

[1] https://git.opendaylight.org/gerrit/#/c/62846/

JIRA: FUNCTEST-862

Change-Id: I61ef622f840b8d825cf45a3557bd6da14a4d3cb7
Signed-off-by: Cédric Ollivier <cedric.ollivier@orange.com>

Exclude api_check on lxd scenarios

Most of the tests are OK but the last tests deal with qcow2 images
the testcase is therefore not compatible with lxd sceanrio

Change-Id: Ie67e5e1a67673c5d2076ef306bd7d29f46e6977f
Signed-off-by: Morgan Richomme <morgan.richomme@orange.com>

Fix pylint errors in test_refstack_client

Change-Id: Ia53ac75c913f351412180b9b71a56b4c5fbbe4a5
Signed-off-by: Linda Wang <wangwulin@huawei.com>

Merge "Remove redundant tempest cleanup utility"

Merge "Use git commit id for ODL"

Merge "Use custom images and flavors for aarch64"

Merge "Unify the key as testcase in result"

Merge "Fix creds used by vrouter"

Use git commit id for ODL

stable/carbon has been removed and Functest requires the patch
"No more Content-Type for DELETE request header" [1].

[1] https://git.opendaylight.org/gerrit/#/c/60578/

Change-Id: Ia3630e03e26a543ae37c36455a68763ffc8f2b12
Signed-off-by: Cédric Ollivier <cedric.ollivier@orange.com>

[Fuel/MCP] Set opendaylight web/restconf ports

Change-Id: I24518bdf54974debf49df6d775db1203e61922e5
Signed-off-by: Michael Polenchuk <mpolenchuk@mirantis.com>

Publish a container for Parser

As Parser is based on OpenStack pike release, it's hosted by a
dedicated Alpine container.

Change-Id: I1957ff100108d2ca58f939ddf4feda28a2954ced
Signed-off-by: Cédric Ollivier <cedric.ollivier@orange.com>

Use custom images and flavors for aarch64

Use custom images and flavors in tempest_smoke_serial
test for aarch64
JIRA: ARMBAND-279

Change-Id: Ie285e1c22fd5ec84a0d70def35654ea76e4d3554
Signed-off-by: Delia Popescu <delia.popescu@enea.com>

Unify the key as testcase in result

Change-Id: I4933b013349e64a6e018938db99ecdf6d9c723da
Signed-off-by: Linda Wang <wangwulin@huawei.com>

Merge "Unlink Functest and FDS tags"

Merge "Fix all refstack-client requirements on-the-fly"

Merge "Set os-faults 0.1.10"

Merge "Integrate doctor-test package"

Remove redundant tempest cleanup utility

All the resources including the project, user, network,
images and flavors to enable tempest running, are created
by snaps-OO, which will definitely clean up those finally.

Change-Id: Iea3e3f275cc6cfd2cee421fcafef90aaf2e6cf3e
Signed-off-by: Linda Wang <wangwulin@huawei.com>

Fix creds used by vrouter

1. 'CloudifyVrouter' object has no attribute 'creds'
2. snaps_cred was set in VnfOnBoarding.prepare()

Change-Id: I7d7ba60627f82c6e40d2c6190b110d6029740eb2
Signed-off-by: Alex Yang <yangyang1@zte.com.cn>

Merge "Create VNF user with admin role"

Unlink Functest and FDS tags

Otherwise it forbids building Functest containers from a gerrit
change.

Change-Id: I936fc338d17a710bd9403670cd17aabc89c5cc2c
Signed-off-by: Cédric Ollivier <cedric.ollivier@orange.com>

Fix all refstack-client requirements on-the-fly

RefStack Client is out of OpenStack releases and its requirements must
be modified before installing.

Change-Id: Id1aed6cdc9c409d0036abe86591ff52e7ef0c26f
Signed-off-by: Cédric Ollivier <cedric.ollivier@orange.com>

Set os-faults 0.1.10

Otherwise it raises conflicts about pbr version.

Change-Id: I4d708322889f9e5d63cb594badb63fded6bc9155
Signed-off-by: Cédric Ollivier <cedric.ollivier@orange.com>

Integrate doctor-test package

It updates tescases.yaml as run.sh is located in $PATH.
repo_doctor is removed as it's now useless.

It must be noted that doctor-test imports modules fom a relative path
which can break the integration. Pylint warms them (W0403) [1].

[1] https://docs.pylint.org/en/1.6.0/features.html

Co-Authored-By: Cédric Ollivier <cedric.ollivier@orange.com>
Change-Id: Icd3071a8e371048370bd3e07e08b6b52ddb35c13
Depends-On: I2091cfe4751640bf83d77e1fdd713af1e31fa89d
Signed-off-by: dongwenjuan <dong.wenjuan@zte.com.cn>
Signed-off-by: Cédric Ollivier <cedric.ollivier@orange.com>

Merge "Integrate new Domino package"

Merge "Add UEFI support in functest"

Create VNF user with admin role

Change-Id: I9cdeedd90cacfdae10c498580493106a6cb727fb
Signed-off-by: Alex Yang <yangyang1@zte.com.cn>

unify all the return status as number

Change-Id: I835a368fe78329e60e811e40c24f3609c7a8960c
Signed-off-by: Linda Wang <wangwulin@huawei.com>

Merge "Stop downloading openbaton image."

Merge "Stop using master for pip"

Stop using master for pip

Rally cannot work via latest pip:
  [r.name.lower() for r in pip.req.parse_requirements(
  rally AttributeError: 'module' object has no attribute 'req'

Badly it forbids building containers from a gerrit change.

Change-Id: Ie60344b2a7793729823643ba2c1d3c30500d56c4
Signed-off-by: Cédric Ollivier <cedric.ollivier@orange.com>

Merge "Create results/tempest dir for refstack config"

Stop downloading openbaton image.

It's downloaded in all CI runs and forbids several ones (timeout).

Change-Id: I2f269d941990b7235eba7cc6d58ad17072495176
Signed-off-by: Cédric Ollivier <cedric.ollivier@orange.com>

Merge "Enable tempest multinode tests"

Merge "Launch Functest RestApi once the container is run"

Integrate new Domino package

Change-Id: Iada952e3356fa89a122503c2a71aa31a9731469e
Signed-off-by: Cédric Ollivier <cedric.ollivier@orange.com>

Create results/tempest dir for refstack config

When generating refstack client reference tempest conf file,
the step of tempest.conf backup is necessary.
So if the dir results/tempest is absent, error shows:
[Errno 2] No such file or directory:
'/home/opnfv/functest/results/tempest/tempest.conf'

Change-Id: I7aba5baff55a51881d125b28f99d71d0cc0a5c72
Signed-off-by: Linda Wang <wangwulin@huawei.com>

Fix the cloudify_ims update quotas error

Change-Id: I62376dd02dd95ebff54c1ebf963267c6534181ed
Signed-off-by: Linda Wang <wangwulin@huawei.com>