Merge "Refactor the vyos_vrouter to adopt VNF abstraction"

Refactor the vyos_vrouter to adopt VNF abstraction

JIRA: FUNCTEST-788

1.Modifying code of vyos_vrouter to inherit vnf abstraction class.
2.Adding vyos_vrouter code from our repo to functest.
3.Adding unit test of vyos_vrouter.
4.Doing test of modified vyos_vrouter codes on our labs.

Change-Id: I77e4be8b2a140ea0176c607f2be736599f893ace
Signed-off-by: Shuya Nakama <shuya.nakama@okinawaopenlabs.org>

Remove get_installer_type

JIRA: FUNCTEST-763

Change-Id: Ib05f699063393eb6eaa9f559854aca50b77aead3
Signed-off-by: Linda Wang <wangwulin@huawei.com>

Merge "Clean repo: mano directory not used"

Merge "Obtain scenario by CONST instead of get function"

Merge "Avoid exiting when snapshot initialization failed"

Temporarily download cirros from artifacts

The domain download.cirros-cloud.net expired 2017-08-27, meaning
cirros image downloads fail, so change the download url to artifacts
temporarily.

Change-Id: I26e0723b5df1300c3869cc2f4cad138794c17e4b
Signed-off-by: Linda Wang <wangwulin@huawei.com>

Avoid exiting when snapshot initialization failed

Change-Id: Ia8162d6c64847090d94f97fdab92cad2b5f059f1
Signed-off-by: Linda Wang <wangwulin@huawei.com>

Clean repo: mano directory not used

Initially this folder was plan to perform tests on mano framework
Mano framework are integrated through vnf but there is no specific
mano suite to test mano framework

Change-Id: I636a228729d4140d69214dba98055eeb14419854
Signed-off-by: Morgan Richomme <morgan.richomme@orange.com>

Obtain scenario by CONST instead of get function

JIRA: FUNCTEST-763

Change-Id: Ic9fa3243b50a09de8a5e531fed8298997367dd84
Signed-off-by: Linda Wang <wangwulin@huawei.com>

Merge "Add log info of refstack tests into functest.log"

Merge "Remove Onos in Functest"

Add log info of refstack tests into functest.log

Change-Id: I9edf555ba17b491768fbe298e65c3b11b341d76e
Signed-off-by: Linda Wang <wangwulin@huawei.com>

Merge "Get rid of tacker_client_install.sh"

Merge "Create API to get log for each task"

Merge "Create API to update hosts info"

Get rid of tacker_client_install.sh

It's removed from sfc tree to deploy the official version instead [1].

[1] https://gerrit.opnfv.org/gerrit/#/c/40237/

Change-Id: I84b2f8ce2842c5da2d0678e54129c632f4f476ac
Signed-off-by: Cédric Ollivier <cedric.ollivier@orange.com>

Merge "download_images.sh: add --keep option to avoid redownloading images"

Remove Onos in Functest

No feedback from onos projects for Euphrates for MS6

Change-Id: I8d295c65e4b621df87752e15b5f41e04a80b32ca
Signed-off-by: Morgan Richomme <morgan.richomme@orange.com>

download_images.sh: add --keep option to avoid redownloading images

Change-Id: Id25f1a354ffd067ba926dc67907b6ca913999437
Signed-off-by: Morgan Richomme <morgan.richomme@orange.com>

Updated sfc section in testcases

That section had an old scenario name which resulted in errors when sfc
functests tests needed to be executed

Change-Id: Ie35bb0d97c3d6cad6a97137355f146e8d20a40b9
Signed-off-by: Manuel Buil <mbuil@suse.com>

Merge "Fix args parsing in run_tests"

Fix args parsing in run_tests

By default, 'report' and 'noclean' are both False, so
self.clean_flag shoule be True and self.report_flag
should be False.

Change-Id: I4935f70bd124fbb996dcaa73e01e0e61cd0184e1
Signed-off-by: Linda Wang <wangwulin@huawei.com>

Fix the config of vping net

Change-Id: I71cea850985c67cf4c4e42a29600f9d63291fc94
Signed-off-by: Linda Wang <wangwulin@huawei.com>

Create API to update hosts info

API: /api/v1/functest/envs/action
METHOD: POST
PARAMS:
{
    "action": "update_hosts",
    "args": {
            "identity.ac.dz.com": "8.20.11.22",
            "image.ac.dz.com": "8.20.11.22"
    }
}

JIRA: FUNCTEST-856

Change-Id: Ifaf064110ade6e39189dd14b38c921d9e1c3568d
Signed-off-by: Linda Wang <wangwulin@huawei.com>

Create API to get log for each task

API: /api/v1/functest/tasks/<task_id>/log
METHOD: GET

JIRA: FUNCTEST-867

Change-Id: I987cbf662e4da349bf7583e48da5d981a2f1e0fd
Signed-off-by: Linda Wang <wangwulin@huawei.com>

Merge "Obtain pod_name by CONST instead of get function"

Merge "Prevent KeyError during main args parsing"

Merge "Patch Read aarch64 architecture"

Patch Read aarch64 architecture

Architecture is exported as POD_ARCH

Change-Id: I62631c165d1805163204a83d6019a4a3b0000855
Signed-off-by: Delia Popescu <delia.popescu@enea.com>

bug fix download_images.sh

when xz the downloaded file, if the uncompressed target file already exists
it exits with status 1 and breaks the gate

Change-Id: Ie97ff34e6522af48c799e7c8c97dc3310222e683
Signed-off-by: Morgan Richomme <morgan.richomme@orange.com>

Merge "Add reporting results for Danube 3.0"

Merge "Functest Doc: first update for Euphrates - move part of the dev group to the testing document - move reporting into user guide - update logs - introduce alpine - introduce functest API - split documents per chapter"

Merge "Added means to override the RC file credentials."

Merge "Fix the tempest error when creating snapshot"

Fix the tempest error when creating snapshot

Change-Id: I9682f174a835d2bdf1ef3da01e369037e5ad7247
Signed-off-by: Linda Wang <wangwulin@huawei.com>

Prevent KeyError during main args parsing

Change-Id: Ia340c79c82b891e921379c7c0186eaa238117b13
Signed-off-by: Martin Kulhavy <martin.kulhavy@nokia.com>

Merge "Add Rally scenarios for telemetry"

Add Rally scenarios for telemetry

Ceilometer scenarios were added.

Reasons for testcase blacklisting:
- Deprecated ceilometer client used by Rally. This depends on the
  confuguration of the system, currently it seems to affect all
  installers.
- A bug in ceilometer client (already fixed and merged in OpenStack
  repository).

JIRA: FUNCTEST-849

Change-Id: I0bd7e1e9817538165b7b9705bcec213d7d275359
Signed-off-by: Martin Kulhavy <martin.kulhavy@nokia.com>

Ensure that aarch64 patch can be applied

It simply creates a new testenv.

Change-Id: I2675d1b3240a59fa985bd91f979efe1896c3d605
Signed-off-by: Cédric Ollivier <cedric.ollivier@orange.com>

Fix aarch64 patch

Change-Id: I7915f5f82184b431510d7a2fc8945355fa63ec0c
Signed-off-by: Cédric Ollivier <cedric.ollivier@orange.com>

Download images from marketplace.openbaton.org:8082

LF admins opened port 8082.

Change-Id: I57a2beff32f0a346855968c4229dae4487ccbd85
Signed-off-by: Cédric Ollivier <cedric.ollivier@orange.com>

Merge "Refactor resource creation and cleanup in Tempest"

Merge "Updating the constrains for the Barometer test-suite"

Merge "AArch64: SNAPS: CentOS, Ubuntu image config"

Refactor resource creation and cleanup in Tempest

Use Snaps to create resources before running a testcase and to clean up
afterwards.
Use Tempest Cleanup utility to clean other resources.

Change-Id: Ic0f69d3bafb60dfb283d18ac507e9f5992e9ae38
Signed-off-by: Martin Kulhavy <martin.kulhavy@nokia.com>

Merge "Read aarch64 architecture"

Read aarch64 architecture

Read aarch64 architecture from env variable exported
by changes from patch https://gerrit.opnfv.org/gerrit/#/c/38689/

Change-Id: If0fc94e8fe67871b94934c305c019b57872ecb07
Signed-off-by: Delia Popescu <delia.popescu@enea.com>

Merge "Fixes image download script"

Merge "Complete caching images for vnf testcases"

AArch64: SNAPS: CentOS, Ubuntu image config

Change-Id: I8cbbfda7dd4089c122af4e0a459f4c03c1a3bb3a
Signed-off-by: Catalina Focsa <catalina.focsa@enea.com>

Merge "Add the skipped testcases into details"

Merge "Specify physical_network when creating network"

Fixes image download script

Fixes Include:
 - Fix previous behavior where multiple copies of the same file would be
   downloaded as blah.qcow.1, blah.qcow.2 and not overwrite original
   file.
 - Fix issue where files were always downloaded, even when they were not
   different from server version.

It temporarily stops downloading from marketplace.openbaton.org:8082
which is blocked by LF firewalls.
wget options are tuned to avoid wasting jjobs time.

Change-Id: I9191847a3f80045329c160e86655cc0a0e80831c
Signed-off-by: Tim Rozet <trozet@redhat.com>

Merge "Config test_accounts_file for refstack_defcore"

Complete caching images for vnf testcases

It conforms with snaps API for publishing local images.
It completes [1] which only modifies the yaml files.

[1] https://gerrit.opnfv.org/gerrit/#/c/39757/

Change-Id: I325a245c0e7bb15bb1f9570996500573cfe257b0
Signed-off-by: Cédric Ollivier <cedric.ollivier@orange.com>

Use dnsmasq to cache DNS queries

It's mandatory for clearwater_ims as musl's resolver queries
nameservers all in parallel and accepts whichever response arrives
first [1].

[1] http://wiki.musl-libc.org/wiki/Functional_differences_from_glibc#Name_Resolver_.2F_DNS

Change-Id: I01a17436279a0be2fac1b27b73052edc594c33e0
Signed-off-by: Cédric Ollivier <cedric.ollivier@orange.com>

Merge "Allow caching images for vnf testcases."

Merge "Give a list of links to wget"

Functest Doc: first update for Euphrates
- move part of the dev group to the testing document
- move reporting into user guide
- update logs
- introduce alpine
- introduce functest API
- split documents per chapter

Change-Id: I08268091ce50309e891a648333da2054e902bcea
Signed-off-by: Morgan Richomme <morgan.richomme@orange.com>

Config test_accounts_file for refstack_defcore

Tenant and user are required by refstack_defcore, which could
be configured in the test_accounts_file. [1]

[1]: https://github.com/openstack/refstack-client/blob/master/refstack_client/refstack_client.py#L170-L193

Change-Id: I9c920b6f15f491d671ebf222976305bedf4dd747
Signed-off-by: Linda Wang <wangwulin@huawei.com>

Merge "Euphrates cleaning: remove any reference to aaa vnf"

Specify physical_network when creating network

When the network_type is vlan, it is necessary to specify
physical_network and segmentation_id.

JIRA: FUNCTEST-863

Change-Id: Ia1acb0181e4f78654ecf5500c4c0366b143a91f5
Signed-off-by: Linda Wang <wangwulin@huawei.com>

Add the skipped testcases into details

When running tempest_custom, if all tests are skipped, record them
in details.

Change-Id: Ie18ec0911ff298f91c524a9cd039929c2d0f6425
Signed-off-by: Linda Wang <wangwulin@huawei.com>

Merge "Create API to update openrc"

Merge "Create API to run a test case"

Merge "Specify valid external network as an env"

Added means to override the RC file credentials.

This has been done primarily to support tests using SNAPS-OO

JIRA: FUNCTEST-847

Change-Id: Icf02c085a95c20d4088e5aafd6380c70689a4ee0
Signed-off-by: spisarski <s.pisarski@cablelabs.com>

Euphrates cleaning: remove any reference to aaa vnf

aaa vnf was created in Danube to illustrate the vnf abstraction
as real implementations are now available and nobody really
implements a real aaa test case, it is better to remove any reference
to aaa vnf

Note modification on the documentation will be done accordingly

Change-Id: Iab6d96c955a6a7dc178588592382e42d68ec604c
Signed-off-by: Morgan Richomme <morgan.richomme@orange.com>

Allow caching images for vnf testcases.

Change-Id: Ib9b8cc46600bfd29e2ae5f56e995397477cb4ad6
Signed-off-by: Cédric Ollivier <cedric.ollivier@orange.com>

Give a list of links to wget

Now download_images.sh simply relies on wget -i.
It downloads all requirements as the biggest ones are mandatory or
scenario independent (VNF)

The offical ubuntu-16.04-server-cloudimg-amd64-disk1.img is
selected instead of the one hosting by OPNFV SDNVPN.

Change-Id: Ica566bb351f22dfba001678fe93b8a2b1523941a
Signed-off-by: Cédric Ollivier <cedric.ollivier@orange.com>

Merge "Remove opera testcase as Opera is inactive"

Merge "Remove the tenant and user created for tempest"

Remove opera testcase as Opera is inactive

testcases.yaml is updated as well.

Change-Id: I88b3a51a732496899f6825fd38137bcf7e6a8caa
Signed-off-by: Cédric Ollivier <cedric.ollivier@orange.com>
Signed-off-by: Morgan Richomme <morgan.richomme@orange.com>

Create API to run a test case

Two APIs are created here:
1. Run a test case
2. Get the result of the task id

JIRA: FUNCTEST-853

Change-Id: I12950933b143b82fb6aeb186ea1b35ddd16e6097
Signed-off-by: Linda Wang <wangwulin@huawei.com>

Complete the container opnfv-vnf

It adds the following testcases:
  - aaa
  - orchestra_openims
  - orchestra_clearwaterims

opera_vims is not yet integrated as it depends on Opera [1] and its
package must be fixed before being installed in Functest [2].

vyos_vrouter will be added when a package is available for installing
opnfv-functest-vrouter [3].

[1] https://wiki.opnfv.org/display/OPERA/Opera+Home
[2] https://git.opnfv.org/opera/tree/requirements.txt
[3] https://github.com/oolorg/opnfv-functest-vrouter

Change-Id: Iccd4626ec29c1e9eb1c2accc81fdf1a9ae1e613f
Signed-off-by: Cédric Ollivier <cedric.ollivier@orange.com>

Fix ci_loop conditions for vnf

Weekly jobs should run all tests (vnf included).

Change-Id: I25b43654d48e9ae5df5c18fd565423a310d4c68b
Signed-off-by: Cédric Ollivier <cedric.ollivier@orange.com>

Allow defining CI_LOOP via env

CI_LOOP is more human-readable than BUILD_TAG and could be set by env.
Weekly is still the default value even if it can be considered than
daily is more relevant.

Change-Id: Ia8e370fe0f967ba2c83d0212f8e045d815b4ddb3
Signed-off-by: Cédric Ollivier <cedric.ollivier@orange.com>

Merge "Integrate cloudify_ims in functest-features"

Updating the constrains for the Barometer test-suite

The patch switches the tests for Apex, which is the only Installer
supported by the Barometer project for the OPNFV Euphrates Release.

Change-Id: Ic064a41402bc4f27280f8d5e408d59ad41f888bc
Signed-off-by: Calin Gherghe <calin.gherghe@intel.com>

Create API to update openrc

API: /api/v1/functest/openstack/action
METHOD: POST
PARAMS:
{
    "action": "update_openrc",
    "args": {
         "openrc": {
             "OS_AUTH_URL": "http://192.168.30.222:5000/v3",
             "OS_IDENTITY_API_VERSION": "3",
             "OS_IMAGE_API_VERSION": "2",
             "OS_PASSWORD": "console",
             "OS_PROJECT_DOMAIN_NAME": "default",
             "OS_PROJECT_NAME": "admin",
             "OS_TENANT_NAME": "admin",
             "OS_USERNAME": "admin",
             "OS_USER_DOMAIN_NAME": "default"
         }
    }
}

JIRA: FUNCTEST-855

Change-Id: I7c935483c264f2b1b47239684392c8a37dc23d26
Signed-off-by: Linda Wang <wangwulin@huawei.com>

Remove the tenant and user created for tempest

According to the module [1] in tempest to parse tempest.conf,
the three params in session idenity are invalid:

[identity]
tenant_name = tempest
username = tempest
password = Tempest123!

Then there is no need to create tenant and user before running
tempest and refstack_defcore.

[1]: https://github.com/openstack/tempest/blob/14.0.0/tempest/config.py#L120

JIRA: FUNCTEST-864

Change-Id: Idac46e1e620324c584c8021c0bdf843f8823155a
Signed-off-by: Linda Wang <wangwulin@huawei.com>

Integrate cloudify_ims in functest-features

We only rely on system libraries in case of Alpine.
It's not possible in case of Ubuntu 14.04 because libxml is too old.

Change-Id: I304f8ea5e9a6541e9719210db9d07949107bf193
Signed-off-by: Cédric Ollivier <cedric.ollivier@orange.com>

Merge "Fix summary in run_tests.py"

Fix summary in run_tests.py

It fixes summary() when several tests have not been executed after a
blocking test in failure.

Change-Id: I3c0af4c8083ffa76f786756d409c09e018bbecc8
Signed-off-by: Cédric Ollivier <cedric.ollivier@orange.com>

Merge "Put domain name in CONST"

Merge "Switch to blocking: false for ODL in functest-smoke"

Merge "Remove multisite support"

Put domain name in CONST

Domain name is not obtained in source_rc_file() but used in the
patch https://gerrit.opnfv.org/gerrit/#/c/39109/.

Change-Id: Iceaf352f7ad5e15f15906f0e3aa1c5ab5ae30a42
Signed-off-by: Alex Yang <yangyang1@zte.com.cn>

Remove multisite support

JIRA: FUNCTEST-866

Change-Id: I55a4416688b2aca0897910cac69b33e154e73095
Signed-off-by: Juha Kosonen <juha.kosonen@nokia.com>

Switch to blocking: false for ODL in functest-smoke

It completes the previous change vs the former container [1].

[1] https://gerrit.opnfv.org/gerrit/#/c/39271/

Change-Id: Ie0e55e859e550de9ffb30ce1e6f03859e6869332
Signed-off-by: Cédric Ollivier <cedric.ollivier@orange.com>

Disable temporarily Doctor from Functest

The test case is currently failing whatever the scenario/installer

It is misleading for some scenarios (e.g. barometer)
As it is systematically failing for the moment, it makes more sense
to disable the test rather than complexify regex constraints

The test case will be reenabled when the following points will be fixed:
- Python 3 support (pending question to Release Manager)
- packaging OK: pending patches [1] [2] (need merge of [1])
- remove packet installation in run

[1] https://gerrit.opnfv.org/gerrit/#/c/38177/
[2] https://gerrit.opnfv.org/gerrit/#/c/38053/

Change-Id: Ic06786f0d516f1702dc44dc521ba8ca810ee76f9
Signed-off-by: Morgan Richomme <morgan.richomme@orange.com>

Merge "add orchestra_clearwaterims testcase"

Merge "Use separate timeouts for connection and reading."

Specify valid external network as an env

In some deployments, the retrieved external network by the
def get_external_net checked by "router:external" is not available.
So it is necessary to specify the available external network
as an env by user for some deployments.

JIRA: FUNCTEST-865

Change-Id: I561bc7d57e06214516a4cdbebd67632cd9746fba
Signed-off-by: Linda Wang <wangwulin@huawei.com>

Obtain pod_name by CONST instead of get function

JIRA: FUNCTEST-763

Change-Id: Id334745a1eac8b933d77f9cb36a506a02366d760
Signed-off-by: Linda Wang <wangwulin@huawei.com>

Merge "API proposal for functest"

Merge "Clean run_tests.py and the related ut"

Merge "Update ODL tag to release/carbon"

API proposal for functest

1. Propose a basic framework for API
2. And these functions have been realized:
   1) Show environment
   2) Prepare Environment
   3) Show credentials
   4) List all testcases
   5) Show a testcase
   6) List all tiers
   7) Show a tier
   8) List all testcases within given tier

JIRA: FUNCTEST-843

Change-Id: Ib961446708077b56465eda0052f6d38806b62594
Signed-off-by: Linda Wang <wangwulin@huawei.com>