Merge "Obtain pod_name by CONST instead of get function"

Merge "Prevent KeyError during main args parsing"

Merge "Patch Read aarch64 architecture"

Patch Read aarch64 architecture

Architecture is exported as POD_ARCH

Change-Id: I62631c165d1805163204a83d6019a4a3b0000855
Signed-off-by: Delia Popescu <delia.popescu@enea.com>

bug fix download_images.sh

when xz the downloaded file, if the uncompressed target file already exists
it exits with status 1 and breaks the gate

Change-Id: Ie97ff34e6522af48c799e7c8c97dc3310222e683
Signed-off-by: Morgan Richomme <morgan.richomme@orange.com>

Merge "Add reporting results for Danube 3.0"

Merge "Functest Doc: first update for Euphrates - move part of the dev group to the testing document - move reporting into user guide - update logs - introduce alpine - introduce functest API - split documents per chapter"

Merge "Added means to override the RC file credentials."

Merge "Fix the tempest error when creating snapshot"

Fix the tempest error when creating snapshot

Change-Id: I9682f174a835d2bdf1ef3da01e369037e5ad7247
Signed-off-by: Linda Wang <wangwulin@huawei.com>

Prevent KeyError during main args parsing

Change-Id: Ia340c79c82b891e921379c7c0186eaa238117b13
Signed-off-by: Martin Kulhavy <martin.kulhavy@nokia.com>

Merge "Add Rally scenarios for telemetry"

Add Rally scenarios for telemetry

Ceilometer scenarios were added.

Reasons for testcase blacklisting:
- Deprecated ceilometer client used by Rally. This depends on the
  confuguration of the system, currently it seems to affect all
  installers.
- A bug in ceilometer client (already fixed and merged in OpenStack
  repository).

JIRA: FUNCTEST-849

Change-Id: I0bd7e1e9817538165b7b9705bcec213d7d275359
Signed-off-by: Martin Kulhavy <martin.kulhavy@nokia.com>

Ensure that aarch64 patch can be applied

It simply creates a new testenv.

Change-Id: I2675d1b3240a59fa985bd91f979efe1896c3d605
Signed-off-by: Cédric Ollivier <cedric.ollivier@orange.com>

Fix aarch64 patch

Change-Id: I7915f5f82184b431510d7a2fc8945355fa63ec0c
Signed-off-by: Cédric Ollivier <cedric.ollivier@orange.com>

Download images from marketplace.openbaton.org:8082

LF admins opened port 8082.

Change-Id: I57a2beff32f0a346855968c4229dae4487ccbd85
Signed-off-by: Cédric Ollivier <cedric.ollivier@orange.com>

Merge "Refactor resource creation and cleanup in Tempest"

Merge "Updating the constrains for the Barometer test-suite"

Merge "AArch64: SNAPS: CentOS, Ubuntu image config"

Refactor resource creation and cleanup in Tempest

Use Snaps to create resources before running a testcase and to clean up
afterwards.
Use Tempest Cleanup utility to clean other resources.

Change-Id: Ic0f69d3bafb60dfb283d18ac507e9f5992e9ae38
Signed-off-by: Martin Kulhavy <martin.kulhavy@nokia.com>

Merge "Read aarch64 architecture"

Read aarch64 architecture

Read aarch64 architecture from env variable exported
by changes from patch https://gerrit.opnfv.org/gerrit/#/c/38689/

Change-Id: If0fc94e8fe67871b94934c305c019b57872ecb07
Signed-off-by: Delia Popescu <delia.popescu@enea.com>

Merge "Fixes image download script"

Merge "Complete caching images for vnf testcases"

AArch64: SNAPS: CentOS, Ubuntu image config

Change-Id: I8cbbfda7dd4089c122af4e0a459f4c03c1a3bb3a
Signed-off-by: Catalina Focsa <catalina.focsa@enea.com>

Merge "Add the skipped testcases into details"

Merge "Specify physical_network when creating network"

Fixes image download script

Fixes Include:
 - Fix previous behavior where multiple copies of the same file would be
   downloaded as blah.qcow.1, blah.qcow.2 and not overwrite original
   file.
 - Fix issue where files were always downloaded, even when they were not
   different from server version.

It temporarily stops downloading from marketplace.openbaton.org:8082
which is blocked by LF firewalls.
wget options are tuned to avoid wasting jjobs time.

Change-Id: I9191847a3f80045329c160e86655cc0a0e80831c
Signed-off-by: Tim Rozet <trozet@redhat.com>

Merge "Config test_accounts_file for refstack_defcore"

Complete caching images for vnf testcases

It conforms with snaps API for publishing local images.
It completes [1] which only modifies the yaml files.

[1] https://gerrit.opnfv.org/gerrit/#/c/39757/

Change-Id: I325a245c0e7bb15bb1f9570996500573cfe257b0
Signed-off-by: Cédric Ollivier <cedric.ollivier@orange.com>

Use dnsmasq to cache DNS queries

It's mandatory for clearwater_ims as musl's resolver queries
nameservers all in parallel and accepts whichever response arrives
first [1].

[1] http://wiki.musl-libc.org/wiki/Functional_differences_from_glibc#Name_Resolver_.2F_DNS

Change-Id: I01a17436279a0be2fac1b27b73052edc594c33e0
Signed-off-by: Cédric Ollivier <cedric.ollivier@orange.com>

Merge "Allow caching images for vnf testcases."

Merge "Give a list of links to wget"

Functest Doc: first update for Euphrates
- move part of the dev group to the testing document
- move reporting into user guide
- update logs
- introduce alpine
- introduce functest API
- split documents per chapter

Change-Id: I08268091ce50309e891a648333da2054e902bcea
Signed-off-by: Morgan Richomme <morgan.richomme@orange.com>

Config test_accounts_file for refstack_defcore

Tenant and user are required by refstack_defcore, which could
be configured in the test_accounts_file. [1]

[1]: https://github.com/openstack/refstack-client/blob/master/refstack_client/refstack_client.py#L170-L193

Change-Id: I9c920b6f15f491d671ebf222976305bedf4dd747
Signed-off-by: Linda Wang <wangwulin@huawei.com>

Merge "Euphrates cleaning: remove any reference to aaa vnf"

Specify physical_network when creating network

When the network_type is vlan, it is necessary to specify
physical_network and segmentation_id.

JIRA: FUNCTEST-863

Change-Id: Ia1acb0181e4f78654ecf5500c4c0366b143a91f5
Signed-off-by: Linda Wang <wangwulin@huawei.com>

Add the skipped testcases into details

When running tempest_custom, if all tests are skipped, record them
in details.

Change-Id: Ie18ec0911ff298f91c524a9cd039929c2d0f6425
Signed-off-by: Linda Wang <wangwulin@huawei.com>

Merge "Create API to update openrc"

Merge "Create API to run a test case"

Merge "Specify valid external network as an env"

Added means to override the RC file credentials.

This has been done primarily to support tests using SNAPS-OO

JIRA: FUNCTEST-847

Change-Id: Icf02c085a95c20d4088e5aafd6380c70689a4ee0
Signed-off-by: spisarski <s.pisarski@cablelabs.com>

Euphrates cleaning: remove any reference to aaa vnf

aaa vnf was created in Danube to illustrate the vnf abstraction
as real implementations are now available and nobody really
implements a real aaa test case, it is better to remove any reference
to aaa vnf

Note modification on the documentation will be done accordingly

Change-Id: Iab6d96c955a6a7dc178588592382e42d68ec604c
Signed-off-by: Morgan Richomme <morgan.richomme@orange.com>

Allow caching images for vnf testcases.

Change-Id: Ib9b8cc46600bfd29e2ae5f56e995397477cb4ad6
Signed-off-by: Cédric Ollivier <cedric.ollivier@orange.com>

Give a list of links to wget

Now download_images.sh simply relies on wget -i.
It downloads all requirements as the biggest ones are mandatory or
scenario independent (VNF)

The offical ubuntu-16.04-server-cloudimg-amd64-disk1.img is
selected instead of the one hosting by OPNFV SDNVPN.

Change-Id: Ica566bb351f22dfba001678fe93b8a2b1523941a
Signed-off-by: Cédric Ollivier <cedric.ollivier@orange.com>

Merge "Remove opera testcase as Opera is inactive"

Merge "Remove the tenant and user created for tempest"

Remove opera testcase as Opera is inactive

testcases.yaml is updated as well.

Change-Id: I88b3a51a732496899f6825fd38137bcf7e6a8caa
Signed-off-by: Cédric Ollivier <cedric.ollivier@orange.com>
Signed-off-by: Morgan Richomme <morgan.richomme@orange.com>

Create API to run a test case

Two APIs are created here:
1. Run a test case
2. Get the result of the task id

JIRA: FUNCTEST-853

Change-Id: I12950933b143b82fb6aeb186ea1b35ddd16e6097
Signed-off-by: Linda Wang <wangwulin@huawei.com>

Complete the container opnfv-vnf

It adds the following testcases:
  - aaa
  - orchestra_openims
  - orchestra_clearwaterims

opera_vims is not yet integrated as it depends on Opera [1] and its
package must be fixed before being installed in Functest [2].

vyos_vrouter will be added when a package is available for installing
opnfv-functest-vrouter [3].

[1] https://wiki.opnfv.org/display/OPERA/Opera+Home
[2] https://git.opnfv.org/opera/tree/requirements.txt
[3] https://github.com/oolorg/opnfv-functest-vrouter

Change-Id: Iccd4626ec29c1e9eb1c2accc81fdf1a9ae1e613f
Signed-off-by: Cédric Ollivier <cedric.ollivier@orange.com>

Fix ci_loop conditions for vnf

Weekly jobs should run all tests (vnf included).

Change-Id: I25b43654d48e9ae5df5c18fd565423a310d4c68b
Signed-off-by: Cédric Ollivier <cedric.ollivier@orange.com>

Allow defining CI_LOOP via env

CI_LOOP is more human-readable than BUILD_TAG and could be set by env.
Weekly is still the default value even if it can be considered than
daily is more relevant.

Change-Id: Ia8e370fe0f967ba2c83d0212f8e045d815b4ddb3
Signed-off-by: Cédric Ollivier <cedric.ollivier@orange.com>

Merge "Integrate cloudify_ims in functest-features"

Updating the constrains for the Barometer test-suite

The patch switches the tests for Apex, which is the only Installer
supported by the Barometer project for the OPNFV Euphrates Release.

Change-Id: Ic064a41402bc4f27280f8d5e408d59ad41f888bc
Signed-off-by: Calin Gherghe <calin.gherghe@intel.com>

Create API to update openrc

API: /api/v1/functest/openstack/action
METHOD: POST
PARAMS:
{
    "action": "update_openrc",
    "args": {
         "openrc": {
             "OS_AUTH_URL": "http://192.168.30.222:5000/v3",
             "OS_IDENTITY_API_VERSION": "3",
             "OS_IMAGE_API_VERSION": "2",
             "OS_PASSWORD": "console",
             "OS_PROJECT_DOMAIN_NAME": "default",
             "OS_PROJECT_NAME": "admin",
             "OS_TENANT_NAME": "admin",
             "OS_USERNAME": "admin",
             "OS_USER_DOMAIN_NAME": "default"
         }
    }
}

JIRA: FUNCTEST-855

Change-Id: I7c935483c264f2b1b47239684392c8a37dc23d26
Signed-off-by: Linda Wang <wangwulin@huawei.com>

Remove the tenant and user created for tempest

According to the module [1] in tempest to parse tempest.conf,
the three params in session idenity are invalid:

[identity]
tenant_name = tempest
username = tempest
password = Tempest123!

Then there is no need to create tenant and user before running
tempest and refstack_defcore.

[1]: https://github.com/openstack/tempest/blob/14.0.0/tempest/config.py#L120

JIRA: FUNCTEST-864

Change-Id: Idac46e1e620324c584c8021c0bdf843f8823155a
Signed-off-by: Linda Wang <wangwulin@huawei.com>

Integrate cloudify_ims in functest-features

We only rely on system libraries in case of Alpine.
It's not possible in case of Ubuntu 14.04 because libxml is too old.

Change-Id: I304f8ea5e9a6541e9719210db9d07949107bf193
Signed-off-by: Cédric Ollivier <cedric.ollivier@orange.com>

Merge "Fix summary in run_tests.py"

Fix summary in run_tests.py

It fixes summary() when several tests have not been executed after a
blocking test in failure.

Change-Id: I3c0af4c8083ffa76f786756d409c09e018bbecc8
Signed-off-by: Cédric Ollivier <cedric.ollivier@orange.com>

Merge "Put domain name in CONST"

Merge "Switch to blocking: false for ODL in functest-smoke"

Merge "Remove multisite support"

Put domain name in CONST

Domain name is not obtained in source_rc_file() but used in the
patch https://gerrit.opnfv.org/gerrit/#/c/39109/.

Change-Id: Iceaf352f7ad5e15f15906f0e3aa1c5ab5ae30a42
Signed-off-by: Alex Yang <yangyang1@zte.com.cn>

Remove multisite support

JIRA: FUNCTEST-866

Change-Id: I55a4416688b2aca0897910cac69b33e154e73095
Signed-off-by: Juha Kosonen <juha.kosonen@nokia.com>

Switch to blocking: false for ODL in functest-smoke

It completes the previous change vs the former container [1].

[1] https://gerrit.opnfv.org/gerrit/#/c/39271/

Change-Id: Ie0e55e859e550de9ffb30ce1e6f03859e6869332
Signed-off-by: Cédric Ollivier <cedric.ollivier@orange.com>

Disable temporarily Doctor from Functest

The test case is currently failing whatever the scenario/installer

It is misleading for some scenarios (e.g. barometer)
As it is systematically failing for the moment, it makes more sense
to disable the test rather than complexify regex constraints

The test case will be reenabled when the following points will be fixed:
- Python 3 support (pending question to Release Manager)
- packaging OK: pending patches [1] [2] (need merge of [1])
- remove packet installation in run

[1] https://gerrit.opnfv.org/gerrit/#/c/38177/
[2] https://gerrit.opnfv.org/gerrit/#/c/38053/

Change-Id: Ic06786f0d516f1702dc44dc521ba8ca810ee76f9
Signed-off-by: Morgan Richomme <morgan.richomme@orange.com>

Merge "add orchestra_clearwaterims testcase"

Merge "Use separate timeouts for connection and reading."

Specify valid external network as an env

In some deployments, the retrieved external network by the
def get_external_net checked by "router:external" is not available.
So it is necessary to specify the available external network
as an env by user for some deployments.

JIRA: FUNCTEST-865

Change-Id: I561bc7d57e06214516a4cdbebd67632cd9746fba
Signed-off-by: Linda Wang <wangwulin@huawei.com>

Obtain pod_name by CONST instead of get function

JIRA: FUNCTEST-763

Change-Id: Id334745a1eac8b933d77f9cb36a506a02366d760
Signed-off-by: Linda Wang <wangwulin@huawei.com>

Merge "API proposal for functest"

Merge "Clean run_tests.py and the related ut"

Merge "Update ODL tag to release/carbon"

API proposal for functest

1. Propose a basic framework for API
2. And these functions have been realized:
   1) Show environment
   2) Prepare Environment
   3) Show credentials
   4) List all testcases
   5) Show a testcase
   6) List all tiers
   7) Show a tier
   8) List all testcases within given tier

JIRA: FUNCTEST-843

Change-Id: Ib961446708077b56465eda0052f6d38806b62594
Signed-off-by: Linda Wang <wangwulin@huawei.com>

Merge "Fix domain in tenant creation"

Merge "Obtain build_tag by CONST instead of get function"

Merge "Remove timestamp in the details for tempest"

Merge "Switch to blocking: false for ODL testcase"

Switch to blocking: false for ODL testcase

ODL basic suite doesn't support Keystone v3 [1] and then the related
testcase should not block the testing till it's fixed.

[1] https://jira.opnfv.org/browse/FUNCTEST-862

Change-Id: Ib9c92c5ff37ab720bdfc311df834f18bac39daa7
Signed-off-by: Nikolas Hermanns <nikolas.hermanns@ericsson.com>

Merge "Fully integrate promise in functest-features"

Clean run_tests.py and the related ut

It enhances run_tests.py as proposed in [1].
It also prints all skipped tests in summary and fixes copyright
headers. All the related unit tests have been updated too.

[1] https://jira.opnfv.org/browse/FUNCTEST-832

JIRA: FUNCTEST-832
Change-Id: I59b96422bc7942ecd6270c45ab7a3fb603c13ccb
Signed-off-by: Cédric Ollivier <cedric.ollivier@orange.com>

Update ODL tag to release/carbon

Change-Id: I82a5bdaeff5de74f11cd210f6437c720d0ee8aee
Signed-off-by: Cédric Ollivier <cedric.ollivier@orange.com>

Merge "Remove copper refs"

Merge "Remove netready refs"

Merge "Update promise upper constraint"

Use separate timeouts for connection and reading.

Use a short timeout for connection timeout to avoid to slow down testcase
when remote recording API is not available and use a longer one to read data
from API on successfull connections.

Change-Id: I743c02f890059bf55b47cb4240d52fe0741f7cae
Signed-off-by: Benoit HERARD <benoit.herard@orange.com>

Revert "Enable parser project"

This reverts commit 39e2116d5ff360dae7159f5557caa2b2a46c48b2.

Change-Id: I7c0b63b22c5cf6e9fa2ee1f182abad96a3931098
Signed-off-by: Cédric Ollivier <cedric.ollivier@orange.com>

Fix domain in tenant creation

Use the ID of the domain when creating a tenant on keystone v3.

Change-Id: Ic415237e2bb2d537f07ab2245816a575f977aaa0
Signed-off-by: Juha Kosonen <juha.kosonen@nokia.com>

Obtain build_tag by CONST instead of get function

JIRA: FUNCTEST-763

Change-Id: I86b0b515a3d51df20a35c2aeb461a95d0c5797fd
Signed-off-by: Linda Wang <wangwulin@huawei.com>

Remove timestamp in the details for tempest

Example:
"success":
["2017-08-15 06:59:30.445 1180 INFO opnfv-tempest [-] {0} tempest.sce
nario.test_server_basic_ops.TestServerBasicOps.test_server_basic_ops"]
which is updated to:
"success":
["tempest.scenario.test_server_basic_ops.TestServerBasicOps.test_serv
er_basic_ops"]

Change-Id: Iad13e380b3a1fdc37b7742929512098bccc6d460
Signed-off-by: Linda Wang <wangwulin@huawei.com>

Fully integrate promise in functest-features

Change-Id: I52a4719df1fd5f4159d0ba5eed1a9b14b8ba72f6
Depends-On: Ia9ae55b127d0d324d97974f5e9b1923d7636d7cd
Signed-off-by: Cédric Ollivier <cedric.ollivier@orange.com>

Remove copper refs

Copper withdrew from E release (see comments in [1]).

[1] https://gerrit.opnfv.org/gerrit/#/c/38851/

Change-Id: I1af463f5d60a6099592c1005ce27d3ca0c40cbbf
Signed-off-by: Cédric Ollivier <cedric.ollivier@orange.com>

Remove netready refs

Netready withdrew from E release [1]

[1] https://lists.opnfv.org/pipermail/opnfv-tech-discuss/2017-August/017453.html

Change-Id: I456b91e0bb454a4205df98d0e96032302d3b20a6
Signed-off-by: Cédric Ollivier <cedric.ollivier@orange.com>

Update promise upper constraint

It follows "Move promise package to root directory" [1].
Then it allows installing promise in editable mode.

[1] https://gerrit.opnfv.org/gerrit/#/c/39161/

Change-Id: Id51d934c18a8f6567195de6b7775a62452bb9f83
Depends-On: Ia9ae55b127d0d324d97974f5e9b1923d7636d7cd
Signed-off-by: Cédric Ollivier <cedric.ollivier@orange.com>

add orchestra_clearwaterims testcase

-rename testcase orchestra_ims to orchestra_openims
-add orchestra_clearwaterims testcase
-add unit tests

Change-Id: I5291f84068915fa15e3fb7b63c5dbd0daec0acca
Signed-off-by: Michael Pauls <michael.pauls@fokus.fraunhofer.de>

Keep the promise working dir in /src

Otherwise npm install fails.

Change-Id: I1be15bc83e0dfab1ad1471106326ff347385f31e
Signed-off-by: Cédric Ollivier <cedric.ollivier@orange.com>

Merge "Integrate the netready package"

Merge "Integrate the promise package"

Fix the logic of adding/updating tempest.conf

Change-Id: I850311a9306607106836f24594019e98d2fd9499
Signed-off-by: Linda Wang <wangwulin@huawei.com>

Integrate the netready package

It also adds the related testcases in functest-features.

Change-Id: I584da9d890622c1bdd2ace0b12b4be37250fda56
Depends-On: I3842e6828f60972cb1df0bc15f849cd08badd895
Signed-off-by: Cédric Ollivier <cedric.ollivier@orange.com>