Merge "Complete caching images for vnf testcases"

Merge "Add the skipped testcases into details"

Merge "Specify physical_network when creating network"

Merge "Config test_accounts_file for refstack_defcore"

Complete caching images for vnf testcases

It conforms with snaps API for publishing local images.
It completes [1] which only modifies the yaml files.

[1] https://gerrit.opnfv.org/gerrit/#/c/39757/

Change-Id: I325a245c0e7bb15bb1f9570996500573cfe257b0
Signed-off-by: Cédric Ollivier <cedric.ollivier@orange.com>

Use dnsmasq to cache DNS queries

It's mandatory for clearwater_ims as musl's resolver queries
nameservers all in parallel and accepts whichever response arrives
first [1].

[1] http://wiki.musl-libc.org/wiki/Functional_differences_from_glibc#Name_Resolver_.2F_DNS

Change-Id: I01a17436279a0be2fac1b27b73052edc594c33e0
Signed-off-by: Cédric Ollivier <cedric.ollivier@orange.com>

Merge "Allow caching images for vnf testcases."

Merge "Give a list of links to wget"

Config test_accounts_file for refstack_defcore

Tenant and user are required by refstack_defcore, which could
be configured in the test_accounts_file. [1]

[1]: https://github.com/openstack/refstack-client/blob/master/refstack_client/refstack_client.py#L170-L193

Change-Id: I9c920b6f15f491d671ebf222976305bedf4dd747
Signed-off-by: Linda Wang <wangwulin@huawei.com>

Merge "Euphrates cleaning: remove any reference to aaa vnf"

Specify physical_network when creating network

When the network_type is vlan, it is necessary to specify
physical_network and segmentation_id.

JIRA: FUNCTEST-863

Change-Id: Ia1acb0181e4f78654ecf5500c4c0366b143a91f5
Signed-off-by: Linda Wang <wangwulin@huawei.com>

Add the skipped testcases into details

When running tempest_custom, if all tests are skipped, record them
in details.

Change-Id: Ie18ec0911ff298f91c524a9cd039929c2d0f6425
Signed-off-by: Linda Wang <wangwulin@huawei.com>

Merge "Create API to update openrc"

Merge "Create API to run a test case"

Merge "Specify valid external network as an env"

Euphrates cleaning: remove any reference to aaa vnf

aaa vnf was created in Danube to illustrate the vnf abstraction
as real implementations are now available and nobody really
implements a real aaa test case, it is better to remove any reference
to aaa vnf

Note modification on the documentation will be done accordingly

Change-Id: Iab6d96c955a6a7dc178588592382e42d68ec604c
Signed-off-by: Morgan Richomme <morgan.richomme@orange.com>

Allow caching images for vnf testcases.

Change-Id: Ib9b8cc46600bfd29e2ae5f56e995397477cb4ad6
Signed-off-by: Cédric Ollivier <cedric.ollivier@orange.com>

Give a list of links to wget

Now download_images.sh simply relies on wget -i.
It downloads all requirements as the biggest ones are mandatory or
scenario independent (VNF)

The offical ubuntu-16.04-server-cloudimg-amd64-disk1.img is
selected instead of the one hosting by OPNFV SDNVPN.

Change-Id: Ica566bb351f22dfba001678fe93b8a2b1523941a
Signed-off-by: Cédric Ollivier <cedric.ollivier@orange.com>

Merge "Remove opera testcase as Opera is inactive"

Merge "Remove the tenant and user created for tempest"

Remove opera testcase as Opera is inactive

testcases.yaml is updated as well.

Change-Id: I88b3a51a732496899f6825fd38137bcf7e6a8caa
Signed-off-by: Cédric Ollivier <cedric.ollivier@orange.com>
Signed-off-by: Morgan Richomme <morgan.richomme@orange.com>

Create API to run a test case

Two APIs are created here:
1. Run a test case
2. Get the result of the task id

JIRA: FUNCTEST-853

Change-Id: I12950933b143b82fb6aeb186ea1b35ddd16e6097
Signed-off-by: Linda Wang <wangwulin@huawei.com>

Complete the container opnfv-vnf

It adds the following testcases:
  - aaa
  - orchestra_openims
  - orchestra_clearwaterims

opera_vims is not yet integrated as it depends on Opera [1] and its
package must be fixed before being installed in Functest [2].

vyos_vrouter will be added when a package is available for installing
opnfv-functest-vrouter [3].

[1] https://wiki.opnfv.org/display/OPERA/Opera+Home
[2] https://git.opnfv.org/opera/tree/requirements.txt
[3] https://github.com/oolorg/opnfv-functest-vrouter

Change-Id: Iccd4626ec29c1e9eb1c2accc81fdf1a9ae1e613f
Signed-off-by: Cédric Ollivier <cedric.ollivier@orange.com>

Fix ci_loop conditions for vnf

Weekly jobs should run all tests (vnf included).

Change-Id: I25b43654d48e9ae5df5c18fd565423a310d4c68b
Signed-off-by: Cédric Ollivier <cedric.ollivier@orange.com>

Allow defining CI_LOOP via env

CI_LOOP is more human-readable than BUILD_TAG and could be set by env.
Weekly is still the default value even if it can be considered than
daily is more relevant.

Change-Id: Ia8e370fe0f967ba2c83d0212f8e045d815b4ddb3
Signed-off-by: Cédric Ollivier <cedric.ollivier@orange.com>

Merge "Integrate cloudify_ims in functest-features"

Create API to update openrc

API: /api/v1/functest/openstack/action
METHOD: POST
PARAMS:
{
    "action": "update_openrc",
    "args": {
         "openrc": {
             "OS_AUTH_URL": "http://192.168.30.222:5000/v3",
             "OS_IDENTITY_API_VERSION": "3",
             "OS_IMAGE_API_VERSION": "2",
             "OS_PASSWORD": "console",
             "OS_PROJECT_DOMAIN_NAME": "default",
             "OS_PROJECT_NAME": "admin",
             "OS_TENANT_NAME": "admin",
             "OS_USERNAME": "admin",
             "OS_USER_DOMAIN_NAME": "default"
         }
    }
}

JIRA: FUNCTEST-855

Change-Id: I7c935483c264f2b1b47239684392c8a37dc23d26
Signed-off-by: Linda Wang <wangwulin@huawei.com>

Remove the tenant and user created for tempest

According to the module [1] in tempest to parse tempest.conf,
the three params in session idenity are invalid:

[identity]
tenant_name = tempest
username = tempest
password = Tempest123!

Then there is no need to create tenant and user before running
tempest and refstack_defcore.

[1]: https://github.com/openstack/tempest/blob/14.0.0/tempest/config.py#L120

JIRA: FUNCTEST-864

Change-Id: Idac46e1e620324c584c8021c0bdf843f8823155a
Signed-off-by: Linda Wang <wangwulin@huawei.com>

Integrate cloudify_ims in functest-features

We only rely on system libraries in case of Alpine.
It's not possible in case of Ubuntu 14.04 because libxml is too old.

Change-Id: I304f8ea5e9a6541e9719210db9d07949107bf193
Signed-off-by: Cédric Ollivier <cedric.ollivier@orange.com>

Merge "Fix summary in run_tests.py"

Fix summary in run_tests.py

It fixes summary() when several tests have not been executed after a
blocking test in failure.

Change-Id: I3c0af4c8083ffa76f786756d409c09e018bbecc8
Signed-off-by: Cédric Ollivier <cedric.ollivier@orange.com>

Merge "Put domain name in CONST"

Merge "Switch to blocking: false for ODL in functest-smoke"

Merge "Remove multisite support"

Put domain name in CONST

Domain name is not obtained in source_rc_file() but used in the
patch https://gerrit.opnfv.org/gerrit/#/c/39109/.

Change-Id: Iceaf352f7ad5e15f15906f0e3aa1c5ab5ae30a42
Signed-off-by: Alex Yang <yangyang1@zte.com.cn>

Remove multisite support

JIRA: FUNCTEST-866

Change-Id: I55a4416688b2aca0897910cac69b33e154e73095
Signed-off-by: Juha Kosonen <juha.kosonen@nokia.com>

Switch to blocking: false for ODL in functest-smoke

It completes the previous change vs the former container [1].

[1] https://gerrit.opnfv.org/gerrit/#/c/39271/

Change-Id: Ie0e55e859e550de9ffb30ce1e6f03859e6869332
Signed-off-by: Cédric Ollivier <cedric.ollivier@orange.com>

Disable temporarily Doctor from Functest

The test case is currently failing whatever the scenario/installer

It is misleading for some scenarios (e.g. barometer)
As it is systematically failing for the moment, it makes more sense
to disable the test rather than complexify regex constraints

The test case will be reenabled when the following points will be fixed:
- Python 3 support (pending question to Release Manager)
- packaging OK: pending patches [1] [2] (need merge of [1])
- remove packet installation in run

[1] https://gerrit.opnfv.org/gerrit/#/c/38177/
[2] https://gerrit.opnfv.org/gerrit/#/c/38053/

Change-Id: Ic06786f0d516f1702dc44dc521ba8ca810ee76f9
Signed-off-by: Morgan Richomme <morgan.richomme@orange.com>

Merge "add orchestra_clearwaterims testcase"

Merge "Use separate timeouts for connection and reading."

Specify valid external network as an env

In some deployments, the retrieved external network by the
def get_external_net checked by "router:external" is not available.
So it is necessary to specify the available external network
as an env by user for some deployments.

JIRA: FUNCTEST-865

Change-Id: I561bc7d57e06214516a4cdbebd67632cd9746fba
Signed-off-by: Linda Wang <wangwulin@huawei.com>

Merge "API proposal for functest"

Merge "Clean run_tests.py and the related ut"

Merge "Update ODL tag to release/carbon"

API proposal for functest

1. Propose a basic framework for API
2. And these functions have been realized:
   1) Show environment
   2) Prepare Environment
   3) Show credentials
   4) List all testcases
   5) Show a testcase
   6) List all tiers
   7) Show a tier
   8) List all testcases within given tier

JIRA: FUNCTEST-843

Change-Id: Ib961446708077b56465eda0052f6d38806b62594
Signed-off-by: Linda Wang <wangwulin@huawei.com>

Merge "Fix domain in tenant creation"

Merge "Obtain build_tag by CONST instead of get function"

Merge "Remove timestamp in the details for tempest"

Merge "Switch to blocking: false for ODL testcase"

Switch to blocking: false for ODL testcase

ODL basic suite doesn't support Keystone v3 [1] and then the related
testcase should not block the testing till it's fixed.

[1] https://jira.opnfv.org/browse/FUNCTEST-862

Change-Id: Ib9c92c5ff37ab720bdfc311df834f18bac39daa7
Signed-off-by: Nikolas Hermanns <nikolas.hermanns@ericsson.com>

Merge "Fully integrate promise in functest-features"

Clean run_tests.py and the related ut

It enhances run_tests.py as proposed in [1].
It also prints all skipped tests in summary and fixes copyright
headers. All the related unit tests have been updated too.

[1] https://jira.opnfv.org/browse/FUNCTEST-832

JIRA: FUNCTEST-832
Change-Id: I59b96422bc7942ecd6270c45ab7a3fb603c13ccb
Signed-off-by: Cédric Ollivier <cedric.ollivier@orange.com>

Update ODL tag to release/carbon

Change-Id: I82a5bdaeff5de74f11cd210f6437c720d0ee8aee
Signed-off-by: Cédric Ollivier <cedric.ollivier@orange.com>

Merge "Remove copper refs"

Merge "Remove netready refs"

Merge "Update promise upper constraint"

Use separate timeouts for connection and reading.

Use a short timeout for connection timeout to avoid to slow down testcase
when remote recording API is not available and use a longer one to read data
from API on successfull connections.

Change-Id: I743c02f890059bf55b47cb4240d52fe0741f7cae
Signed-off-by: Benoit HERARD <benoit.herard@orange.com>

Revert "Enable parser project"

This reverts commit 39e2116d5ff360dae7159f5557caa2b2a46c48b2.

Change-Id: I7c0b63b22c5cf6e9fa2ee1f182abad96a3931098
Signed-off-by: Cédric Ollivier <cedric.ollivier@orange.com>

Fix domain in tenant creation

Use the ID of the domain when creating a tenant on keystone v3.

Change-Id: Ic415237e2bb2d537f07ab2245816a575f977aaa0
Signed-off-by: Juha Kosonen <juha.kosonen@nokia.com>

Obtain build_tag by CONST instead of get function

JIRA: FUNCTEST-763

Change-Id: I86b0b515a3d51df20a35c2aeb461a95d0c5797fd
Signed-off-by: Linda Wang <wangwulin@huawei.com>

Remove timestamp in the details for tempest

Example:
"success":
["2017-08-15 06:59:30.445 1180 INFO opnfv-tempest [-] {0} tempest.sce
nario.test_server_basic_ops.TestServerBasicOps.test_server_basic_ops"]
which is updated to:
"success":
["tempest.scenario.test_server_basic_ops.TestServerBasicOps.test_serv
er_basic_ops"]

Change-Id: Iad13e380b3a1fdc37b7742929512098bccc6d460
Signed-off-by: Linda Wang <wangwulin@huawei.com>

Fully integrate promise in functest-features

Change-Id: I52a4719df1fd5f4159d0ba5eed1a9b14b8ba72f6
Depends-On: Ia9ae55b127d0d324d97974f5e9b1923d7636d7cd
Signed-off-by: Cédric Ollivier <cedric.ollivier@orange.com>

Remove copper refs

Copper withdrew from E release (see comments in [1]).

[1] https://gerrit.opnfv.org/gerrit/#/c/38851/

Change-Id: I1af463f5d60a6099592c1005ce27d3ca0c40cbbf
Signed-off-by: Cédric Ollivier <cedric.ollivier@orange.com>

Remove netready refs

Netready withdrew from E release [1]

[1] https://lists.opnfv.org/pipermail/opnfv-tech-discuss/2017-August/017453.html

Change-Id: I456b91e0bb454a4205df98d0e96032302d3b20a6
Signed-off-by: Cédric Ollivier <cedric.ollivier@orange.com>

Update promise upper constraint

It follows "Move promise package to root directory" [1].
Then it allows installing promise in editable mode.

[1] https://gerrit.opnfv.org/gerrit/#/c/39161/

Change-Id: Id51d934c18a8f6567195de6b7775a62452bb9f83
Depends-On: Ia9ae55b127d0d324d97974f5e9b1923d7636d7cd
Signed-off-by: Cédric Ollivier <cedric.ollivier@orange.com>

add orchestra_clearwaterims testcase

-rename testcase orchestra_ims to orchestra_openims
-add orchestra_clearwaterims testcase
-add unit tests

Change-Id: I5291f84068915fa15e3fb7b63c5dbd0daec0acca
Signed-off-by: Michael Pauls <michael.pauls@fokus.fraunhofer.de>

Keep the promise working dir in /src

Otherwise npm install fails.

Change-Id: I1be15bc83e0dfab1ad1471106326ff347385f31e
Signed-off-by: Cédric Ollivier <cedric.ollivier@orange.com>

Merge "Integrate the netready package"

Merge "Integrate the promise package"

Fix the logic of adding/updating tempest.conf

Change-Id: I850311a9306607106836f24594019e98d2fd9499
Signed-off-by: Linda Wang <wangwulin@huawei.com>

Integrate the netready package

It also adds the related testcases in functest-features.

Change-Id: I584da9d890622c1bdd2ace0b12b4be37250fda56
Depends-On: I3842e6828f60972cb1df0bc15f849cd08badd895
Signed-off-by: Cédric Ollivier <cedric.ollivier@orange.com>

Integrate the promise package

Change-Id: I128bfa62b9ccd8e53683def329e8470693c2e556
Signed-off-by: Cédric Ollivier <cedric.ollivier@orange.com>

Merge "Improved error handling when Energy recorder API is unavailable."

Merge "Record the test cases passed in tempest"

Merge "Add copper and domino in functest-features"

Merge "Switch to Docker post_checkout hooks"

Merge "Fix import and docstrings in onos/teston"

Merge "Remove rnc unit test dir as empty"

Merge "Add functest-components based on Alpine"

Merge "Add functest-features based on Alpine"

Merge "Add/Update tempest.conf via a specific file"

Merge "Clean smoke requirements"

Merge "Add all ODL testcases in functest-smoke"

Merge "Restrict ping only once in ping.sh"

Add/Update tempest.conf via a specific file

Provides a convenient way to configure all params which users required.

JIRA: FUNCTEST-860

Change-Id: Iadfb704285f94530e1023ee780138f22dd672d33
Signed-off-by: Linda Wang <wangwulin@huawei.com>

Record the test cases passed in tempest

Also, convert the test cases recorded with string into list

Change-Id: Ie3980a555b4042e6fe9706320d33d4ec4c06ea0c
Signed-off-by: Linda Wang <wangwulin@huawei.com>

Merge "Configure AARCH64 image settings for UEFI"

Improved error handling when Energy recorder API is unavailable.

Log verbosity is reduced when API is discovered unavailable.
Avoid next calls to API if unavailable at config loading.

Change-Id: I68d169396335ae3891e4b808062058945fc2eca1
Signed-off-by: Benoit HERARD <benoit.herard@orange.com>

Merge "update/improve orchestra_ims"

Configure AARCH64 image settings for UEFI

Configure one parted AARCH64 Cirros image settings for AAVMF(UEFI)

Change-Id: I28ca1ead06c1153e2483c163af9da8e70736ac1c
Signed-off-by: Delia Popescu <delia.popescu@enea.com>
JIRA: ARMBAND-279

Add copper and domino in functest-features

Change-Id: I6f7a35b84c9b7f8cde88998f545b30cc200c8ff1
Signed-off-by: Cédric Ollivier <cedric.ollivier@orange.com>

Switch to Docker post_checkout hooks

Automated builds work when Dockerfile is modified after checkout.
Otherwise they are not triggered [1].

[1] https://github.com/docker/hub-feedback/issues/518

Change-Id: I6ba9e06f9e62011d2f1c1788f2647b1175842ef3
Signed-off-by: Cédric Ollivier <cedric.ollivier@orange.com>

Fix import and docstrings in onos/teston

Change-Id: Ie38f3b0ab8805cd7ca3e946533be37598be9434e
Signed-off-by: Cédric Ollivier <cedric.ollivier@orange.com>

Remove rnc unit test dir as empty

Change-Id: Id52e49b41f36c58a849c304eed543f8a8465ff9e
Signed-off-by: Cédric Ollivier <cedric.ollivier@orange.com>

Add functest-components based on Alpine

It integrates the whole test suite:
  - tempest_full_parallel
  - tempest_custom
  - rally_full

Change-Id: If215d8e12262072828f348ac323dba963849bf14
Signed-off-by: Cédric Ollivier <cedric.ollivier@orange.com>

Add functest-features based on Alpine

It integrates the next testcases:
  - bgpvpn
  - security_scan
  - functest-odl-sfc
  - barometercollectd

It also modifies several cmds in the former testcases.yaml to ensure
backward compatibility.

Depends-On: I75aaf950f7b072c142fa9894cef7ef7f057adac3
Depends-On: I50219cad42bf0e085c2edf2e1abe149c2e057a99
Change-Id: Idf3d6b4a769edd1a5401748886e0ed64d4f5f281
Signed-off-by: Cédric Ollivier <cedric.ollivier@orange.com>

Clean smoke requirements

Change-Id: I16884fa550e9b42cd0b57338c4b8b6598ac33dbb
Signed-off-by: Cédric Ollivier <cedric.ollivier@orange.com>

Add all ODL testcases in functest-smoke

It clones the related git repositories in /src and adapts the former
Dockerfiles too.

Change-Id: Ied5016f8cd5ed49f4e29bae5aa4413fad2477637
Signed-off-by: Cédric Ollivier <cedric.ollivier@orange.com>

Merge "Fixed test description for snaps_smoke."

Fixed test description for snaps_smoke.

Change-Id: Ia533337a07c3a47579d0fa97b6bb3b4b3daf94e5
Signed-off-by: spisarski <s.pisarski@cablelabs.com>