Allow caching images for vnf testcases.

Change-Id: Ib9b8cc46600bfd29e2ae5f56e995397477cb4ad6
Signed-off-by: Cédric Ollivier <cedric.ollivier@orange.com>

Give a list of links to wget

Now download_images.sh simply relies on wget -i.
It downloads all requirements as the biggest ones are mandatory or
scenario independent (VNF)

The offical ubuntu-16.04-server-cloudimg-amd64-disk1.img is
selected instead of the one hosting by OPNFV SDNVPN.

Change-Id: Ica566bb351f22dfba001678fe93b8a2b1523941a
Signed-off-by: Cédric Ollivier <cedric.ollivier@orange.com>

Merge "Remove opera testcase as Opera is inactive"

Merge "Remove the tenant and user created for tempest"

Remove opera testcase as Opera is inactive

testcases.yaml is updated as well.

Change-Id: I88b3a51a732496899f6825fd38137bcf7e6a8caa
Signed-off-by: Cédric Ollivier <cedric.ollivier@orange.com>
Signed-off-by: Morgan Richomme <morgan.richomme@orange.com>

Complete the container opnfv-vnf

It adds the following testcases:
  - aaa
  - orchestra_openims
  - orchestra_clearwaterims

opera_vims is not yet integrated as it depends on Opera [1] and its
package must be fixed before being installed in Functest [2].

vyos_vrouter will be added when a package is available for installing
opnfv-functest-vrouter [3].

[1] https://wiki.opnfv.org/display/OPERA/Opera+Home
[2] https://git.opnfv.org/opera/tree/requirements.txt
[3] https://github.com/oolorg/opnfv-functest-vrouter

Change-Id: Iccd4626ec29c1e9eb1c2accc81fdf1a9ae1e613f
Signed-off-by: Cédric Ollivier <cedric.ollivier@orange.com>

Fix ci_loop conditions for vnf

Weekly jobs should run all tests (vnf included).

Change-Id: I25b43654d48e9ae5df5c18fd565423a310d4c68b
Signed-off-by: Cédric Ollivier <cedric.ollivier@orange.com>

Allow defining CI_LOOP via env

CI_LOOP is more human-readable than BUILD_TAG and could be set by env.
Weekly is still the default value even if it can be considered than
daily is more relevant.

Change-Id: Ia8e370fe0f967ba2c83d0212f8e045d815b4ddb3
Signed-off-by: Cédric Ollivier <cedric.ollivier@orange.com>

Merge "Integrate cloudify_ims in functest-features"

Remove the tenant and user created for tempest

According to the module [1] in tempest to parse tempest.conf,
the three params in session idenity are invalid:

[identity]
tenant_name = tempest
username = tempest
password = Tempest123!

Then there is no need to create tenant and user before running
tempest and refstack_defcore.

[1]: https://github.com/openstack/tempest/blob/14.0.0/tempest/config.py#L120

JIRA: FUNCTEST-864

Change-Id: Idac46e1e620324c584c8021c0bdf843f8823155a
Signed-off-by: Linda Wang <wangwulin@huawei.com>

Integrate cloudify_ims in functest-features

We only rely on system libraries in case of Alpine.
It's not possible in case of Ubuntu 14.04 because libxml is too old.

Change-Id: I304f8ea5e9a6541e9719210db9d07949107bf193
Signed-off-by: Cédric Ollivier <cedric.ollivier@orange.com>

Merge "Fix summary in run_tests.py"

Fix summary in run_tests.py

It fixes summary() when several tests have not been executed after a
blocking test in failure.

Change-Id: I3c0af4c8083ffa76f786756d409c09e018bbecc8
Signed-off-by: Cédric Ollivier <cedric.ollivier@orange.com>

Merge "Put domain name in CONST"

Merge "Switch to blocking: false for ODL in functest-smoke"

Merge "Remove multisite support"

Put domain name in CONST

Domain name is not obtained in source_rc_file() but used in the
patch https://gerrit.opnfv.org/gerrit/#/c/39109/.

Change-Id: Iceaf352f7ad5e15f15906f0e3aa1c5ab5ae30a42
Signed-off-by: Alex Yang <yangyang1@zte.com.cn>

Remove multisite support

JIRA: FUNCTEST-866

Change-Id: I55a4416688b2aca0897910cac69b33e154e73095
Signed-off-by: Juha Kosonen <juha.kosonen@nokia.com>

Switch to blocking: false for ODL in functest-smoke

It completes the previous change vs the former container [1].

[1] https://gerrit.opnfv.org/gerrit/#/c/39271/

Change-Id: Ie0e55e859e550de9ffb30ce1e6f03859e6869332
Signed-off-by: Cédric Ollivier <cedric.ollivier@orange.com>

Disable temporarily Doctor from Functest

The test case is currently failing whatever the scenario/installer

It is misleading for some scenarios (e.g. barometer)
As it is systematically failing for the moment, it makes more sense
to disable the test rather than complexify regex constraints

The test case will be reenabled when the following points will be fixed:
- Python 3 support (pending question to Release Manager)
- packaging OK: pending patches [1] [2] (need merge of [1])
- remove packet installation in run

[1] https://gerrit.opnfv.org/gerrit/#/c/38177/
[2] https://gerrit.opnfv.org/gerrit/#/c/38053/

Change-Id: Ic06786f0d516f1702dc44dc521ba8ca810ee76f9
Signed-off-by: Morgan Richomme <morgan.richomme@orange.com>

Merge "add orchestra_clearwaterims testcase"

Merge "Use separate timeouts for connection and reading."

Merge "API proposal for functest"

Merge "Clean run_tests.py and the related ut"

Merge "Update ODL tag to release/carbon"

API proposal for functest

1. Propose a basic framework for API
2. And these functions have been realized:
   1) Show environment
   2) Prepare Environment
   3) Show credentials
   4) List all testcases
   5) Show a testcase
   6) List all tiers
   7) Show a tier
   8) List all testcases within given tier

JIRA: FUNCTEST-843

Change-Id: Ib961446708077b56465eda0052f6d38806b62594
Signed-off-by: Linda Wang <wangwulin@huawei.com>

Merge "Fix domain in tenant creation"

Merge "Obtain build_tag by CONST instead of get function"

Merge "Remove timestamp in the details for tempest"

Merge "Switch to blocking: false for ODL testcase"

Switch to blocking: false for ODL testcase

ODL basic suite doesn't support Keystone v3 [1] and then the related
testcase should not block the testing till it's fixed.

[1] https://jira.opnfv.org/browse/FUNCTEST-862

Change-Id: Ib9c92c5ff37ab720bdfc311df834f18bac39daa7
Signed-off-by: Nikolas Hermanns <nikolas.hermanns@ericsson.com>

Merge "Fully integrate promise in functest-features"

Clean run_tests.py and the related ut

It enhances run_tests.py as proposed in [1].
It also prints all skipped tests in summary and fixes copyright
headers. All the related unit tests have been updated too.

[1] https://jira.opnfv.org/browse/FUNCTEST-832

JIRA: FUNCTEST-832
Change-Id: I59b96422bc7942ecd6270c45ab7a3fb603c13ccb
Signed-off-by: Cédric Ollivier <cedric.ollivier@orange.com>

Update ODL tag to release/carbon

Change-Id: I82a5bdaeff5de74f11cd210f6437c720d0ee8aee
Signed-off-by: Cédric Ollivier <cedric.ollivier@orange.com>

Merge "Remove copper refs"

Merge "Remove netready refs"

Merge "Update promise upper constraint"

Use separate timeouts for connection and reading.

Use a short timeout for connection timeout to avoid to slow down testcase
when remote recording API is not available and use a longer one to read data
from API on successfull connections.

Change-Id: I743c02f890059bf55b47cb4240d52fe0741f7cae
Signed-off-by: Benoit HERARD <benoit.herard@orange.com>

Revert "Enable parser project"

This reverts commit 39e2116d5ff360dae7159f5557caa2b2a46c48b2.

Change-Id: I7c0b63b22c5cf6e9fa2ee1f182abad96a3931098
Signed-off-by: Cédric Ollivier <cedric.ollivier@orange.com>

Fix domain in tenant creation

Use the ID of the domain when creating a tenant on keystone v3.

Change-Id: Ic415237e2bb2d537f07ab2245816a575f977aaa0
Signed-off-by: Juha Kosonen <juha.kosonen@nokia.com>

Obtain build_tag by CONST instead of get function

JIRA: FUNCTEST-763

Change-Id: I86b0b515a3d51df20a35c2aeb461a95d0c5797fd
Signed-off-by: Linda Wang <wangwulin@huawei.com>

Remove timestamp in the details for tempest

Example:
"success":
["2017-08-15 06:59:30.445 1180 INFO opnfv-tempest [-] {0} tempest.sce
nario.test_server_basic_ops.TestServerBasicOps.test_server_basic_ops"]
which is updated to:
"success":
["tempest.scenario.test_server_basic_ops.TestServerBasicOps.test_serv
er_basic_ops"]

Change-Id: Iad13e380b3a1fdc37b7742929512098bccc6d460
Signed-off-by: Linda Wang <wangwulin@huawei.com>

Fully integrate promise in functest-features

Change-Id: I52a4719df1fd5f4159d0ba5eed1a9b14b8ba72f6
Depends-On: Ia9ae55b127d0d324d97974f5e9b1923d7636d7cd
Signed-off-by: Cédric Ollivier <cedric.ollivier@orange.com>

Remove copper refs

Copper withdrew from E release (see comments in [1]).

[1] https://gerrit.opnfv.org/gerrit/#/c/38851/

Change-Id: I1af463f5d60a6099592c1005ce27d3ca0c40cbbf
Signed-off-by: Cédric Ollivier <cedric.ollivier@orange.com>

Remove netready refs

Netready withdrew from E release [1]

[1] https://lists.opnfv.org/pipermail/opnfv-tech-discuss/2017-August/017453.html

Change-Id: I456b91e0bb454a4205df98d0e96032302d3b20a6
Signed-off-by: Cédric Ollivier <cedric.ollivier@orange.com>

Update promise upper constraint

It follows "Move promise package to root directory" [1].
Then it allows installing promise in editable mode.

[1] https://gerrit.opnfv.org/gerrit/#/c/39161/

Change-Id: Id51d934c18a8f6567195de6b7775a62452bb9f83
Depends-On: Ia9ae55b127d0d324d97974f5e9b1923d7636d7cd
Signed-off-by: Cédric Ollivier <cedric.ollivier@orange.com>

add orchestra_clearwaterims testcase

-rename testcase orchestra_ims to orchestra_openims
-add orchestra_clearwaterims testcase
-add unit tests

Change-Id: I5291f84068915fa15e3fb7b63c5dbd0daec0acca
Signed-off-by: Michael Pauls <michael.pauls@fokus.fraunhofer.de>

Keep the promise working dir in /src

Otherwise npm install fails.

Change-Id: I1be15bc83e0dfab1ad1471106326ff347385f31e
Signed-off-by: Cédric Ollivier <cedric.ollivier@orange.com>

Merge "Integrate the netready package"

Merge "Integrate the promise package"

Fix the logic of adding/updating tempest.conf

Change-Id: I850311a9306607106836f24594019e98d2fd9499
Signed-off-by: Linda Wang <wangwulin@huawei.com>

Integrate the netready package

It also adds the related testcases in functest-features.

Change-Id: I584da9d890622c1bdd2ace0b12b4be37250fda56
Depends-On: I3842e6828f60972cb1df0bc15f849cd08badd895
Signed-off-by: Cédric Ollivier <cedric.ollivier@orange.com>

Integrate the promise package

Change-Id: I128bfa62b9ccd8e53683def329e8470693c2e556
Signed-off-by: Cédric Ollivier <cedric.ollivier@orange.com>

Merge "Improved error handling when Energy recorder API is unavailable."

Merge "Record the test cases passed in tempest"

Merge "Add copper and domino in functest-features"

Merge "Switch to Docker post_checkout hooks"

Merge "Fix import and docstrings in onos/teston"

Merge "Remove rnc unit test dir as empty"

Merge "Add functest-components based on Alpine"

Merge "Add functest-features based on Alpine"

Merge "Add/Update tempest.conf via a specific file"

Merge "Clean smoke requirements"

Merge "Add all ODL testcases in functest-smoke"

Merge "Restrict ping only once in ping.sh"

Add/Update tempest.conf via a specific file

Provides a convenient way to configure all params which users required.

JIRA: FUNCTEST-860

Change-Id: Iadfb704285f94530e1023ee780138f22dd672d33
Signed-off-by: Linda Wang <wangwulin@huawei.com>

Record the test cases passed in tempest

Also, convert the test cases recorded with string into list

Change-Id: Ie3980a555b4042e6fe9706320d33d4ec4c06ea0c
Signed-off-by: Linda Wang <wangwulin@huawei.com>

Merge "Configure AARCH64 image settings for UEFI"

Improved error handling when Energy recorder API is unavailable.

Log verbosity is reduced when API is discovered unavailable.
Avoid next calls to API if unavailable at config loading.

Change-Id: I68d169396335ae3891e4b808062058945fc2eca1
Signed-off-by: Benoit HERARD <benoit.herard@orange.com>

Merge "update/improve orchestra_ims"

Configure AARCH64 image settings for UEFI

Configure one parted AARCH64 Cirros image settings for AAVMF(UEFI)

Change-Id: I28ca1ead06c1153e2483c163af9da8e70736ac1c
Signed-off-by: Delia Popescu <delia.popescu@enea.com>
JIRA: ARMBAND-279

Add copper and domino in functest-features

Change-Id: I6f7a35b84c9b7f8cde88998f545b30cc200c8ff1
Signed-off-by: Cédric Ollivier <cedric.ollivier@orange.com>

Switch to Docker post_checkout hooks

Automated builds work when Dockerfile is modified after checkout.
Otherwise they are not triggered [1].

[1] https://github.com/docker/hub-feedback/issues/518

Change-Id: I6ba9e06f9e62011d2f1c1788f2647b1175842ef3
Signed-off-by: Cédric Ollivier <cedric.ollivier@orange.com>

Fix import and docstrings in onos/teston

Change-Id: Ie38f3b0ab8805cd7ca3e946533be37598be9434e
Signed-off-by: Cédric Ollivier <cedric.ollivier@orange.com>

Remove rnc unit test dir as empty

Change-Id: Id52e49b41f36c58a849c304eed543f8a8465ff9e
Signed-off-by: Cédric Ollivier <cedric.ollivier@orange.com>

Add functest-components based on Alpine

It integrates the whole test suite:
  - tempest_full_parallel
  - tempest_custom
  - rally_full

Change-Id: If215d8e12262072828f348ac323dba963849bf14
Signed-off-by: Cédric Ollivier <cedric.ollivier@orange.com>

Add functest-features based on Alpine

It integrates the next testcases:
  - bgpvpn
  - security_scan
  - functest-odl-sfc
  - barometercollectd

It also modifies several cmds in the former testcases.yaml to ensure
backward compatibility.

Depends-On: I75aaf950f7b072c142fa9894cef7ef7f057adac3
Depends-On: I50219cad42bf0e085c2edf2e1abe149c2e057a99
Change-Id: Idf3d6b4a769edd1a5401748886e0ed64d4f5f281
Signed-off-by: Cédric Ollivier <cedric.ollivier@orange.com>

Clean smoke requirements

Change-Id: I16884fa550e9b42cd0b57338c4b8b6598ac33dbb
Signed-off-by: Cédric Ollivier <cedric.ollivier@orange.com>

Add all ODL testcases in functest-smoke

It clones the related git repositories in /src and adapts the former
Dockerfiles too.

Change-Id: Ied5016f8cd5ed49f4e29bae5aa4413fad2477637
Signed-off-by: Cédric Ollivier <cedric.ollivier@orange.com>

Merge "Fixed test description for snaps_smoke."

Fixed test description for snaps_smoke.

Change-Id: Ia533337a07c3a47579d0fa97b6bb3b4b3daf94e5
Signed-off-by: spisarski <s.pisarski@cablelabs.com>

Restrict ping only once in ping.sh

Otherwise, it makes no sense to configure ping_timeout as
200 times.

Change-Id: I6e15f5149f24a4316f6d5b70bcda9a46418d1522
Signed-off-by: Linda Wang <wangwulin@huawei.com>

update/improve orchestra_ims

-enable orchestra_ims testcase
-update orchestra_ims according to restructed vnf base class
-SNAPS integration
-improve code based on pylint suggestions
-add unit tests (to be completed)

Change-Id: Id12f645c76096376b8a867bf36d7bbb69bac58e7
Signed-off-by: Michael Pauls <michael.pauls@fokus.fraunhofer.de>

Omit space line in openrc file

For alpine testing in compass OSA, sourcing openrc failed due to space
lines included.

Change-Id: I23166090a2fa7c2ce0aa03be581231cbb3cea34a
Signed-off-by: Linda Wang <wangwulin@huawei.com>

Merge "Enable parser project"

Fix dockerfile patch for aarch64

Patched the patch https://gerrit.opnfv.org/gerrit/#/c/37869/
Fixed some issues regarding spaces in the patch file

Change-Id: Ieac4b766e36d274bd044cd4110626b5314ea6556
Signed-off-by: Delia Popescu <delia.popescu@enea.com>

Enable parser project

Enable parser project in functest

Change-Id: I9bbf5dc5904f53d1a0a640726fbf57b2b702bdfe
Signed-off-by: shangxdy <shang.xiaodong@zte.com.cn>

Modified Dockerfile.aarch to a patch

Docker image for functest on ARM was build using a different Dockerfile.
Now the ARM Dockerfile is created with a patch,
in order to avoid modifying both files.
This Dockerfile.aarch64.patch is applied by opnfv-docker.sh from releng project.

Change-Id: Ib3d4230b79811a9c563b2687a78e8c4724f7efc7
Signed-off-by: Delia Popescu <delia.popescu@enea.com>

Merge "Add AARCH64 images back to Functest"

Merge "Save space in Alpine containers"

Merge "Add script to build all containers"

Add id to test_list for tempest_custom

Tempest_custom will fail if only the test name is provided without id.

Change-Id: I170eff4215bcb09c6469072079091670aabaad5b
Signed-off-by: Linda Wang <wangwulin@huawei.com>

Merge "Change calls to SNAPS library exposing OpenStack instance objects."

Add AARCH64 images back to Functest

aarch64 path files is reupdated with aarch64 cirros images
Functest is now able to run on aarch64 too, using the appropriate images
JIRA: ARMBAND-279

Change-Id: I05de0cb8315a33322225a6caedaa64a5a4833e4e
Signed-off-by: Delia Popescu <delia.popescu@enea.com>
Signed-off-by: Alexandru Nemes <alexandru.nemes@enea.com>

Merge "Conform the RefStack testcase with the Rally context"

Merge "Wait for refstack-client to finish"

Save space in Alpine containers

It decreases the size of Functest core and smoke containers by 20%.

Change-Id: Id75117b1404e3cce004ef51c61040cdb7ade6976
Signed-off-by: Cédric Ollivier <cedric.ollivier@orange.com>

Merge "Remove add_images.sh"

Add script to build all containers

It also sets opnfv as default repository as they will be pushed by
releng.

It adds hooks asked for automated build via Docker which allows
continuous integration before the update of jjobs.

Change-Id: I08b55b1ff334afe6c0f58af3100cfa04f76d8ef0
Signed-off-by: Cédric Ollivier <cedric.ollivier@orange.com>

Conform the RefStack testcase with the Rally context

If the RefStack testcase relies on the Tempest configuration
generated by Rally, it must conforms with the related context [1].

[1] https://raw.githubusercontent.com/openstack/rally/0.9.1/rally/plugins/openstack/verification/tempest/context.py

Change-Id: Ia62c0a328c53a1541aeaf8668e1f34ae67898eed
Signed-off-by: Cédric Ollivier <cedric.ollivier@orange.com>