Build vnf and restapi containers for ARM

The root cause of the problem was the installation
of unf_ext packet. The Gemfile.lock in
https://github.com/boucherv-orange/clearwater-live-test
asked for version 0.0.6 and this version was not found for arm.
When it tried to build the package, the conversion from int
to char error was thrown (issue reported here
https://github.com/knu/ruby-unf_ext/issues/15).

As now version 0.0.7.4 is selected, then the vnf docker
images are built without any other errors.

Gemfile.lock was updated in the original repo,
this fix enables vnf and restapi containers build for ARM.

JIRA: FUNCTEST-899

Change-Id: Id2c5fe82cb3705f58a8175fcf0a17f443e9b7d9d
Signed-off-by: Delia Popescu <delia.popescu@enea.com>

Merge "Introduce Euphrates main changes"

Introduce Euphrates main changes

6 topics:
- functest framework
- requirement management
- python packages
- docker slicing
- docker builds
- REST API

Change-Id: Ib25a2df9f1a723861606355aea95f61d53495794
Signed-off-by: Morgan Richomme <morgan.richomme@orange.com>
Signed-off-by: Cédric Ollivier <cedric.ollivier@orange.com>

Remove the judgement of OS_ENDPOINT_TYPE

Remove the judgement of OS_ENDPOINT_TYPE when configuring
[identity-feature-enabled] section in tempest.conf

Change-Id: Ia0f6926cdd6e063c953358df5108b537917418bc
Signed-off-by: Linda Wang <wangwulin@huawei.com>

Merge "Config physical network when creating tempest net"

Merge "Configure physical_network when creating network"

Merge "Remove the obsolete configs in config yaml"

Modify cmd for parser

The modification is related to https://gerrit.opnfv.org/gerrit/#/c/49649/

Change-Id: I51ec841da49dd05ee454896514a9e1b7761ee035
Signed-off-by: shangxdy <shang.xiaodong@zte.com.cn>

Remove the obsolete configs in config yaml

Change-Id: I389f3f4b09274529f92d7a74ebfb0cdd257c493a
Signed-off-by: Linda Wang <wangwulin@huawei.com>

Configure physical_network when creating network

When the network_type is vlan, configuring physical_network
and segmentation_id should be supported by snaps.

JIRA: SNAPS-252

Change-Id: I2d3270a82991230385fdc18889ed5c5e979672b5
Signed-off-by: Linda Wang <wangwulin@huawei.com>

Disable keystone v2 if keystone v3 is available

Change-Id: I9ae18ac6702b6bc1df80e5ff794307929e4aefb9
Signed-off-by: Linda Wang <wangwulin@huawei.com>

Merge "Update Alpine to 3.7"

Merge "Execute feature command by subprocess directly"

Update Alpine to 3.7

It conforms with the last release [1] and Docker latest [2].

[1] https://alpinelinux.org/posts/Alpine-3.7.0-released.html
[2] https://hub.docker.com/_/alpine/

Change-Id: I731b455bd9eb9900c7794643b8605bf73a15726d
Signed-off-by: Cédric Ollivier <cedric.ollivier@orange.com>

Merge "Clean base images only if 1 container was built"

Execute feature command by subprocess directly

Change-Id: I77e86af4e96310c6520d743e4d16c9a7b2e9adf5
Signed-off-by: Linda Wang <wangwulin@huawei.com>

Config physical network when creating tempest net

When the network_type is vlan, physical_network and
segmentation_id could be configured.
This also supports to config physical network when creating
rally net.

Change-Id: I9770968537c1509c5712eada66925a4bf8f6678c
Signed-off-by: Linda Wang <wangwulin@huawei.com>

Merge "Dynamic region name of juju cloud"

Clean base images only if 1 container was built

Change-Id: I0134082d2d150a6dc58e679f9ade81eb6c040266
Signed-off-by: Cédric Ollivier <cedric.ollivier@orange.com>

Clean Docker images after builds

Compared to the related Releng script, it only focuses on cleaning
images. It's considered out of scope to remove remaining docker
containers.

It doesn't force to remove images because base images (e.g. Alpine)
could be selected by other OPNFV projects too. It ensures O is
returned even if one image cannot be removed.

functest-core is removed at the end because all Functest containers
depend on it.

The script works well in a nominal building env. Any remaining
Functest images or containers must be removed by hand.

JIRA: FUNCTEST-898

Co-Authored-By: Cédric Ollivier <cedric.ollivier@orange.com>
Change-Id: I72d8214b711680ec7958af1d427b23dee6337bf6
Signed-off-by: Jose Lausuch <jalausuch@suse.com>
Signed-off-by: Cédric Ollivier <cedric.ollivier@orange.com>

Dynamic region name of juju cloud

Region name in juju cloud has been made dynamic now, region name
will be added in cloud file from os environment variable.
It fixes the issues when runnit juju_epc vs Apex [1].

It also updates ubuntu images to xenial.

[1] https://build.opnfv.org/ci/job/functest-apex-baremetal-daily-master/628/console

Change-Id: I9422af3086141cd40b99e6482883a7081f58c2ea
Signed-off-by: soumaya <soumaya.nayek@rebaca.com>

Add Docker build opts

Change-Id: I91fcb833b6b6216338b4fcb888f093a2086264a7
Signed-off-by: Cédric Ollivier <cedric.ollivier@orange.com>

Add euphrates as a docker tag to the release notes

Change-Id: I35080b3e701de6341926f86e8aa1910ef777f565
Signed-off-by: Jose Lausuch <jalausuch@suse.com>

Update cirros image to 0.4.0

ChangeLog: https://git.launchpad.net/cirros/plain/ChangeLog

Change-Id: Ic41bec08b9dbfa7f1a501d5ba18602ba455fb5d0
Signed-off-by: Michael Polenchuk <mpolenchuk@mirantis.com>

Enable orchestra testcases for Daisy only

The current testcases have several issues which limit the
possible successful runs to Daisy [1].

[1] https://jira.opnfv.org/browse/ORCHESTRA-17

Change-Id: Iecaf21738e19aae6a88171385f11afcffd28a348
Signed-off-by: Cédric Ollivier <cedric.ollivier@orange.com>

Merge "Get auth token when checking deployment"

Merge "Remove logger_test_results"

Merge "Suggest to pull manifests instead of arch tags"

Merge "Remove openstack_[clean,snapshot]"

Suggest to pull manifests instead of arch tags

Change-Id: I17d45782feb38946f9524859354f24d392b56f25
Signed-off-by: Cédric Ollivier <cedric.ollivier@orange.com>

Remove logger_test_results

It was only called in Feature which the result is already printed
(see __str__()).

It also eases moving Feature to xtesting as it breaks the link to
functest_utils.

Change-Id: Ib72d651dc7d89598704ff4d52d8b1ecb2bdade5b
Signed-off-by: Cédric Ollivier <cedric.ollivier@orange.com>

Merge "Fix typos in test_details.rst and test_overview.rst"

Merge "Delete TestCase.create_snapshot()"

Fix typos in test_details.rst and test_overview.rst

Change-Id: I12e9b17927ab9b52d0a727a82975cda7074bd994
Signed-off-by: Cédric Ollivier <cedric.ollivier@orange.com>

Get auth token when checking deployment

JIRA: FUNCTEST-900

Change-Id: Ie313d273a357a35b176b3918de108d85164776fa
Signed-off-by: Linda Wang <wangwulin@huawei.com>

Merge "Blacklist rally ceilometer scenarios"

Remove openstack_[clean,snapshot]

It also removes the related unit tests and updates docs and cli.

Change-Id: Ie11f77402f2b5b7055a0c7c5d931c8ff21124482
Signed-off-by: Cédric Ollivier <cedric.ollivier@orange.com>

Delete TestCase.create_snapshot()

OSGC has been removed then this method can be safely removed.
It also updates run_tests.py.

Change-Id: I4030b7f0351d24d095313ae990b08e65d8f69115
Signed-off-by: Cédric Ollivier <cedric.ollivier@orange.com>

Blacklist rally ceilometer scenarios

Exclude ceilometer test cases since Rally is still utilizing the API
which was deprecated in Pike.

Change-Id: I33be7358c14988f94d38d4b9d42995bd5f022617
Signed-off-by: Juha Kosonen <juha.kosonen@nokia.com>

Merge "Filter out orchestra for ssl enabled deployments"

Merge "Remove OSGCTestCase"

Merge "Switch to public keystone endpoint"

Remove OSGCTestCase

This class is no longer used and must be removed before working on
xtesting.

JIRA: FUNCTEST-887

Change-Id: I3ac1db6ec90d9db301e5461cd79cfcf77291dffc
Signed-off-by: Cédric Ollivier <cedric.ollivier@orange.com>

Switch to public keystone endpoint

It also reorders imports and removes dead code.

Change-Id: I1e7bd03a4bc07df4705c9beed83a37a022ddbd52
Signed-off-by: Cédric Ollivier <cedric.ollivier@orange.com>

Merge "Enforce a versioned public identity endpoint"

Merge "Inject all envs in openrc into CONST"

Merge "Improve the pylint score of functest-core"

Enforce a versioned public identity endpoint

juju simply adds /auth/tokens to the public identity endpoint wich
fails vs an unversioned endpoint as currently advised. It enforces
a versioned endpoint till juju implements the right discovery.

It may be improved to detect the right API version instead of forcing
v3. But v2 is hugely deprecated and no longer used by all OPNFV
installers.

It also fixes errors/warnings listed by pylint.

Change-Id: I6e8ba4b2122c19629426530d2d34e51e1bc609ba
Signed-off-by: Cédric Ollivier <cedric.ollivier@orange.com>

Filter out orchestra for ssl enabled deployments

Skip orchestra tests for the Compass & Fuel/MCP installers
until OpenBaton have updated to version 4.x+ with SSL support.

JIRA: ORCHESTRA-17
Change-Id: I894a08fb5ac83a6b1d59d7bcf3a681a8d596968f
Signed-off-by: Michael Polenchuk <mpolenchuk@mirantis.com>

Inject all envs in openrc into CONST

After "env_prepare" is removed, some specific vars in openrc
(eg,."EXTERNAL_NETWORK") loaded to os.environ should be injected
into CONST in one python process.

Change-Id: Iaa5c6047033dc2a30c533174e2016111759aec31
Signed-off-by: Linda Wang <wangwulin@huawei.com>

[vyos_vrouter] Support https endpoints

JIRA: FUNCTEST-881

vyos_vrouter did not support https endpoints [1].

I fixed the following two points.
 1. Modifying blueprint of Cloudify.
 2. Changing nova client of utilvnf module.

Point 1
 I added command of support https endpoint to blueprint of vyos_vrouter.
 The Blueprint of vyos_vrouter is on our github repository [2].
 I updated our repository.

Point 2
 I changed nova client of utilvnf module.
 Utilvnf module is utility module of vyos_vrouter.
 Nova client of utilvnf module did not support https endpoints.
 So, I changed to use nova client of snaps.

After fixed the source code, I confirmed the vyos_vrouter was succeeded in the following two environments.
 1. Our labs   (Instoller:fuel,    environment of https endpoints)
 2. Orange POD (Instoller:compass, environment of http endpoints)

[1] https://jira.opnfv.org/browse/FUNCTEST-881
[2] https://github.com/oolorg/opnfv-vnf-vyos-blueprint/blob/master/function-test-openstack-blueprint.yaml

Change-Id: I468df0f2486a34bc558ad161eb7de44264549006
Signed-off-by: ShuyaNakama <shuya.nakama@okinawaopenlabs.org>

Merge "Change the name of flavor and disabled ssh-hostname verification."

Improve the pylint score of functest-core

It also modifies the file list to ensure the rating of ci modules.

Change-Id: Ia1e414be5364cb3da3d54882db428024ed6bd99f
Signed-off-by: Linda Wang <wangwulin@huawei.com>

Change the name of flavor and disabled ssh-hostname verification.

Change-Id: Ia801e8a37288606a325b5dd010ab9f6acbfdadf4
Signed-off-by: soumaya <soumaya.nayek@rebaca.com>

Merge "Fix yamllint errors in functest/api"

Fix yamllint errors in functest/api

JIRA: FUNCTEST-897

Change-Id: I49c7c87dfded000197fe6451fb96dc0749f2ceb0
Signed-off-by: Linda Wang <wangwulin@huawei.com>

Add missing character to aarch functest conf file

Change-Id: I7eef94404c64cea761b289d070021a3f57b4a82e
Signed-off-by: Delia Popescu <delia.popescu@enea.com>

All patching config files in memory

It adds the yaml content as Config attribute and allow patching it
without modifying the file (and reimport constants or config).

It also removes obsolete data in config_patch.yaml and moves several
functions in the right modules (Config)

JIRA: ARMBAND-334

Co-Authored-By: Cédric Ollivier <cedric.ollivier@orange.com>
Change-Id: I5c9a574d3283828063154c977cdfbc2abfdc6777
Signed-off-by: Linda Wang <wangwulin@huawei.com>
Signed-off-by: Cédric Ollivier <cedric.ollivier@orange.com>

Merge "Ensure that all energy modules are fully covered"

Merge "Update release notes for Euphrates 5.1"

Ensure that all energy modules are fully covered

Change-Id: I501a404d1202cc92da5e62dbf9db2aa453ffd324
Signed-off-by: Cédric Ollivier <cedric.ollivier@orange.com>

Update release notes for Euphrates 5.1

Change-Id: I008cf0f5cd5279903d7e50b5a3903c283829e9cb
Signed-off-by: Jose Lausuch <jalausuch@suse.com>

Merge "Add python3 support in cli"

Merge "Add python3 support in energy"

Merge "Mock time.sleep() to decrease test duration"

Merge "Add python3 for Functest utils"

Add python3 support in cli

Change-Id: I222fde91cf236a272176bc2d9ec6732f98b76141
Signed-off-by: Cédric Ollivier <cedric.ollivier@orange.com>

Add python3 support in energy

It also converts Exception to str when expected.
All energy modules are also listed in files rated 10/10 by pylint.

Change-Id: Id382d60eb35f50c98b15423f9559a920ce5dac62
Signed-off-by: Cédric Ollivier <cedric.ollivier@orange.com>

Mock time.sleep() to decrease test duration

It also returns None when getting floating ips after deleting them.
It now runs 40 tests in 0.084s.

Change-Id: If4b1032ab9890fd291d99beb57166ead8729d822
Signed-off-by: Cédric Ollivier <cedric.ollivier@orange.com>

Add python3 for Functest utils

It also fixes test_utils RegexMatch and SubstrMatch.

Change-Id: I124aa7d0c4110dcd2f50220aae7ba9b299799e93
Signed-off-by: Cédric Ollivier <cedric.ollivier@orange.com>

Merge "Set the ram of flavor 1024"

vEPC tests with juju as an VNF manager

juju_epc testcase validate EPC setup with the help of ABoT which
acting as test executor. Functest-abot-epc-bundle deploys OAI charms
alongwith mysql and ABoT. JUJU is acting as a VNF manager.

Change-Id: I45d7b37f21f6b8c7049ab2bf42a4678e30b67a72
Signed-off-by: soumaya <soumaya.nayek@rebaca.com>

Set the ram of flavor 1024

The setting of hw:mem_page_size=large indicates larger page sizes
for guest RAM, eg., either 2MB or 1GB on x86.
When tested on compass, 1GB is required.

Change-Id: Iefd2e8ff30e0a496157e0bd118e63ab3c402abab
Signed-off-by: Linda Wang <wangwulin@huawei.com>

Add Python3 support in functest/ci

Change-Id: If13bfaa196b8dfab1e83feb28c5a4719c7acd8c7
Signed-off-by: Cédric Ollivier <cedric.ollivier@orange.com>

Fix yaml format errors in vnf

All Rally yaml files are skipped because they leverage on jinja2.
Now last errors are in functest/api directories [1].

[1] https://jira.opnfv.org/browse/FUNCTEST-897

Change-Id: I4d6c9b3b7c1f3602bd51c9cf7e1c5babf581ab82
Signed-off-by: Cédric Ollivier <cedric.ollivier@orange.com>

Pull functest-core when only building childs

Otherwise it fails if parent and childs containers are not built on
the same host [1].

It would have worked if the docker images were correctly cleant. Then
the last image would have been pulled.

[1] https://build.opnfv.org/ci/job/functest-apex-baremetal-daily-euphrates/362/console

Change-Id: I293829c839c1cf68c9f7668aa643e16889359fcc
Signed-off-by: Cédric Ollivier <cedric.ollivier@orange.com>

Merge "Fix the yamllint errors in functest/ci"

Assign heat_stack_owner role to the new user

For heat scenario in rally, assign heat_stack_owner role to
the new created users.

Change-Id: I86a74ca88993ed3782d21b22eb5933d639d86c94
Signed-off-by: Linda Wang <wangwulin@huawei.com>

Remove the config of promise

Change-Id: I9e393ce33228f90f724df12af258cf06fae821fc
Signed-off-by: Linda Wang <wangwulin@huawei.com>

Fix the yamllint errors in functest/ci

And also, remove the params "tempest_use_custom_images" and
"unique_names" of vping, rally and tempest.

Change-Id: Ic4243ef2f5e965910e5befa87db8d585cad34fa2
Signed-off-by: Linda Wang <wangwulin@huawei.com>

Merge "Fix pylint errors of vping"

Fix pylint errors of vping

Change-Id: I272f0eb6fb0f2a274484a3dcfacd8ed65e4a5b23
Signed-off-by: Linda Wang <wangwulin@huawei.com>

Create a tox env to check yaml files

It also fixes all testcases config files.

Change-Id: I81a6ffb8b7acf4239c79129dc842e283d3d32b35
Signed-off-by: Cédric Ollivier <cedric.ollivier@orange.com>

Merge "Adjust timeouts in Vnfs"

Merge "Stop updating test_db_url in config file by env var"

Adjust timeouts in Vnfs

When testcases fail, the jjobs is aborted and the result isn't
printed.

Change-Id: Ibda6268873303e631705c695a41c50980a3d29e5
Signed-off-by: Cédric Ollivier <cedric.ollivier@orange.com>

Reorder Vnf testcases

Cloudify IMS testcases could easily tigger jjob timeouts.
Vyos_router should run before as it ends much quickier.

Change-Id: Icd4323a7216615e75613e5fb241ae144f727d4fd
Signed-off-by: Cédric Ollivier <cedric.ollivier@orange.com>

Merge "Filter installers for cloudify_vrouter"

Stop updating test_db_url in config file by env var

If TEST_DB_URL is declared in env variable, use it
before considering the var in config file.

Change-Id: I656ad8765287c48d60af7ab88b421805d76fb231
Signed-off-by: Linda Wang <wangwulin@huawei.com>

Merge "Skip modifying creds if Variables.robot is missing"

Filter installers for cloudify_vrouter

As cloudify_vrouter doesn't support SSL endpoints [1], it shouldn't
be executed if compass or fuel.

[1] https://jira.opnfv.org/browse/FUNCTEST-881

Change-Id: Ieedc0d5eca57f00da2121c9e07dd5cc57f978ef6
Signed-off-by: Cédric Ollivier <cedric.ollivier@orange.com>

Merge "Update documentation of Functest"

Skip modifying creds if Variables.robot is missing

Variable.robot is missing in functest-features [1].
As it's related to ODL csit suites, modifying it could be safely
skipped as odl.py is designed for testing multiple ODL testcases.

[1] https://gerrit.opnfv.org/gerrit/#/c/46225/

Change-Id: Id5f1947a073d251ef7480f418218a4c85fe078c1
Signed-off-by: Cédric Ollivier <cedric.ollivier@orange.com>

Update documentation of Functest

Mainly update the robotframework part, according to this patch:
https://gerrit.opnfv.org/gerrit/#/c/47841/

Change-Id: If4dee6233ba65dd83734e0465d0dc6e8d5753da3
Signed-off-by: Linda Wang <wangwulin@huawei.com>

Force Framework to be fully covered

Change-Id: Ida120fe28ea7860758a218189d905bebee2e8ba5
Signed-off-by: Cédric Ollivier <cedric.ollivier@orange.com>

Remove one obsolete test in test_odl.py

It completes "Create RobotFramework class" [1] which decreased
coverage to 99% (test_odl.py)

[1] https://gerrit.opnfv.org/gerrit/#/c/47841/

Change-Id: I2a2d448daeb6d1f50064588167cafd32e07aa502
Signed-off-by: Cédric Ollivier <cedric.ollivier@orange.com>

Cover vnf.prepare()

It completes the previous commit [1] which increased the coverage of
Vnf.

[1] https://gerrit.opnfv.org/gerrit/#/c/47851/

Change-Id: Ibb0201d6165d89da2edd1a93b722008092726569
Signed-off-by: Cédric Ollivier <cedric.ollivier@orange.com>

Merge "Fully cover vnf"

Merge "Create RobotFramework class"

Fix the doc of snaps test

snaps_health_check does not allocate a floating ip to the vm,
but a fixed ip instead.

Change-Id: Ia43885993135dec56aba08b0e157ac2c9f715e06
Signed-off-by: Linda Wang <wangwulin@huawei.com>