Temporarily disable VNC tests

At least Compass and Fuel configure Spice as console [1][2].
It disables vnc testing as it could fail for endusers as well.

[1] https://artifacts.opnfv.org/logs/functest/huawei-virtual9/2018-10-24_04-54-25/tempest_full/tempest-report.html
[2] https://artifacts.opnfv.org/logs/functest/lf-pod2/gambia/2018-10-25_05-57-54/tempest_full/tempest-report.html

Conflicts:
    functest/opnfv_tests/openstack/tempest/conf_utils.py

Change-Id: I2a1ecf345cb81170c1b1a3e49f8f3a58602fc3f0
Signed-off-by: Cédric Ollivier <cedric.ollivier@orange.com>
(cherry picked from commit df9d5c5d3b80b613130de59a1810f7fce9cbbc0d)

Revert "Temporarily switch to collivier/abot_charm"

This reverts commit f837ff665a563430c693e47125dcc14fec2aec91.

Change-Id: I40a862489247cf62ef8289652cab369c58da544d
Signed-off-by: Cédric Ollivier <cedric.ollivier@orange.com>

Temporarily switch to collivier/abot_charm

It hosts a key fix which should be merged in the right repo.
This patch can be safely reverted as soon as [1] is merged.

[1] https://github.com/RebacaInc/abot_charm/pull/3

Change-Id: If98d163ecd2ce6b50c08d8dad886c0d4b2c39a34
Signed-off-by: Cédric Ollivier <cedric.ollivier@orange.com>
(cherry picked from commit d2c129f8319503a8fabe5b87c71737845f06ab36)

Read thirdparty-requirements.txt if py3

It fixes the current build issues due to unsynced doctor [1].

[1] https://build.opnfv.org/ci/job/functest-features-docker-build-arm64-master/455/console

Change-Id: Iad8b667e2615dcd976cd8120e4204665134922b7
Signed-off-by: Cédric Ollivier <cedric.ollivier@orange.com>
(cherry picked from commit 01509097c7447ee70d61f7e97d7947b127425eac)

Update juju agents

It conforms with last juju update.

Change-Id: I4941aac66e5ac96045090f10f197f6ee2712caac
Signed-off-by: Cédric Ollivier <cedric.ollivier@orange.com>
(cherry picked from commit 1ab7a53dab08a6f67ff2cf54f33b70dea0e82bfb)

Update Juju to 2.3.9

It should fix the key bug about subnet discovery.
Now juju_epc may run in parallel of rally testcases.

Change-Id: I04c1fcf2a18b461e5809d436846aa52c4b2660c8
Signed-off-by: Cédric Ollivier <cedric.ollivier@orange.com>
(cherry picked from commit a51d42200d94643314ece1a833181a7193ce2265)

Protect if default secgroup not created

https://build.opnfv.org/ci/view/functest/job/functest-compass-virtual-daily-master/lastFailedBuild/console

Change-Id: I2b5f1dc577f98773ad40ed3bcfff609d8d6c4b93
Signed-off-by: Cédric Ollivier <cedric.ollivier@orange.com>
(cherry picked from commit 5bb60b33a8fad4859b7391576fdfed7cec4c14a8)

Protect vs former OS env vars

rally_jobs is failing vs APEX which still sets OS_TENANT [1].

[1] https://build.opnfv.org/ci/view/functest/job/functest-apex-baremetal-daily-master/324/console

Change-Id: I672bfa93b37b1b773ea7d20fdd91bea0ff14b79f
Signed-off-by: Cédric Ollivier <cedric.ollivier@orange.com>
(cherry picked from commit 83e0e6836d7f5e18eb4eb8c9d28b4e6980b790c2)

List default secgroup via orig user

Else the generated account can be already removed [1].

[1] https://build.opnfv.org/ci/view/functest/job/functest-apex-baremetal-daily-master/324/console

Change-Id: I93d88763cdc67cd38286c24ad830244e0c12e019
Signed-off-by: Cédric Ollivier <cedric.ollivier@orange.com>
(cherry picked from commit f6748c8f3737bf7fbae519319b93e88db9e65834)

Conform with OpenStack Pike gates

It excludes slow tests conforming with OpenStack Gates.
All tests run in parallel here.

It should be noted that only one skipped test was in failure here.
tempest.scenario.test_network_basic_ops.TestNetworkBasicOps.test_mtu_sized_frames

Change-Id: I110a8cf5dd8603f29f40fcf01fc277d468582bf6
Signed-off-by: Cédric Ollivier <cedric.ollivier@orange.com>

Fix typos in tempest.conf

It completes the previous change [1].

[1] https://gerrit.opnfv.org/gerrit/#/c/62793/2

Change-Id: Ie4c4c5cb374f2bfac6397841f8ddc2cd3b2f524b
Signed-off-by: Cédric Ollivier <cedric.ollivier@orange.com>
(cherry picked from commit 98a4a863935be38f63e78550ddbcf4c1299bfdf1)

Set default_domain_id in tempest.conf

It allows verifying via non-default domain.

Change-Id: I95ae26fd3bfd1c10421c02d2b4f6e8a9b6aa49e6
Signed-off-by: Cédric Ollivier <cedric.ollivier@orange.com>
(cherry picked from commit 11d28aaf2e726859b59b7511d64dc4dd4b422e1e)

Set admin_domain_scope to True (tempest)

It completes the previous commit [1].
It also sets cidr and fully forces Keystone v3.

[1] https://gerrit.opnfv.org/gerrit/#/c/62777/

Change-Id: Ida948a4ff051dc1d1325d29a815c201366a1e33e
Signed-off-by: Cédric Ollivier <cedric.ollivier@orange.com>
(cherry picked from commit f4b545efe2339bdb5f6117d484e127adda5c8021)

List all sheduler filters instead of all

It doesn't work as expected as highlighted in [1].

[1] https://review.openstack.org/#/c/570207/

Change-Id: Iaf64345c40e8d62349cd50a6861c1191d25c40b9
Signed-off-by: Cédric Ollivier <cedric.ollivier@orange.com>
(cherry picked from commit ecc7bc215cdf47104d61ba7e23e5f8ec65ca03c4)

Clean the default security group

It's not removed when deleting the users and the projects.

Change-Id: Ib5de0885dcbfb558a48cdd20ae3ccc47b7f23748
Signed-off-by: Cédric Ollivier <cedric.ollivier@orange.com>
(cherry picked from commit d4e60af2b8f544d774223b16c193dc40bd5dce38)

Grant new tempest user as admin in domain too

It seems mandatory for test_list_projects_returns_only_authorized_projects

Change-Id: Id994e66b088d751c4f6d7f260f8e482c2ee83307
Signed-off-by: Cédric Ollivier <cedric.ollivier@orange.com>
(cherry picked from commit 17e87d5af713bb07759c4b2af0c2b40077343a32)

Stop creating network resources in tempest

fixed_network_name is not used in neutron or nova gates [1].
It may bypass juju bug (subnet discovery).

[1] http://logs.openstack.org/46/603046/1/check/tempest-full/a8468a1/controller/logs/tempest_conf.txt

Change-Id: I820e8c723918ed683ed1f8016363eb70bad0d14a
Signed-off-by: Cédric Ollivier <cedric.ollivier@orange.com>
(cherry picked from commit ac31a32320122ea1683fe9884e5bf1f969678b03)

Allow overriding default storage protocol

It adds a new env var STORAGE_PROTOCOL to override storage_protocol
in tempest. The default value is unchanged [1].

[1] https://docs.openstack.org/tempest/latest/sampleconf.html

Co-Authored-By: Viktor Tikkanen <viktor.tikkanen@nokia.com>
Change-Id: I19e4e25212b6f6176e3b967e01eb634c15e4d474
Signed-off-by: Cédric Ollivier <cedric.ollivier@orange.com>
(cherry picked from commit a561c6ca316feb1a203327aa729ac0317f70df48)

Set scheduler_available_filters to all

It indicates all filters that are included with nova are enabled [1].

[1] https://docs.openstack.org/tempest/latest/sampleconf.html

Co-Authored-By: Viktor Tikkanen <viktor.tikkanen@nokia.com>
Change-Id: I0d1943941d62d2eee418200c69e8198cd858383e
Signed-off-by: Cédric Ollivier <cedric.ollivier@orange.com>
(cherry picked from commit ff2ba1fd18b05bf1b031e78d2589028968bbe906)

Temporarily disable shelve

They are blocking in Orange Openlab as the support is missing.
A dynamic check has to be implemented before activating it.

Change-Id: I8d87251fa4589f96d3515e411aeec5e79b7e7960
Signed-off-by: Cédric Ollivier <cedric.ollivier@orange.com>
(cherry picked from commit 1da4b519f8e73d3be9e37f9d72367654bf662e63)

Modify creation of SecGroup Rule for SSH

There is multiple "default" security groups, when user is created
with admin role.

Change-Id: I7555dc9461816dfdaaee36d82d712e25b4b65da7
Signed-off-by: Thierry ALLENO <thierry.alleno@orange.com>
(cherry picked from commit 7488f119f9d9c61c61ef55d53f87de0e671fed23)

Correct proxy configuration for VNF VM

The configuration of proxy for apt is missing in ubuntu images.
Line Feed is missing in cloudify conf files.

Change-Id: I3237b914e993c57f4fe3ed568690d2d9a41c0bdf
Signed-off-by: Thierry ALLENO <thierry.alleno@orange.com>
(cherry picked from commit be864b0de9f0f990984ad9e3c2d20b694e1b2c26)

Update travis-ci config

It stop cross-compiling for arm and creating functest-parser
manifests.

Change-Id: Ic9567232d876e36b3adbff4bc1d4d23ff9ef3b81
Signed-off-by: Cédric Ollivier <cedric.ollivier@orange.com>
(cherry picked from commit 1734755754867dc81938c8d6ca878e12ada36990)

Fix FDS_TAG (stable/fraser)

Change-Id: I45b8a0255428f9ee27c00bc96ebf6c0d21a6a4de
Signed-off-by: Cédric Ollivier <cedric.ollivier@orange.com>

Updated from global requirements

Change-Id: Ia71b0cf58f74f7d760daacec7ee646f914c29442
Signed-off-by: Cédric Ollivier <cedric.ollivier@orange.com>

Ease adding proxies in vms

It eases running VNFs behind proxies as they download packages.

Change-Id: I187078dab744c51188b9835417d1a29fad1b4bd6
Signed-off-by: Cédric Ollivier <cedric.ollivier@orange.com>
(cherry picked from commit d5fce8c12bc73c1b1547df2750563c271a3ab3f6)

Support VIO (VMware in OpenStack)

It allows converting all images to vmdk and then patching all
testcases. DEPLOY_SCENARIO should match vio to do so.

convert_images.sh has to be called as prerequisite.

JIRA: FUNCTEST-992
JIRA: FUNCTEST-993

Change-Id: Ie35bf80af1cd9610a8c416ec01b81b61c6148cfe
Signed-off-by: Cédric Ollivier <cedric.ollivier@orange.com>
(cherry picked from commit d176e20067368d834e8b77d4f685f48cb54d03f5)

Fix godeps commit id

Change-Id: I7af07849fb70ef53f293002f313035b46731b705
Signed-off-by: Cédric Ollivier <cedric.ollivier@orange.com>
(cherry picked from commit 5988d84f62cb19abfdddf1475177f174d6c2597d)

Stop cloning when running vyos_vrouter

It moves the clone operation into docker build instead.

Change-Id: I296005d8638510a999665d383a26c4fcd48897a6
Signed-off-by: Cédric Ollivier <cedric.ollivier@orange.com>
(cherry picked from commit 2e7f66734394dc5e749ef9ac95e46a8ded9fb2c9)

Fix dict conversion in tempest.conf

https://github.com/openstack/oslo.config/blob/master/oslo_config/types.py#L600
https://build.opnfv.org/ci/view/fuel/job/functest-fuel-virtual-daily-master/817/consoleFull

Change-Id: Icde9938bb9f6c0c37d2504317f31b0af4ef9ee8e
Signed-off-by: Cédric Ollivier <cedric.ollivier@orange.com>
(cherry picked from commit 59cf95974b2b9c0271c1ff9c9604b960c4bcfa26)

Update scenario section in tempest.conf

It's required at least by Barbican tempest plugin.

Change-Id: I46a65ee5fee044917c5375adaa8ebb529efe86ec
Signed-off-by: Cédric Ollivier <cedric.ollivier@orange.com>
(cherry picked from commit 9ec639526ed32d4b05168627c5c016fb66b7d008)

Remove one useless security group

This rule breaks lookup when the user created is admin.

Change-Id: I2fe3dba687bd5d151cd7e53217586a0bcb21815d
Signed-off-by: Cédric Ollivier <cedric.ollivier@orange.com>
(cherry picked from commit 65b9318ffcb4b12e0aa4aa08027a35ff1e2d285d)

Add role to users created by rally if required

It sets [openstack] keystone_default_role if NEW_USER_ROLE differs
from member.

Change-Id: Ib6be5cf22654e882ea110298cba421c1e87c78fd
Signed-off-by: Cédric Ollivier <cedric.ollivier@orange.com>
(cherry picked from commit 98f3bf16722e5e718130f960910d64bc76951e3b)

Create network via admin user

It creates the network via admin user as segmentation id may be set.

Change-Id: I853f40e09aee9a658fc2373cd7e8bf00e3c0c3ad
Signed-off-by: Cédric Ollivier <cedric.ollivier@orange.com>
(cherry picked from commit 92ba2d7f3bbbecebcd4214bc9b8682d2b6ce87e9)

Allow refs as vnf requirement versions

Change-Id: I4079fa3641373eee40f8a876a2a525635f2752eb
Signed-off-by: Cédric Ollivier <cedric.ollivier@orange.com>
(cherry picked from commit b039d8d4219bca73a5b86e03f34f27fbe655ec81)

Add concurrency parameter to refstack_defcore tests

In fraser release we observed that refstack tests are executed in parallel
and that might causes problems in CI because without concurrency
parameter it will try to use as many cpus as possible and that might
lead to race condition issues.

This patch is created for backporting purposes to fraser branch
where the problem occurs.

JIRA: DOVETAIL-662

Change-Id: I6cf0ad3a32e88f04abd00d69523aa8ac47c39470
Signed-off-by: Dimitrios Markou <mardim@intracom-telecom.com>
(cherry picked from commit d5c3692d211cb3e82708eaf2595ba3f26fafc6a6)

Ensure len(project_name) < 64

https://build.opnfv.org/ci/view/functest/job/functest-apex-baremetal-daily-master/259/console
https://build.opnfv.org/ci/view/functest/job/functest-fuel-baremetal-daily-master/428/console

Change-Id: Ib64878962a71b6b45ef039fce8bfaa43172b2498
Signed-off-by: Cédric Ollivier <cedric.ollivier@orange.com>
(cherry picked from commit 3eec6556fa20e51d5e6596253393199469c83556)

Create new project/user for tempest tests

JIRA: FUNCTEST-1009

Change-Id: I6b9bca3827ba6cc804c25689a896ca63eec6a78b
Signed-off-by: Juha Kosonen <juha.kosonen@nokia.com>
(cherry picked from commit 9d03fcdd488c385842b43fd914915cbe4ae5390a)

Support pre-Provisioned credentials

If USE_DYNAMIC_CREDENTIALS = False, Functest is expected for
/home/opnfv/functest/data/accounts.yaml which contains the set of
pre-existing credentials to use for testing [1].

It also sets admin_domain_scope and default_credentials_domain_name.

[1] https://docs.openstack.org/tempest/latest/configuration.html

Change-Id: Ie7b81f0c56049260ca99b8e3a6d58cb8a2660659
Signed-off-by: Cédric Ollivier <cedric.ollivier@orange.com>
(cherry picked from commit 7e0f65a25f1c83c90051e13e4aa5333aaaa8c6d5)

Allow adding a specific role to users created by tempest

It may allow bypassing RBAC policies if required.

Change-Id: I3b7ad44d7b80f8ea757846afdcd787b686c52856
Signed-off-by: Cédric Ollivier <cedric.ollivier@orange.com>
(cherry picked from commit ea596bbf094c8e45961b1b1379e58631942e4864)

Fix snaps commit id

Snaps is part of main Functest testcases (Healthcheck).
A fixed version has to be pulled.

We will switch later to snaps packages instead of commit ids.

Change-Id: I8df681625864ed6929e28b37c574b8d89c7de409
Signed-off-by: Cédric Ollivier <cedric.ollivier@orange.com>

Avoid duplicating jjb names

It allows loading functest and functest-kubernetes jjbs in one
Jenkins.

Change-Id: Ia52e84583bc25aad0d1508096b536cbd5585d261
Signed-off-by: Cédric Ollivier <cedric.ollivier@orange.com>
(cherry picked from commit 890bc75c29ef98fe2eb0dd8e456ad6eafa9d26a1)

Set juju wait version

It's mandatory before releasing.

Change-Id: Iac7b49fb1061b39ee6683e7b30f163cfc2060a95
Signed-off-by: Cédric Ollivier <cedric.ollivier@orange.com>
(cherry picked from commit 381a70d86ce49bd55b298042dc11cb16f9710d82)

Create new project/user for snaps tests

JIRA: FUNCTEST-1003

Change-Id: Ic55998977386f95f619a355d22bd285782fe81f0
Signed-off-by: Juha Kosonen <juha.kosonen@nokia.com>
(cherry picked from commit 5d9acb84f492dca4da863c60e30a5463fe165cb5)

Redirect stderr to stdout when running tempest

JIRA: FUNCTEST-999

Change-Id: I64bfa31b01aa2ce5444b6e0f0ac46f8cde8dbaa3
Signed-off-by: Cédric Ollivier <cedric.ollivier@orange.com>
(cherry picked from commit c4b3f91c6bb79c50adc1c5a4397666ebcd1f7375)

Stop building tempest container in fraser gate.yaml

It should have been removed when cherry-picking "Publish Functest
daily and gate jobs".

It adds parser-basics which is hosted by its own container.

Change-Id: I6b5c4de0bffabab9bf927bf045b228113deeb375
Signed-off-by: Cédric Ollivier <cedric.ollivier@orange.com>

Create output directory

The rally.conf gets copied before the target directory has been created.

JIRA: FUNCTEST-1007
JIRA: DOVETAIL-730

Change-Id: Ie774fce994ada644c1163600e6c62e1231fde443
Signed-off-by: Georg Kunz <georg.kunz@ericsson.com>
(cherry picked from commit b55aa749c379ce7af918f43558f2195e2259d872)

Execute refstack_defcore in ci/run.yaml

Change-Id: Ib65203e74244d87f7ac6b24f6e6abf723c57a786
Signed-off-by: Cédric Ollivier <cedric.ollivier@orange.com>
(cherry picked from commit 72ea3965f80691b6660ce9716103030d3e6d9a6b)

Publish Functest daily and gate jobs

As opposed to the Releng ones, they are designed to be easily
executed by endusers as well. They can be considered as a first step
towards a full Functest CI/CD toolchain deployed via docker-compose.

All components testcases are enabled here.

They hugely leverage on templates to load the right yamls per branch
and multijobs to run testcases in parallel. Many steps are proposed
allowing running part of the chain.

Executors have to be increased to allow running them (it was tested
vs 10 and more).

At first, all docker images are downloaded to avoid different
versions between testcases.

They will be improved in a second change to ensure that only one node
is selected and to take all Functest env vars into account.

Change-Id: I99c7b8ee5d0ddbb00102b3147739b5e8b5c65c23
Signed-off-by: Cédric Ollivier <cedric.ollivier@orange.com>
(cherry picked from commit 69f0b2665b397e5128bf7a83541d3567c4834af3)

Fix fixed_network_name in tempest.conf

It also copies rally.conf and tempest.log in res_dir.

Change-Id: Ib907a29ba3f47ca861d3af8afc0ee74446222e89
Signed-off-by: Cédric Ollivier <cedric.ollivier@orange.com>
(cherry picked from commit 0fd76322f95b755d347826f707c092105506311b)

Update Xtesting to 0.36.0

It returns the right status if exception in constructor.

Change-Id: Ic9d857868fb58928164bee2f32d841c64b9b723c
Signed-off-by: Cédric Ollivier <cedric.ollivier@orange.com>

Typos (ressources)

Change-Id: Ifcf1d4bd48b64bc9175c3b0d594f897f4f3f5e7d
Signed-off-by: Cédric Ollivier <cedric.ollivier@orange.com>
(cherry picked from commit 873e5f5c868027d34f36d494719b4dad2bdb1e7d)

Split modules in apidoc

Change-Id: I467be9a70c74ff4eebfc50b8407fa503468f47ea
Signed-off-by: Cédric Ollivier <cedric.ollivier@orange.com>

Fix rtd requirement order

Change-Id: Ie2fbd978ed0bb9772d66eb367f1bdad32c5afd61
Signed-off-by: Cédric Ollivier <cedric.ollivier@orange.com>
(cherry picked from commit 10d98efb0cc45e989beceda411ce615347b2a946)

Add rtd-requirements

It's required by rtd which doesn't leverage on PBR.

Change-Id: Ia7ac5ecbb626d5c8b4c9095a1238db55e20790b0
Signed-off-by: Cédric Ollivier <cedric.ollivier@orange.com>
(cherry picked from commit a72b43b2356625d680d46f5ada201fcfe6ab7222)

Generate API doc rst files

It also fixes few docstrings

Change-Id: I09b3456e82953f64ec49628e2979115cc7bbec55
Signed-off-by: Cédric Ollivier <cedric.ollivier@orange.com>

Publish Functest doc online

It reverts Sphinx theme to the default one as it's hugely better for
API docs.

Change-Id: Ic489e9b65d67d71fadb8ef78176a04cc382a3f5d
Signed-off-by: Cédric Ollivier <cedric.ollivier@orange.com>
(cherry picked from commit 20ee61db8d38bf12127afd12e34ac601d36b3ff5)

Allocate OperatorCloud instead of OpenStackCloud

Else it fails for Rally which lists computes [1].
Former Shade releases split Openstack operations into 2 classes.

[1] https://build.opnfv.org/ci/view/functest/job/functest-apex-baremetal-daily-fraser/269/console

Change-Id: Icdf01c540ff62d7e7ef609929e806334823d2969
Signed-off-by: Cédric Ollivier <cedric.ollivier@orange.com>

Create new project/user for rally test

FUNCTEST-1002

Change-Id: Id19b9aa70aeded6d99978084b3de4a63e31a81ad
Signed-off-by: Juha Kosonen <juha.kosonen@nokia.com>
(cherry picked from commit 4b7d89de42fe9a3867b12ea39721ad92aff96340)

Fix typo (ressources)

Change-Id: Ibe131e0cf02493f0f3a82c1e179848605bd0a292
Signed-off-by: Cédric Ollivier <cedric.ollivier@orange.com>
(cherry picked from commit 8cfa994563a238bbd34d01e97de1fcfd40535e6e)

Allow setting two image extra properties per testcase

It conforms with the flavor extra specs model [1].

[1] https://gerrit.opnfv.org/gerrit/#/c/60713/

Change-Id: I1555a313aaf56ae47f9ad2a4529eb8b94e636c00
Signed-off-by: Cédric Ollivier <cedric.ollivier@orange.com>
(cherry picked from commit 8d3eb364d84f90b19f9e7234d01add8764843081)

Update all patch configs

It takes all new testcases into account.
It allows running vnfs vs dpdk scenarios too.

Change-Id: I789f6bb1c3df891b1a94f2a674c15085f81f2f23
Signed-off-by: Cédric Ollivier <cedric.ollivier@orange.com>
(cherry picked from commit 484acb3716b6f6261793b8a6a0220cce62ccb0c3)

Update to Xtesting 0.35

Change-Id: I2a38fca608d866ed643f5d021cb85488f35c79f1
Signed-off-by: Cédric Ollivier <cedric.ollivier@orange.com>

Fix swift operator role

[1] https://build.opnfv.org/ci/view/functest/job/functest-fuel-armband-baremetal-daily-master/35/console

Change-Id: I7236bf5a74f36941f499da32c5c77dcd0b98b6f1
Signed-off-by: Cédric Ollivier <cedric.ollivier@orange.com>
(cherry picked from commit 3d1986d1a8035e93b7ad7e4331cb1cbe126a857f)

Update Xtesting to 0.34.0

It mainly fixes negative regex operations and allows calling one
skipped test via run_tests (parallel testing).

Change-Id: Ibf34ecf2dae46c4c3af15d05af2946c9eb33f6cd
Signed-off-by: Cédric Ollivier <cedric.ollivier@orange.com>

Change juju_epc cidr

juju cannot bootstrap if cidr already exists which now happens only
if a shared network with the same cidr is defined (it should be
considered as a bug about juju).

By allocation its own cidr, it protects vs remaining rally or tempest
remaining shared networks or vs parallel testing.

juju_epc can already run twice in parallel as it creates a new
project and a private network.

Change-Id: I76c4971d631f763307315478e6cf5a383c91ed36
Signed-off-by: Cédric Ollivier <cedric.ollivier@orange.com>
(cherry picked from commit 27bc4acea711b5e6e09102bdc4209c9ef13283f3)

Make synchronous Shade calls

It makes difficult to find the issues (floating ip, boot, ssh
connection, etc...) for a small benefit regarding the current
testcase implementations.

It increases the default floating ip timeout because it has been
reached when running Functest multiple times in parallel. It may
be the root cause when running singlevm vs XCI (in that case,
neutron api and agents are hosted in a nested vm).

Change-Id: Ia97e04902321644c207c59987283754318aee5e5
Signed-off-by: Cédric Ollivier <cedric.ollivier@orange.com>
(cherry picked from commit 8faf2e3365fc5acc0167a05a919eef564f11491a)

Fix timeout (switch to synchronous calls)

It completes "Switch create_server timeout to default value" [1]
which forbids waiting more that 180s (create_server was asynchronous).

[1] https://gerrit.opnfv.org/gerrit/#/c/60423/2

Change-Id: Icbf9ee48024fe9e10571c2bb7ca895d5828fb561
Signed-off-by: Cédric Ollivier <cedric.ollivier@orange.com>
(cherry picked from commit f31841906a7cddcecc4c8fba9b641265811e9b7f)

Increase Cloudify create_server_timeout

The timeout has been reached when running multiple vnfs in parallel.
Only few additional seconds seemed required here.

Change-Id: I0d6e38e827c581edb617bb0cc13249645468a2aa
Signed-off-by: Cédric Ollivier <cedric.ollivier@orange.com>
(cherry picked from commit 9c19bb9bb41e36d4ca70563649ced92ce7ab9b82)

Add fallback mechanism if vlan

private_v4 and public_v4 are incorrectly set when vlan is used as
overlay.

JIRA: FUNCTEST-996

Change-Id: I120a247e92e0fd295769b2a0eeb15ce82a0eabc8
Signed-off-by: Cédric Ollivier <cedric.ollivier@orange.com>
(cherry picked from commit 5522ecd302ee54b494714cb2e1af0fe2381e5c37)

Print stderr in logs when calling cmd over ssh

Change-Id: I152ac898661a0e99a6232df86689c70c468ceaa5
Signed-off-by: Cédric Ollivier <cedric.ollivier@orange.com>
(cherry picked from commit b66827d753e09c29cd6f541119dc0ec4c6344511)

Switch create_server timeout to default value

60s was successfully reached when running all containers (3
containers * 3 branches) in parallel.

It also removes the wait attribute (the current impl will meet
a possible next asynchronous design) which is useless here.

For the time being, only cloudify needs an extra timeout.

Change-Id: Ic7741b4c1a3223be076fb69ef70a3cb6c05456c2
Signed-off-by: Cédric Ollivier <cedric.ollivier@orange.com>
(cherry picked from commit 1b75bbbc4e842ca2c8c14957261c88692f9e4828)

Delete alt images before removing the account

Else it could raise unauthorized exceptions [1].

[1] https://build.opnfv.org/ci/view/functest/job/functest-apex-baremetal-daily-master/188/console

Change-Id: Ia9b857069f775e2c8ecc5e07cf39b3a1fb7e3540
Signed-off-by: Cédric Ollivier <cedric.ollivier@orange.com>
(cherry picked from commit 28a706149ede8c644f63c7b5a4f3b02a9806e548)

Fix cloudify src dirs

It completes "Refactor Ims testing" [1].

[1] https://gerrit.opnfv.org/gerrit/60331

Change-Id: I3d971a07ad1199ab48f81f7484d33e7f35d12377
Signed-off-by: Cédric Ollivier <cedric.ollivier@orange.com>

Protect vs exceptions when creating secrets

cloudify_ims sometimes faces with exceptions when creating secrets
[1].

[1] https://build.opnfv.org/ci/view/functest/job/functest-apex-baremetal-daily-master/188/console

Change-Id: I197748bf97752575dc14650e1e1c382774811cce
Signed-off-by: Cédric Ollivier <cedric.ollivier@orange.com>
(cherry picked from commit cfb241ab63898eb4a550fc571d34952d33996e9c)

Fix clearwater test results parsing

Before it could extract part of the skipped tests [1].

[1] https://build.opnfv.org/ci/view/functest/job/functest-compass-baremetal-daily-master/209/console

Change-Id: I7e7564cb7b96705940051fccf0ff1987f34bb962
Signed-off-by: Cédric Ollivier <cedric.ollivier@orange.com>
(cherry picked from commit 3d6f7e8b3a6cfe4c926bd93d45861c80970e35f7)

Fix clean() in cloudify ims and router

It raised exceptions in both branches [1]

[1] https://build.opnfv.org/ci/view/functest/job/functest-compass-baremetal-daily-master/209/console

Change-Id: I87b33cedae768f92296efa4570d2a47cd9cdbdf2
Signed-off-by: Cédric Ollivier <cedric.ollivier@orange.com>
(cherry picked from commit 6ff2161dd0af56bcbac49fd1417dc52031c55bf5)

Refactor Ims testing

Change-Id: I8b7b74a3753c2d4d4614e9a2798283bd3f99d5d2
Signed-off-by: Valentin Boucher <valentin.boucher@kontron.com>
(cherry picked from commit 026a9bfaa656d0e5ade327feda64f17796d6f209)

Release floating ips used by juju_epc

It also cleans flavor_alt and image_alt.

Change-Id: I62296075eca75c3c18caac4a3cddeef1fdb26e1b
Signed-off-by: Cédric Ollivier <cedric.ollivier@orange.com>
(cherry picked from commit d072a425f48640780ca6a6d1f6332ec73d6bf5be)

Remove VnfOnBoarding

All the vnfs are now inherating from scenarios.

Change-Id: I63509102067676ca0676b773db542086caa02d84
Signed-off-by: Cédric Ollivier <cedric.ollivier@orange.com>
(cherry picked from commit 366adc757e3beaeb1db7811df511a0e38c3eee6d)

Leverage vyos_vrouter on Cloudify

It also stop rebooting the VMs.

Change-Id: Ib0f9e1aac1dd8505378b0688930eb41a590a11f1
Signed-off-by: Cédric Ollivier <cedric.ollivier@orange.com>
(cherry picked from commit e2fe0591bcfc462a91c028a857d967f4b9832bbe)

Update juju_epc to leverage on new scenarios

It avoids duplicating codes across all OPNFV testcases.

It also fixes the issues when starting mongodb [1] by upgrading juju agent.
It stops supporting keystone v2 as the other testcases.

[1] https://build.opnfv.org/ci/view/functest/job/functest-compass-baremetal-daily-master/lastFailedBuild/console

Change-Id: I06cddddef1121292ffb695dcb73aa79a07c23192
Signed-off-by: Cédric Ollivier <cedric.ollivier@orange.com>
(cherry picked from commit 592584fbde2fb9b3b58015d374b2100026310d24)

1) Cleanup floating IPs that are assigned through Juju Deployment.
2) Add SCTP rule explicitly to the retrieved Security Group.

Change-Id: I38e5b1267dbcdcf8e5aadb3c06dd784044e774d4
Signed-off-by: soumaya <soumaya.nayek@rebaca.com>
(cherry picked from commit 92b52ef2bd3567c6c34288a22801249adb5ee7ab)

Stop overriding neutron extension discovery

Tempest is able to discover Trunk extensions [1].
Then it's useless to override tempest.conf for Neutron trunk testing.

[1] http://artifacts.opnfv.org/logs/functest/huawei-pod2/fraser/2018-07-26_12-11-20/tempest/tempest.log

Change-Id: Ie5f90d5b15b5535526db01b3f08ec55d3ab1e0c0
Signed-off-by: Cédric Ollivier <cedric.ollivier@orange.com>

Stop redirecting output to json files

Rally may print additional data to console which results in an
invalid json files. The json files are generated via rally instead of
dumping stdout.

It's mandatory to backport the next bugfix [1] in stable/fraser.

[1] https://gerrit.opnfv.org/gerrit/#/c/60265/

Change-Id: Ifbd90e685a7b52c70b3110a46e3c7991eddc05f4
Signed-off-by: Cédric Ollivier <cedric.ollivier@orange.com>
(cherry picked from commit 18c96abe8b6a3d6e919ff7ba64952454830357b3)

Refactor task results manipulation in rally

Use data provided by report generation since the output of task
results is not available as valid JSON if task didn't finish
gracefully.

JIRA: FUNCTEST-966

Change-Id: Ieb906bc209cc26055babd5f4e6b2bb556724f9a8
Signed-off-by: Juha Kosonen <juha.kosonen@nokia.com>
(cherry picked from commit a4ed4eb2b6802bcf10aa944854a68b16147245cc)

Set filename_alt in tempest

Change-Id: I9137ee30bd2107ec23ef6cfea92ccfc5f010410d
Signed-off-by: Cédric Ollivier <cedric.ollivier@orange.com>
(cherry picked from commit 29bd4108c51180a4d74443f676fc72866af6f1f6)

Allow overriding the default role

It allows testing controllers which implements other RBAC policies.
Defining NEW_USER_ROLE=admin will easily raise side effects for
orchestrators such as Juju and Cloudify.

Change-Id: Ia78a25381aeb8aa81fd1872661629e1c08432b8f
Signed-off-by: Cédric Ollivier <cedric.ollivier@orange.com>
(cherry picked from commit 51f3e7a3cc4409fb9dda03bffa1252a8660f38b0)

Typo

Change-Id: Ibff3b01c50bfee266d0b99fab5b7baf271d43de4
Signed-off-by: Cédric Ollivier <cedric.ollivier@orange.com>
(cherry picked from commit 59fa6d205d03464246442a362cbed3caa8e32a2a)

Leverage cloudify_ims on Cloudify

It also defines 2 new methods to avoid duplicating code:
  - TenantNetwork1.get_public_auth_url()
  - VmReady1.publish_image_alt()

Shaker and Tempest are updated as well.

Change-Id: Ie9095c57c580b95f067d5a8275ad71818b4df335
Signed-off-by: Cédric Ollivier <cedric.ollivier@orange.com>
(cherry picked from commit 8e96ddfb6a6548a9a7a9b4a686e01378425a1cd8)

Support py3 in uncovered packages

It has to be noted that cloudify_rest_client doesn't support py3 then
next unit tests vs cloudify-based testcases would be excluded.

Change-Id: I0b0e64929d1238665c778ce51fd6abd5ccf06b6c
Signed-off-by: Cédric Ollivier <cedric.ollivier@orange.com>
(cherry picked from commit 7f2d7515e068c2ba072d4f3b4cf0997e06ae8460)

Add py3 support in tempest and rally

Change-Id: I009d38a0db409ab4ec641cba9173ab2386d0ce2a
Signed-off-by: Cédric Ollivier <cedric.ollivier@orange.com>
(cherry picked from commit 09d6e6feef33fa47bca440a096894b851b1ebca5)

Remove cloudify_ims_perf

All that modules are uncovered, unverified and deprecated.
They will be safely reverted as soon as they are updated, verified by
gates and unit tests are added.

Change-Id: Iac0893f9f0ccb485d91cd17305e744aff9bf9414
Signed-off-by: Cédric Ollivier <cedric.ollivier@orange.com>
(cherry picked from commit cd8edb720d2e72842c35e9d6271fc81e6717679d)

Force region to RegionOne if OS_REGION_NAME is unset

tempest still selects the first one if unset [1].

JIRA: FUNCTEST-990

[1] https://docs.openstack.org/tempest/latest/sampleconf.html

Change-Id: I238d47173c2c4aa1db694028e4d44b80b0e280f1
Signed-off-by: Cédric Ollivier <ollivier.cedric@gmail.com>
(cherry picked from commit 8b2f524f0f17f06bf1de02e0165230bad218132b)

Refactor tempest common

It also renames two testcases and updates all docs because tests
run in parallel in case of tempest smoke.

To force one thread as before:
run:
    module: 'functest.opnfv_tests.openstack.tempest.tempest'
    class: 'TempestCommon'
    args:
        mode: '^tempest\.(api|scenario).*\[.*\bsmoke\b.*\]$'
        option:
            - '--concurrency=1'

JIRA: FUNCTEST-989

Change-Id: I1348f5908400a5046be8edf983db4afa12e546c3
Signed-off-by: Cédric Ollivier <cedric.ollivier@orange.com>
(cherry picked from commit eb8f57466325f398c6b8b5f4d15005c71879a269)

Add helper to find string in console

It allows checking when cloud-init is finished (see heat_ims).

Change-Id: I951aabff29457d7b7544a809f9fce1f83706035e
Signed-off-by: Cédric Ollivier <cedric.ollivier@orange.com>
(cherry picked from commit a80ebe8794dd2693203ceea65a13a69dcf508f94)

Minor change about subnet pool

It reverts the subnet pool to 192.168.120.0/24.
It avoids conflicts with default CPE private subnets.

It also increases cloudify spawning timeout.

Change-Id: I70183cede0690c2cbc74f9c30a38892d829db2c9
Signed-off-by: Cédric Ollivier <cedric.ollivier@orange.com>
(cherry picked from commit cb7e4e1e0687b79a0528ebe6a37683049d960210)

Increase timeout when creating servers

It takes times to prepare disk on compute nodes (spawning).
The default value is enough for all cirros VMs but it has to be
increased for all cloudify VMs (4.1G).

Change-Id: I3f1fc0142a73c586e9219a2718bfc467cc48e275
Signed-off-by: Cédric Ollivier <cedric.ollivier@orange.com>
(cherry picked from commit c391f57e6797e544d14285ca433b2499ed84cd5f)

Reduce cloudify manager disk size

40 Gb is enough

Change-Id: Iae6a72fcf91fda67bbd036f478e344478d48264f
Signed-off-by: Valentin Boucher <valentin.boucher@kontron.com>
(cherry picked from commit 363060485f107bb0af09977e101abc54f1fa207c)

Add secrets operations in cloudify.py

It tries to prevent race conditions when running cloudify_ims.

Traceback (most recent call last):
  File "/usr/lib/python2.7/site-packages/functest/core/singlevm.py", line 411, in run
    if not self.execute():
  File "/usr/lib/python2.7/site-packages/functest/opnfv_tests/vnf/ims/cloudify_ims.py", line 120, in execute
    self.cfy_client.secrets.create(k, val)
  File "/usr/lib/python2.7/site-packages/cloudify_rest_client/secrets.py", line 86, in create
    response = self.api.put('/secrets/{0}'.format(key), data=data)
  File "/usr/lib/python2.7/site-packages/cloudify_rest_client/client.py", line 263, in put
    timeout=timeout)
  File "/usr/lib/python2.7/site-packages/cloudify_rest_client/client.py", line 233, in do_request
    'SSL, but the client does'.format(e)
ConnectionError: ('Connection aborted.', BadStatusLine("''",))

Change-Id: Id2603bbda462b50d3140b6f45894c8810d542e4c
Signed-off-by: Cédric Ollivier <cedric.ollivier@orange.com>
(cherry picked from commit f426c72f2bb6381c631794a4b9f4c3322832e0d3)