Update Config Guide

Change-Id: Ia3ab203a22db252ba3603d8a9f335c0257f0523b
Signed-off-by: Cédric Ollivier <cedric.ollivier@orange.com>

Merge "Stop cloning when running vyos_vrouter"

Stop cloning when running vyos_vrouter

It moves the clone operation into docker build instead.

Change-Id: I296005d8638510a999665d383a26c4fcd48897a6
Signed-off-by: Cédric Ollivier <cedric.ollivier@orange.com>

Merge "Fix dict conversion in tempest.conf"

Fix dict conversion in tempest.conf

https://github.com/openstack/oslo.config/blob/master/oslo_config/types.py#L600
https://build.opnfv.org/ci/view/fuel/job/functest-fuel-virtual-daily-master/817/consoleFull

Change-Id: Icde9938bb9f6c0c37d2504317f31b0af4ef9ee8e
Signed-off-by: Cédric Ollivier <cedric.ollivier@orange.com>

Merge "Remove one useless security group"

Remove one useless security group

This rule breaks lookup when the user created is admin.

Change-Id: I2fe3dba687bd5d151cd7e53217586a0bcb21815d
Signed-off-by: Cédric Ollivier <cedric.ollivier@orange.com>

Do not raise exceptions in conf_utils

Return a reasonable value for caller to process.

Change-Id: I5a83544aaebb4e53db37ddaa13033d77848722b8
Signed-off-by: Juha Kosonen <juha.kosonen@nokia.com>

Add role to users created by rally if required

It sets [openstack] keystone_default_role if NEW_USER_ROLE differs
from member.

Change-Id: Ib6be5cf22654e882ea110298cba421c1e87c78fd
Signed-off-by: Cédric Ollivier <cedric.ollivier@orange.com>

Conform with Barbican gates

tempest.conf conforms with Devstack post-actions [1].

One test is still disabled as it may force to sign all images.
A deeper analysis has to be done before enabling it.

[1] https://github.com/openstack/barbican-tempest-plugin/blob/master/tools/pre_test_hook.sh

Change-Id: I163c0e7c4671ca67f0b6c127c29fdcb12a8e426b
Signed-off-by: Cédric Ollivier <cedric.ollivier@orange.com>

Update scenario section in tempest.conf

It's required at least by Barbican tempest plugin.

Change-Id: I46a65ee5fee044917c5375adaa8ebb529efe86ec
Signed-off-by: Cédric Ollivier <cedric.ollivier@orange.com>

Merge "Protect vs OS_ENDPOINT_TYPE in shaker"

Protect vs OS_ENDPOINT_TYPE in shaker

Else a conflict can occur between OS_INTERFACE and OS_ENDPOINT_TYPE.

Change-Id: I3e0237857f95e506706fb852889308ea82e41e84
Signed-off-by: Cédric Ollivier <cedric.ollivier@orange.com>

Merge "Remove vmtp and shaker from docker/smoke/testcases.yaml"

Merge "Create network via admin user"

Remove vmtp and shaker from docker/smoke/testcases.yaml

Change-Id: Ic5754821542e873bb7d33a8864a852993947b762
Signed-off-by: Cédric Ollivier <cedric.ollivier@orange.com>

Avoid cloning repos

It inits the repos and fetch the required tags/ids/branches.
All tags are fetched to meet pbr requirements.

Change-Id: I0accd8ad04b93d63857e301dea11af69e0edf957
Signed-off-by: Cédric Ollivier <cedric.ollivier@orange.com>

Create network via admin user

It creates the network via admin user as segmentation id may be set.

Change-Id: I853f40e09aee9a658fc2373cd7e8bf00e3c0c3ad
Signed-off-by: Cédric Ollivier <cedric.ollivier@orange.com>

Merge "Refactor RallyBase"

Refactor RallyBase

This provides a more generic way to integrate test case lists which are
not hosted in Functest.

Also removes vm scenarios since they have never been a part of actual
rally runs.

Change-Id: Ib0a020fe72800915bbf2d10ecc690a248d33c246
Signed-off-by: Juha Kosonen <juha.kosonen@nokia.com>

Update tempest plugins tags

Neutron and Barbican tempest plugins have just been released.

Change-Id: Ib9c523e9a75dae31249fd84ba454d0ef8537ca1d
Signed-off-by: Cédric Ollivier <cedric.ollivier@orange.com>

Switch from tempest section to openstack

Rally warns from these deprecated conf sections.

Change-Id: I15933c4f2cda14384e53202ec22f438a586d7b05
Signed-off-by: Cédric Ollivier <cedric.ollivier@orange.com>

Move shaker and vmtp into functest-benchmarking

It also updates all jobs and fixes Dockerhub hooks.

Change-Id: Ib182155736b4dbdb829293081741a9d5cb8ea6d7
Signed-off-by: Cédric Ollivier <cedric.ollivier@orange.com>

Update Xtesting to 0.60

Xtesting leverages on stevedore [1] which will bring much more
flexibility (discovery, module or class renaming, etc).

OPNFV Features have to be updated as well:
  - https://gerrit.opnfv.org/gerrit/61713
  - https://gerrit.opnfv.org/gerrit/61715
  - https://gerrit.opnfv.org/gerrit/61717
  - https://gerrit.opnfv.org/gerrit/61719

[1] https://docs.openstack.org/stevedore/latest/

Change-Id: I0ce45eb6c9af66546c2c020eb962fa457f6c7e1a
Signed-off-by: Cédric Ollivier <cedric.ollivier@orange.com>

Merge "Optimize fetch"

Optimize fetch

depth 1 is set when fetching.

Change-Id: I1b470d1e370e18de9b3cfa51e5aea0374f76cac6
Signed-off-by: Cédric Ollivier <cedric.ollivier@orange.com>

Merge changes Ib7384772,I94e94c21

* changes:
  Update to Alpine 3.8
  Publish unit test report

Update to Alpine 3.8

https://alpinelinux.org/posts/Alpine-3.8.0-released.html

Change-Id: Ib7384772175dd83f735d8cfbfafa1cef3fdc382c
Signed-off-by: Cédric Ollivier <cedric.ollivier@orange.com>

Merge changes I4079fa36,I3ad7a38e

* changes:
  Allow refs as vnf requirement versions
  Avoid downloading git history

Publish unit test report

It leverages on nosehtmloutput [1]

[1] https://github.com/openstack-infra/nose-html-output

Change-Id: I94e94c2127b4ff8e032e121dd2bd56b3c22809f8
Signed-off-by: Cédric Ollivier <cedric.ollivier@orange.com>

Allow refs as vnf requirement versions

Change-Id: I4079fa3641373eee40f8a876a2a525635f2752eb
Signed-off-by: Cédric Ollivier <cedric.ollivier@orange.com>

Avoid downloading git history

It decreases container build duration.
depth 1 is set only when TAG is not a commit id because
github.com doesn't advertise commit ids.

It switches to git.openstack.org as much as possible.

Change-Id: I3ad7a38eda0f7023302d71bb55de23828120f599
Signed-off-by: Cédric Ollivier <cedric.ollivier@orange.com>

Merge "Add concurrency parameter to refstack_defcore tests"

Ensure len(project_name) < 64

https://build.opnfv.org/ci/view/functest/job/functest-apex-baremetal-daily-master/259/console
https://build.opnfv.org/ci/view/functest/job/functest-fuel-baremetal-daily-master/428/console

Change-Id: Ib64878962a71b6b45ef039fce8bfaa43172b2498
Signed-off-by: Cédric Ollivier <cedric.ollivier@orange.com>

Merge "Create new project/user for tempest tests"

Add concurrency parameter to refstack_defcore tests

In fraser release we observed that refstack tests are executed in parallel
and that might causes problems in CI because without concurrency
parameter it will try to use as many cpus as possible and that might
lead to race condition issues.

This patch is created for backporting purposes to fraser branch
where the problem occurs.

JIRA: DOVETAIL-662

Change-Id: I6cf0ad3a32e88f04abd00d69523aa8ac47c39470
Signed-off-by: Dimitrios Markou <mardim@intracom-telecom.com>

Create new project/user for tempest tests

JIRA: FUNCTEST-1009

Change-Id: I6b9bca3827ba6cc804c25689a896ca63eec6a78b
Signed-off-by: Juha Kosonen <juha.kosonen@nokia.com>

Merge "Support pre-Provisioned credentials"

Support pre-Provisioned credentials

If USE_DYNAMIC_CREDENTIALS = False, Functest is expected for
/home/opnfv/functest/data/accounts.yaml which contains the set of
pre-existing credentials to use for testing [1].

It also sets admin_domain_scope and default_credentials_domain_name.

[1] https://docs.openstack.org/tempest/latest/configuration.html

Change-Id: Ie7b81f0c56049260ca99b8e3a6d58cb8a2660659
Signed-off-by: Cédric Ollivier <cedric.ollivier@orange.com>

Merge "Remove installer type from rally blacklist"

Merge "Remove installer type from tempest blacklist"

Merge "Allow adding a specific role to users created by tempest"

Allow adding a specific role to users created by tempest

It may allow bypassing RBAC policies if required.

Change-Id: I3b7ad44d7b80f8ea757846afdcd787b686c52856
Signed-off-by: Cédric Ollivier <cedric.ollivier@orange.com>

Remove installer type from tempest blacklist

Enables utilization of blacklist also on non-OPNFV environments since
there is no link to installer type.

JIRA: FUNCTEST-1008

Change-Id: I3a012b8b7e7dbd049f8794dff3c9d56dcc1cadad
Signed-off-by: Juha Kosonen <juha.kosonen@nokia.com>

Merge "Protect vs TypeErrors when cleaning stacks"

Remove installer type from rally blacklist

Enables utilization of blacklist also on non-OPNFV environments since
there is no link to installer type.

JIRA: FUNCTEST-1008

Change-Id: I3eb4377af153480794c1a71c5d7ef3e78dacacb9
Signed-off-by: Juha Kosonen <juha.kosonen@nokia.com>

Protect vs TypeErrors when cleaning stacks

It protects vs exceptions raised by shade when cleaning stacks.

Traceback (most recent call last):
  File "/usr/lib/python2.7/site-packages/functest/opnfv_tests/vnf/ims/heat_ims.py", line 226, in clean
    self.cloud.delete_stack(self.stack.id, wait=True)
  File "/usr/lib/python2.7/site-packages/shade/openstackcloud.py", line 1416, in delete_stack
    marker=marker)
  File "/usr/lib/python2.7/site-packages/shade/_heat/event_utils.py", line 90, in poll_for_events
    stack_status = stack['stack_status']
TypeError: 'NoneType' object has no attribute '__getitem__'

Change-Id: I1a0ed0cd669d5234ca1ff3b6bbc9d1b13f14b02f
Signed-off-by: Cédric Ollivier <cedric.ollivier@orange.com>

Fix snaps commit id

Snaps is part of main Functest testcases (Healthcheck).
A fixed version has to be pulled.

We will switch later to snaps packages instead of commit ids.

Change-Id: Ibbc3f1009233ccfb67463b49203b756ea86d3121
Signed-off-by: Cédric Ollivier <cedric.ollivier@orange.com>

Support VIO (VMware in OpenStack)

It allows converting all images to vmdk and then patching all
testcases. DEPLOY_SCENARIO should match vio to do so.

convert_images.sh has to be called as prerequisite.

JIRA: FUNCTEST-992
JIRA: FUNCTEST-993

Change-Id: Ie35bf80af1cd9610a8c416ec01b81b61c6148cfe
Signed-off-by: Cédric Ollivier <cedric.ollivier@orange.com>

Use only one image in heat_ims

It calls VmReady2.run instead of publishing alt image.

Change-Id: If24741fbc5bf7fa3f61ef39a054b148ce53fc4fc
Signed-off-by: Cédric Ollivier <cedric.ollivier@orange.com>

Avoid duplicating jjb names

It allows loading functest and functest-kubernetes jjbs in one
Jenkins.

Change-Id: Ia52e84583bc25aad0d1508096b536cbd5585d261
Signed-off-by: Cédric Ollivier <cedric.ollivier@orange.com>

Set juju wait version

It's mandatory before releasing.

Change-Id: Iac7b49fb1061b39ee6683e7b30f163cfc2060a95
Signed-off-by: Cédric Ollivier <cedric.ollivier@orange.com>

Set Neutron and Barbican tempest plugins commit ids

They are mandatory before releasing.

Change-Id: I2980536e28d183343ff0a9520ca9ee663e437fee
Signed-off-by: Cédric Ollivier <cedric.ollivier@orange.com>

Remove INSTALLER_TYPE logics in odl

JIRA: APEX-621
JIRA: COMPASS-606

Change-Id: I76dde66aefc67f80b40496f705f2864ea9355dcf
Signed-off-by: Cédric Ollivier <cedric.ollivier@orange.com>

Update pip to last version

It allows downloading refs (gerrit reviews).

Change-Id: I303f9b753f560fdf945997c7a86e1e29fbd59a06
Signed-off-by: Cédric Ollivier <cedric.ollivier@orange.com>

Fully remove CreateInstanceSingleNetworkTests

It's linked to a specific configuration on purpose which doesn't meet
all OpenStack deployments [1].

JIRA: SNAPS-322

Change-Id: I372f8ed56600e1846383d1da76720a0d3783e901
Signed-off-by: Cédric Ollivier <cedric.ollivier@orange.com>

Merge "Auto Generated INFO.yaml file"

Merge "Integrate Stor4NFV feature openstack test case"

Auto Generated INFO.yaml file

INFO.yaml meant to be machine readable.
This file was auto generated from an ldap lookup
and your projects INFO file.

Meeting times are not currently filled out.
please ammend this patchset to complete

Going forward comitter promotions should be done
against this file.

PTLs:
Must be merged for you to gain delete access on
testresults.opnfv.org

Change-Id: Icbe20cdc100c37203a305617fa931ef9e76e4e12
Signed-off-by: agardner <agardner@linuxfoundation.org>

Integrate Stor4NFV feature openstack test case

Change-Id: I245d0fbe8f026a24138ede4041caae4dccc15cc0
Signed-off-by: Qiaowei Ren <qiaowei.ren@intel.com>

Merge "Create new project/user for snaps tests"

Create new project/user for snaps tests

JIRA: FUNCTEST-1003

Change-Id: Ic55998977386f95f619a355d22bd285782fe81f0
Signed-off-by: Juha Kosonen <juha.kosonen@nokia.com>

Create output directory

The rally.conf gets copied before the target directory has been created.

JIRA: FUNCTEST-1007
JIRA: DOVETAIL-730

Change-Id: Ie774fce994ada644c1163600e6c62e1231fde443
Signed-off-by: Georg Kunz <georg.kunz@ericsson.com>

Execute refstack_defcore in ci/run.yaml

Change-Id: Ib65203e74244d87f7ac6b24f6e6abf723c57a786
Signed-off-by: Cédric Ollivier <cedric.ollivier@orange.com>

Temporarily disable shelve

They are blocking in Orange Openlab as the support is missing.
A dynamic check has to be implemented before activating it.

Change-Id: I8d87251fa4589f96d3515e411aeec5e79b7e7960
Signed-off-by: Cédric Ollivier <cedric.ollivier@orange.com>

Fix fixed_network_name in tempest.conf

It also copies rally.conf and tempest.log in res_dir.

Change-Id: Ib907a29ba3f47ca861d3af8afc0ee74446222e89
Signed-off-by: Cédric Ollivier <cedric.ollivier@orange.com>

ci/download_images.sh: Reduce wget dot reporting

Downloading large images outputs a lot of useless dots to show
progress. Switch to 1M per dot (from 1K).

Change-Id: I00e3d09ef28e7722798eeadc27649a96398aac32
Signed-off-by: Alexandru Avadanii <Alexandru.Avadanii@enea.com>

Publish Functest daily and gate jobs

As opposed to the Releng ones, they are designed to be easily
executed by endusers as well. They can be considered as a first step
towards a full Functest CI/CD toolchain deployed via docker-compose.

All components testcases are enabled here.

They hugely leverage on templates to load the right yamls per branch
and multijobs to run testcases in parallel. Many steps are proposed
allowing running part of the chain.

Executors have to be increased to allow running them (it was tested
vs 10 and more).

At first, all docker images are downloaded to avoid different
versions between testcases.

They will be improved in a second change to ensure that only one node
is selected and to take all Functest env vars into account.

Change-Id: I99c7b8ee5d0ddbb00102b3147739b5e8b5c65c23
Signed-off-by: Cédric Ollivier <cedric.ollivier@orange.com>

Add vgpu in global testcases.yaml

It completes the patch introducing vgpu [1].

[1] https://gerrit.opnfv.org/gerrit/#/c/60713/

Change-Id: Ib2a22dd656d365e87a37a239f0a0ee747c95b117
Signed-off-by: Cédric Ollivier <cedric.ollivier@orange.com>

Typos (ressources)

Change-Id: Ifcf1d4bd48b64bc9175c3b0d594f897f4f3f5e7d
Signed-off-by: Cédric Ollivier <cedric.ollivier@orange.com>

Update Xtesting to 0.58.0

It returns the right status if exception in constructor.

Change-Id: I163c0cbb2e1f07b2ada4a5ba28e217906946fa2c
Signed-off-by: Cédric Ollivier <cedric.ollivier@orange.com>

Split modules in apidoc

Change-Id: Iff2bd9377efb4e8abde35ef3fc38aca120feccaf
Signed-off-by: Cédric Ollivier <cedric.ollivier@orange.com>

Fix rtd requirement order

Change-Id: Ie2fbd978ed0bb9772d66eb367f1bdad32c5afd61
Signed-off-by: Cédric Ollivier <cedric.ollivier@orange.com>

Add rtd-requirements

It's required by rtd which doesn't leverage on PBR.

Change-Id: Ia7ac5ecbb626d5c8b4c9095a1238db55e20790b0
Signed-off-by: Cédric Ollivier <cedric.ollivier@orange.com>

Generate API doc rst files

It also fixes few docstrings

Change-Id: I10bae7b7fab40edd931dd55ab8859946e3b38a71
Signed-off-by: Cédric Ollivier <cedric.ollivier@orange.com>

Publish Functest doc online

It reverts Sphinx theme to the default one as it's hugely better for
API docs.

Change-Id: Ic489e9b65d67d71fadb8ef78176a04cc382a3f5d
Signed-off-by: Cédric Ollivier <cedric.ollivier@orange.com>

Update refstack test version to 2018.02

To conform with Openstack Queens

Change-Id: I7d65a1d7fe7c9a30e2c00a8a0eac2ab3fe1b9428
Signed-off-by: Linda Wang <wangwulin@huawei.com>

Clean /etc/rally.conf

Else rally_sanity may print logs in tempest_smoke res dir.

Change-Id: Iae97d533e9b99dcf8da70229b0675228472bfe52
Signed-off-by: Cédric Ollivier <cedric.ollivier@orange.com>

Update restack defcore sync

It stops depending on refstack_client which cannot work till
OpenStack Queens.

JIRA: FUNCTEST-977

Change-Id: I2340643de82ab10d8fb83fb3a7fbfd1f412b2d7b
Signed-off-by: Cédric Ollivier <cedric.ollivier@orange.com>

Merge "Allow overriding rally-tag if OpenStack master"

Merge "Create new project/user for rally test"

Allow overriding rally-tag if OpenStack master

It allows setting a newer rally-openstack tag in ollivier containers
to include "Fix the gates about cinder" [1].

TypeError: create() got an unexpected keyword argument 'source_replica'

[1] https://github.com/openstack/rally-openstack/commit/67882d55ca453d6aa863d279ec4cfc2b52c80f0a
[2] https://bugs.launchpad.net/rally/+bug/1785519

Change-Id: I5ed1002f345b0a9c51783850d09d0f336d0ed3d9
Signed-off-by: Cédric Ollivier <cedric.ollivier@orange.com>

Update to Xtesting 0.57

It protects vs unset POD_ARCH (It completes "Disable Vmtp if POD_ARCH
= aarch64" [1])

[1] https://gerrit.opnfv.org/gerrit/#/c/60927/

Change-Id: I343c7a9047fe09aad7b9a39d0d045ac709f07a7a
Signed-off-by: Cédric Ollivier <cedric.ollivier@orange.com>

Create new project/user for rally test

FUNCTEST-1002

Change-Id: Id19b9aa70aeded6d99978084b3de4a63e31a81ad
Signed-off-by: Juha Kosonen <juha.kosonen@nokia.com>

Remove all lxd refs

All Joid runs are stopped, then these scenarios can't be maintained.

Change-Id: Ida7c8c86cbd377024047d4abbbc1806ad65afc8a
Signed-off-by: Cédric Ollivier <cedric.ollivier@orange.com>

Set rally-openstack tag

It also updates rally to the latest tag.
Then it will allow updating pip if required (to clone refs).

Change-Id: I6edb172954672780f627370b0dd0acf0754da635
Signed-off-by: Cédric Ollivier <cedric.ollivier@orange.com>

Conforms Vmtp with create_server_timeout

https://build.opnfv.org/ci/view/functest/job/functest-fuel-baremetal-daily-master/387/console

Change-Id: I3ef130bf5ad4b46f26776feeaa434ca528965f36
Signed-off-by: Cédric Ollivier <cedric.ollivier@orange.com>

Disable Vmtp if POD_ARCH = aarch64

Vmtp package delivers amd64 binaries in both architectures.

JIRA: ARMBAND-396

Change-Id: I4c6e010e47c8aa9adfafb373c261262d23ef382a
Signed-off-by: Cédric Ollivier <cedric.ollivier@orange.com>

Allow setting two image extra properties per testcase

It conforms with the flavor extra specs model [1].

[1] https://gerrit.opnfv.org/gerrit/#/c/60713/

Change-Id: I1555a313aaf56ae47f9ad2a4529eb8b94e636c00
Signed-off-by: Cédric Ollivier <cedric.ollivier@orange.com>

Update all patch configs

It takes all new testcases into account.
It allows running vnfs vs dpdk scenarios too.

Change-Id: I789f6bb1c3df891b1a94f2a674c15085f81f2f23
Signed-off-by: Cédric Ollivier <cedric.ollivier@orange.com>

Update to Xtesting 0.56

Change-Id: Ia7eb5f6c7448bcd760ebb19e2ad66ba183242e83
Signed-off-by: Cédric Ollivier <cedric.ollivier@orange.com>

Merge "Test OpenStack vGPU feature"

Fix rally args when serial (tempest_scenario)

Change-Id: I04c2389310d1377452a171da9bf50fde67e94e7c
Signed-off-by: Cédric Ollivier <cedric.ollivier@orange.com>

Test OpenStack vGPU feature

XCI will be able to deploy this feature
on top of pharos lab with GPU so we have test it

This test can be improved in the future with OpenCL tests etc

|        DEPLOY_SCENARIO        |       os-nosdn-vgpu-ha     |

+-------------------+-------------------+------------------+----------------+
|     TEST CASE     |      PROJECT      |     DURATION     |     RESULT     |
+-------------------+-------------------+------------------+----------------+
|        vgpu       |      functest     |      01:00       |      PASS      |
+-------------------+-------------------+------------------+----------------+

Change-Id: I50618f47097a0257b1834b3966054d20458715df
Signed-off-by: Valentin Boucher <valentin.boucher@kontron.com>

Merge "Publish rally logs to ease debugging."

Merge "Remove explicit Rally task validation"

Publish rally logs to ease debugging.

It also redirect stderr to stdout as tempest mainly prints in stderr.

JIRA: FUNCTEST-999

Change-Id: I64bfa31b01aa2ce5444b6e0f0ac46f8cde8dbaa3
Signed-off-by: Cédric Ollivier <cedric.ollivier@orange.com>

Remove explicit Rally task validation

Utilize the output of Rally task execution since it internally
validates the task.

Use Popen.communicate to get the output from the running Rally task.

Change-Id: I9b1299bc26129ff4f89adccec611c78195a3ab02
Signed-off-by: Juha Kosonen <juha.kosonen@nokia.com>

Switch to vmtp commit id

The patch "Reuse the router passed as config if available" [1] was
merged.

[1] https://review.openstack.org/#/c/588459/

Change-Id: Iad8a1ff694f0bff3e13922a6c248dbe49b313a11
Signed-off-by: Cédric Ollivier <cedric.ollivier@orange.com>

Merge "Fix method name in Vmtp"