Conform with vyos descritor updates

The new inputs [1] must be set else the testcase simply fails [2].

JIRA: FUNCTEST-936

[1] https://github.com/oolorg/opnfv-vnf-vyos-blueprint/commit/794f8a0594ed4c461c7d1d08d6b0ef9fb12004e2
[2] https://build.opnfv.org/ci/view/functest/job/functest-daisy-baremetal-daily-master/12/console

Signed-off-by: Cédric Ollivier <cedric.ollivier@orange.com>
Change-Id: I1113581feac7d4dc901ba197caed4fddd5994929

Update xtesting to 0.31

It mainly fixes regex when INSTALLER_TYPE is unset [1]

[1] https://gerrit.opnfv.org/gerrit/#/c/54089/

Change-Id: I57430e87ec7b988337697417e319cf4f9b207e0d
Signed-off-by: Cédric Ollivier <cedric.ollivier@orange.com>

Allow exceptions when deleting a missing verifier

Change-Id: I2e48bdcf9bce872a4a7855f9f6cd05d2b4897244
Signed-off-by: Cédric Ollivier <cedric.ollivier@orange.com>

Mute log in vnfs

It also configures the nameserver when creating the subnet in
juju_epc.

Change-Id: I163ba99cd56f44ca3c3464398e182152b3ab74dd
Signed-off-by: Cédric Ollivier <cedric.ollivier@orange.com>

Refactor refstack to limit instructions

Change-Id: I3cd490d18898d0ee6f48e4c19d7ed65c0cf0c275
Signed-off-by: Cédric Ollivier <cedric.ollivier@orange.com>

Mute all rally messages

The are now printed in functest.log only.

JIRA: FUNCTEST-950

Change-Id: I1fdd0e0f1be19fc5e7536326acb6a66645610696
Signed-off-by: Cédric Ollivier <cedric.ollivier@orange.com>

Decrease log levels when trying to connect

Only the last attempt should be printed in console.

Change-Id: Ic1ed5887195c98c64ade4558ac20ebd814e38bab
Signed-off-by: Cédric Ollivier <cedric.ollivier@orange.com>

Precise tempest regex

It stops running neutron tests which matched the former regex.

Change-Id: Ica5a0d1f4858d01533156c98da87f9ed4662489f
Signed-off-by: Cédric Ollivier <cedric.ollivier@orange.com>

Refactor Patrole to limit instructions

Change-Id: Ie0ab079b1f674587ff3d68bf170df2296303780e
Signed-off-by: Cédric Ollivier <cedric.ollivier@orange.com>

Set api_extensions = all for NeutronTrunk only

Change-Id: I6c019094a9cea86f5990752463a3690d4f00df0c
Signed-off-by: Cédric Ollivier <cedric.ollivier@orange.com>

Set project_name arg when creating users

It also print snaps_creds to ease debugging [1].

[1] https://build.opnfv.org/ci/view/functest/job/functest-joid-baremetal-daily-master/22/console

Change-Id: I5b0d0dcffe3e45d8fa7d1d7d8ce19172fc42aaa1
Signed-off-by: Cédric Ollivier <cedric.ollivier@orange.com>

Disable features in nofeature scenario

Only Funtest testcases are verifying the referent scenarios.

Change-Id: I29dfa012e9cba39216fdd58e5fd59255844f335b
Signed-off-by: Cédric Ollivier <cedric.ollivier@orange.com>

Merge "Create 2 images and flavors for tempest tests"

Remove the image for orchestra tests

Change-Id: I80797fc08c03795c6e1ec604306f77da7ecefc19
Signed-off-by: Linda Wang <wangwulin@huawei.com>

Create 2 images and flavors for tempest tests

Also
1. remove the obsolete function: generate_test_accounts_file
2. Use patch mechanism to get config

Change-Id: I455ac37de71519bcaf9a51e5f1de1b9bc83b9ba6
Signed-off-by: Linda Wang <wangwulin@huawei.com>

Set blocking of patrole false

Change-Id: Ia6f0c6fec30af5c4124f21b2bdaa3084bced6f9e
Signed-off-by: Linda Wang <wangwulin@huawei.com>

Merge "Refactor TempestCommon to simplify subclasses"

Refactor TempestCommon to simplify subclasses

Change-Id: I8d265b6939861fd9d02a3d0f31aef53b9bfcb035
Signed-off-by: Cédric Ollivier <cedric.ollivier@orange.com>

Get odl ip from env on Compass

Change-Id: I9ed2cdeef461c27381ecdfd56e5347ded61b5cb8
Signed-off-by: Linda Wang <wangwulin@huawei.com>

Merge "Implement trunk ports testcase"

Leverage on VOLUME_DEVICE_NAME if Fuel

As Fuel sets VOLUME_DEVICE_NAME [1], the specific conditional
instruction can be removed.

[1] https://build.opnfv.org/ci/job/functest-fuel-baremetal-daily-master/18/console

Change-Id: Iee3fd7c969cf31c8017b73c6ffd646f0e33a9e73
Signed-off-by: Cédric Ollivier <cedric.ollivier@orange.com>

Bypass APEX-570 when publishing image metadata

This temporarily fix aims at testing juju_epc vs a non default region
name [1]. It must be removed as soon as APEX is fixed [2].

It completes the previous patch which only modified credentials [3].

[1] https://build.opnfv.org/ci/view/functest/job/functest-apex-baremetal-daily-master/lastFailedBuild/console
[2] https://jira.opnfv.org/browse/APEX-570
[3] https://gerrit.opnfv.org/gerrit/#/c/53465/

Change-Id: I3e1e64ad7147ee5cdf899eb2500f8b825b818619
Signed-off-by: Cédric Ollivier <cedric.ollivier@orange.com>

Implement trunk ports testcase

The tempest testcases have been integrated from Neutron trunk
testcases. It also enables every Neutron extension which may raise
side effects [1].

[1] https://docs.openstack.org/tempest/latest/sampleconf.html

JIRA: FUNCTEST-926

Change-Id: I05015acf119f504ce0a5539d677719de874594ad
Signed-off-by: Panagiotis Karalis <pkaralis@intracom-telecom.com>

Merge "Add patrole in smoke"

Add patrole in smoke

It also removes the former container which had helped when
checking possible regex issues.

I should be noted that patrole is already part of
opnfv/functest-restapi.

Change-Id: I76783bc3d121dfcef5b709f21a5e474354e93705
Signed-off-by: Cédric Ollivier <cedric.ollivier@orange.com>

Fix tempest_custom

Change-Id: I684c06eae899d9bc468e0be6a1537f9c942e86ce
Signed-off-by: Linda Wang <wangwulin@huawei.com>

Remove orchestra testcases

They are incompatible with Pike and they have to be removed without
any deep update.

The testcases will be re-renabled if updated before 03/16/18.

Change-Id: Ibf656db6ba4177eae44feb41cd5d314b7408d4de
Signed-off-by: Cédric Ollivier <cedric.ollivier@orange.com>

Merge "Stopping setting identity-feature-enabled if Patrole"

Merge changes from topic 'refactor_tempest'

* changes:
  Rewrite refstack testcase
  Fix many pylint warnings

Merge changes from topic 'refactor_tempest'

* changes:
  Refactor configure_tempest_patrole()
  Improve tempest files management

Stopping setting identity-feature-enabled if Patrole

It avoids differing from all other tempest-based testcases for a
useless config option.

Change-Id: I02e1786f0ba3c1f7da11f258e80f57ca624247f9
Signed-off-by: Cédric Ollivier <cedric.ollivier@orange.com>

Merge "Add patrole in opnfv/functest-restapi"

Rewrite refstack testcase

It now leverages on rally to factorize code between all tempest-based
testcases.

refstack-client is also added as requirement.

JIRA: FUNCTEST-942

Change-Id: Ieee845327f8736582d77b898edd6c9edd00667e0
Signed-off-by: Cédric Ollivier <cedric.ollivier@orange.com>

Fix many pylint warnings

Only pylint warnings in vnf modules has to be fixed now.

Change-Id: Ie71230072a51bb72ec0b1d4fef2652494d29948e
Signed-off-by: Cédric Ollivier <cedric.ollivier@orange.com>

Bypass APEX-570 to allow gating juju_epc

This temporarily fix aims at testing juju_epc vs a non default region
name [1]. It must be removed as soon as APEX is fixed [2].

[1] https://build.opnfv.org/ci/view/functest/job/functest-apex-baremetal-daily-master/lastFailedBuild/console
[2] https://jira.opnfv.org/browse/APEX-570

Change-Id: I0724b694efb43709d43da6a30e11d1daafee47d8
Signed-off-by: Cédric Ollivier <cedric.ollivier@orange.com>

Refactor configure_tempest_patrole()

Change-Id: I1c34b3bce68a7d57d63fb2e5e4b6aa003dda8f61
Signed-off-by: Cédric Ollivier <cedric.ollivier@orange.com>

Improve tempest files management

Calling apply_tempest_blacklist() is no longer mandatory.

Change-Id: Id9a4e970c8acca066a36be89920745127867cd63
Signed-off-by: Cédric Ollivier <cedric.ollivier@orange.com>

Add patrole in opnfv/functest-restapi

Change-Id: I983898c27477986d9a5610e1df966fd00a8bc785
Signed-off-by: Cédric Ollivier <cedric.ollivier@orange.com>

Enhance patrole configurations

It allows listing the OpenStack services tested or setting test
exlusions (e.g. tests requiring GRE as overlay).

It should be noted that Keystone and Nova can't currently be tested
without their default policy.json.

Change-Id: I8909694b4ffc315959504441f5ea0b1f3023fe7c
Signed-off-by: Cédric Ollivier <cedric.ollivier@orange.com>

Add one missing res dir in refstack

It completes "Allow overriding tempest output dir" [1]

[1] https://gerrit.opnfv.org/gerrit/#/c/53241/

Change-Id: I236a1eb708de324dd42440897e317ce2d0787ffc
Signed-off-by: Cédric Ollivier <cedric.ollivier@orange.com>

Remove duplicate ubuntu trusty/14.04 os image

VNF testcase use some Operating System image
2 of those are the same but not with the same name

Change-Id: Ide5ae683f606f7f58535c0a59cec45e4a30d225c
Signed-off-by: Valentin Boucher <valentin.boucher@kontron.com>

Add neutron and glance policy.json for patrole

It only runs tests about neutron and glance because their policy.json
can be still downloaded. Installers could override them via docker
volumes if needed.

Several tests about provider networks are currently excluded because
GRE is selected.

Change-Id: Ic4e2274e3f53e66be0174e117993e8c307b96bf9
Signed-off-by: Cédric Ollivier <cedric.ollivier@orange.com>

Allow overriding tempest output dir

Change-Id: I31a5d2772bab168b3cb4e6b0713d6e95aa5b6fd7
Signed-off-by: Cédric Ollivier <cedric.ollivier@orange.com>

Set ODL tests and refstack client refs

To prepare F-release, we should set git commit ids for these
dependencies which follow the rolling release model (master).

Change-Id: I3c791040ea5ec700cfa845ae642e6d862c49281f
Signed-off-by: Cédric Ollivier <cedric.ollivier@orange.com>

Add a new env var for nameserver

We should still consider that the nameserver must be handled by all
installers instead [1]:
  - by configuring one or more DNS resolvers in dhcp_agent.ini
  - by asking a local resolv

It eases setting the nameserver in testcases and then allows gating
them. 8.8.8.8 is still defined by default.

[1] https://docs.openstack.org/neutron/pike/admin/config-dns-res.html

Co-Authored-By: Cédric Ollivier <cedric.ollivier@orange.com>
Change-Id: Id58dd5ebee612a0fce2ebc40f089769e60899416
Signed-off-by: Linda Wang <wangwulin@huawei.com>
Signed-off-by: Cédric Ollivier <cedric.ollivier@orange.com>

Define a new env var for volume device name

It eases modifying the volume device name written in tempest config.
Fuel jobs should be adapted to set the right value (vdc) which
differs from default (vdb).

Change-Id: I09212018f94daa800ede815bd3586cceed0d54e7
Signed-off-by: Cédric Ollivier <cedric.ollivier@orange.com>

Merge "Fix Rally scenario parameters representation"

Fix Rally scenario parameters representation

Use printable format of string in scenario input parameters.

JIRA: FUNCTEST-946

Change-Id: Ic4826506a6f030e749fecdc7f880e9f911f9c987
Signed-off-by: Juha Kosonen <juha.kosonen@nokia.com>

Merge "Load SfcFunctest instead of running a bash script"

Config volume_device_name as vdc for fuel

JIRA: FUNCTEST-947

Change-Id: I69a83dc69eaa4379c630e201e837f29311c716b9
Signed-off-by: Linda Wang <wangwulin@huawei.com>

Load SfcFunctest instead of running a bash script

It allows publishing tests details.

Change-Id: Iffc49f8258cdd2c145750343003f21921ac7ff67
Signed-off-by: Cédric Ollivier <cedric.ollivier@orange.com>

Update module to xtesting.core.feature for parser

Change-Id: I8c4e34b7907d1809e100c6677101b8076272f493
Signed-off-by: Cédric Ollivier <cedric.ollivier@orange.com>

Set user domain name when creating users

It updates juju_epc.py and cloudify_vrouter.py.

Change-Id: I8cf97e31d78a4d48ad815faadc8e4130581e1c21
Signed-off-by: Cédric Ollivier <cedric.ollivier@orange.com>

Update xtesting version to 0.22.0

Change-Id: I4dc3eb42d122986fb2ac131279aab57cdf92d916
Signed-off-by: Cédric Ollivier <cedric.ollivier@orange.com>

Support domains when creating project/user

JIRA: FUNCTEST-945

Change-Id: Ibfce5a7d2ebb59a83ad5b2b6344c2fc87d7f3e84
Signed-off-by: Linda Wang <wangwulin@huawei.com>

Set default volume_device_name = vdb

refstack_defcore is currently failing on all installers.
It will highlight the right value per installer.

A better way is to manage the device name by a new env var set by all
installers (it may depend on kdrive configurations)

JIRA: FUNCTEST-947
Change-Id: If1c12bc6798bc89136715bc78f2ac0b798e669e6
Signed-off-by: Cédric Ollivier <cedric.ollivier@orange.com>

Merge "Add functest-patrole in build.sh"

Merge "Set networking-bgpvpn version in upper-constraints.txt"

Merge "Leverage on Xtesting"

Set networking-bgpvpn version in upper-constraints.txt

As it's not listed in OpenStack requirements, it must be pinned in
Functest.

Change-Id: I4e692ef00d4b6e5dad9899ae279891699c9dcebc
Signed-off-by: Cédric Ollivier <cedric.ollivier@orange.com>

Add functest-patrole in build.sh

Change-Id: I4a749a0981a81a5b032fa564719c51db2e6c6551
Signed-off-by: Cédric Ollivier <cedric.ollivier@orange.com>

Leverage on Xtesting

It removes all the files which have moved to Xtesting.
Vnf inheritances and env management will be improved in other
changes.

It keeps the same tree thanks to a symlink to allow publishing
artifacts.

Change-Id: I551bbd3f344cdab0158a50b7b09e541576695631
Signed-off-by: Cédric Ollivier <cedric.ollivier@orange.com>

Merge "Add xtesting in upper-constraints.txt"

Merge "Set universal wheels"

Add xtesting in upper-constraints.txt

functest-kubernetes requires xtesting and still reads this file.

Change-Id: I18d357cc88ae9a7e80aca568d408823291dc2ab3
Signed-off-by: Cédric Ollivier <cedric.ollivier@orange.com>

Enable barometer run on compass

Change-Id: Ic6f4f2a2d06dc70338da3bad53deca0a62a03232
Signed-off-by: Linda Wang <wangwulin@huawei.com>

Set universal wheels

Change-Id: I869679def8913ac804899655d80dbc6a830a6378
Signed-off-by: Cédric Ollivier <cedric.ollivier@orange.com>

Merge "Add guid in neutron resource names in juju_epc"

Merge "Integrate Patrole as a new testcase"

Merge "Support different user/project domain values"

Integrate Patrole as a new testcase

It's published in a new container because the current results don't
allow gating.

0.2 is selected to meet OpenStack Pike's requirements.

Co-Authored-By: Rémi Le Trocquer <remi.letrocquer@orange.com>
Change-Id: Iafcf8f66ee3531fc43136886095774885bfc3150
Signed-off-by: Cédric Ollivier <cedric.ollivier@orange.com>

Add guid in neutron resource names in juju_epc

JIRA: FUNCTEST-937

Change-Id: Ia0912dfe2cdbecf4c169aecb6ba1b71774e0a02f
Signed-off-by: Cédric Ollivier <cedric.ollivier@orange.com>

Remove obsolete Functest utils

Only 3 functions are kept as part of our framework:
  - execute_command_raise()
  - execute_command()
  - get_parameter_from_yaml()

Change-Id: I966a1d6122391dae85aa3c77813ad2f1698ceb45
Signed-off-by: Cédric Ollivier <cedric.ollivier@orange.com>

Merge "Raise exceptions when SDN_CONTROLLER_IP is None"

Merge "Stop raising keystoneauth1 exceptions in odl unit tests"

Merge "Fix KeyError of OS_AUTH_URL"

Raise exceptions when SDN_CONTROLLER_IP is None

Change-Id: Ia0d00a6b3c4c4936dc10602e838f507beea0c592
Signed-off-by: Cédric Ollivier <cedric.ollivier@orange.com>

Stop raising keystoneauth1 exceptions in odl unit tests

It simply raises Exceptions to avoid depending on keystoneauth1.
Snaps may also reraise another exception.

Change-Id: Ib3041b2d8ff51ee098f2bf0b9918079b7945abf3
Signed-off-by: Cédric Ollivier <cedric.ollivier@orange.com>

Remove openstack utils

They have been obsolete since we fully switched to snaps.
The files are being moved to SDNVPN which is the last project using
them [1].

[1] https://gerrit.opnfv.org/gerrit/#/c/52631/

Change-Id: I277b92a04cf6bc7b30015eed76f03f17830fad2b
Signed-off-by: Cédric Ollivier <cedric.ollivier@orange.com>

Fix KeyError of OS_AUTH_URL

Change-Id: Iaaa657ebb8ed017429b640ffaaf03b6d204e887a
Signed-off-by: Linda Wang <wangwulin@huawei.com>

Switch to snaps in orchestra testcases

It also stops using the floating ip in userdata to avoid a race
condition (all-in-one).

The DNS server is now configured by Neutron instead of the testcases.

Change-Id: I6efed71339d98403f7fd137ff50f1941b5b5a03c
Signed-off-by: Cédric Ollivier <cedric.ollivier@orange.com>

Fix default identity version in conf_utils

Change-Id: I2e78958b3c96b36a5fac636a1817424fb102afea
Signed-off-by: Cédric Ollivier <cedric.ollivier@orange.com>

Set Energy default values to None

It conforms with the other default values.

Change-Id: Id46110c5aedf244f94e83b5b0389b135f075ffc8
Signed-off-by: Cédric Ollivier <cedric.ollivier@orange.com>

Switch to $REPO in travis-ci jobs

It conforms with "Use functest repo variable" [1]

[1] https://gerrit.opnfv.org/gerrit/#/c/52513/

Change-Id: I09b438d784fbeb5e3686b441e6944c87c0f88382
Signed-off-by: Cédric Ollivier <cedric.ollivier@orange.com>

Print env vars and env_file

It simply eases detecting wrong inputs [1].

[1] https://build.opnfv.org/ci/view/functest/job/functest-apex-baremetal-daily-master/796/console

Change-Id: I0784c29265c69a6ba4a049226196bcdd70b0a572
Signed-off-by: Cédric Ollivier <cedric.ollivier@orange.com>

Automatically download defcore.txt

It stops writing files in Functest package dirs and cleans instance
variables in refstack modules too.

Change-Id: Iaddbe4fbaf12d1af207b86d4e44258efdc6d6f3a
Signed-off-by: Cédric Ollivier <cedric.ollivier@orange.com>

Update Functest to meet last snaps updates

It removes obsolete mockey patches in Rally unit tests and adds
keystone client as params when needed in orchestra_*ims.py [1].

[1] https://gerrit.opnfv.org/gerrit/#/c/52473/

Change-Id: Id02954d16f5f54cc0c390fadb498e14c6bab6ff9
Signed-off-by: Cédric Ollivier <cedric.ollivier@orange.com>

Merge "Use functest repo variable"

Use functest repo variable

related to: https://gerrit.opnfv.org/gerrit/#/c/52509/

JIRA: FUNCTEST-917

Change-Id: I79512253b37254b9247fda083500e160dba66d6f
Signed-off-by: Delia Popescu <delia.popescu@enea.com>

Switch from CONST to CONF

It also removes constants.CONST and env.Environment which are now
useless.

Depends-On: I764a0a2a24447c941d1e726f3116593b29dd1c1e
Depends-On: I6cfa832466dcefd737314633d807512e46267a69
Change-Id: Ife41c59d9f2e6ec4e49df38af962039f99554bc5
Signed-off-by: Cédric Ollivier <cedric.ollivier@orange.com>

Merge "Use constants for Functest config file"

Support different user/project domain values

For the moment, VNF works well only if

    OS_PROJECT_DOMAIN_NAME=Default
    OS_USER_DOMAIN_NAME=Default

It's now possible to use domain != Default

JIRA: FUNCTEST-935

Change-Id: I779a93538662ff32906d91d7cf3b2c5c3e872765
Signed-off-by: Valentin Boucher <valentin.boucher@kontron.com>

Use constants for Functest config file

env_file can't be defined in a config file simply because it's an
entry point (Jenkins jobs, end users)

Change-Id: Ie23c0ef90efc839d60f0f3a9754c58746b1f3a00
Signed-off-by: Cédric Ollivier <cedric.ollivier@orange.com>

Merge "Unify security group operations"

Merge "Leverage of snaps creds to get the right region name"

Merge "Print stdout and stderr when calling commands over SSH"

Print stdout and stderr when calling commands over SSH

It will help debugging possible issues vs APEX [1].

[1] https://build.opnfv.org/ci/view/functest/job/functest-apex-baremetal-daily-master/792/console

Change-Id: I610f5b0a7774440c51fa086fad4f61c9be0571dc
Signed-off-by: Cédric Ollivier <cedric.ollivier@orange.com>

Unify security group operations

It updates juju_epc to conform with cloudify_ims and
cloudify_vrouter regarding security group operations.

Change-Id: I2bc4a16ec17f2836564df82d3ceddd3bc73ece7a
Signed-off-by: Cédric Ollivier <cedric.ollivier@orange.com>

Leverage of snaps creds to get the right region name

Else it gets the defaut value as it's unset in env.

Change-Id: Ic2a9cdaed7891fe2723f960782c81c0cbb04e8f0
Signed-off-by: Cédric Ollivier <cedric.ollivier@orange.com>

Create a second user in cloudify_vrouter

It mainly bypasses a bug when a similar network name has already been
created.

We can't apply the same operations for cloudify_vims because the key
must be created by the _member_ user.
Snaps haven't allowed that since [1] has been merged

[1] https://gerrit.opnfv.org/gerrit/#/c/52157/

Change-Id: I90131487d0e08a4d95c684efb16a8009c3709a8e
Signed-off-by: Cédric Ollivier <cedric.ollivier@orange.com>