Update functest jjobs to run tox

Depends-On: I934f4ac739d99d0cb29bea8c6aac6d6780b30901

Change-Id: Ic036cc9cc8377398efbb5eda4f90bb5dcc4e75a5
Signed-off-by: Cédric Ollivier <cedric.ollivier@orange.com>

Merge "fix conditional step label"

Merge "add signout funcationality"

fix conditional step label

see error log

https://build.opnfv.org/ci/view/compass4nfv/job/compass-os-nosdn-nofeature-ha-baremetal-daily-danube/57/console

Change-Id: I925658a3f2c20e51153b4c6298e271e50a5673b5
Signed-off-by: MatthewLi <matthew.lijun@huawei.com>

pod configs are not going to live in directories

They will be called pod[#].yaml
so we look for that instead

Change-Id: If36d347cf7bef3108a2d50d74a84de1a07b5bdd2
Signed-off-by: agardner <agardner@linuxfoundation.org>

Merge "Download images and map the folder to container"

bugfix: extra fields are added when push results

extra fields like 'carriers' & 'miss_checks' 'db_key'
are added when pushing result to TestDB

Change-Id: Ic8d0751bca14b3b3260df42c0f4f07456c9d5e05
Signed-off-by: SerenaFeng <feng.xiaowei@zte.com.cn>

Download images and map the folder to container

This patch is to accommadate with the change in patch[1]
Before running the Functest Docker container, downloading all required
images first and map the folder to the container

[1] https://gerrit.opnfv.org/gerrit/#/c/34033

Change-Id: I617bd988caf1fd354cf9ef675661d40742b693c6
Signed-off-by: helenyao <yaohelan@huawei.com>

add signout funcationality

Change-Id: Ie101f07f0eb406eee4e1c7daa14b07aaaf554904
Signed-off-by: SerenaFeng <feng.xiaowei@zte.com.cn>

Apex: fix daily scm gerrit refspec to null

Change-Id: I0a8d51c7e0a586469cfe25d0610f078fd937c9ba
Signed-off-by: Tim Rozet <trozet@redhat.com>

Apex: fix daily scm passing and yardstick deploy blocking

Change-Id: I5b8fd2784cbf78aec17bab89c9cd1cbf82324739
Signed-off-by: Tim Rozet <trozet@redhat.com>

Apex: fix daily scm and functest job blocking with deploy

Change-Id: I355745e42c510029ffc314fa03eb1a5ca1e3e74a
Signed-off-by: Tim Rozet <trozet@redhat.com>

Build Timeout Wrapper for Yardstick

Yardstick builds are hanging and not being caught for 19+ hours. Using
the build timeout plugin we should be able to quickly stop these builds
and let the project know much sooner there is an issue with their
builds.

The default timeout is set to fail if the job takes longer than 30 minutes.
This can be adjusted later if the time is too long or too short.

ssh-agent-wrapper is included as it is the default from globals, and
defaults are superceded by fields added to jobs.

Change-Id: I9529ab7b6ab8819ceb91694fefbb4ecb3f5cf81c
Signed-off-by: Trevor Bramwell <tbramwell@linuxfoundation.org>

support showing user's specified contents after signin

Change-Id: Ia8897860757a2395873ff6972a508c38d7139854
Signed-off-by: SerenaFeng <feng.xiaowei@zte.com.cn>

add signin web to TestAPI

Change-Id: I4d39a8561c8ebd3238a495e5799fd43fb1a508b9
Signed-off-by: SerenaFeng <feng.xiaowei@zte.com.cn>

Merge "add missing dist files ignored by .gitignore"

Merge "refactor static_path to accomodate web portal"

Merge "dovetail: conditional steps to run against specific scenarios"

Apex: remove blocking verify jobs per node

Change-Id: I66e5af8dd11c2797e08c6b370fa1fd717ff57d41
Signed-off-by: Tim Rozet <trozet@redhat.com>

Apex: fixes missing blocking from j2

Change-Id: I7b79ed22f7dada6edf4ff6853499ceb434fab6bb
Signed-off-by: Tim Rozet <trozet@redhat.com>

Apex: allow 3 simultaneous builds per node

Change-Id: Ia0839e1c97ddf8cf9be770d9c791748b9bbefbe0
Signed-off-by: Tim Rozet <trozet@redhat.com>

Set again run_tests.py's report flag

It was deleted by the previous change [1]

[1] https://gerrit.opnfv.org/gerrit/#/c/34137/

Change-Id: Icfc9b43c30febe21501a9413196cc84f9553ce39
Signed-off-by: Cédric Ollivier <cedric.ollivier@orange.com>

add missing dist files ignored by .gitignore

Change-Id: Ib29cb5887abb317012d83fb77dcf30e07099a479
Signed-off-by: SerenaFeng <feng.xiaowei@zte.com.cn>

refactor static_path to accomodate web portal

move tornado_swagger/static to opnfv_testapi/static
move swagger related 3rd libs to 3rd_party/swagger

Change-Id: I32bba10584c99d13687b93f32577e37581db0c63
Signed-off-by: SerenaFeng <feng.xiaowei@zte.com.cn>

Merge "bugfix: /resources.json and /APIs cannot be accessed"

Merge "jjb: xci: bifrost: Clone git repositories to $WORKSPACE"

Merge "jjb: xci: xci-deploy.sh: Run the deployment script as normal user"

Merge "prototypes: xci: Look for SSH keys in $HOME directory"

Merge "prototypes: xci: Move host keys away from / directory"

Merge "prototypes: xci: Add ability to use local repositories for testing"

Merge "prototypes: bifrost: Remove OPNFV specific group_vars file"

Merge "prototypes: xci: configure-localhost: Use 'connection: local'"

Merge "prototypes: xci: provision-vm-nodes: Do not provision VMs as root."

Merge "prototypes: xci: user-vars: Move root directory away from /opt"

Merge "prototypes: xci: xci-deploy: Do not use sudo when connecting to remote hosts"

Merge "prototypes: xci: Do not require root privileges in xci-deploy"

Apex: add ramdisk and kernel to upload

Change-Id: I81e89f9fe313977d6a06c6283cc5301f672a77c3
Signed-off-by: Tim Rozet <trozet@redhat.com>

Merge "refactor config parser to facilitate adding new configs"

bugfix: /resources.json and /APIs cannot be accessed

1. change the join way of discover_url
2. limit tornado version not to use latest 4.5

Change-Id: I39dfd3b32bf232a7c144087bc9d5f88fb6798ee7
Signed-off-by: SerenaFeng <feng.xiaowei@zte.com.cn>

dovetail: conditional steps to run against specific scenarios

JIRA: DOVETAIL-432

1, the community CI resource is limited, for dovetail CI job,
there's no need to run against all scenarios, by now,
nosdn-nofeature-ha odl_l2-bgpvpn-ha odl_l2-nofeature-ha is enough.
2, jenkins conditional plugin will be used.
   plugin should be installed
   https://wiki.jenkins-ci.org/display/JENKINS/Conditional+BuildStep+Plugin
3, take compass as an example to see if it works

Change-Id: Ib23835cbf8801c36e35e088cd0d8bf2d6380e81a
Signed-off-by: MatthewLi <matthew.lijun@huawei.com>

Apex: fix clean cmds in deploy

Change-Id: I7da324903df1cc0c26cfba4433748dab459bbeb1
Signed-off-by: Tim Rozet <trozet@redhat.com>

Apex: add gerrit to deploy

Change-Id: I9260d053c74584e1c80e880d73d8671e3515b4c2
Signed-off-by: Tim Rozet <trozet@redhat.com>

Apex: fixes node parameters and git revision on verify

Change-Id: I02243d359b4204ab38dee143332c8d1bac86ac8e
Signed-off-by: Tim Rozet <trozet@redhat.com>

Apex: adds missing deploy env vars

Change-Id: I515afe7a8f230ebbece8ee4d99ca7744a6a35fb8
Signed-off-by: Tim Rozet <trozet@redhat.com>

Apex: fixes upload artifact

Change-Id: Ib12722ec85fe46d1b6dccb7bfc2da748386dac97
Signed-off-by: Tim Rozet <trozet@redhat.com>

Apex: fixes build directory in upload artifact

Change-Id: I5d3c5c76159a1bc4b83ef5855ad412962d00fcb6
Signed-off-by: Tim Rozet <trozet@redhat.com>

Merge "KVMFORNFV: Common build packages for daily test cases"

Apex: fix apex upload for images

Change-Id: Ibff76b1ce7cb4e071e576fd111bfff8af2cc2021
Signed-off-by: Tim Rozet <trozet@redhat.com>

KVMFORNFV: Common build packages for daily test cases

This patch is used to upload the metadata file only for the artifacts
built by daily build job. Also used to add seperate checks for the
artifacts uploaded by build and test phases.

Change-Id: I4c760e2269f3251fd0de91a803123167fb2ad225
Signed-off-by: Gundarapu Kalyan Reddy <reddyx.gundarapu@intel.com>

Apex: updates cache to unique name

Change-Id: I4131efd042f5d1aa4e8a5dc78b24be8ba6fbf87c
Signed-off-by: Tim Rozet <trozet@redhat.com>

Apex: fixes dev label names for artifacts

Change-Id: I2dae20c688ccd2cb690c01a843cb75d5743e129b
Signed-off-by: Tim Rozet <trozet@redhat.com>

Apex: fixes checking dev for verify build

Change-Id: I8f283f6db366fc55a7eb52789affed7426521d17
Signed-off-by: Tim Rozet <trozet@redhat.com>

Apex: fixes building rpms for patches

Change-Id: I2de72d983035cbf79f9f09850cd98dfd349783ca
Signed-off-by: Tim Rozet <trozet@redhat.com>

KVMFORNFV: Common build packages for daily test cases

This patch is used to upload the metadata file only for the artifacts
built by daily build job so that both the kvmfornfv cyclictest and
packet forwarding test cases will download the same artifacts uploaded
by the daily build job for testing on the test pod.

Change-Id: Ic2d58eca4fc86a257877159bb6910a2d8e8f3887
Signed-off-by: Gundarapu Kalyan Reddy <reddyx.gundarapu@intel.com>

Merge "KVMFORNFV: Common build packages for daily test cases"

Apex: adds timeouts to deploy and build jobs

Change-Id: I760952825e9f3d36d66ecb51e26a66b8ad69aaac
Signed-off-by: Tim Rozet <trozet@redhat.com>

Apex: fixes build directory assumption in upload artifact

Change-Id: Iae230e37137b0408a74ba74bd551a88dd6ffa076
Signed-off-by: Tim Rozet <trozet@redhat.com>

Apex: changes build job to use git-scm-gerrit

Change-Id: I2701ecea73ae58dc6115a93cbfc8b35ef7949b3b
Signed-off-by: Tim Rozet <trozet@redhat.com>

refactor config parser to facilitate adding new configs

refactor hardcoded config.py to facilitate adding new
configurations come along with web portal and Authentication
features

Change-Id: Ibc16166ade0d6e730bb4c9d81e9b9bc9b297faa1
Signed-off-by: SerenaFeng <feng.xiaowei@zte.com.cn>

KVMFORNFV: Common build packages for daily test cases

This patch is used to implement the common daily build job so that
both the kvmfornfv cyclictest and packet forwarding test cases will
download the same artifacts uploaded by the daily build job for
testing on the test pod.

Change-Id: Ifbe3ab1d6c62bd73c982065242cbfe29ce5dea1e
Signed-off-by: Gundarapu Kalyan Reddy <reddyx.gundarapu@intel.com>

Merge "re-enable testapi auto update"

Merge "add web portal framework for TestAPI"

Merge "big fixes: wrong path"

Merge "clarify schema base on swagger1.2 specification"

add web portal framework for TestAPI

Change-Id: I62cea8b59ffe6a6cde98051c130f4502c07d3557
Signed-off-by: SerenaFeng <feng.xiaowei@zte.com.cn>

Merge "KVMFORNFV: Disable packet forwarding daily build job."

jjb: xci: bifrost: Clone git repositories to $WORKSPACE

Commit 0638af211db1 ("jjb: xci: xci-deploy.sh: Run the deployment
script as normal user") dropped 'sudo' from the bifrost provisioning
script. However this broke the jobs since the repositories were being
cloned into /opt where the jenkins user has not access to. As such,
clone the repositories in the $WORKSPACE directory instead.

Fixes: 0638af211db1 ("jjb: xci: xci-deploy.sh: Run the deployment script as normal user")
Change-Id: I55baceaada04496884470997562e3f512f2444a0
Signed-off-by: Markos Chandras <mchandras@suse.de>

jjb: xci: xci-deploy.sh: Run the deployment script as normal user

xci-deploy.sh can now be run as normal user so fix the Jenkins job
accordingly.

Change-Id: Ifd0d7e4c42c930dbee0bbc30836fadc1a54f2f95
Signed-off-by: Markos Chandras <mchandras@suse.de>

prototypes: xci: Look for SSH keys in $HOME directory

We no longer run everything as root so we need to look for SSH keys
in the appropriate home directory.

Change-Id: Iae1f7eb80059e7d369c8e0c8b6c33c6a4f673f94
Signed-off-by: Markos Chandras <mchandras@suse.de>

prototypes: xci: Move host keys away from / directory

Putting the host keys in '/' requires root privileges so
it's best if we place them in the same directory like the
rest of the XCI files.

Change-Id: I030ed3d6cbb57bb984a78aeffb4eca2bd5c10bb0
Signed-off-by: Markos Chandras <mchandras@suse.de>

prototypes: xci: Add ability to use local repositories for testing

When developing XCI features it's useful to be able to use the local
repositories rather than cloning them from git since that makes
it harder to test local modifications against XCI. As such, we add
three new variables which can be used to hold local paths to the
bifrost, releng and openstack-ansible repositories. We are still
cloning the repositories but we then use the 'synchronize' Ansible
module to copy modified files from the local repositories.

Change-Id: I6d593ea48d8b9c51415d9d0848f77a498ef2f486
Signed-off-by: Markos Chandras <mchandras@suse.de>

prototypes: bifrost: Remove OPNFV specific group_vars file

The only reason we had this file was because we had to define our own
'ssh_public_key_path' variable to look in the /root directory since we
were running everything as root. Since we are now moving away from this
approach, this file is not needed anymore.

Change-Id: Ic938c4c8c877c95ce261721dc32fc5147081e236
Signed-off-by: Markos Chandras <mchandras@suse.de>

prototypes: xci: configure-localhost: Use 'connection: local'

Since we are operating on localhost, there is no need to do that via ssh
so we use 'connection: local' instead. Moreover, we do not need to
execute everything as root so we drop the remote user directive.

Change-Id: Ib2127edad29e2da1cd1beebf42cb8f0d278ce3ad
Signed-off-by: Markos Chandras <mchandras@suse.de>

prototypes: xci: provision-vm-nodes: Do not provision VMs as root.

There is no need to provision VM nodes as root. The only thing that we
need to run as root is the destroy-env.sh script and for that we move
it to its own play so we can use Ansible's become directive. Moreover,
since this playbook operates on localhost we can use 'connection: local'
so we don't have to execute everything via ssh and possibly speed up
the whole process.

Change-Id: Ia9efd5f30e95385b5cf193dde352f93551846c0e
Signed-off-by: Markos Chandras <mchandras@suse.de>

prototypes: xci: user-vars: Move root directory away from /opt

Having everything in the /opt implies root privileges. However, xci
should work as normal user and as such we use the /tmp directory as
the root directory.

Change-Id: I985ded289208e1de53ad0ba878afd5bfd745c3fd
Signed-off-by: Markos Chandras <mchandras@suse.de>

Apex: remove global build slave

Change-Id: I2d4216e63a16baafcebe636107449b334c953f04
Signed-off-by: Tim Rozet <trozet@redhat.com>

Apex: remove blocking on daily jobs

Change-Id: I6ee953c983fce4280d0e2e4653458cfbe6998710
Signed-off-by: Tim Rozet <trozet@redhat.com>

Apex: fixes promote jobs missing upload snapshot

Change-Id: I850a287f4226d59968e06ff31e268d7d2b485e3d
Signed-off-by: Tim Rozet <trozet@redhat.com>

Merge "Sub repo for security gate, add lhinds as commiter"

Merge "Allow Asynchronous Apex Builds"

clarify schema base on swagger1.2 specification

Change-Id: I98e165ae943b54d6a38783f2a3822d381c247ee4
Signed-off-by: SerenaFeng <feng.xiaowei@zte.com.cn>

Merge "leverage tornado framework to simply impl of TestAPI"

Merge "correct the import impl of TestAPI"

Merge "change swagger urls based on v1.2 specification"

re-enable testapi auto update

Change-Id: Ied3c2f0c0ba1bd8cbaaa44bfff52ea52614db56c
Signed-off-by: SerenaFeng <feng.xiaowei@zte.com.cn>

KVMFORNFV: Disable packet forwarding daily build job.

This patch is used to disable the kvmfornfv packet forwarding
daily build job to avoid seperate rpm building for cyclictest
and packet forwarding test cases. Both the test cases will use
the rpms uploaded to artifacts as a part of cyclictest daily
build job for testing.

Change-Id: Ia6c1ce2ddc435aa5ae3cbf88b5cfedf6f6d3c106
Signed-off-by: Gundarapu Kalyan Reddy <reddyx.gundarapu@intel.com>

big fixes: wrong path

- remove link to daisy for storperf results
- fix yardstick installer page links

Change-Id: Idae2163862c681db05cfc24c5c29eaea793d3c88
Signed-off-by: Morgan Richomme <morgan.richomme@orange.com>

prototypes: xci: xci-deploy: Do not use sudo when connecting to remote hosts

In preparation for running xci-deploy as normal user, we do not need to
gain elevated privileges in order to connect to remote hosts. SSH keys
will be placed in user's ssh directory so we can ssh as normal user.

Change-Id: Ieb705515ec191955a646839e8f195d089df184bd
Signed-off-by: Markos Chandras <mchandras@suse.de>

prototypes: xci: Do not require root privileges in xci-deploy

There is no good reason to run the script as root. If elevated
privileges are required then we will do it on a per case basis.

Change-Id: I7195fb3a0026ea20ce04e0b652dd3c1c56ca5741
Signed-off-by: Markos Chandras <mchandras@suse.de>

Bugfix: Error when create pod.yaml file

JIRA: DOVETAIL-426

1. ImportError: No module named netaddr
2. rm: cannot remove '/home/opnfv/dovetail/userconfig/*': No such file or directory

Change-Id: I81ad703667c798589855fdafc1668644e9a342b9
Signed-off-by: xudan <xudan16@huawei.com>

Allow Asynchronous Apex Builds

- Remove any build blockers on 'apex-build-*' jobs.
- Adds script to download latest build artifacts before deployment.
- Make each deploy download the needed artifacts before running.
- ARTIFACT_VERSION now set to dev for verify builds to indicate tarball
  should be uploaded to artifacts repo
- apex.yml jjb is now generated by using apex-jjb-renderer
- scenarios are managed in scenarios.yaml

JIRA: APEX-328

Change-Id: I4a51565686bd2011a310c3926d8260cd4641dca5
Signed-off-by: Trevor Bramwell <tbramwell@linuxfoundation.org>

Merge "Bug Fixes: remove Db name + path"

Bug Fixes: remove Db name + path

as case have been renamed in testcases.yaml
no more need or translation name/Db name

Change-Id: I0656ec478369224d44d9c3cdf0c6426f140e4029
Signed-off-by: Morgan Richomme <morgan.richomme@orange.com>

Merge "add qtip reporting"

Merge "Add short_description field to testcase in test API"

Merge "Bugfix: Error when create pod.yaml file"

Add short_description field to testcase in test API

this field will be used for the catalogue
Description may be too long - displayed in case of roll over
name is often not explicit enough for humanes

Change-Id: Ibb1f74208376c93616fc89fa10fdeecaf0f8c8fb
Signed-off-by: Morgan Richomme <morgan.richomme@orange.com>

Merge "Add arm support in functest reporting pages"

leverage tornado framework to simply impl of TestAPI

1) make better use of initialize() method
2) better naming global arguments

Change-Id: I89dc72a358bcb2a5688a1ffeb3ed5d735d875a4a
Signed-off-by: SerenaFeng <feng.xiaowei@zte.com.cn>

correct the import impl of TestAPI

Change-Id: Ia721ff61e02b1819c32d228f5f8910364c139c8a
Signed-off-by: SerenaFeng <feng.xiaowei@zte.com.cn>