Adding docker tag

Adds the tag to use when running docker from the DOCKER_TAG environment
variable.

Change-Id: I8f616b5582c1724079fec11c09f4cd3fdc72803f
JIRA: STORPERF-128
Signed-off-by: mbeierl <mark.beierl@dell.com>

Apex: fixes blocking per node with daily, verify

apex-verify-*: we dont need blocking on this, since it can run on any
node, and blocking is handled at lower layer jobs

apex-build-{stream}: needs to block if apex-verify-iso-{stream} is
running since apex-verify-iso will use the build directory of
apex-build-stream to get the ISO from in daily

apex-verify-iso does not need to block other deploys

Change-Id: Icf69d23b7aeaf73f5ebc7103db24e309ab0e949f
Signed-off-by: Tim Rozet <trozet@redhat.com>

Merge "Bugfix:  wrong results path"

Bugfix:  wrong results path

JIRA: DOVETAIL-438

Change-Id: I0fc2ec30c111ec870e5e03a008730b8e1f5c6304
Signed-off-by: xudan <xudan16@huawei.com>

Merge "Bugfix: Dovetail CI fail because of no env variable and wrong results path"

Bugfix: Dovetail CI fail because of no env variable and wrong results path

JIRA: DOVETAIL-438

Change-Id: I8e5fa8cfbbcaf1828ecd7290fbbc8a6b0a80bae2
Signed-off-by: xudan <xudan16@huawei.com>

Apex: fixes downloading artifacts for rpms/iso

We always update the latest properties file on daily builds.  We should
be pulling that to find artifacts rather than the current date properties
versions.

Change-Id: I52d3b53fdd17ecb6cbb43759309568d0c22013f8
Signed-off-by: Tim Rozet <trozet@redhat.com>

Apex: variablize concurrent builds per node

only master branch supports more than 1 build per node at a time

Change-Id: I4e4b105cda5ff4f870917abd62660c64a4b535ee
Signed-off-by: Tim Rozet <trozet@redhat.com>

Merge "Add auto-report to MongoDB"

Merge "Bugfix: Permission denied when generate openrc file"

Bugfix: Permission denied when generate openrc file

JIRA: DOVETAIL-438

Error log:
touch: cannot touch ‘/home/opnfv/cvp/pre_config/env_config.sh’: Permission denied
fetch_os_creds.error: Cannot create the file specified. Check that the path
is correct and run the script again.

Change-Id: I46d1edacec58226bc6b5d6a88ab7b5b6cdea17f5
Signed-off-by: xudan <xudan16@huawei.com>

Merge "Change the directories of results and some files to DOVETAIL_HOME"

Merge "define default parameters for daisy"

Merge "update blocked jobs"

Change the directories of results and some files to DOVETAIL_HOME

JIRA: DOVETAIL-438

Dovetail tool has moved the results dir, pod.yaml, id_rsa and env_config.sh
from /home/opnfv/dovetail/results and /home/opnfv/dovetail/userconfig to
$DOVETAIL_HOME. See https://gerrit.opnfv.org/gerrit/#/c/35325/

Change-Id: Ib47b68bd380bfedd4c0d84429d3bb41914a9a150
Signed-off-by: xudan <xudan16@huawei.com>

Merge "Apex: increase build timeout"

Merge "Trigger cperf not functest from apex-cperf-runner"

Apex: increase build timeout

Builds can take a lot longer when running simultaneously and daily
builds upload many rpm and srpm artifacts which takes longer.

Change-Id: Ib8dd23e5bea1a552c10a6f5a5aa1ea158647f7d1
Signed-off-by: Tim Rozet <trozet@redhat.com>

Trigger cperf not functest from apex-cperf-runner

Change-Id: I0f4325b8489edb18fb2e69ed987dd6ec7caeb3ea
Signed-off-by: Jamo Luhrsen <jluhrsen@redhat.com>

Deploy 2 Computes if triggered by promote jobs

Change-Id: I5431e1c86d9f56b5192880dc9e7eb6f2f0ab61ee
Signed-off-by: Jamo Luhrsen <jluhrsen@redhat.com>

Apex: temporarily disable functest smoke on verify

Functest is having problems running and logging failures, so we need to
temporarily disable it on verify jobs until that infra is fixed.

Change-Id: Ib2c41bb0f3c99517c98cfe1167fdc94e2313fb4f
Signed-off-by: Tim Rozet <trozet@redhat.com>

define default parameters for daisy

missing default INSTALLER_IP, BRIDGE parameters for
daisy-defaults
daisy-baremetal-defaults
daisy-virtual-defaults

Change-Id: I2632e5d10c8a269c025a923c4759ff18adf311a7
Signed-off-by: Julien <zhang.jun3g@zte.com.cn>

update blocked jobs

issues:
* verify jobs delete previous job's container
* merge-build job is abnormally blocked by parent job

requirement:
verify jobs should block merge jobs

Change-Id: I63b64a9b46bf16d01cb34c863db887cdb9607421
Signed-off-by: Julien <zhang.jun3g@zte.com.cn>

Add auto-report to MongoDB

JIRA: BOTTLENECK-158

The auto-report function has been added to POSCA testsuite.
This patch is to add report into CI pipeline.

Change-Id: Ie91eb806ca3b5fd185e547f63f142cea2d7aaed0
Signed-off-by: yuyang <Gabriel.yuyang@huawei.com>

Merge "Fix verify job without patchset"

[Functest] Push results for functest suite

Since Functest doesn't post the output to
the console any more, we need the logs in
some jobs to troubleshoot.
Those logs are not stored for functest-suite
jobs by default.
This patch enables also lf-virtual2 and 3 where
some apex verify jobs are using this builder.

Change-Id: I5707d1540bed8df9b7c4457775d9877311ba0b33
Signed-off-by: jose.lausuch <jose.lausuch@ericsson.com>

Merge "dovetail: conditional steps added to armpod"

Functest: Adds failure checking + fixes fetch os creds

Change-Id: Ib8a3ff3a747be55d8e23513bd028d934fef02eb8
Signed-off-by: Tim Rozet <trozet@redhat.com>

Functest: removes redundant exit 0 from fetch creds

Also allows unset and pipefail explicitly in set-functest-env.sh

Change-Id: I06ae718f563fed0596a37cec1b3a78e44ee7ea5d
Signed-off-by: Tim Rozet <trozet@redhat.com>

Functest: fixes fetching os creds

Since jenkins just imports the bash script at upload time, referencing
another script in the releng repo inside of bash doesn't work.  We need
to split them out into their own builder includes.

Change-Id: Id120a338ae5ec48eaa285681463bff01677bf316
Signed-off-by: Tim Rozet <trozet@redhat.com>

Merge "Apex: remove downloading ISO for deploy"

Apex: remove downloading ISO for deploy

We dont need ISO to deploy, just RPMs.

Change-Id: Id3515630ad70f2da6aa0b99b7c1c8cb8857e2311
Signed-off-by: Tim Rozet <trozet@redhat.com>

Functest: fixes downloading images for danube branch

The script for downloading images "download_images.sh" does not exist in
stable/danube for functest.  Therefore we revert to old behavior for
that branch.

Change-Id: Id94f3db27fd5b71bb981007472b55fadae0e5394
Signed-off-by: Tim Rozet <trozet@redhat.com>

Merge "[Functest] Provide credentials to Functest as a volume"

Apex: fix deploy and test run job to pass empty refspec

Change-Id: I563b961286fe215c4e5381ccde30d787188f1e8e
Signed-off-by: Tim Rozet <trozet@redhat.com>

Merge "barometer jjb: update for nightly RPM Build"

Merge "[Functest] Redirect output when downloading images"

[Functest] Provide credentials to Functest as a volume

The OpenStack credentials shall be fetched from jjob
and provided to Functest as a docker volume.
This way, Functest framework doesn't need to do it.
It will assume the RC file is already present.

Change-Id: I7a94ffffaefe65911594a9894b60b10cd13735ad
Signed-off-by: jose.lausuch <jose.lausuch@ericsson.com>

Fix verify job without patchset

use git-scm-gerrit to fetch the patchset
fix the wrong job name

Change-Id: If26dbb08da95f37d65e6b21770ef7f1d7de0c5e1
Signed-off-by: Julien <zhang.jun3g@zte.com.cn>

Merge "[qtip]refactor validate-deploy.sh"

barometer jjb: update for nightly RPM Build

Change-Id: I501ceb15d2e7ce22dd2ac5bfad9c60d8e938bf2c
Signed-off-by: Maryam Tahhan <maryam.tahhan@intel.com>
Signed-off-by: Fatih Degirmenci <fatih.degirmenci@ericsson.com>

Merge "support cancel operation while signing in"

Merge "Remove old GS-Cleanup Job from Apex"

Apex: fixes blocking with daily

Change-Id: I03cf0207075116de44ebde03429ab5b499db540b
Signed-off-by: Tim Rozet <trozet@redhat.com>

Apex: fix iso verify build dir to absolute path

Change-Id: I0c85806e5fa04a890a130d8106d96c7fb812e691
Signed-off-by: Tim Rozet <trozet@redhat.com>

Revert "Apex: fixes build directory passing for iso upload"

This reverts commit ec2e44c72271cb78a00bebd32ceb43487ad176b5.

Change-Id: I2f8db687df9cceaa50bf6a26de659ea70f70df45

Apex: fixes build directory passing for iso upload

Change-Id: Ifb1173a49066fd493c58f41ae22d4decc69e03f9
Signed-off-by: Tim Rozet <trozet@redhat.com>

Merge "Yamllint on Pharos, Octopus, and SecuredLab Repos"

Yamllint on Pharos, Octopus, and SecuredLab Repos

These repositories are starting to contain more and more yaml files.
Ensuring yaml in these repos is valid is important to ensure other jobs
don't break further on.

Change-Id: I97de9f59ab993fb9dd9cb2efa5784af3850783a6
Signed-off-by: Trevor Bramwell <tbramwell@linuxfoundation.org>

APEX: fix permission for rm in iso verify

Change-Id: Icbecbb39465a3cf4ef4ea3e8f5901561a4874c51
Signed-off-by: Feng Pan <fpan@redhat.com>

Merge "Update functest jjobs to run tox"

[Functest] Redirect output when downloading images

Change-Id: Ieb3df7a4fa1519cf13c4f597c62d17ce356168fb
Signed-off-by: jose.lausuch <jose.lausuch@ericsson.com>

Merge "APEX: iso verify fixes"

[qtip]refactor validate-deploy.sh

Use new CI script run_ci.sh to trigger QTIP test.

Change-Id: I1e9b0628d3dde64dca9d6e8b3d9bad9f31ff3f3a
Signed-off-by: zhihui wu <wu.zhihui1@zte.com.cn>

Merge "dovetail: conditional steps added to fuel-bgpvpn scenario"

Merge "dovetail: offline support by making users to download docker images from artifacts"

dovetail: conditional steps added to armpod

JIRA: DOVETAIL-432

1, only run against os-(nosdn-odl_l2)-(nofeature-bgpvpn)-ha scenario
this can reduce the CI/pod time resource
dovetail test cases by now (refstack, ha, ipv6, bgpvpn)
2, this has been tested on compass pod, and works well

Change-Id: I1bcf8165d5fcc93c78b47cbd23e0c07f19b01189
Signed-off-by: MatthewLi <matthew.lijun@huawei.com>

dovetail: conditional steps added to fuel-bgpvpn scenario

JIRA: DOVETAIL-432

1, only run against fuel os-odl_l2-bgpvpn-ha scenario
this can reduce the CI/pod time resource
dovetail test cases by now (refstack, ha, ipv6, bgpvpn)
2, the conditional steps have been successed tested on compass
  to remove the introduce of
  https://gerrit.opnfv.org/gerrit/#/c/34327/
  conditonal steps look more simple and understandable

Change-Id: I315a789160b8173274b1c1ef916073ced7d5e91b
Signed-off-by: MatthewLi <matthew.lijun@huawei.com>

APEX: iso verify fixes

The current implementation of iso verify can potentially block indefinitely
and/or return incorrect string matching results. This patch changes iso verify
to use log file instead of tcp serial console.

Change-Id: I89accc9c2165836a23a21a223fa33e920c529772
Signed-off-by: Feng Pan <fpan@redhat.com>

Update functest jjobs to run tox

Depends-On: I934f4ac739d99d0cb29bea8c6aac6d6780b30901

Change-Id: Ic036cc9cc8377398efbb5eda4f90bb5dcc4e75a5
Signed-off-by: Cédric Ollivier <cedric.ollivier@orange.com>

Merge "fix conditional step label"

support cancel operation while signing in

support the cancel operation in the
https://openstackid.org/accounts/user/consent

Change-Id: I06a1f130a3115774f2e88fc25dad522a7cf53e36
Signed-off-by: SerenaFeng <feng.xiaowei@zte.com.cn>

Merge "add signout funcationality"

fix conditional step label

see error log

https://build.opnfv.org/ci/view/compass4nfv/job/compass-os-nosdn-nofeature-ha-baremetal-daily-danube/57/console

Change-Id: I925658a3f2c20e51153b4c6298e271e50a5673b5
Signed-off-by: MatthewLi <matthew.lijun@huawei.com>

pod configs are not going to live in directories

They will be called pod[#].yaml
so we look for that instead

Change-Id: If36d347cf7bef3108a2d50d74a84de1a07b5bdd2
Signed-off-by: agardner <agardner@linuxfoundation.org>

Merge "Download images and map the folder to container"

bugfix: extra fields are added when push results

extra fields like 'carriers' & 'miss_checks' 'db_key'
are added when pushing result to TestDB

Change-Id: Ic8d0751bca14b3b3260df42c0f4f07456c9d5e05
Signed-off-by: SerenaFeng <feng.xiaowei@zte.com.cn>

Download images and map the folder to container

This patch is to accommadate with the change in patch[1]
Before running the Functest Docker container, downloading all required
images first and map the folder to the container

[1] https://gerrit.opnfv.org/gerrit/#/c/34033

Change-Id: I617bd988caf1fd354cf9ef675661d40742b693c6
Signed-off-by: helenyao <yaohelan@huawei.com>

add signout funcationality

Change-Id: Ie101f07f0eb406eee4e1c7daa14b07aaaf554904
Signed-off-by: SerenaFeng <feng.xiaowei@zte.com.cn>

Apex: fix daily scm gerrit refspec to null

Change-Id: I0a8d51c7e0a586469cfe25d0610f078fd937c9ba
Signed-off-by: Tim Rozet <trozet@redhat.com>

Apex: fix daily scm passing and yardstick deploy blocking

Change-Id: I5b8fd2784cbf78aec17bab89c9cd1cbf82324739
Signed-off-by: Tim Rozet <trozet@redhat.com>

Apex: fix daily scm and functest job blocking with deploy

Change-Id: I355745e42c510029ffc314fa03eb1a5ca1e3e74a
Signed-off-by: Tim Rozet <trozet@redhat.com>

Build Timeout Wrapper for Yardstick

Yardstick builds are hanging and not being caught for 19+ hours. Using
the build timeout plugin we should be able to quickly stop these builds
and let the project know much sooner there is an issue with their
builds.

The default timeout is set to fail if the job takes longer than 30 minutes.
This can be adjusted later if the time is too long or too short.

ssh-agent-wrapper is included as it is the default from globals, and
defaults are superceded by fields added to jobs.

Change-Id: I9529ab7b6ab8819ceb91694fefbb4ecb3f5cf81c
Signed-off-by: Trevor Bramwell <tbramwell@linuxfoundation.org>

support showing user's specified contents after signin

Change-Id: Ia8897860757a2395873ff6972a508c38d7139854
Signed-off-by: SerenaFeng <feng.xiaowei@zte.com.cn>

dovetail: offline support by making users to download docker images from artifacts

JIRA: DOVETAIL-433

1) bugfix of cleanup by using existed dovetail cleanup scripts, see logs
https://build.opnfv.org/ci/view/dovetail/job/dovetail-functest-artifacts-upload-master/3/console
2) opnfv/testapi:latest and mongo:3.5 images are needed for dovetail, added.

Change-Id: I647f7152b0122a5b792f6f18efbae0e537b81332
Signed-off-by: MatthewLi <matthew.lijun@huawei.com>

add signin web to TestAPI

Change-Id: I4d39a8561c8ebd3238a495e5799fd43fb1a508b9
Signed-off-by: SerenaFeng <feng.xiaowei@zte.com.cn>

Merge "add missing dist files ignored by .gitignore"

Merge "refactor static_path to accomodate web portal"

Merge "dovetail: conditional steps to run against specific scenarios"

Apex: remove blocking verify jobs per node

Change-Id: I66e5af8dd11c2797e08c6b370fa1fd717ff57d41
Signed-off-by: Tim Rozet <trozet@redhat.com>

Apex: fixes missing blocking from j2

Change-Id: I7b79ed22f7dada6edf4ff6853499ceb434fab6bb
Signed-off-by: Tim Rozet <trozet@redhat.com>

Apex: allow 3 simultaneous builds per node

Change-Id: Ia0839e1c97ddf8cf9be770d9c791748b9bbefbe0
Signed-off-by: Tim Rozet <trozet@redhat.com>

Remove old GS-Cleanup Job from Apex

This job template isn't attached to a job, so it doesn't even get
executed; Further, artifact cleanup is take care of by
'releng-artifact-cleanup-daily-{stream}'

Change-Id: I3e4d0339650f0507b8a3cd1512c2ca643f4fe75a
Signed-off-by: Trevor Bramwell <tbramwell@linuxfoundation.org>

Set again run_tests.py's report flag

It was deleted by the previous change [1]

[1] https://gerrit.opnfv.org/gerrit/#/c/34137/

Change-Id: Icfc9b43c30febe21501a9413196cc84f9553ce39
Signed-off-by: Cédric Ollivier <cedric.ollivier@orange.com>

add missing dist files ignored by .gitignore

Change-Id: Ib29cb5887abb317012d83fb77dcf30e07099a479
Signed-off-by: SerenaFeng <feng.xiaowei@zte.com.cn>

refactor static_path to accomodate web portal

move tornado_swagger/static to opnfv_testapi/static
move swagger related 3rd libs to 3rd_party/swagger

Change-Id: I32bba10584c99d13687b93f32577e37581db0c63
Signed-off-by: SerenaFeng <feng.xiaowei@zte.com.cn>

Merge "bugfix: /resources.json and /APIs cannot be accessed"

Merge "jjb: xci: bifrost: Clone git repositories to $WORKSPACE"

Merge "jjb: xci: xci-deploy.sh: Run the deployment script as normal user"

Merge "prototypes: xci: Look for SSH keys in $HOME directory"

Merge "prototypes: xci: Move host keys away from / directory"

Merge "prototypes: xci: Add ability to use local repositories for testing"

Merge "prototypes: bifrost: Remove OPNFV specific group_vars file"

Merge "prototypes: xci: configure-localhost: Use 'connection: local'"

Merge "prototypes: xci: provision-vm-nodes: Do not provision VMs as root."

Merge "prototypes: xci: user-vars: Move root directory away from /opt"

Merge "prototypes: xci: xci-deploy: Do not use sudo when connecting to remote hosts"

Merge "prototypes: xci: Do not require root privileges in xci-deploy"

Apex: add ramdisk and kernel to upload

Change-Id: I81e89f9fe313977d6a06c6283cc5301f672a77c3
Signed-off-by: Tim Rozet <trozet@redhat.com>

Merge "refactor config parser to facilitate adding new configs"