barometer: update daily job with artifacts build

Update the barometer dailty job to build and upload appropriate build
collateral to artifacts.opnfv.org.

Change-Id: I387fc22439e43ba805a992bc46f14090db57dbf4
Signed-off-by: Maryam Tahhan <maryam.tahhan@intel.com>

Merge "set the openstack version for branch"

set the openstack version for branch

set the openstack version newton for danube
set the openstack version ocata for master
danube branch use the compass.iso
master branch use the compass.tar.gz
separate the branch in the different pod

Change-Id: Iec1e3206cac26bb2ad5379fa2600ede0451d997d
Signed-off-by: wutianwei <wutianwei1@huawei.com>

Merge "rename the project name for anteater for docker build"

Merge "Updating the license with Creative Commons Attribution 4.0 with SPDX shorthand"

Merge "prototypes: bifrost: Switch Ubuntu targets to Xenial (16.04)"

rename the project name for anteater for docker build

The docker build jobs attempts the clone the repo for the project
it builds the docker image for. This change renames the project to
match the actual repo name.

Change-Id: Ibd55c8b75e61330284f3680154c1a2bf70dae7d6
Signed-off-by: Fatih Degirmenci <fatih.degirmenci@ericsson.com>

Merge "Add Job Configuration for Anteater"

Merge "Pass scenario argument to deploy.sh"

Merge "[fuel] Disable all master jobs except nofeature"

Explain the need of having an ssh key

In order for XCI to work, the user needs to have a ssh key. Explain
that on the README and show the command to generate it.

Change-Id: I517e15de15ba1b09977dbd62881bc2625c8b2833

Merge "prototypes: xci: Make CLEAN_DIB_IMAGES variable configurable"

Merge "Fix ansible installation for non-root"

Merge "Remove sudo usage from xci-deploy"

Apex: fixes snapshot promotion be variables

Since job names changed during the migration to multijob, we need to
update the scripts which assume the the snapshot type is part of the job
name.  Moving them to be jjb variables instead and not rely on job name.

Change-Id: I18f3bd5488c36b2f82a7bc7cb80045ab6807fa57
Signed-off-by: Tim Rozet <trozet@redhat.com>

Apex: fixes scenario name for netvirt+vpp

Change-Id: Ie3ca73a09cbea1aaf5c195fe319e5ec46e71f1bf
Signed-off-by: Tim Rozet <trozet@redhat.com>

prototypes: xci: Make CLEAN_DIB_IMAGES variable configurable

The CLEAN_DIB_IMAGES variable determines whether the /httpboot
or /tftpboot directories will be removed before running the xci-deploy
script. This forces XCI to re-create the target OS images. We moved
this variable from env-vars to user-vars since this is something that
users normally want to tweak in their deployments.

Change-Id: Ia48bd63979e3837aab7e47c906c2501e7c7dd0e1
Signed-off-by: Markos Chandras <mchandras@suse.de>

Add Job Configuration for Anteater

Change adds anteater Docker push and renames securityaudit
to ci_gate_security

Change-Id: Ibf7d930003e7d59cb84a3ddb72962a150590418b
Signed-off-by: lukehinds <lhinds@redhat.com>

Merge "dovetail: sdnvpn pre-image download into pre_config dir"

prototypes: bifrost: Switch Ubuntu targets to Xenial (16.04)

Switch default target OS to Ubuntu Xenial (16.04) which is also
the version which is supported by OpenStack Ansible.

Change-Id: I73adc6472b0fb572177e1508cf831b4d3190245c
Signed-off-by: Markos Chandras <mchandras@suse.de>

Pass scenario argument to deploy.sh

Also change default value to os-nosdn-nofeature-noha

Change-Id: I018179b4018440809382b4a46d2bb29a0762757c
Signed-off-by: Zhijiang Hu <hu.zhijiang@zte.com.cn>

Fix ansible installation for non-root

Currently ansible was set to be installed with pip, but
this fails for non-root user. Instead of that, execute
pip with --user flag, so we don't need root permissions and it
is only installed for the current user.

Change-Id: Ib37a2a3866b4b48aca834b894cdd128ee63b31d6

Remove sudo usage from xci-deploy

The script was refactored to don't need sudo on the
latest versions, and the documentation is still referencing it.

Change-Id: I7064317ab7b756a78638f7474f2944472d3a4ba2

[Functest] Fix the issue that no return_value exists

Save the execution return code to file before exiting

Change-Id: I73692754b4c4c4b584d5918db7ce446bad931920
Signed-off-by: helenyao <yaohelan@huawei.com>

dovetail: sdnvpn pre-image download into pre_config dir

JIRA: DOVETAIL-441

Change-Id: I582dc2dbf9f875e95e19f413b7b3d8f81746df3f
Signed-off-by: MatthewLi <matthew.lijun@huawei.com>

Merge "Adding docker tag"

Dovetail CI job failed on lf-pod2

JIRA: DOVETAIL-443

Change Change the file path from /home/opnfv/cvp to $WORKSPACE/cvp to ensure
Jenkins has all rights about the files.

Change-Id: Ic83123956716f9e5d6467dc6e380352539027d46
Signed-off-by: xudan <xudan16@huawei.com>

Merge "Fix name in setup.py"

Merge "[fuel] Turn off upload action & checkout"

Fix name in setup.py

It fixes duplicated names between setup.py and modules/setup.py.

We could also have considered listing releng utils as scripts in
modules/setup.py which is mandatory if another OPNFV project needs
them (eg Functest before [1] was merged).
They could be required in case of functional or unit testing too.

[1] https://gerrit.opnfv.org/gerrit/#/c/35199/

Change-Id: Ic77f4e46d6d3396f9891b73105a0eb7aa037754f
Signed-off-by: Cédric Ollivier <cedric.ollivier@orange.com>

Merge "Pin paramiko to 2.1.2"

[fuel] Turn off upload action & checkout

* turn off non-existent artifacts upload
* use latest commit in master since there is no iso/image
  for mcp based deployments yet

Change-Id: Ib92680ef9838fc2e11d61c806dfd9728514c364e
Signed-off-by: Michael Polenchuk <mpolenchuk@mirantis.com>

Adding docker tag

Adds the tag to use when running docker from the DOCKER_TAG environment
variable.

Change-Id: I8f616b5582c1724079fec11c09f4cd3fdc72803f
JIRA: STORPERF-128
Signed-off-by: mbeierl <mark.beierl@dell.com>

[fuel] Disable iso build for master branch

Change-Id: Id523ea140cb8fad92126f2ecb178d3b182ff022f
Signed-off-by: Michael Polenchuk <mpolenchuk@mirantis.com>

Apex: fixes blocking per node with daily, verify

apex-verify-*: we dont need blocking on this, since it can run on any
node, and blocking is handled at lower layer jobs

apex-build-{stream}: needs to block if apex-verify-iso-{stream} is
running since apex-verify-iso will use the build directory of
apex-build-stream to get the ISO from in daily

apex-verify-iso does not need to block other deploys

Change-Id: Icf69d23b7aeaf73f5ebc7103db24e309ab0e949f
Signed-off-by: Tim Rozet <trozet@redhat.com>

Merge "Bugfix:  wrong results path"

Bugfix:  wrong results path

JIRA: DOVETAIL-438

Change-Id: I0fc2ec30c111ec870e5e03a008730b8e1f5c6304
Signed-off-by: xudan <xudan16@huawei.com>

Merge "Bugfix: Dovetail CI fail because of no env variable and wrong results path"

Bugfix: Dovetail CI fail because of no env variable and wrong results path

JIRA: DOVETAIL-438

Change-Id: I8e5fa8cfbbcaf1828ecd7290fbbc8a6b0a80bae2
Signed-off-by: xudan <xudan16@huawei.com>

Apex: fixes downloading artifacts for rpms/iso

We always update the latest properties file on daily builds.  We should
be pulling that to find artifacts rather than the current date properties
versions.

Change-Id: I52d3b53fdd17ecb6cbb43759309568d0c22013f8
Signed-off-by: Tim Rozet <trozet@redhat.com>

Apex: variablize concurrent builds per node

only master branch supports more than 1 build per node at a time

Change-Id: I4e4b105cda5ff4f870917abd62660c64a4b535ee
Signed-off-by: Tim Rozet <trozet@redhat.com>

Pin paramiko to 2.1.2

Change-Id: Iea6f80cd20f422bcbd02b07b16966b8f87d81d67
Signed-off-by: Jamo Luhrsen <jluhrsen@redhat.com>

Merge "Add auto-report to MongoDB"

Merge "Bugfix: Permission denied when generate openrc file"

Bugfix: Permission denied when generate openrc file

JIRA: DOVETAIL-438

Error log:
touch: cannot touch ‘/home/opnfv/cvp/pre_config/env_config.sh’: Permission denied
fetch_os_creds.error: Cannot create the file specified. Check that the path
is correct and run the script again.

Change-Id: I46d1edacec58226bc6b5d6a88ab7b5b6cdea17f5
Signed-off-by: xudan <xudan16@huawei.com>

Updating the license with Creative Commons Attribution 4.0 with SPDX shorthand

Change-Id: Iff8ada7637648a320fc7ef4a0fb3e187186964e5
Signed-off-by: Ray Paik <rpaik@linuxfoundation.org>

Merge "Change the directories of results and some files to DOVETAIL_HOME"

Merge "define default parameters for daisy"

Merge "update blocked jobs"

Change the directories of results and some files to DOVETAIL_HOME

JIRA: DOVETAIL-438

Dovetail tool has moved the results dir, pod.yaml, id_rsa and env_config.sh
from /home/opnfv/dovetail/results and /home/opnfv/dovetail/userconfig to
$DOVETAIL_HOME. See https://gerrit.opnfv.org/gerrit/#/c/35325/

Change-Id: Ib47b68bd380bfedd4c0d84429d3bb41914a9a150
Signed-off-by: xudan <xudan16@huawei.com>

Merge "Apex: increase build timeout"

Merge "Trigger cperf not functest from apex-cperf-runner"

Apex: increase build timeout

Builds can take a lot longer when running simultaneously and daily
builds upload many rpm and srpm artifacts which takes longer.

Change-Id: Ib8dd23e5bea1a552c10a6f5a5aa1ea158647f7d1
Signed-off-by: Tim Rozet <trozet@redhat.com>

Trigger cperf not functest from apex-cperf-runner

Change-Id: I0f4325b8489edb18fb2e69ed987dd6ec7caeb3ea
Signed-off-by: Jamo Luhrsen <jluhrsen@redhat.com>

Deploy 2 Computes if triggered by promote jobs

Change-Id: I5431e1c86d9f56b5192880dc9e7eb6f2f0ab61ee
Signed-off-by: Jamo Luhrsen <jluhrsen@redhat.com>

Apex: temporarily disable functest smoke on verify

Functest is having problems running and logging failures, so we need to
temporarily disable it on verify jobs until that infra is fixed.

Change-Id: Ib2c41bb0f3c99517c98cfe1167fdc94e2313fb4f
Signed-off-by: Tim Rozet <trozet@redhat.com>

define default parameters for daisy

missing default INSTALLER_IP, BRIDGE parameters for
daisy-defaults
daisy-baremetal-defaults
daisy-virtual-defaults

Change-Id: I2632e5d10c8a269c025a923c4759ff18adf311a7
Signed-off-by: Julien <zhang.jun3g@zte.com.cn>

update blocked jobs

issues:
* verify jobs delete previous job's container
* merge-build job is abnormally blocked by parent job

requirement:
verify jobs should block merge jobs

Change-Id: I63b64a9b46bf16d01cb34c863db887cdb9607421
Signed-off-by: Julien <zhang.jun3g@zte.com.cn>

Add auto-report to MongoDB

JIRA: BOTTLENECK-158

The auto-report function has been added to POSCA testsuite.
This patch is to add report into CI pipeline.

Change-Id: Ie91eb806ca3b5fd185e547f63f142cea2d7aaed0
Signed-off-by: yuyang <Gabriel.yuyang@huawei.com>

[fuel] Disable all master jobs except nofeature

In order to bring in mcp based deployments, turn off for
awhile all master jobs except nofeature one.

Change-Id: I4aa27ab0407e3f32caeba72323ad9511d981a6b8
Signed-off-by: Michael Polenchuk <mpolenchuk@mirantis.com>

Merge "Fix verify job without patchset"

[Functest] Push results for functest suite

Since Functest doesn't post the output to
the console any more, we need the logs in
some jobs to troubleshoot.
Those logs are not stored for functest-suite
jobs by default.
This patch enables also lf-virtual2 and 3 where
some apex verify jobs are using this builder.

Change-Id: I5707d1540bed8df9b7c4457775d9877311ba0b33
Signed-off-by: jose.lausuch <jose.lausuch@ericsson.com>

Merge "dovetail: conditional steps added to armpod"

Functest: Adds failure checking + fixes fetch os creds

Change-Id: Ib8a3ff3a747be55d8e23513bd028d934fef02eb8
Signed-off-by: Tim Rozet <trozet@redhat.com>

Functest: removes redundant exit 0 from fetch creds

Also allows unset and pipefail explicitly in set-functest-env.sh

Change-Id: I06ae718f563fed0596a37cec1b3a78e44ee7ea5d
Signed-off-by: Tim Rozet <trozet@redhat.com>

Functest: fixes fetching os creds

Since jenkins just imports the bash script at upload time, referencing
another script in the releng repo inside of bash doesn't work.  We need
to split them out into their own builder includes.

Change-Id: Id120a338ae5ec48eaa285681463bff01677bf316
Signed-off-by: Tim Rozet <trozet@redhat.com>

Merge "Apex: remove downloading ISO for deploy"

Apex: remove downloading ISO for deploy

We dont need ISO to deploy, just RPMs.

Change-Id: Id3515630ad70f2da6aa0b99b7c1c8cb8857e2311
Signed-off-by: Tim Rozet <trozet@redhat.com>

Functest: fixes downloading images for danube branch

The script for downloading images "download_images.sh" does not exist in
stable/danube for functest.  Therefore we revert to old behavior for
that branch.

Change-Id: Id94f3db27fd5b71bb981007472b55fadae0e5394
Signed-off-by: Tim Rozet <trozet@redhat.com>

Merge "[Functest] Provide credentials to Functest as a volume"

Apex: fix deploy and test run job to pass empty refspec

Change-Id: I563b961286fe215c4e5381ccde30d787188f1e8e
Signed-off-by: Tim Rozet <trozet@redhat.com>

Merge "barometer jjb: update for nightly RPM Build"

Merge "[Functest] Redirect output when downloading images"

[Functest] Provide credentials to Functest as a volume

The OpenStack credentials shall be fetched from jjob
and provided to Functest as a docker volume.
This way, Functest framework doesn't need to do it.
It will assume the RC file is already present.

Change-Id: I7a94ffffaefe65911594a9894b60b10cd13735ad
Signed-off-by: jose.lausuch <jose.lausuch@ericsson.com>

Fix verify job without patchset

use git-scm-gerrit to fetch the patchset
fix the wrong job name

Change-Id: If26dbb08da95f37d65e6b21770ef7f1d7de0c5e1
Signed-off-by: Julien <zhang.jun3g@zte.com.cn>

Merge "[qtip]refactor validate-deploy.sh"

barometer jjb: update for nightly RPM Build

Change-Id: I501ceb15d2e7ce22dd2ac5bfad9c60d8e938bf2c
Signed-off-by: Maryam Tahhan <maryam.tahhan@intel.com>
Signed-off-by: Fatih Degirmenci <fatih.degirmenci@ericsson.com>

Merge "support cancel operation while signing in"

Merge "Remove old GS-Cleanup Job from Apex"

Apex: fixes blocking with daily

Change-Id: I03cf0207075116de44ebde03429ab5b499db540b
Signed-off-by: Tim Rozet <trozet@redhat.com>

Apex: fix iso verify build dir to absolute path

Change-Id: I0c85806e5fa04a890a130d8106d96c7fb812e691
Signed-off-by: Tim Rozet <trozet@redhat.com>

Revert "Apex: fixes build directory passing for iso upload"

This reverts commit ec2e44c72271cb78a00bebd32ceb43487ad176b5.

Change-Id: I2f8db687df9cceaa50bf6a26de659ea70f70df45

Apex: fixes build directory passing for iso upload

Change-Id: Ifb1173a49066fd493c58f41ae22d4decc69e03f9
Signed-off-by: Tim Rozet <trozet@redhat.com>

Merge "Yamllint on Pharos, Octopus, and SecuredLab Repos"

Yamllint on Pharos, Octopus, and SecuredLab Repos

These repositories are starting to contain more and more yaml files.
Ensuring yaml in these repos is valid is important to ensure other jobs
don't break further on.

Change-Id: I97de9f59ab993fb9dd9cb2efa5784af3850783a6
Signed-off-by: Trevor Bramwell <tbramwell@linuxfoundation.org>

APEX: fix permission for rm in iso verify

Change-Id: Icbecbb39465a3cf4ef4ea3e8f5901561a4874c51
Signed-off-by: Feng Pan <fpan@redhat.com>

Merge "Update functest jjobs to run tox"

[Functest] Redirect output when downloading images

Change-Id: Ieb3df7a4fa1519cf13c4f597c62d17ce356168fb
Signed-off-by: jose.lausuch <jose.lausuch@ericsson.com>

Merge "APEX: iso verify fixes"

[qtip]refactor validate-deploy.sh

Use new CI script run_ci.sh to trigger QTIP test.

Change-Id: I1e9b0628d3dde64dca9d6e8b3d9bad9f31ff3f3a
Signed-off-by: zhihui wu <wu.zhihui1@zte.com.cn>

Merge "dovetail: conditional steps added to fuel-bgpvpn scenario"

Merge "dovetail: offline support by making users to download docker images from artifacts"

dovetail: conditional steps added to armpod

JIRA: DOVETAIL-432

1, only run against os-(nosdn-odl_l2)-(nofeature-bgpvpn)-ha scenario
this can reduce the CI/pod time resource
dovetail test cases by now (refstack, ha, ipv6, bgpvpn)
2, this has been tested on compass pod, and works well

Change-Id: I1bcf8165d5fcc93c78b47cbd23e0c07f19b01189
Signed-off-by: MatthewLi <matthew.lijun@huawei.com>

dovetail: conditional steps added to fuel-bgpvpn scenario

JIRA: DOVETAIL-432

1, only run against fuel os-odl_l2-bgpvpn-ha scenario
this can reduce the CI/pod time resource
dovetail test cases by now (refstack, ha, ipv6, bgpvpn)
2, the conditional steps have been successed tested on compass
  to remove the introduce of
  https://gerrit.opnfv.org/gerrit/#/c/34327/
  conditonal steps look more simple and understandable

Change-Id: I315a789160b8173274b1c1ef916073ced7d5e91b
Signed-off-by: MatthewLi <matthew.lijun@huawei.com>

APEX: iso verify fixes

The current implementation of iso verify can potentially block indefinitely
and/or return incorrect string matching results. This patch changes iso verify
to use log file instead of tcp serial console.

Change-Id: I89accc9c2165836a23a21a223fa33e920c529772
Signed-off-by: Feng Pan <fpan@redhat.com>

Update functest jjobs to run tox

Depends-On: I934f4ac739d99d0cb29bea8c6aac6d6780b30901

Change-Id: Ic036cc9cc8377398efbb5eda4f90bb5dcc4e75a5
Signed-off-by: Cédric Ollivier <cedric.ollivier@orange.com>

Merge "fix conditional step label"

support cancel operation while signing in

support the cancel operation in the
https://openstackid.org/accounts/user/consent

Change-Id: I06a1f130a3115774f2e88fc25dad522a7cf53e36
Signed-off-by: SerenaFeng <feng.xiaowei@zte.com.cn>

Merge "add signout funcationality"

fix conditional step label

see error log

https://build.opnfv.org/ci/view/compass4nfv/job/compass-os-nosdn-nofeature-ha-baremetal-daily-danube/57/console

Change-Id: I925658a3f2c20e51153b4c6298e271e50a5673b5
Signed-off-by: MatthewLi <matthew.lijun@huawei.com>