vswitchperf: Throttle verify and merge jobs

Real vsperf tests are executed via verify and merge jobs.
These tests can't run in parallel at the same node, thus
number of concurrent builds per node was set to 1.

Change-Id: Ifc2d1dce2103590dfbc2fbe1ead58483552080a2
Signed-off-by: Martin Klozik <martinx.klozik@intel.com>
Reviewed-by: Fatih Degirmenci <fatih.degirmenci@ericsson.com>

don't set newton as default value for the moment

Change-Id: I6137f9dbeed1b15c3e6fc7d63bb1892cf2b9471e
Signed-off-by: meimei <meimei@huawei.com>

Merge "[compass] set newton as a opention of openstack"

[compass] set newton as a opention of openstack

Change-Id: I403a942ffb176c89b862bd6a19d5dea40cf1884c
Signed-off-by: meimei <meimei@huawei.com>

Merge "Implement virtual deployment in merge job of Daisy4nfv CI"

Fuel: run curl command with parameter L to follow redirects

Since ZTE PODs use url http://build.opnfv.org/artifacts.opnfv.org/ to
download files, it should run curl command with parameter L to follow
redirects.
It does not affect PODs which use url http://artifacts.opnfv.org/

JIRA: FUEL-225

Change-Id: I63b808657ee4f26b801e492b53bc8e4b27396587
Signed-off-by: wu.zhihui <wu.zhihui1@zte.com.cn>

Merge "Transform fetch_os_creds.sh into python Class"

Implement virtual deployment in merge job of Daisy4nfv CI

Change-Id: I2f0edea6a2f527e800c953458b4bb31741e970ab
Signed-off-by: zeyu zhu <zhu.zeyu@zte.com.cn>

Temporary disable some master jobs

Daily deployment jobs which use master code and require plugins
which are still not uplifted to Newton are temporary disabled
on bare metal pods.

Change-Id: Ifa7e5136adf53e49c922e844c5a7e6789deb6c8e
Signed-off-by: Fedor Zhadaev <fzhadaev@mirantis.com>

Merge "Correct SFC testcase match in the reporting Dashboard"

Merge "Refactor reporting dir"

Correct SFC testcase match in the reporting Dashboard

The test is specified as odl-sfc, but in the DB we have
functest-odl-sfc.

http://testresults.opnfv.org/test/api/v1/results?case_name=functest-odl-sfc

Change-Id: Ie8c0ed60df3b11fc4d74c26796ae7a19d63c22b7
Signed-off-by: jose.lausuch <jose.lausuch@ericsson.com>

Transform fetch_os_creds.sh into python Class

JIRA: RELENG-168

Change-Id: Id5b1fca430c37917b554a54dd0678d9d7497dc11
Signed-off-by: jose.lausuch <jose.lausuch@ericsson.com>

Refactor reporting dir

- dockerization
- create util function for all the test projects
- create a common config files
- add unit tests
- pep8

JIRA: RELENG-162

Change-Id: Ib209be4233084100ff238a7aeb2843ccc24a6f1e
Signed-off-by: Morgan Richomme <morgan.richomme@orange.com>

Merge "Add setup.py for common OPNFV modules"

Merge "Move installer adapters to the new modules directory"

Improve compass ci verification: close flake8 check of compass4nfv
JIRA: COMPASS-494

Change-Id: Id926fa5cd6627cee1c0369540868cc12da89ce5c
Signed-off-by: KingPoo <haojingbo@huawei.com>

Add setup.py for common OPNFV modules

JIRA: RELENG-161

Change-Id: I2423493d0c9c9c4ce78fe8c2669b9ed24e697b58
Signed-off-by: jose.lausuch <jose.lausuch@ericsson.com>

Move installer adapters to the new modules directory

JIRA: RELENG-149
JIRA: RELENG-161

Now that we have a modules directory in place, let's
move all the shared python code to this location.
We need to create a setup.py to install these
modules in the system so that we don't have to
modify the pythonpath.

Change-Id: I7e608ce6e1e6b3d111405bc789cdb2ff7fcb49c3
Signed-off-by: jose.lausuch <jose.lausuch@ericsson.com>

Merge "fuel: cann't find latest.properties"

Merge "Problem Description: compass4nfv module didn't has any static check in the CI, to make code more standard according Flake8, we decide add flake8 check on this module."

Merge "add daisy doc to opnfvdocs"

Problem Description: compass4nfv module didn't has any static check in the CI, to make code more standard according Flake8,
we decide add flake8 check on this module.

JIRA: COMPASS-503

Change-Id: I2539f3792e3a9734791d595b0af66bbbbf67114f
Signed-off-by: KingPoo <haojingbo@huawei.com>

fuel: cann't find latest.properties

See https://build.opnfv.org/ci/job/fuel-deploy-zte-pod1-daily-colorado/76/console

latest.properties is downloaded under $WORKSPACE.
Use absolute path  $WORKSPACE/latest.properties in these two sentence.
local test is OK.

JIRA: FUEL-225

Change-Id: I37cf3835c56f44cee31a8814b4af1e71c8d1cc6a
Signed-off-by: wu.zhihui <wu.zhihui1@zte.com.cn>

Merge "Add directory for common python modules/tools"

add daisy doc to opnfvdocs

Change-Id: Ied421ba55277b2189015e85e8cb36110bf7af239
Signed-off-by: Jing Sun <sun.jing22@zte.com.cn>

Run Flake8 against SFC Repository

Change-Id: I1eb4d4a56ccaf0d95257cda1ad2b345c069ecb94
Signed-off-by: Trevor Bramwell <tbramwell@linuxfoundation.org>

Merge "This patch includes scripts for implementing kvmfornfv daily jobs to trigger cyclictest with stress applied and  packet forwarding test cases."

Merge "Add merge job to Daisy4nfv CI"

This patch includes scripts for implementing kvmfornfv daily jobs
to trigger cyclictest with stress applied and  packet forwarding
test cases.

Change-Id: Iaf6611481ee217447c8649a64fa7410563b5a578
Signed-off-by: Gundarapu Kalyan Reddy <reddyx.gundarapu@intel.com>

Merge "Add missing step on the baremetal documentation"

Add merge job to Daisy4nfv CI

Change-Id: I42e828663af780ab596477741d1d34c985c86197
Signed-off-by: zeyu zhu <zhu.zeyu@zte.com.cn>

Colorado bug fix: ci path did not change

After refactoring of the repo structure
we add to adapt the path in releng
but this change is only valid for Danube and after
old pathes must be kept for colorado

JIRA: FUNCTEST-525

Change-Id: I4cf5951111dbb9cb3d7a002c24efe1167e994222
Signed-off-by: Morgan Richomme <morgan.richomme@orange.com>

Merge "Rename Artifact and JJB Related Jobs"

Apex: Disables ODL functest smoke verify

In stable/newton there are bugs in neutron and OVS which are causing
functionality to fail in ODL.  ODL will still deploy, but OS will not
function correctly.  Therefore temporarily we will disable ODL smoke
tests to make headway on other features unrelated to ODL in OPNFV.

Change-Id: I7ed2a1b696c9be14fa85b8c33bc07e4c3bfe9378
Signed-off-by: Tim Rozet <trozet@redhat.com>

Adapt jjb path to new functest repo structure

JIRA: FUNCTEST-525

Change-Id: I613757f98a7b41e924f1334053f83f8966536018
Signed-off-by: Morgan Richomme <morgan.richomme@orange.com>

Merge "Remove Old 'test-sign-daily-master' Job and Script"

Merge "Fix bug in setting udp ports"

move build.sh to root directory

Change-Id: I55a7be96930039febb3c3fe35fa02fc307ccdf43
Signed-off-by: meimei <meimei@huawei.com>

Fix bug in setting udp ports

There was a typo that prevented to configure udp ports
properly, causing dhcp boot to fail.

Change-Id: Ib853a9b9a21da113bda12b5cc1f33b3819442139
Signed-Off-By: Yolanda Robla <yroblamo@redhat.com>

bugfix: miss parameters when create verify jobs

Change-Id: Idc0db2fac90b971eee9e85a5c9bc187c922ec045
Signed-off-by: meimei <meimei@huawei.com>

remove all the verify jobs for compass and then add them back

Change-Id: Ic0b0ab52a45947799206df91a1ac29d43ad56290
Signed-off-by: meimei <meimei@huawei.com>

remove all the verify jobs for compass and then add them back

Change-Id: Ibc78f6c56d64b09c625684144b80c5c4c6484aae
Signed-off-by: meimei <meimei@huawei.com>

modify the path of build.sh

JIRA: COMPASS-496

Change-Id: If21ac68a117fbfa13eb1888151ac5e479ced22f1
Signed-off-by: meimei <meimei@huawei.com>

Rename Artifact and JJB Related Jobs

These should be renamed on the Jenkins server first in order to preserve
job history.

- artifact-cleanup-daily-{stream} -> releng-artifact-cleanup-daily-{stream}
- builder-verify-jjb -> releng-verify-jjb
- builder-merge -> releng-merge-jjb
- artifacts-api -> releng-generate-artifacts-api

Change-Id: I1c3812c54b65847b9771fce2a16d10de823bd672
Signed-off-by: Trevor Bramwell <tbramwell@linuxfoundation.org>

Remove Old 'test-sign-daily-master' Job and Script

Artifact signing is in place and working. This job is currently
returning false-positive successful runs and consuming resources on
Jenkins master.

Change-Id: I6e94f361c117221b4b9d0ba08f9359f539815834
Signed-off-by: Trevor Bramwell <tbramwell@linuxfoundation.org>

Add missing step on the baremetal documentation

Change-Id: Ib9ef5d342f1efe624464df249c950eb7807322e1
Signed-Off-By: Yolanda Robla <yroblamo@redhat.com>

Cleanup dirty daisy build workspace directory, part2

This let daisy basic job and build job to run on the
same machine, so that, basic job can do cleanup for
the build job.

This is a one-shot action. After succefully executed,
this PS will be reverted.

Change-Id: I79950508afe393af8bb6097e5f49745140068920
Signed-off-by: Zhijiang Hu <hu.zhijiang@zte.com.cn>

Cleanup dirty daisy build workspace directory

This is a one-shot action. After succefully executed,
this PS will be reverted.

Change-Id: I09ffadf6ea3bace87164feb409bb8a1187c8b2fd
Signed-off-by: Zhijiang Hu <hu.zhijiang@zte.com.cn>

This fixes the uploads going to docs/docs

gsutil command looked like this:
gsutil -m cp -r upload/docs
gs://artifacts.opnfv.org/fuel/colorado/2.0/docs

Uploads looked like this:
Uploading   ...docs/docs/installationprocedure/_static/down.png:

Change-Id: Ic767187ea973351c7123e08441ee3e67eb1ffdfa
Signed-off-by: Aric Gardner <agardner@linuxfoundation.org>

files merged are going in /docs/docs/

adding echos to debug

Change-Id: I232044a616ca36bb7ff4a42a76188f6d47dd807e
Signed-off-by: Aric Gardner <agardner@linuxfoundation.org>

Merge "Prevent double uploading while "build" jobs"

Merge "compass: Update verify jobs and introduce Multijob and verify phases"

Don't run Functest unit tests for Colorado branch

run_unit_tests.sh is a new thing for Danube,
it shouldn't be executed in Colorado verify jobs.

Change-Id: Ibc9fd41ae390ef2fcb7d448914dd65a7b9166781
Signed-off-by: jose.lausuch <jose.lausuch@ericsson.com>

compass: Update verify jobs and introduce Multijob and verify phases

Change-Id: I2b4e57d5c67f0b8abd485668ce40675d9dff73e7
Signed-off-by: meimei <meimei@huawei.com>

Merge "Propose Yolanda Robla Mota as new committer to Releng"

Prevent double uploading while "build" jobs

"build"-like jobs were matched to both if-statements so ISOs were uploaded
twice.

This patch fixes that behaviour.

JIRA: FUEL-221

Change-Id: I1f6b18339ec742b65de6a3f3c1ae3c9a5009fa4e
Signed-off-by: Fedor Zhadaev <fzhadaev@mirantis.com>

Armband: Verify: Removed upstream folder from forbidden file paths

"forbidden-file-paths" prevents verify from running for patches that
alter that dir so it was necessary to remove "upstream" ANT
configuration completely

Change-Id: I6c1f00fe500548695284ad1e947cb35bdce14c3e
Signed-off-by: Andrei Varvara <andrei.varvara@enea.com>

Propose Yolanda Robla Mota as new committer to Releng

Change-Id: Id7699db3beb50c1e2cdea3affd4f7b052f28596e
Signed-off-by: Fatih Degirmenci <fatih.degirmenci@ericsson.com>

Fix perms and sed for bridge_name

Change-Id: I0b2b6e31a456398958bf1997ed6f6394322191c8
Signed-Off-By: Yolanda Robla <yroblamo@redhat.com>

Start using centos7 instead of centos-minimal

Current builds with centos-minimal are failing on 7,
so start using centos7 element instead.

Change-Id: I80d986fd7613e1807a119447a01c62e6f8a93ddf
Signed-Off-By: Yolanda Robla <yroblamo@redhat.com>

Add step to customize create bridge template

Change-Id: I0f4e7353773291e810f70059e4a015ac641bd2c8
Signed-Off-By: Yolanda Robla <yroblamo@redhat.com>

Fix automated job to properly create the bridge

The element that creates the bridge was moved from file
to template. But in the case of VMs we are not running puppet
to install bifrost, so that is not applied. Manually place the
file in the right path, and replace the bridge name with the
expected br_opnfv.

Change-Id: I22b2213b529343b24c358b3c80fd1849ec40979c
Signed-Off-By: Yolanda Robla <yroblamo@redhat.com>

playbooks: Do not serialize ironic deployment

[This is similar to upstream https://review.openstack.org/389079]

This somewhat reverts 0a82e3d8d29f85229e1ed29d90de47346bc1d9b1
("Serialize localhost actions during final host deployment").
The only point where we want to serialize the steps is when accessing
common files on the host. In the bifrost-deploy-nodes-dynamic role,
all tasks are accessing files based on the 'inventory_hostname'
variable, which means there is no conflict there and tasks on these
role can run in parallel. This allows bifrost to provision machines
in parallel during pxe boot which speeds up the entire operation.

Change-Id: I64b1f2832c333c89e33e8f9d19f03e4d653d74b4
Signed-off-by: Markos Chandras <mchandras@suse.de>

Armband: Verify: Fix build params, tree paths

Armband tree has ci, patches and upstream as folders.
Updated the releng armband-verify-jobs.yml with the right
paths.

While replicating Fuel@OPNFV behavior, one default set of parameters
was left pointing to x86 build defaults (opnfv-build-defaults),
instead of opnfv-build-arm-defaults.

JIRA: ARMBAND-99

Change-Id: I4a0ec09b6188ef4c7f06d2f0c0ddcb13ca9ad72f
Signed-off-by: Alexandru Avadanii <Alexandru.Avadanii@enea.com>
Signed-off-by: Andrei Varvara <andrei.varvara@enea.com>

Armband: Verify: Don't enable virtual-deploy yet

While at it, add missing exec flag to one sh script, and cleanup
some obsolete debug logs.

Change-Id: Ib805e41177571f6413ed744edae405449c86412e
Signed-off-by: Alexandru Avadanii <Alexandru.Avadanii@enea.com>

Merge "Add verify jobs for Armband"

Merge "Trigger test unit execution on verify + Published for jenkins"

Merge "predefined-parameters complement for daisy verify jobs"

Merge "Refactor SSHUtils"

[Yardstick] Add default DB_BACKEND for virtual pod

JIRA: YARDSTICK-357

Change-Id: I5a6e77366733e1a871c8f1574d15996456ec080d
Signed-off-by: JingLu5 <lvjing5@huawei.com>

Add verify jobs for Armband

This patch is similar to what releng/jjb/fuel does for
verifying build and deploy.

JIRA: ARMBAND-99

Change-Id: Ic6524e921acf458b55fbbb3453638c5fc30db15c
Signed-off-by: Andrei Varvara <andrei.varvara@enea.com>

predefined-parameters complement for daisy verify jobs

Try to solve "Error fetching remote repo 'origin' GERRIT_REFSPEC"
problem.

Change-Id: I0631be6cced09aa816afab9471c1351e69a5bda7
Signed-off-by: Zhijiang Hu <hu.zhijiang@zte.com.cn>

[qtip]update qtip ci job

1. Creat qtip ci job on zte-pod3
2. Reschedule time on zte-pod2

JIRA: QTIP-138

Change-Id: I5805e976e72c898e761f440833bfde42b37bba42
Signed-off-by: wu.zhihui <wu.zhihui1@zte.com.cn>

Merge "[compass] fix concurrency issues of ci jobs"

[compass] fix concurrency issues of ci jobs

JIRA: COMPASS-494

Change-Id: I7cffad73976cd33974df4fe66e6a30e67df962c1
Signed-off-by: QiLiang <liangqi1@huawei.com>

Merge "Upload Generated Documentation to Correct Path"

Add directory for common python modules/tools

This dir might be used to add more common python
tools (importable modules) that are of interest
for the whole community.

Change-Id: Iec99bd7c79f88d8722eb842faeee4046088d162f
Signed-off-by: jose.lausuch <jose.lausuch@ericsson.com>

vsperf: Run colorado verify/merge jobs on intel-pod3

Change-Id: Ic893544d76e9e99189c4bba1370e5d5c0bec2e92
Signed-off-by: Fatih Degirmenci <fatih.degirmenci@ericsson.com>

Refactor SSHUtils

- Add utility functions to get and put remote files
- Add JumpHostHopClient class that creates an ssh connection to a remote
  server through a jumphost. This class inherits from paramiko SSHClient
  and provides all the methods SSHClient provides
- Add get_ssh_connection utility function that creates an ssh client
  object.

Change-Id: Ic5e56f53781a861e991ae02864eb2e06dacaee1f
Signed-off-by: George Paraskevopoulos <geopar@intracom-telecom.com>

Upload Generated Documentation to Correct Path

Documentation for Colorado 2.0 is not being uploaded to the correct
place. Instead of being uploaded to 'colorado/2.0/docs' documentation is
getting uploaded to 'colorado/2.0/'. Using `$gs_path` over `$GS_URL`
should fix this.

Further this should fix the failure from the gsutil command happening
when trying to set the correct Content-Type header on HTML files as it's
referencing a path that does not exist.

JIRA: DOCS-161

Change-Id: Ic732fda5cac54b1cc4834f2b44000ee87838f269
Signed-off-by: Trevor Bramwell <tbramwell@linuxfoundation.org>

Merge "Update opnfv-docs Merge Job Trigger and Parameter"

Apex: removes opendaylight-sfc rpm from upload

We no longer build a separate RPM for opendaylight-sfc, so this needs to
be removed.

Change-Id: I6dc10d4dbc1c42336f299e4b05955e95a67bb1a0
Signed-off-by: Tim Rozet <trozet@redhat.com>

Merge "Add documentation for deploying on baremetal"

Merge "prototypes: bifrost: Ignore dnsmasq service failures"

Merge "reslove issue about can not trigger verify jobs"

Merge "Set arm-pod-3 as non-ci POD"

prototypes: bifrost: Ignore dnsmasq service failures

If this is the first time we run bifrost on a host or if we haven't
run bifrost since the last reboot, restarting the dnsmasq service will
fail because of conflicts with the dnsmasq process running by libvirt.
This is later on 'fixed' by bifrost by killing the one from libvirt.
Make sure that this spurious failure will not prevent the rest of the
cleanup process to move on.

Change-Id: Iebf37881570c27cb07cea3cecdb0fa8ac3fc511b
Signed-off-by: Markos Chandras <mchandras@suse.de>

Update opnfv-docs Merge Job Trigger and Parameter

- Adds 'GERRIT_REFSPEC' parameter
   By setting a default to 'refs/heads/{branch}' (which will evaluate to
   either 'refs/heads/master', or 'refs/heads/stable/colorado') we will
   be able to manually trigger patchsets.

- Adds 'rebuild docs' comment to trigger
   Because 'remerge' is used by multiple projects, adding 'rebuild docs'
   will allow anyone to trigger only a rebuilding of the documentation,
   while still rebuilding them on a 'remerge' comment.

Change-Id: I596f3e8bf412077e5e505555cb0654394a32d213
Signed-off-by: Trevor Bramwell <tbramwell@linuxfoundation.org>

Merge "vswitchperf: Update merge and verify jobs"

Merge "Disable selinux for RHEL"

Trigger test unit execution on verify + Published for jenkins

Signed-off-by: Morgan Richomme <morgan.richomme@orange.com>
Change-Id: Ieb8e291d31479fff1c7cad941eb9be83cd4b670f
Depends-On: Icd958552fafb4e8dc58f9008586bcaf33862ccd4
Signed-off-by: Morgan Richomme <morgan.richomme@orange.com>

Merge "bug fix: pdf generation"

Merge "Set a Custom URL for Bifrost Verification Jobs"

Set a Custom URL for Bifrost Verification Jobs

OpenStack-CI documentation states[1] a custom URL needs to be set in
order for Jenkins comments to be correctly formatted by the OpenStack
Gerrit server.

[1] http://docs.openstack.org/infra/system-config/third_party.html#the-jenkins-gerrit-trigger-plugin-way

Change-Id: Id10c9839b823f0b3841cfcaa16a6dd384d34cbbe
Signed-off-by: Trevor Bramwell <tbramwell@linuxfoundation.org>

Merge "make elastic index configurable rather than settled in code"

bug fix: pdf generation

Change-Id: Ic101411a991b4baac8e1683bc5cad924f85f05c2
Signed-off-by: Morgan Richomme <morgan.richomme@orange.com>

Set arm-pod-3 as non-ci POD

arm-pod-3 will be removed as CI pod and this commit add triggers
to make it a non-ci pod

Change-Id: Ice16b8d32c553a059a2c9885fd801a736a59a14d
Signed-off-by: cristinapauna <cristina.pauna@enea.com>

Add documentation for deploying on baremetal

Change-Id: I9685b733ae2e3e732c78e78381778c944eace90c
Signed-Off-By: Yolanda Robla <yroblamo@redhat.com>

rename result_collection_api to testapi

Change-Id: Iec4e3db23cd44f30831e17c127eda74e9d9b5d14
Signed-off-by: SerenaFeng <feng.xiaowei@zte.com.cn>