Basic CI integration for building Gluon packages

This first iteration of CI integration aims at realizing a daily
build job which creates installable RPM from upstream Gluon master.

Change-Id: I5a722943850e27f4d0345a73b488cbd00244ac90
Signed-off-by: Georg Kunz <georg.kunz@ericsson.com>

Merge "Functest jjob: add the option to provide the rc file as parameter"

Merge "Add possibility to build a Release Docker image"

Merge "doctor: copy log file to 'tests' dir"

Restrict Gerrit Triggers to OPNFV Gerrit Server

With the addition of ODL and OpenStack Gerrit servers, it's important we
don't generate additional noise by accidentally building against these
Gerrit servers when we don't intend to.

JIRA: RELENG-179

Change-Id: Ia163c6c3eaa58e8e21dc6548a839062fcbde39ed
Signed-off-by: Trevor Bramwell <tbramwell@linuxfoundation.org>

Only Build docs for OPNFV Projects

Without 'server-name' explicitly set the gerrit trigger defaults to
watch ANY gerrit serer. Thus docs builds are running against ODL
patchsets. This should not happen.

Change-Id: I3cb720b96c77a79197e42356b805c8bf560318bf
Signed-off-by: Trevor Bramwell <tbramwell@linuxfoundation.org>

Apex: fixes non-updated scenarios for fdio-ha

Change-Id: I54b6600592260e797fce533b13585302b08a66e0
Signed-off-by: Tim Rozet <trozet@redhat.com>

Functest jjob: add the option to provide the rc file as parameter

Change-Id: Icb5dd3f0f46eb4891609d1f0e4d868e84fe49a14
Signed-off-by: jose.lausuch <jose.lausuch@ericsson.com>

doctor: copy log file to 'tests' dir

Change-Id: I1d9592a1cad487066d1f28af73a50ee1606409e3
Signed-off-by: Ryota MIBU <r-mibu@cq.jp.nec.com>

Merge "doctor: drop postbuilders"

Add possibility to build a Release Docker image

New flag that if it's not empty, it will build the
image with the given tag instead of using master/stable.
These release builds will need to be triggered manually
by a Jenkins user with rights to build jobs.
The respective projects take the responsability to
build the release docker image whenever they
consider it is the right time.

Change-Id: I49b087e80eb134b8b3ddef8399f61eeac9b29619
Signed-off-by: jose.lausuch <jose.lausuch@ericsson.com>

Merge "prototypes: bifrost: Increase default provision timeout to 3600 seconds"

doctor: drop postbuilders

Change-Id: I228619470b4baace4acbc53e0bd710dd0aea7c4b
Signed-off-by: Ryota MIBU <r-mibu@cq.jp.nec.com>

prototypes: bifrost: Increase default provision timeout to 3600 seconds

Sometimes, the current '2400 seconds' timeout is not enough to all 3 VMs
to become reachable especially when the qcow2 images are becoming bigger
and bigger. This leads to spurious CI failures. Increase the timeout to
3600 seconds which should be enough for VMs boot properly

Change-Id: I06942952667df28341e5ce43d30619fe2e30326b
Signed-off-by: Markos Chandras <mchandras@suse.de>

Merge "Add parameters in init function"

Merge "doctor: fix file paths"

Merge "Apex: Adds odl_l2-fdio-ha to daily"

Merge "armband: Enable deploy-cache"

doctor: fix file paths

- fix file path to mount doctor code under review

- re-add workaround to archive functest suite log

- drop unnecessary params for jobs

Change-Id: I51ed4dbd7178c875cb6b047f26ae4c1db3d94687
Signed-off-by: Ryota MIBU <r-mibu@cq.jp.nec.com>

Merge "doctor: fix parameter setting"

doctor: fix parameter setting

In the current doctor jenkins jobs, default parameters for functest are
used.

This patch updates parameter settings, and also simplifies archive
instruction.

Change-Id: I6940d323271bc9492eeb5e9f8ca9faf02612f483
Signed-off-by: Ryota MIBU <r-mibu@cq.jp.nec.com>

Merge "Fix the non-virtual node error for virtual-deploy job"

Add parameters in init function

Change-Id: I8ce5219251ff21f2cf3a554d275b4d2584d70e0b
Signed-off-by: rohitsakala <rohitsakala@gmail.com>

Fix the non-virtual node error for virtual-deploy job

Change-Id: I617849b23aca515525f7e2219c3f268cbda80e43
Signed-off-by: zeyu zhu <zhu.zeyu@zte.com.cn>

Merge "Rearrange Releng Job and Parameter Files"

Merge "update doctor CI job"

armband: Enable deploy-cache

This enables the mechanism added in [1].

Armband just added support for caching deploy artifacts, like
bootstraps and target images, which take a lot of time at each deploy
to be built, considering it requires a cross-debootstrap via
qemu-user-static and binfmt.

For easier setup, the deploy cache depends on the local ISO storage
mechanism (/iso_mount/opnfv_ci), and reuses the same storage pool.

To enable deploy caching, just create the deploy-cache directory at:
/iso_mount/opnfv_ci/<branch>/deploy-cache

JIRA: ARMBAND-172

[1] https://gerrit.opnfv.org/gerrit/#/c/25191

Change-Id: I161205a87f13cd78e79b96bfc37a5f68aba093cc
Signed-off-by: Alexandru Avadanii <Alexandru.Avadanii@enea.com>

Rearrange Releng Job and Parameter Files

Individual project jobs can now be tested using:

  jenkins-jobs test -r jjb/global:jjb/$project

- Rename '.yaml' files to '.yml' so they get checked by the
  verify-releng.sh script, and update the script to include checking of
  '.yaml' files.
- Move parameter and macro files under new 'global' directory.

Change-Id: I6b74f5d8af2bced3256a7f4a33983df5310511a2
Signed-off-by: Trevor Bramwell <tbramwell@linuxfoundation.org>

Apex: Adds odl_l2-fdio-ha to daily

Trades noha for ha scenario

Change-Id: I595766b8a06b115e0453c593c728c85e5a648e3d
Signed-off-by: Tim Rozet <trozet@redhat.com>

Merge "Remove trailing slash in example"

Merge "Refactor Docker build jobs"

Merge changes from topic 'fix-monit-script'

* changes:
  utils: jenkins-jnlp-connect.sh: Make monit actions conditional
  utils: jenkins-jnlp-connect.sh: Fix start up script

Merge "jjb: infra: Fix and enable the SUSE job for bifrost"

Merge "bifrost: Make use of the new 'openssh-server' dib element"

utils: jenkins-jnlp-connect.sh: Make monit actions conditional

When executing the connection testing command as indicated in [1], -t is
added to the monit start-up script parameters. This prevents the jenkins
service from running in the background and create the pid file. Because
of that, monit is confused and reports the service as failed. We fix
this by moving all the monit related actions inside the 'monit'
conditional block.

[1]: http://artifacts.opnfv.org/octopus/brahmaputra/docs/octopus_docs/opnfv-jenkins-slave-connection.html#connecting-slaves-from-community-labs-to-opnfv-jenkins

Change-Id: I7371c4560311b84f56eff3461254264e1769ff7e
Signed-off-by: Markos Chandras <mchandras@suse.de>

Merge "bug Fix: adapt reporting to merge of smoke+sdn tiers"

Merge "Add Escalator CI job"

Merge "Enable Flake8 Checks on Escalator"

Merge "set "opnfv-lint-verify" as the basic verify of compass"

jjb: infra: Fix and enable the SUSE job for bifrost

Fix SUSE parameters for os, release, packages and elements and
enable the job.

Change-Id: I0fc0fbc5fcf8df04186d6c19aaf363020d31a44c
Signed-off-by: Markos Chandras <mchandras@suse.de>

bifrost: Make use of the new 'openssh-server' dib element

Make use of the new 'openssh-server' dib element to achieve a consistent
behavior of ssh server across all distributions.

Change-Id: Ib10066a244fe44530969702cd465cdd79454b8fe
Signed-off-by: Markos Chandras <mchandras@suse.de>

Merge "Add jobs for ARM virtual POD"

Remove trailing slash in example

also add caveat note

Change-Id: Ie662ffb9240c3ffdbc4c7317d63744a8beedec4a
Signed-off-by: Aric Gardner <agardner@linuxfoundation.org>

bug Fix: adapt reporting to merge of smoke+sdn tiers

Change-Id: I74d9834b609797f85d52e97ccdfeab614c1c07bf
Signed-off-by: Morgan Richomme <morgan.richomme@orange.com>

Merge "Apex using a different network settings file for master"

Merge "Enable qtip verify job"

Refactor Docker build jobs

- Remove incremental tags for stable branches
- Use "latest" or "stable" tags only
- Have a single job template for all projects

More info here: https://wiki.opnfv.org/display/INF/Docker+handling+in+CI

Change-Id: Ibce3ef2faee136f56f0eab12dfe7a93c267db854
Signed-off-by: jose.lausuch <jose.lausuch@ericsson.com>

update doctor CI job

Doctor has an experimental CI job. It has three parts (builders in
jjb / runners in CI). The main job will trigger two runner jobs which
will run 'test/run.sh' in the same CI pod with different inspector
(sample and congress). While executing those two children jobs, the
main job will block CI pipline on that pod. In order to avoide deadlock
and sequencial runner job execution, we set two pipelines for the pod.
But, it still allow deadlock when we trigger two main jobs at the same
time.

This patch simplify the job definition by splitting two runner jobs
and removing the main job.

Change-Id: I4fadd58cc827a41927940c38cf05ed105c6f243c
Signed-off-by: Ryota MIBU <r-mibu@cq.jp.nec.com>

Make the requirements.txt compatible with Colorado

JIRA: YARDSTICK-428

Now in master, we move the requirements.txt from tests/ci/ to yardstick
root path.
But in colorado, this has yet to be done.If we cherry pick from master
to colorado, it will encounter error.
So we must make it compatible.

Change-Id: I0537d989e677b73e19a1e093166493f3f6d25783
Signed-off-by: chenjiankun <chenjiankun1@huawei.com>

Add jobs for ARM virtual POD

Pod virtual1 was added in the ENEA-ARM lab
This commit adds the jobs for it
JIRA: ARMBAND-162

Change-Id: Icaa798691f5ff60a58ae083eb1c366170c464b92
Signed-off-by: cristinapauna <cristina.pauna@enea.com>

multisite: Use correct names for the generated files

Change-Id: I030dbca1a44231ae0548a5b17cd2f419ec7a4289
Signed-off-by: Fatih Degirmenci <fatih.degirmenci@ericsson.com>

Enable qtip verify job

Change-Id: I15be7c9cab2ffa471a828b3295051cbd423988f5
Signed-off-by: Yujun Zhang <zhang.yujunz@zte.com.cn>

Merge "Adding GS_PROXY prefix to GS_URL in proxy scenario"

multisite: Run jobs on right nodes

Change-Id: Ia681d629eb685ed1186be2bb74e42e2067b48aa2
Signed-off-by: Fatih Degirmenci <fatih.degirmenci@ericsson.com>

multisite: Adjust archival of generated files

Change-Id: I1e9236d04143c87bb85d15b05b6e42ea34438f8b
Signed-off-by: Fatih Degirmenci <fatih.degirmenci@ericsson.com>

utils: jenkins-jnlp-connect.sh: Fix start up script

The jenkins-jnlp-connect.sh script is meant to be executed from the
$jenkinshome directory. The monit script was configured to enter a
different directory before starting the jenkins script which always
resulted in a broken start-up phase like this:

"This script needs to be run from the jenkins users home dir"

We fix this by entering the $jenkinshome directory before starting up
the jenkins script.

Change-Id: If0f65417f07a7fa9328f9adcd1ca1a1a3bc530ed
Signed-off-by: Markos Chandras <mchandras@suse.de>

Create kingbird jobs to run on multi node

Change-Id: I73cec4d39f5a3119c1cc7f86b7919a0431f8f653
Signed-off-by: Fatih Degirmenci <fatih.degirmenci@ericsson.com>

Add Escalator CI job

Change-Id: Ia2dafa452fb0512b04766fae92a97eff59db888b
Signed-off-by: zeyu zhu <zhu.zeyu@zte.com.cn>

Adding GS_PROXY prefix to GS_URL in proxy scenario

${GS_PROXY} does not include branch name in the URL, when use it to
download the latest.properties, it always downloads the master branch
file, not the current release defined in ${gs-pathname}.

In this patch, no longer directly use ${GS_BASE_PROXY}, but join them.

JIRA: FUEL-225

Change-Id: I2566036c174b2f03997669d25a37f1de21ffeac6
Signed-off-by: Julien <zhang.jun3g@zte.com.cn>

Apex using a different network settings file for master

Network settings file format has changed for master

Change-Id: I3d6a30b5223ca9525a7e344db1550ee5bdfd7776
Signed-off-by: Dan Radez <dradez@redhat.com>

Add -L parameter to curl for download ISO files

same as patch 24385, which just fixed the latest.properties file

curl:
   -L, --location
   (HTTP/HTTPS)  If the server reports that the requested page has moved
   to a different location (indicated with a Location: header and a 3XX
   response code), this option will make curl redo the request on  the
   new  place.

without -L, curl just download the redirects info not the file.

JIRA: FUEL-225

Change-Id: I20a01b628ca1545def68bd4e0b24594c24ee7f85
Signed-off-by: Julien-zte <zhang.jun3g@zte.com.cn>

Merge "bifrost: test-bifrost-deployment: Allow overriding VM hardware options"

Merge "KVMFORNFV: Implementing kvmfornfv daily jobs."

Apex: Enable verify on ODL master job and master daily

Change-Id: I149f0e9dbaf65a1b5c7bd905713a228ad1c75ce1
Signed-off-by: Tim Rozet <trozet@redhat.com>

Merge "opnfvdocs: Store colorado.3.0 documents in different location"

Merge "daisy: modify the download url for ZTE POD"

opnfvdocs: Store colorado.3.0 documents in different location

This patch is a workaround until more proper mechanism is put in place.

The doc-version parameter is appended to default GS_URL, changing the
storage location of the documents from
    http://artifacts.opnfv.org/sfc/colorado/2.0/docs/bradys-cool-document.html
to
    http://artifacts.opnfv.org/sfc/colorado/3.0/docs/bradys-cool-document.html

Documents generated from master branch will be stored in same location such as
    http://artifacts.opnfv.org/sfc/docs/bradys-cool-document.html

Change-Id: Ieffb46322525089ed339411e84e5defef593de2e
Signed-off-by: Fatih Degirmenci <fatih.degirmenci@ericsson.com>

Merge "Modify yardstick requirements.txt path config in releng"

Merge "vswitchperf: Throttle verify and merge jobs"

vswitchperf: Throttle verify and merge jobs

Real vsperf tests are executed via verify and merge jobs.
These tests can't run in parallel at the same node, thus
number of concurrent builds per node was set to 1.

Change-Id: Ifc2d1dce2103590dfbc2fbe1ead58483552080a2
Signed-off-by: Martin Klozik <martinx.klozik@intel.com>
Reviewed-by: Fatih Degirmenci <fatih.degirmenci@ericsson.com>

Merge "Add Exceptions and Constants in opnfv module"

Merge "joid support of Newton."

set "opnfv-lint-verify" as the basic verify of compass

Change-Id: I160e0e49d6934b4b0b713f94f6f4960fed16bcdd
Signed-off-by: meimei <meimei@huawei.com>

KVMFORNFV: Implementing kvmfornfv daily jobs.

JIRA: RELENG-169

This patch includes scripts for implementing kvmfornfv daily
jobs to trigger cyclictest and packet forwarding testcases based
on the test name.

Change-Id: Ibcd3e2268c0cf9b3b1d6a0e90a868430ddc1b593
Signed-off-by: Gundarapu Kalyan Reddy <reddyx.gundarapu@intel.com>

don't set newton as default value for the moment

Change-Id: I6137f9dbeed1b15c3e6fc7d63bb1892cf2b9471e
Signed-off-by: meimei <meimei@huawei.com>

joid support of Newton.

This patch is to enabled joid for D release where Newton openstack
will be deployed by default on the CI/CD. Also correct few values
which were wrong in defualt mode.

Change-Id: I911993776cf6327b28c442dac41860cb41e2c3ae
Signed-off-by: Narinder Gupta <narinder.gupta@canonical.com>

Add Exceptions and Constants in opnfv module

JIRA: FUNCTEST-497

Change-Id: I4bc0d545058c4778b632911bb317789110de29d1
Signed-off-by: Morgan Richomme <morgan.richomme@orange.com>

bifrost: test-bifrost-deployment: Allow overriding VM hardware options

Make VM disk, cpu and memory settings configurable to allow less
powerful hosts to host the bifrost VMs.

Change-Id: If819451536dd518690f3808c55de940169b90346
Signed-off-by: Markos Chandras <mchandras@suse.de>

Merge "[compass] set newton as a opention of openstack"

[compass] set newton as a opention of openstack

Change-Id: I403a942ffb176c89b862bd6a19d5dea40cf1884c
Signed-off-by: meimei <meimei@huawei.com>

daisy: modify the download url for ZTE POD

ZTE POD use http://build.opnfv.org/artifacts.opnfv.org/daisy.html
to download ISO file.

Change-Id: I95e156c966387c349e11a7d882829347da7e757b
Signed-off-by: wu.zhihui <wu.zhihui1@zte.com.cn>

Merge "Implement virtual deployment in merge job of Daisy4nfv CI"

Fuel: run curl command with parameter L to follow redirects

Since ZTE PODs use url http://build.opnfv.org/artifacts.opnfv.org/ to
download files, it should run curl command with parameter L to follow
redirects.
It does not affect PODs which use url http://artifacts.opnfv.org/

JIRA: FUEL-225

Change-Id: I63b808657ee4f26b801e492b53bc8e4b27396587
Signed-off-by: wu.zhihui <wu.zhihui1@zte.com.cn>

Merge "Transform fetch_os_creds.sh into python Class"

Enable Flake8 Checks on Escalator

JIRA:ESCALATOR-34

Change-Id: I5caa0241d5c1ea4b4a1994ff9a4ac81ef3f7a935
Signed-off-by: Jing Sun <sun.jing22@zte.com.cn>

Implement virtual deployment in merge job of Daisy4nfv CI

Change-Id: I2f0edea6a2f527e800c953458b4bb31741e970ab
Signed-off-by: zeyu zhu <zhu.zeyu@zte.com.cn>

Modify yardstick requirements.txt path config in releng

JIRA: YARDSTICK-415

Change-Id: I8e3e38842e10e5fbc335f3f23250f0292f2c05c5
Signed-off-by: chenjiankun <chenjiankun1@huawei.com>

Temporary disable some master jobs

Daily deployment jobs which use master code and require plugins
which are still not uplifted to Newton are temporary disabled
on bare metal pods.

Change-Id: Ifa7e5136adf53e49c922e844c5a7e6789deb6c8e
Signed-off-by: Fedor Zhadaev <fzhadaev@mirantis.com>

Merge "Correct SFC testcase match in the reporting Dashboard"

Merge "Refactor reporting dir"

Correct SFC testcase match in the reporting Dashboard

The test is specified as odl-sfc, but in the DB we have
functest-odl-sfc.

http://testresults.opnfv.org/test/api/v1/results?case_name=functest-odl-sfc

Change-Id: Ie8c0ed60df3b11fc4d74c26796ae7a19d63c22b7
Signed-off-by: jose.lausuch <jose.lausuch@ericsson.com>

Transform fetch_os_creds.sh into python Class

JIRA: RELENG-168

Change-Id: Id5b1fca430c37917b554a54dd0678d9d7497dc11
Signed-off-by: jose.lausuch <jose.lausuch@ericsson.com>

Refactor reporting dir

- dockerization
- create util function for all the test projects
- create a common config files
- add unit tests
- pep8

JIRA: RELENG-162

Change-Id: Ib209be4233084100ff238a7aeb2843ccc24a6f1e
Signed-off-by: Morgan Richomme <morgan.richomme@orange.com>

Merge "Add setup.py for common OPNFV modules"

Merge "Move installer adapters to the new modules directory"

Improve compass ci verification: close flake8 check of compass4nfv
JIRA: COMPASS-494

Change-Id: Id926fa5cd6627cee1c0369540868cc12da89ce5c
Signed-off-by: KingPoo <haojingbo@huawei.com>

Add setup.py for common OPNFV modules

JIRA: RELENG-161

Change-Id: I2423493d0c9c9c4ce78fe8c2669b9ed24e697b58
Signed-off-by: jose.lausuch <jose.lausuch@ericsson.com>

Move installer adapters to the new modules directory

JIRA: RELENG-149
JIRA: RELENG-161

Now that we have a modules directory in place, let's
move all the shared python code to this location.
We need to create a setup.py to install these
modules in the system so that we don't have to
modify the pythonpath.

Change-Id: I7e608ce6e1e6b3d111405bc789cdb2ff7fcb49c3
Signed-off-by: jose.lausuch <jose.lausuch@ericsson.com>

Merge "fuel: cann't find latest.properties"

Merge "Problem Description: compass4nfv module didn't has any static check in the CI, to make code more standard according Flake8, we decide add flake8 check on this module."