modify the output message in push-test-log.sh

This patch modify the output message. It make people quickly find
the error, when failed to run the command: gsutil ls

Change-Id: Idff6a4fd7b627c1566049ac266af852b6ae49497
Signed-off-by: wutianwei <wutianwei1@huawei.com>

KVMFORNFV: Disable kvmfornfv verify test job.

This patch disables kvmfornfv verify test job as this job will wait
for Intel-pod1 which is currently offline.

Note: kvmfornfv verify test job will be enabled when Intel-pod1
is up and running.

Change-Id: I6cab03e30388e77e4e429f492b0d574493371efd
Signed-off-by: Gundarapu Kalyan Reddy <reddyx.gundarapu@intel.com>

Merge "KVMFORNFV: To disable kvmfornfv daily job trigger."

KVMFORNFV: To disable kvmfornfv daily job trigger.

This patch  temporarily disables kvmfornfv daily job trigger to avoid
kvm jobs getting stuck in the queue as Intel-pod1 is currently offline.

Note: kvmfornfv daily job trigger will be enabled when Intel-pod1
is up and running.

Change-Id: Id9b5b44bc37e367bb47ee676e83270880d1d7270
Signed-off-by: Gundarapu Kalyan Reddy <reddyx.gundarapu@intel.com>

Add dependency on ::opnfv::server

Manifests give several failures on first run, if
::opnfv::server class is not applied first.

Change-Id: Iaddc9f5b81f134c15d051417a93c1d687ad035c4
Signed-Off-By: Yolanda Robla <yroblamo@redhat.com>

fuel: Move fuel-verify jobs to ubuntu build servers

lf-build1 is experiencing issues.

Change-Id: I2253765d9db2e4603b776bbf5841f61da1bb89fe
Signed-off-by: Fatih Degirmenci <fatih.degirmenci@ericsson.com>

Merge "Add YAMLLint for static check"

Add YAMLLint for static check

JIRA: OCTO-160

Current CI commit gate is simple, just have flake8 check in part of projects,
it's better to apply more check tools to more projects.
Yaml files could be checked by YAMLLint when the project is configed in releng.
YAMLLint does not only check for syntax validity, but for weirdnesses like key
repetition and cosmetic problems such as lines length, trailing spaces, indentation,
etc.

Change-Id: Ie90afd4a07ad10cc723f31efd35e5605f765583c
Signed-off-by: KingPoo <haojingbo@huawei.com>

bugfix: access results failed of Test API

File "/Users/fengxiaowei/opnfv/releng/utils/test/testapi/venv/lib/python2.7/site-packages/opnfv_testapi/resources/models.py", line 47, in format_http
return self._format([])
File "/Users/fengxiaowei/opnfv/releng/utils/test/testapi/venv/lib/python2.7/site-packages/opnfv_testapi/resources/models.py", line 37, in _format
hs.append(h.format())
AttributeError: 'dict' object has no attribute 'format'

JIRA: FUNCTEST-676

Change-Id: I9d8d8a31e5580be51fb690628a03d452742f12d4
Signed-off-by: SerenaFeng <feng.xiaowei@zte.com.cn>

dovetail: bugfix for gsutil cp

JIRA: DOVETAIL-164

Change-Id: Ibb035d7d791eab510e833f572b86cd084592d898
Signed-off-by: MatthewLi <matthew.lijun@huawei.com>

Merge "Bugfix: fix the wrong extraction of image_id"

dovetail: bugfix for gsutil upload

JIRA: DOVETAIL-164

Change-Id: I49b119490f0dcbd20b7ea56289e5d629d4ab6f89
Signed-off-by: MatthewLi <matthew.lijun@huawei.com>

Bugfix: fix the wrong extraction of image_id

Change-Id: If1678725a1b417cf0a94265557a6d88aa7c416cb
Signed-off-by: helenyao <yaohelan@huawei.com>

Merge "Fix typo in mac address"

Merge "Renames securityscanning to securityaudit"

jjb: infra: bifrost-verify-jobs: Remove triggers due to HW relocation

The hardware, where the slaves for this job are located, is being
relocated so prevent scheduling of jobs until it's back online.

Change-Id: I9028b6401bc0b743f83e5184e1131cb4aa9417c8
Link: https://lists.opnfv.org/pipermail/opnfv-tech-discuss/2016-December/014210.html
Signed-off-by: Markos Chandras <mchandras@suse.de>

Merge "opnfv/functest:<none> and its containers are removed"

opnfv/functest:<none> and its containers are removed

JIRA: FUNCTEST-653

opnfv/functest images with <none> tag are generated after functest images are pull many times.
These images can be queried with filter "dangling".
Logics are added to remove dangling images and their containers.

Change-Id: I271f4d95c5fb62fdebe690d82330f6b25ac1e2f8
Signed-off-by: helenyao <yaohelan@huawei.com>

Allow ericsson-virtual1 to push to artifacts

JIRA: FUNCTEST-677

Change-Id: Id0e02f5155b16ea40809031966a88e1c7e573f2f
Signed-off-by: jose.lausuch <jose.lausuch@ericsson.com>

bugfix: call wrong basic verify job

Change-Id: I9c65e25e8f2b299c1cef1e4fb4201d5bbe1b2b0e
Signed-off-by: meimei <meimei@huawei.com>

Merge "dovetail: tox supported in verify job"

Merge "dovetail: gsutil progress amend"

dovetail: gsutil progress amend

JIRA: DOVETAIL-164

Change-Id: I3ff59d02af7be0fe3c8127fec9d5e125ed20a3f7
Signed-off-by: MatthewLi <matthew.lijun@huawei.com>

[opera] create opera verify/daily/build jobs

Change-Id: Ide4d879106683a9adab5ea4bf195982eadf6bcb8
Signed-off-by: meimei <meimei@huawei.com>

dovetail: tox supported in verify job

JIRA: DOVETAIL-165

1) tox supported
2) hello world builder added for backup usage when problem occurs

Change-Id: Idb1099098f788ebf2c1888f9b413e81411dc1a40
Signed-off-by: MatthewLi <matthew.lijun@huawei.com>

Merge "dovetail: upload artifacts job added"

Merge "Add SNAPS for reporting"

Merge "delete useless file dashboard.tar.gz"

Merge "simplify model process of TestAPI"

KVMFORNFV: Implementing kvmfornfv daily jobs.

JIRA: RELENG-169

This patch includes updated scripts for implementing kvmfornfv daily
jobs to trigger cyclictest and packet forward test cases.

Change-Id: I48baa7aa0cba630023acbaa69f1b62f805ff5565
Signed-off-by: Gundarapu Kalyan Reddy <reddyx.gundarapu@intel.com>

dovetail: upload artifacts job added

JIRA: DOVETAIL-164

this aims for dovetail offline usage

Change-Id: I7ebaf75fb03d925b669c05e77c0bb3db180aa045
Signed-off-by: MatthewLi <matthew.lijun@huawei.com>

delete useless file dashboard.tar.gz

Change-Id: I04a91d12885d6a832899d1241845e8f17c94dde1
Signed-off-by: SerenaFeng <feng.xiaowei@zte.com.cn>

simplify model process of TestAPI

JIRA: FUNCTEST-671

Change-Id: I8a398f04f2d12c880ec0803aa56c2645dc673523
Signed-off-by: SerenaFeng <feng.xiaowei@zte.com.cn>

Merge "Fix the names for arm dovetail jobs"

Apex: adds missing fdio jobs

Change-Id: I29fad127de52cf0f5dd40e57eadbf478e4777483
Signed-off-by: Tim Rozet <trozet@redhat.com>

Apex: Adds FDIO HA daily scenario only for Colorado

Change-Id: Idb4d6f12a0934b332a13653b1b8dd80505e0af2a
Signed-off-by: Tim Rozet <trozet@redhat.com>

Fix the names for arm dovetail jobs

The dovetail jobs were not triggered in armband project because
the naming of the jobs did not match. Modified '_' to '-' for
them to work.
JIRA:ARMBAND-175

Change-Id: I93c4fa1c7f12746e91c8ca84ff1f17c588a070bd
Signed-off-by: cristinapauna <cristina.pauna@enea.com>

Merge " '{testname}' isn't passed into the job title"

Renames securityscanning to securityaudit

`securityscanning` is a namespace already used by a OPNFV project,
so renaming CI security audit objects in releng to securityaudit
to save any confusion between projects

Change-Id: If35bf026e36b7fd7159aa9c158af03ea6ec2526e
Signed-off-by: lukehinds <lhinds@redhat.com>

[ODL-pipeline] Add standart scenario

os-odl_l2-bgpvpn-noha is the scenario having the largest scope
so will be used for testing

Change-Id: I1d0b481efb8e2a7d74d1fb69e114ffb3083d4401
Signed-off-by: Nikolas Hermanns <nikolas.hermanns@ericsson.com>

Merge "Add postprocess script"

Add postprocess script

Change-Id: I57698d3fa25394432051a0f597a027890aebdb84
Signed-off-by: Nikolas Hermanns <nikolas.hermanns@ericsson.com>

Merge "Bug-Fix: Fix clean_image flag does not take effect"

Merge "changing scenario to be able to run bgpvpn tests"

changing scenario to be able to run bgpvpn tests

Change-Id: I12235e379620c55ade9af21fbb261c4c4be025d1
Signed-off-by: Nikolas Hermanns <nikolas.hermanns@ericsson.com>

Merge "Introduce new installer for Netvirt-ODL pipeline"

Introduce new installer for Netvirt-ODL pipeline

The netvirt odl pipline has a special setup.
Cause of that we add a new installer type.
As elaborated with the Functest team we can
then differentiate in functest what tests need to
be executed for our special case.

Change-Id: I8d7f18aef74b64ba46c6ed712ed5d58bd94c900e
Signed-off-by: Nikolas Hermanns <nikolas.hermanns@ericsson.com>

fix ci jobs (daily && no branch param)

Change-Id: Iad856adf625a56c2f5c366fb414746d1e9e16691
Signed-off-by: Ryota MIBU <r-mibu@cq.jp.nec.com>

Merge "virfy and daily only support newton xenial"

Bug-Fix: Fix clean_image flag does not take effect

JIRA: FUNCTEST-665

In patch https://gerrit.opnfv.org/gerrit/#/c/25775/,
it set CLEAN_DOCKER_IMAGES=false to save time.
On CI job, the cleaning step is still undertaken.

Change-Id: Iaca64d3a347dafa9c87975c756ea8bcb30ae2f93
Signed-off-by: helenyao <yaohelan@huawei.com>

fix git-scm-gerrit by adding $GERRIT_REFSPEC

Change-Id: I5ead532eb282cea6da683fefe7ad850e3889a263
Signed-off-by: Ryota MIBU <r-mibu@cq.jp.nec.com>

fix ssh-credentials to static param

Change-Id: I1f11e5db53f8902ce16cab00452d8d350fd7081e
Signed-off-by: Ryota MIBU <r-mibu@cq.jp.nec.com>

virfy and daily only support newton xenial

Change-Id: I99c5d32f4c9f2e1057c74c136646a37cc09c1922
Signed-off-by: liyuenan <liyuenan@huawei.com>

clean scm defenitions

This patch makes sure we use 2 types of scm, and allows us to specify
them by adding one line in job-templates.

- git-scm         # for daily jobs and merge jobs
- git-scm-gerrit  # for verify jobs [New]

Change-Id: Iddc8a5e0e115193c7081a6d6c53da209900e95c8
Signed-off-by: Ryota MIBU <r-mibu@cq.jp.nec.com>

Add SNAPS for reporting

Change-Id: If61bbd435cd9858924e850bcc959f9596579c205
Signed-off-by: Morgan Richomme <morgan.richomme@orange.com>

Bugfix: reporting docker image build failed

JIRA: RELENG-181

Since we just decide to use dynamic server, we need to deploy a dynamic
server such as tornado . But when I use the Dockerfile to build image,
it failed due to some reasons. So I need fix it first and then deploy
the dynamic server.

Then we can use this command:

docker run -it -d -p 8080:80 opnfv/releng:latest

And visit reporting page by http://server_ip:8080/display/...

Change-Id: Id04575c7b38e4c07625ce217d23ebca1c5bf0191
Signed-off-by: chenjiankun <chenjiankun1@huawei.com>

Merge "Add support to dedicated file monitor docker build"

netready: Pass gs-pathname to the parameter macro

Change-Id: Ic35af41e8e086176576063b6b2711decc958c8c2
Signed-off-by: Fatih Degirmenci <fatih.degirmenci@ericsson.com>

Fixing unbound variable in Gluon packaging script

Change-Id: I04699eb69ef276629d2e230c45f8a70067e7e2cf
Signed-off-by: Georg Kunz <georg.kunz@ericsson.com>

Merge "Basic CI integration for building Gluon packages"

Basic CI integration for building Gluon packages

This first iteration of CI integration aims at realizing a daily
build job which creates installable RPM from upstream Gluon master.

Change-Id: I5a722943850e27f4d0345a73b488cbd00244ac90
Signed-off-by: Georg Kunz <georg.kunz@ericsson.com>

 '{testname}' isn't passed into the job title

We need to declare each in turn,
jenkins saw this as:
kvmfornfv-['cyclictest', 'packet_forward']-daily-build-master
which would be nice if it worked, but it did not work.

Change-Id: I72ec2baa0729d590a2d5c5f63075e2d9f8c4d1d7
Co-Authored-By: Aric Gardner <agardner@linuxfoundation.org>
Signed-off-by: Gundarapu Kalyan Reddy <reddyx.gundarapu@intel.com>

bugfix: Correct the GIT_BASE for odl-netvirt slaves

Change-Id: Ie3ebf31fda67ca04cc8f6ebb86a635ecb2e82d51
Signed-off-by: Fatih Degirmenci <fatih.degirmenci@ericsson.com>

Add support to dedicated file monitor docker build

Add a new type of template for projects whose docker image only relevant
with Dockerfile or file in the same path and any other code changes will
not affect the docker img.

Add daisy into new type of template.

Change-Id: Ib2c9f0aab74e8b226a1b5c6cb4cf9c6a213b4186
Signed-off-by: Julien-zte <zhang.jun3g@zte.com.cn>

Merge "3rd party ci: Create functest jobs for netvirt"

Merge "anteaterfw: Switch to sandbox project for development purposes"

Merge "jjb: remove fastpathmetrics job"

jjb: remove fastpathmetrics job

Change-Id: I8418eb70f15f4f6a3c118ddac60daf47d3e5c97a
Signed-off-by: Maryam Tahhan <maryam.tahhan@intel.com>

anteaterfw: Switch to sandbox project for development purposes

Change-Id: Idf0516f70f300db4d0b82c48da16e670cfd1eeb1
Signed-off-by: Fatih Degirmenci <fatih.degirmenci@ericsson.com>

Merge "jjb: add a jjb for the barometer project"

3rd party ci: Create functest jobs for netvirt

This is probably not the best way to fix this and will hopefully
be aligned with the rest.

Change-Id: I0a7602c34c3b5941f36ae0073e7abfdf4b4a9cb4
Signed-off-by: Fatih Degirmenci <fatih.degirmenci@ericsson.com>

Merge "security scan: Add example job for scanning python files"

Merge "automatic deploy a wholeset of TestAPI ecosystem"

jjb: add a jjb for the barometer project

Change-Id: If499cbc2d0cad7a2840e37136d4873b89e802081
Signed-off-by: Maryam Tahhan <maryam.tahhan@intel.com>

Add functest to pipeline and add odl-netvirt-virtual-defaults

For the functest change we use the new cli which provides us
with comma seperation of the test cases.

Change-Id: Id6c88bd3e13ecce7bf5a738ead8ad98df4e00b5a
Signed-off-by: Nikolas Hermanns <nikolas.hermanns@ericsson.com>

dovetail: debug logs set to true

Change-Id: I5325e489d3cfc3bee942b52ebfe9f54165d395bb
Signed-off-by: MatthewLi <matthew.lijun@huawei.com>

security scan: Add example job for scanning python files

This is an example job configuration to run security scan
against the functest python code. It will not vote on the patches
at this phase.

The job opnfv-security-scan-verify-{stream} gets triggered
whenever a patch containing python code change is sent to Functest.

Change-Id: Id05950af70afedb2afbd61062c3f8d41ef1aaacd
Signed-off-by: Fatih Degirmenci <fatih.degirmenci@ericsson.com>

automatic deploy a wholeset of TestAPI ecosystem

deploy.py is used to deploy a wholeset of TestAPI ecosystem,
including TestAPI container & mongo container.

docker-compose.yml.template will be used in deploy.py to
render out docker-compose.yml

JIRA: FUNCTEST-655

Change-Id: I9b070783ef23aeadbe5e9be1e655072e18954ff9
Signed-off-by: SerenaFeng <feng.xiaowei@zte.com.cn>

Merge "Augment gitignore to ignore packaging folders etc"

3rd party ci: Fix bug introduced by wiping out the WORKSPACE itself

Change-Id: I61de7763412d791bcce20174d6058acf818d0e13
Signed-off-by: Fatih Degirmenci <fatih.degirmenci@ericsson.com>

3rd party ci: Wipe the workspace before doing anything else

Due to not cloning the repos, the workspace is not wiped out.
This change makes sure we remove everything in workspace to
prevent jenkins from complaining.

Change-Id: Ife3c4c752cf37c6ff3bfcdea6ffaebc72c440373
Signed-off-by: Fatih Degirmenci <fatih.degirmenci@ericsson.com>

Skip cloning netvirt repo and fail the job if artifact doesn't exist

We do not need to clone netvirt repo as we are only interested
in the artifact.

Netvirt artifacts are removed from ODL Jenkins due to ODL Jenkins
artifact retention policy. This change ensures that we do not proceed
with the rest of the jobs if the artifact does not exist.

Change-Id: I9d8af28f5829fc9688c76f116d0bad737a9ecab6
Signed-off-by: Fatih Degirmenci <fatih.degirmenci@ericsson.com>

3rd party ci: Pass APEX_ENV_NUMBER to apex-create-vms job

Change-Id: I073a27045db93fcf3c9906abe1c18ad3d26743b2
Signed-off-by: Fatih Degirmenci <fatih.degirmenci@ericsson.com>

Add scripts to install apex and install netvirt

Change-Id: I022acf23984a8d1a19a5e6e180178ee1d2e18480
Signed-off-by: Nikolas Hermanns <nikolas.hermanns@ericsson.com>

Augment gitignore to ignore packaging folders etc

Change-Id: I6b502aba11b4c8db1fa9d439569f46fe20696e2c
Signed-off-by: Romanos Skiadas <rski@intracom-telecom.com>

Merge "SSHUtils: Rename jumphost into proxy"

Merge "Add ovs_logger module"

3rd party ci: Create job to bring up apex vms

This is a temporary fix in order to continue with the netvirt parts.
Once Apex team finishes their work with APEX-360, this job will be
aligned with it.

The job to bring up apex vms will be run on ericsson-virtual5.
The rest of the jobs will run on ericsson-virtual6, which is virtual
jumphost for the apex environment.

Apart from this, the job can now be (re)triggered by putting keyword
opnfv-test on ODL Gerrit.

There are still flaws and things to improve with the jobs such as
finding out if the downloaded artifact is real or just a file not found
response from ODL Jenkins and so on but these will be fixed later.

Change-Id: Ie38e513df08c6c76eacee53a112c09171b1f6c7d
Signed-off-by: Fatih Degirmenci <fatih.degirmenci@ericsson.com>

Merge "[compass] undo colorado CI build since we have release colorado3.0"

Merge "Functest: don't clean existing Docker images"

3rd party ci: Override GIT_BASE to use ODL Gerrit for 3rd party ci jobs

Change-Id: Ia105d32133c5b2df3bea363ff8cb94b2984fb172
Signed-off-by: Fatih Degirmenci <fatih.degirmenci@ericsson.com>

Merge "3rd party ci: Create jobs for ODL netvirt testing in OPNFV"

Apex: fixes build directory for build/upload

Change-Id: Iaa6b60c1de8c80e2a3c582a478131b1d7fc2dc3f
Signed-off-by: Tim Rozet <trozet@redhat.com>

SSHUtils: Rename jumphost into proxy

JIRA: SFC-61

Proxy is more clear than jumphost for most. Refactoring all the
appearances.

Change-Id: I7247d904046814c6e815c8e266637babf9445da7
Signed-off-by: George Paraskevopoulos <geopar@intracom-telecom.com>

Add ovs_logger module

JIRA: SFC-61

In SFC we have created a module to gather "ovs-vsctl show" and
"ovs-ofctl dump-flows" information automatically.

Releng is a more appropriate place for it, as it can be utilized by
other projects to create artifacts with ovs logs when a testcase fails

Change-Id: If6cf6a937532f7776f9b300ffdb2ab6c4fde82c8
Signed-off-by: George Paraskevopoulos <geopar@intracom-telecom.com>

3rd party ci: Create jobs for ODL netvirt testing in OPNFV

This change creates basic job structure for ODL netvirt testing in OPNFV.
The job should be triggered once the below job is completed
    https://jenkins.opendaylight.org/releng/job/netvirt-patch-test-current-carbon
and fetch the artifact that is already built by the job. The build result
codes OPNFV is interested in are SUCCESSFUL and UNSTABLE.

Once the job gets triggered, the build URL will be fetched from ODL Gerrit using
Gerrit REST API and the artifact will be downloaded from ODL Jenkins.
The downloaded artifacts will then be installed on the Apex environment.

There are 3 points that need to be highlighted.

- The Apex environment will be created using the promoted snaphots/qcow2
images and already deployed VMs will be brought up. See below for the details.
    https://jira.opnfv.org/browse/APEX-360

- The hardcoded values in download-netvirt-artifact.sh are there to get the
basics in place. (branch name, job name, etc.) Once things work as expected,
they will be made dynamic.

- A workaround using Gerrit REST API is put in place to get build number of the
job netvirt-patch-test-current-carbon to download the artifact.
The reason why we use Gerrit REST API is that the OPNFV Jenkins has an older
version of Gerrit Trigger Plugin which lacks feature that injects review
comments as environment variables. Upgrading Gerrit Trigger Plugin will not
help either since OpenStack JJB does not support the new version of Gerrit
Trigger Plugin and does not generate the new job XML.

JIRA: RELENG-171

Change-Id: I7ff8c5809dcb2e8ffa5c7c5aeb9cdf70e4e7e2f4
Signed-off-by: Fatih Degirmenci <fatih.degirmenci@ericsson.com>

Functest: don't clean existing Docker images

This will save some time. The "docker pull" command
takes care of upgrading the image if it exists.

Change-Id: I195e0ddac3673cdafb13ab6d78874367420e37ff
Signed-off-by: jose.lausuch <jose.lausuch@ericsson.com>

Merge "Update testcase model for Test DB"

Merge "Apex: Fixes build paths"

Apex: Fixes build paths

Change-Id: I42eceade9d24a237c2a0f725db9e39de53c5be8a
Signed-off-by: Tim Rozet <trozet@redhat.com>