[Compass] Add new scenarios

add the following scenarios and run on master
  1. k8-nosdn-stor4nfv-ha
  2. k8-nosdn-stor4nfv-noha

Change-Id: I2c505263fbf48ea25be735ebe14e3c4d8097bf91
Signed-off-by: wutianwei <wutianwei1@huawei.com>

Merge "Jenkins not reporting lint results to gerrit"

Jenkins not reporting lint results to gerrit

I set -x in a test and then it did report.
not sure what's going on here,
I thought this was fixed.
May as well cat the violation log as we debug

Change-Id: I142fb3855ebc000ee90aa24e0ecb336bb9b313df
Signed-off-by: agardner <agardner@linuxfoundation.org>

Merge "Update Pharos Dashboard Deploy Job and Disable"

Merge "jjb: xci: Use the 'ts' utility to print timestamps on executed steps."

Merge "Fix SFC Email PTL Macro"

Merge "Update Functest jobs"

Update Functest jobs

Add support for functest tier with multijob
Add publishers separate for fetures and
all other functest tiers
Run functest features suits in a mutijob
Since there are no arm specific requirements,
remove arm-daily builders and jobs

JIRA: FUNCTEST-917

Change-Id: I92e3d7ca378dd6d293520c679c741de4bf336639
Signed-off-by: Delia Popescu <delia.popescu@enea.com>

Fix SFC Email PTL Macro

Includes the name of the PTL but should be just the email.

Change-Id: If6ef3b7c15defd44c6f86a24d6250840c37dd24b
Signed-off-by: Trevor Bramwell <tbramwell@linuxfoundation.org>

Update Pharos Dashboard Deploy Job and Disable

Copying the keys required for talking to JIRA and disabling the job
until chages can be tested to ensure a deploy runs successfully.

Change-Id: Ib3602338cfe06d5507f5d3f5b853906feb39f4c5
Signed-off-by: Trevor Bramwell <tbramwell@linuxfoundation.org>

Move generation of artifacts.opnfv.org to jenkins

Move generation of artifacts.opnfv.org/index.html
and sub pages into a jenkins job.

Script was run on cron on master previously.
run on lf-build2

Run job once per hour (it takes a long time to run)

Block if job is already running

Change-Id: Icc03cac61a802e036e4af8a9b9e3a244e147abea
Signed-off-by: agardner <agardner@linuxfoundation.org>

jjb: xci: Use the 'ts' utility to print timestamps on executed steps.

We can use the 'ts' utility to print timestamps on every executed
command so we can keep track on the duration of each task and the
job overall.

Change-Id: I77d5d66c0146f943d805612ca5b47e2eed3ffc41
Signed-off-by: Markos Chandras <mchandras@suse.de>

Merge "Add functest-kubernetes repo to lint verification"

Merge "Rename var XCI_LOOP to CI_LOOP to align with Functest"

Merge "jjb: xci: Fix bifrost blockers for XCI jobs"

Add functest-kubernetes repo to lint verification

Change-Id: Ia1e05db344e6e6b4a773bf17157488716ac0c305
Signed-off-by: Jose Lausuch <jalausuch@suse.com>

jjb: xci: Fix bifrost blockers for XCI jobs

The bifrost regexp was wrong leading to conflicts betwen the XCI
and bifrost jobs. Moreover, we need to add the same restrictions for
jobs/node on bifrost jobs similar to the XCI ones. This finally fixes
the 'throttle' property to use the 'xci-verify-virtual' category.

Change-Id: I6d3f8fdd82738c1d079b1a3fdef134753eb4281a
Signed-off-by: Markos Chandras <mchandras@suse.de>

Merge "jjb: xci: bifrost-verify-jobs: Increase build-timeout value"

Merge "Remove 'cd && pull' commands from jjb-merge job"

Remove 'cd && pull' commands from jjb-merge job

These are no longer needed since the server has been migrated, and a git
clone already exists in the workspace.

Change-Id: I07b5ff9185323d7295578b23a634e2d0e03afcd7
Signed-off-by: Trevor Bramwell <tbramwell@linuxfoundation.org>

jjb: xci: bifrost-verify-jobs: Increase build-timeout value

The bifrost jobs could run in parallel with the XCI ones so it may take
longer than 90 minutes to complete. Lets double the timeout value in
order to ensure that we don't fail due to a Jenkins timeout.

Change-Id: I53a442f434d839d891bf03e41ba1a6a4459fd878
Signed-off-by: Markos Chandras <mchandras@suse.de>

jenkins-jnlp-connect.sh takes time to launch

wget --timestamping https://build.opnfv.org/ci/jnlpJars/slave.jar && true
this takes time, especially from china.

Tell monit to back off while waiting for the pid file to
be created

Change-Id: I02327323d50d0a4a8b379535d8da84a20348ba6f
Signed-off-by: agardner <agardner@linuxfoundation.org>

jjb: xci: Add missing job blockers for XCI merge jobs

We shouldn't allow the merge jobs to run in parallel with the verify
ones when both are testing the same distro since one may wipe the
'clean VM' of the other one. Moreover, we should restrict the number of
jobs allocated on nodes in order to avoid overloading them.

Change-Id: I9c0b9b5061e41b21c01789fc4676e72e0e082f17
Signed-off-by: Markos Chandras <mchandras@suse.de>

Merge "[daisy] Move master branch jobs to zte-pod2"

Merge "container4nfv: trigger yardstick test"

Merge "Fix functest k8s job"

Merge "[fuel] Disable Euphrates triggers"

Merge "Update Dovetail PTL Email Macro"

Rename var XCI_LOOP to CI_LOOP to align with Functest

Change-Id: If5c5b828312dc588515589b8075b9754537b8f86
Signed-off-by: Fatih Degirmenci <fdegir@gmail.com>

[fuel] Disable Euphrates triggers

Change-Id: I3fd11c6efb13f46ec74a0237a180497397cdfefe
Signed-off-by: Alexandru Avadanii <Alexandru.Avadanii@enea.com>

Apex: Fixes concurrent apex-virtual jobs

We were missing concurrent on this job which was preventing parallel
execution.

Change-Id: I4d1ea62aef2a321220799cebee008f494490886c
Signed-off-by: Tim Rozet <trozet@redhat.com>

Apex: Attempt to fix apex-virtual parallel execution

Remove passing node params and enable global queue scanning.  Hopefully
this will allow 2 apex-virtual jobs to run at the same time (1 per each
slave).

Change-Id: I310dbc477e267c302d50599bab2a933ce988dba7
Signed-off-by: Tim Rozet <trozet@redhat.com>

Apex: Updates daily scenarios for Fraser

Scenario list for Fraser:
https://wiki.opnfv.org/display/SWREL/Fraser+Scenario+Status

Change-Id: I083dc5b0b9cea9f91d7a9568a05df5865aeafa05
Signed-off-by: Tim Rozet <trozet@redhat.com>

Fix functest k8s job

Change-Id: Ied442837e4e9fd25946590d3dbada6ff2cbe7fc3
Signed-off-by: Linda Wang <wangwulin@huawei.com>

Update Dovetail PTL Email Macro

Let the 'email-dovetail-ptl' macro reflect that Georg Kunz is the new
PTL of the dovetail project.

Change-Id: I3b3bd53a7c7f146105a719727fd627bf15054aca
Signed-off-by: Trevor Bramwell <tbramwell@linuxfoundation.org>

[daisy] Move master branch jobs to zte-pod2

This PS does:
1) Move master branch jobs to zte-pod2 which seems has a
more stable internet connectivity. This is trying to
solve master branch deployment unstable problem.

2) Disable Euphrates jobs to make room for master branch.

Change-Id: Id36f0ff6a268aabf0badd46f55bb397afe5e4830
Signed-off-by: Zhijiang Hu <hu.zhijiang@zte.com.cn>

container4nfv: trigger yardstick test

Change-Id: Ifdd504ff199c73a17cf007903a5480ee55f86102
Signed-off-by: Yibo Cai <yibo.cai@arm.com>

Update Pharos PTL in Email PTL Macro

Julien has recently been promoted to PTL of the Pharos project and the
macro for emailing the Pharos PTL should reflect this change.

Change-Id: Id3f025cd87284d480da892fc999d7379af50ac95
Signed-off-by: Trevor Bramwell <tbramwell@linuxfoundation.org>

Merge "Doctor: pass project parameter to other job"

Merge "vswitchperf: Use POD12 for VERIFY and MERGE jobs"

Merge "Add K8s Yardstick daily job for arm64"

Merge changes I68779792,Ide8d210e

* changes:
  Export CI_LOOP as expected by Functest
  Export an new var related to Energy in functest jobs

Add K8s Yardstick daily job for arm64

Add k8s Yardstick daily job for arm64 based on compass4nfv for arm64,
which would be triggered after the k8s deployment on arm64.

Change-Id: Ic928ce4bf0c32060a74a434b6bb3e9d9848f3e32
Signed-off-by: trevortao <trevor.tao@arm.com>

Doctor: pass project parameter to other job

From the failure log of doctor verify ci, project parameter is
not passed to other jobs.
see: https://build.opnfv.org/ci/job/doctor-verify-sample-master/33/console

Change-Id: I6a53cd609a261d90cdc0e1e10a3d7b05a515349e
Signed-off-by: dongwenjuan <dong.wenjuan@zte.com.cn>

Bugfix: delete extra whitespace

Change-Id: I1fe8c9d4b6b2ee461320bc20342d439e23c9c616
Signed-off-by: xudan <xudan16@huawei.com>

Merge "[Dovetail CI] change dovetail CI jobs on Compass"

[Dovetail CI] change dovetail CI jobs on Compass

1. run default test suite on Compass on Monday and Tuesday for scenario
   'os-nosdn-nofeature-ha' and 'os-odl_l3-nofeature-ha'
2. run test suite 'proposed_tests' on Compass on Thursday and Friday for
   scenario 'os-nosdn-nofeature-ha' and 'os-odl_l3-nofeature-ha'

JIRA: DOVETAIL-612

Change-Id: I027ca278eb63bdc6842a9494b676cdab8d2d25bf
Signed-off-by: xudan <xudan16@huawei.com>

Export CI_LOOP as expected by Functest

Otherwise all testcases are skipped:
https://build.opnfv.org/ci/view/functest/job/functest-apex-baremetal-daily-master/764/console
https://build.opnfv.org/ci/view/functest/job/functest-apex-baremetal-daily-master/763/console

It will be enforced by a similar patch in Functest too.

Change-Id: I6877979295378ed9ce6b85ad62e8a78e1572b8ba
Signed-off-by: Cédric Ollivier <cedric.ollivier@orange.com>

Export an new var related to Energy in functest jobs

It conforms with "Unlink Energy from functest utils and constants":
https://gerrit.opnfv.org/gerrit/#/c/51943/

Depends-On: Iecd5d49b4d4c961c9dc51e43e54df1fcd4027266
Change-Id: Ide8d210eab26451a63911938fe0e1bafcf77c500
Signed-off-by: Cédric Ollivier <cedric.ollivier@orange.com>

Merge "Ansible for build server"

Ansible for build server

Tests are working, switch to running on
lf-build1 and lf-build2 when triggered.

Change-Id: I1d3be9a84452cc3d6cd7097474bcc4dca0f70c6d
Signed-off-by: agardner <agardner@linuxfoundation.org>

Merge "[Compass4NFV] Add blocking jobs"

Merge "vswitchperf: python version change"

Merge "[arm-build] prune-docker-images on all builders"

Add -y to for non-interactive ansible install

Change-Id: I2ab00b3b6aadf9efc5bac72fcdcd9941f12f8bc9
Signed-off-by: agardner <agardner@linuxfoundation.org>

[arm-build] prune-docker-images on all builders

Prune dangling references on all arm-build* hosts.
Remove arm-build2 as it will be retired.

Change-Id: Ib425b3ef8021fa74d5942609093234cad35c0644
Signed-off-by: Alexandru Avadanii <Alexandru.Avadanii@enea.com>

Merge "missing sudo for ansible install"

missing sudo for ansible install

Change-Id: I6d7ab7746c75a8d33a27de3bf534b02cbc87e8ae
Signed-off-by: agardner <agardner@linuxfoundation.org>

Merge "Job for ansible to setup build servers."

Job for ansible to setup build servers.

set noop for now.
  -C, --check           don't make any changes; instead, try to predict
some
                        of the changes that may occur
  -D, --diff            when changing (small) files and templates, show
the
                        differences in those files; works great with
--check

Change-Id: I723fcf1b068b8ef73a0994be90271cb1cdd51ecb
Signed-off-by: agardner <agardner@linuxfoundation.org>

Merge "Apex: Cleanup slave/slave-label configuration"

Apex: Cleanup slave/slave-label configuration

Changes Include:
 - Remove defining 'node:' per job template and use slave-params
   defaults
 - Gate job was using daily/build slave, when it should be using virtual
   slave

Change-Id: Iec2321801daef1b1fa40724a244bf2f6edf36c6e
Signed-off-by: Tim Rozet <trozet@redhat.com>

Merge "fix sed command in macros"

jjb: xci: bifrost-verify.sh: Respect bifrost test failures

Make sure that failures during bifrost deployments are being
reported properly on Jenkins.

Change-Id: I333d27147caf7598665157c703907572e48041c0
Signed-off-by: Markos Chandras <mchandras@suse.de>

Merge "Get Daisy IP correctly"

Apex: remove setting node in slave-params

We only want to specify slave-label, not sure why we are specifyign node
here and in jjb for Apex.

Change-Id: I184df37836039887f47e7d6141c89f8dd9cd014f
Signed-off-by: Tim Rozet <trozet@redhat.com>

Apex: Fixes scheduling with apex verify

apex-verify job calls apex-virtual to deploy and run functest.  Apex has
2 virtual slaves attached to the apex-virtual-master label.  When 2
verify jobs are triggered at the same time, apex-verify job is scheduled
on each slave correctly.  However, when the mulitjob triggers
apex-virtual jobs, it only schedules both of them to a single slave.

This happens even though apex-virtual job has the same slave label and
node parameters are not passed from verify job.  This patch changes the
node to be passed to apex-virtual from apex-verify.  That way 2 nodes
will be scheduled on, but this is still not ideal scheduling as more
than 1 verify can run per node (but not more than one virtual job).

Change-Id: I155351c9037f70df2c5dba11bb5592423849e760
Signed-off-by: Tim Rozet <trozet@redhat.com>

vswitchperf: python version change

In order to execute VSPERF CI job, the SCL with python3 must
be enabled. Recently SCL command was changed to enable python3.4.

Change-Id: I4cf34ff28db2c789f4bc13116ed2d5d95eb81990
Signed-off-by: Martin Klozik <martinx.klozik@intel.com>
Reviewed-by: Fatih Degirmenci <fatih.degirmenci@ericsson.com>
Reviewed-by: Christian Trautman <ctrautma@redhat.com>

fix sed command in macros

The char "/" was included in $msg.
It will have issue

"sed: -e expression #1, char 7: unknown option to `s'"

We can substitute '/' with '#' in sed command to solve this issue

Signed-off-by: wutianwei <wutianwei1@huawei.com>
Change-Id: I1308e9b1b2111f0033df119e4465df4dda27eac0

xci: Disable voting for CentOS jobs

CentOS jobs started failing which requires troubleshooting.
In order not to block things, the voting is disabled for CentOS jobs.

Change-Id: Idc14b00cf09f0ee75bac17e993dc9f7724a1ad88
Signed-off-by: Fatih Degirmenci <fdegir@gmail.com>

Get Daisy IP correctly

In [1], there are two IP addresses of daisy VM in the arp table.
Select the first one.

[1]: https://build.opnfv.org/ci/job/functest-daisy-zte-pod9-daily-master/2/

Change-Id: Ic071d718004bf9ed215b7e53c56568f7f018051a
Signed-off-by: Alex Yang <yangyang1@zte.com.cn>

[Compass4NFV] Add blocking jobs

Compas4nfv support k8s and openstack.
The blocking jobs need include the k8s.

Change-Id: I517064df660266463050f7d3820bf5c405c8c222
Signed-off-by: wutianwei <wutianwei1@huawei.com>

Merge "Revert the unix permission of yaml file"

Merge "fix the issue of docker command to collect logs"

Ansible Playbook to install build server deps

This playbook has been tested in centos and ubuntu
on Arm and x86_64

first:
install ansible
then:
ansible-playbook -i inventory.ini main.yml

What it does:
installs on centos or ubuntu arm or x86_64

installs system deps with the package manager.
and python libs with pip.

installs docker
https://download.docker.com

installs docker-compose from distribution repo

Change-Id: I3853cd04d0e6c7270ea068b9e1fba1a240a0652e
Signed-off-by: agardner <agardner@linuxfoundation.org>

Merge "Set TEST_DB_URL in env"

Revert the unix permission of yaml file

Change-Id: I99da14477ab785475e425475fedca90a69eed8eb
Signed-off-by: Linda Wang <wangwulin@huawei.com>

fix the issue of docker command to collect logs

Change-Id: If5569d01012b0f94976d26dfb4cd81692a40c83d
Signed-off-by: wutianwei <wutianwei1@huawei.com>

Fix functest daily job

Change-Id: Ia9bc336d43fe9ed47368f9aada0c6d9244a71683
Signed-off-by: Linda Wang <wangwulin@huawei.com>

Merge "disable the opera"

Fix functest daily job

Change-Id: Icbdbe5a44660f498503ac84b323fd2a140ec3bbe
Signed-off-by: Linda Wang <wangwulin@huawei.com>

Set TEST_DB_URL in env

It follows the change "Move push_results_to_db to TestCase" [1] which
stopped duplicating TEST_DB_URL in config and in env.

[1] https://gerrit.opnfv.org/gerrit/#/c/49757/

Change-Id: If860492c40b1d0ed4082a4dbe385686020697f37
Signed-off-by: Cédric Ollivier <cedric.ollivier@orange.com>

Set the lint job shell to /bin/bash

The default builder in Jenkins is '/bin/sh -ex'. Because of this lint
jobs are failing that we assume won't as everywhere else we've used
/bin/bash and explitily set options when needed.

Explicitly setting these jobs to use /bin/bash should keep Jenkins from
failing builds without reporting the lint results.

Change-Id: Ibe6cad979d6dcf30e7991873c9ac446ae3bf3a8b
Signed-off-by: Trevor Bramwell <tbramwell@linuxfoundation.org>

Merge "[daisy] Run functest daily jobs on zte-pod9"

Merge "[Functest] Run k8s tests on Compass"

Merge "[pharos] Lint all code, including py"

Merge "Keep creds file name unchanged in Euphrates"

Merge "Delete Fuel Euphrates CI job on zte-pod1"

Delete Fuel Euphrates CI job on zte-pod1

Delete Fuel Euphrates CI job on zte-pod1

Change-Id: I93d5ed7b8aa40715fe8e7541d810ab0ee9a89f28
Signed-off-by: zhihui wu <wu.zhihui1@zte.com.cn>

Keep creds file name unchanged in Euphrates

Change-Id: I216d1877cba73272bbb37bf84c74dbf77dc2952d
Signed-off-by: Linda Wang <wangwulin@huawei.com>

Merge "[Compass] Set the verify timeout to 360"

Merge "container4nfv: add arm64 test scenarios"

Turn on voting for check-jinja2

Check jinja voting will keep bad configs out of our currently
pristine repo.

Also, Alex's schema valiadator is now running.

Change-Id: I12f38127b82583ef9cb2cc47ef4cfc5a8d051b87
Signed-off-by: agardner <agardner@linuxfoundation.org>

[pharos] Lint all code, including py

Change-Id: I3be5a3b6a0b7752f2b13df30944fca7645ee664d
Signed-off-by: Alexandru Avadanii <Alexandru.Avadanii@enea.com>

[Functest] Run k8s tests on Compass

Change-Id: I8e88ab0598f43be8d0c9c4ad199dba91c1561f13
Signed-off-by: Linda Wang <wangwulin@huawei.com>

Rename a common credential file

Change-Id: Ib97cee06438d4ac240c55b0b504338f435a68259
Signed-off-by: Linda Wang <wangwulin@huawei.com>

Merge "xci: Enable voting for CentOS jobs"

Merge "subscribe mongodb_backup job"

container4nfv: add arm64 test scenarios

Change-Id: I2a91409fb3a650e9d9cacd3f6ffe4b17bc394950
Signed-off-by: Yibo Cai <yibo.cai@arm.com>

[Compass] Set the verify timeout to 360

Change-Id: I39ed2ff1baedf5521f2fe1448350c0c91b1c4f61
Signed-off-by: wutianwei <wutianwei1@huawei.com>