Add jenkins jobs for automatic reporting dashboard deployment

Jenkins Jobs have been added for automating the deployment of the
reporting dashboard. Also multijob has been added for automating the
update of docker in the docker hub and generating docs which is empty
for now. Modified unit tests of reporting to make it run from any
directory.

Modified the testapi jenkins jobs yaml file to generic so that many
other modules which may have the same usecases can be integrated easily
just like the reporting one that is done now.

Change-Id: Id13a55416e17199dae1dd6ce64f7c167d117ba37
Signed-off-by: Sakala Venkata Krishna Rohit <rohitsakala@gmail.com>

Merge "barometer: include the barometer-project-parameter"

Remove invalid Timed trigger from Bifrost Jobs

A disabled trigger is set to the empty string, not prefixed with a
comment character.

Change-Id: I0b29857f0907f33bb0fb8156bb6db84113f1479d
Signed-off-by: Trevor Bramwell <tbramwell@linuxfoundation.org>

Merge "refactor list operation"

Merge "bugfix: Exception when the results is empty"

Merge "prototypes: xci: scripts: Add update-osa-version-files.sh script"

barometer: include the barometer-project-parameter

Change-Id: I503674dbec81c7255664818c3305311086db9ca3
Signed-off-by: Maryam Tahhan <maryam.tahhan@intel.com>

Merge "dovetail run against different scenarios of compass"

refactor list operation

all operations mix together make it very difficult to read

Change-Id: I7e4a12fd13a7aa0dc0c8fc09b69c7e43a2ab18ac
Signed-off-by: SerenaFeng <feng.xiaowei@zte.com.cn>

bugfix: Exception when the results is empty

list operation crash when limit is not provided, error message:
OperationFailure: the limit must be positive

JIRA: RELENG-265

Change-Id: Id8db93b594010d054a71d301d9c42eed113c12e1
Signed-off-by: SerenaFeng <feng.xiaowei@zte.com.cn>

Merge "Pass fully qualified anteater path to Docker run"

Pass fully qualified anteater path to Docker run

With moving anteater into a virtualenv inside the container, it is no
longer installed to a location accessible by the default PATH. Using the
absolute path to the anteater binary should allow this to run.

Change-Id: I978e96d6de1b6c7bb63ff877b5bc77e1b6ee44df
Signed-off-by: Trevor Bramwell <tbramwell@linuxfoundation.org>

Merge "bugfix: pagination crash due to memory limitation"

bugfix: pagination crash due to memory limitation

MongoDB sorts the results in memory, and the default mem limitation is
32M, if the sort operation consumes more than that it will return an
error:
OperationFailure: Executor error during find command: OperationFailed
Sort operation used more than the maximum 33554432 bytes of RAM. Add an
index, or specify a smaller limit.

To solve this problem, here we leverage aggregate() and
allowDiskUse=True, it is said will not be limited by memory

Change-Id: Id698ad1d02912e8b350a33a926fcccc390814fcc
Signed-off-by: SerenaFeng <feng.xiaowei@zte.com.cn>

dovetail run against different scenarios of compass

JIRA: DOVETAIL-454

1, scenarios to run
https://wiki.opnfv.org/display/dovetail/Running+history+for+the+dovetail+tool
scenarios installer
os-nosdn-nofeature-ha    Apex
os-nosdn-kvm-ha     Apex
 os-odl_l3-fdio-ha   Apex
os-odl_l2-nofeature-ha  Compass
os-nosdn-nofeature-ha  Compass
os-onos-nofeature-ha  Compass
os-odl_l3-nofeature-ha  Compass
os-nosdn-ovs-ha  Fuel
os-odl_l2-bgpvpn-ha  Fuel
os-odl_l3-nofeature-ha  Fuel
os-nosdn-nofeature-ha Fuel
os-nosdn-kvm_ovs_dpdk-ha Fuel

2, time map(in order to reduce resource in CI)
MON, WED, FRI, SUN ----> latest
TUE, THU, SAT ---> cvp.0.1.0

Change-Id: If9c3fc514e4260530fc4f73299eedd9c1b022692
Signed-off-by: MatthewLi <matthew.lijun@huawei.com>

Merge "bug fix: consider pagination when retrieveing results for reporting"

bug fix: consider pagination when retrieveing results for reporting

Due to pagination feature introduced in test API, reporting pages
only considered the first page of results retrieved by the API
the number of pages is now detected to aggregate the results

JIRA: RELENG-259

Change-Id: I0ac90b125baf8c16341c8db22f5602fedd4cdf1b
Signed-off-by: Morgan Richomme <morgan.richomme@orange.com>

Enable onos-sfc baremetal daily job

JIRA:-

Because Baremetal resource is limit, it will take more than 3 hours
in each circle. so diable ocl and enable onos-sfc.

Change-Id: I6a9cfd20324bc5dfa79e6cfc4b5ee3b4e84a3085
Signed-off-by: chigang <chigang@huawei.com>

Merge "Add licenses to Dovetail scripts"

Add licenses to Dovetail scripts

JIRA: DOVETAIL-453

Change-Id: I40110eae6eac86953f482f83e0b082149c3d0377
Signed-off-by: xudan <xudan16@huawei.com>

Merge "Bugfix: Dovetail CI failed with Permission denied"

Bugfix: Dovetail CI failed with Permission denied

JIRA: DOVETAIL-451

1. Dovetail CI jobs failed because of Permission denied.
2. The directory ${WORKSPACE}/cvp/pre_config is created with sudo privilege,
   so fetch_os_creds without sudo got Permission denied.
3. Remove the sudo when create directory ${WORKSPACE}/cvp/pre_config.

Change-Id: I802dc1cf8479b61929a9311800e65d357f4a7d34
Signed-off-by: xudan <xudan16@huawei.com>

[yardstick] Pass "BRANCH" variable to yardstick docekr container

Recently update of utils/fetch_os_creds.sh in commit 8359219bae93a028f6205cdc9460654f9e45c217
use a "BRANCH" varibale in fuel environmet
Currently Yardstick didn't pass such variable to yardstick docker, which causes the following error:
/home/opnfv/repos/releng/utils/fetch_os_creds.sh: line 75: BRANCH: unbound variable

This patch fix this error by Pass "BRANCH" variable to yardstick docekr container

Change-Id: Ifcf3df7107b2f4b493b37c7ef5473f170a8edb94
Signed-off-by: JingLu5 <lvjing5@huawei.com>

Bugfix: Dovetail CI failed on fuel because of BRANCH: unbound variable

JIRA: DOVETAIL-451

1. Dovetail CI jobs failed on fuel becase lack of BRANCH.
   fetch_os_creds.sh: line 75: BRANCH: unbound variable
2. That's mainly because of Dovetail uses sudo to run fetch_os_creds.sh.
3. BRANCH is jenkins' env param and root's env lacks of this param.

Change-Id: I3163d6e9f099e979bace00ce993b422ad60f6b8f
Signed-off-by: xudan <xudan16@huawei.com>

Merge "barometer: setmeta on properties files"

Merge "Add octopus|pharos|functest to ci gate security"

Merge "Changing urls of testapi api and resources"

Adjusting for GMT

Change-Id: Id0719a6fb3bbe509fe6a76b305736a82f58bdc68
Signed-off-by: mbeierl <mark.beierl@dell.com>

Merge "Directly Run Anteater Docker Container"

Merge "support pagination in TestAPI"

barometer: setmeta on properties files

Change-Id: I9c8b86488c0dab04068b978864dff017bd5a95e9
Signed-off-by: Fatih Degirmenci <fatih.degirmenci@ericsson.com>

Merge "barometer: update daily job with artifacts build"

Merge "Disabling Gluon RPM puild job"

Directly Run Anteater Docker Container

The current approach is to run /bin/bash in a fully privilaged docker
container as the root user and exec the anteater command from this.

There are a couple of reasons this approach doesn't make sense:

1) anteater is not a long running service
2) anteater doesn't need any privilaged access to the host
3) anteater is already a compiled binary and can be ran directly

Because the anteater container doesn't need access to all the host
devices nor is it running docker containers inside of docker, the
`--privileged=true` flag can be removed.

Note: '--rm' is added as well to ensure volumes do not persist past the
container lifecycle and lead to build server running out of disk space.

JIRA: RELENG-250

Change-Id: I1ec90b3737abf591b6b3373fe2fc8f52cdcfb11a
Signed-off-by: Trevor Bramwell <tbramwell@linuxfoundation.org>

Merge "bug fix: bad format for start/time in Tempest reporting"

Add octopus|pharos|functest to ci gate security

JIRA: RELENG-252

Change-Id: I884853cc3faf4cd24832bf5f35078a0913f2a0b3
Signed-off-by: agardner <agardner@linuxfoundation.org>

bug fix: bad format for start/time in Tempest reporting

Change-Id: Ic9792023b9041dbe8081ff9840caa2cf2901b189
Signed-off-by: Morgan Richomme <morgan.richomme@orange.com>

Disabling Gluon RPM puild job

Disabling the Gluon rpm build job because the Gluon scenario won't
be included in the Euphrates release. The Danube build and deploy
job use the already built artifacts.

Change-Id: I08ffb2975482c4954906f1068a37cc5eab119123
Signed-off-by: Georg Kunz <georg.kunz@ericsson.com>

Merge "make website accessible via testresults.opnfv.org/test"

Merge "Support to build docker image with commit id"

--user nobody did not work on ericsson-build3

also change job to only run weekly

Change-Id: I5f0d5f1d7020c02b2f3ec76aa7f5da2196184529
Signed-off-by: agardner <agardner@linuxfoundation.org>

Merge "[yardstick] add Ross to email recipients"

Merge "Generalize Gerrit non-voting Review Macro Name"

[yardstick] add Ross to email recipients

as yardstick PTL I'd like to get Jenkins results emails

Change-Id: If053ab72902c145a13e0dc965ff69211f33c4a88
Signed-off-by: Ross Brattain <ross.b.brattain@intel.com>

barometer: update daily job with artifacts build

Update the barometer dailty job to build and upload appropriate build
collateral to artifacts.opnfv.org.

Change-Id: I387fc22439e43ba805a992bc46f14090db57dbf4
Signed-off-by: Maryam Tahhan <maryam.tahhan@intel.com>

support pagination in TestAPI

In this patch, pagination is supported, so you can go through results
leveraging: http://testresults.opnfv.org/test/api/v1/results?page=2

Change-Id: Ibe31c787643f27dbb06c4899e713b3c8e716e784
Signed-off-by: SerenaFeng <feng.xiaowei@zte.com.cn>

Merge "[fuel] Add missing ssh key to environment vars"

Support to build docker image with commit id

JIRA: DOVETAIL-447

this support dovetail to make tag/container snapshot at some
commit id

this will also used for functest/yardstick if needed, since their danube.2.0/3.0
may not satisfy dovetail requirements, while their snapshots at some commit id
satisfy.

Change-Id: I76cf6df586d1c9f0f563c6bfc039e3e271dc3de8
Signed-off-by: MatthewLi <matthew.lijun@huawei.com>

Merge "change the timeout to 4 hours"

make website accessible via testresults.opnfv.org/test

Currently, testapi website can not be fully accessed through
testresults.opnfv.org/test, due to http://testresults.opnfv.org/test is
not a root url. In this patch leverage relative path to make it accessible

Change-Id: I56983d2221791d8a060039ec829278d31ecb5048
Signed-off-by: SerenaFeng <feng.xiaowei@zte.com.cn>

Generalize Gerrit non-voting Review Macro Name

This patch updates the 'report-docs-build-result-to-gerrit' macro name
to reflect that it can work well for more than just the opnfvdocs project.

To take advantage of this macro a build merely needs to write
out the file 'gerrit_comment.txt' with the information they want posted
back to gerrit, and include the macro in the list of builders.

Change-Id: Ifbdc5734fe7e7231be0cfd16d6b8d69cb1383bfd
Signed-off-by: Trevor Bramwell <tbramwell@linuxfoundation.org>

Merge "Add weekly job for security scan"

Add weekly job for security scan

Added license headers
remove errexit from report to gerrit
run as --user nobody

Change-Id: I4b65dbae1f255015877766a0afa44e9b9898651c
Signed-off-by: Aric Gardner <agardner@linuxfoundation.org>
Signed-off-by: Trevor Bramwell <tbramwell@linuxfoundation.org>

Merge "Add doctor arm verify job (skip-vote)"

change the timeout to 4 hours

it need to download the tar.gz and We install the packages inline.
Due to the network, sometimes it will cost more time.
150 minutes still is not enough.

Change-Id: I28ff7840dc3d705c4d0a32cde718230d92b6ea19
Signed-off-by: wutianwei <wutianwei1@huawei.com>

[fuel] Add missing ssh key to environment vars

Change-Id: I1f110b7b981cb5c325c853cbde8462d271684a19
Signed-off-by: Michael Polenchuk <mpolenchuk@mirantis.com>

Merge "Define an extra vars path and copy into playbooks"

Merge "Talk about development mode for XCI"

Talk about development mode for XCI

Explain the usage of OPNFV_RELENG_DEV_PATH

Change-Id: I19e3946c9ea78a6bb0521818b58af297a396d80d

Merge "prototypes: xci: config: Update bifrost SHA"

Merge "[fuel] Disable iso download for master branch"

Merge "Change the parameter of timeout to 150 minutes"

Merge "Fuel: adds retrieving OS credentials for MCP"

Change the parameter of timeout to 150 minutes

Because we use the Openstack-Ansible to deploy the openstack,
it will cost more time. 120 minute is too short for this.
We change this to 150 minutes.

Change-Id: I39beca2cbd191ac738185cca696555656174e84d
Signed-off-by: wutianwei <wutianwei1@huawei.com>

prototypes: xci: config: Update bifrost SHA

Update bifrost SHA to 7c9bb5e07c6bc3b42c9a9e8457e5eef511075b38
which is the current HEAD on 16th of June 2017.

Change-Id: I91cd98221fda7a1dd689abbfbf07474bd8aac4e1
Signed-off-by: Markos Chandras <mchandras@suse.de>

[fuel] Disable iso download for master branch

Change-Id: I142961d06b312cc5f43a18f25410236fa67cbcb1
Signed-off-by: Michael Polenchuk <mpolenchuk@mirantis.com>

prototypes: xci: scripts: Add update-osa-version-files.sh script

Add new prototypes/xci/scripts/update-osa-version-files.sh which can be
used to update the XCI ansible-role-requirements.yml file as well as the
OSA pinned SHA string. This file is using the upstream
'sources-branch-updater-lib.sh' library from the openstack-ansible
repository.

Change-Id: I51b88c50cb2bffe0cf1b7aa054a5b237103fd92f
Signed-off-by: Markos Chandras <mchandras@suse.de>

Merge "prototypes: xci: Add 'ansible-hardening' role to the requirements file"

Fuel: adds retrieving OS credentials for MCP

Adjusts retrieving OS credentials for MCP (master branch in fuel repo)

Also removes legacy admin_ip and public_ip retrieving.

Change-Id: Ib7781a3701c7281b781872b18150332b94298260
Signed-off-by: Andrii Ostapenko <aostapenko@mirantis.com>

Merge "Add releng repo to security check"

Merge "Reschedule armband jobs"

Add releng repo to security check

some formatting changes to shell script

Change-Id: I301cb4b385df81a81de5ba230c5a4709461703a3
Signed-off-by: Aric Gardner <agardner@linuxfoundation.org>

Add exit status, remove awk warning

Change-Id: I090e601b45b58fae4235867536553570f2674f9a
Signed-off-by: Aric Gardner <agardner@linuxfoundation.org>

Move gerrit comment logic to its own file

this file will become too complicated to escape inside the job
definition.

Change-Id: I3e167bee5d315a7ff3b52e7274b68c3146dfbd03
Signed-off-by: Aric Gardner <agardner@linuxfoundation.org>

Merge "Fix gerrit comment"

Fix gerrit comment

Change-Id: Id1340090fbf410f9eda5e115f554fee778d26b90
Signed-off-by: Aric Gardner <agardner@linuxfoundation.org>

Merge "We cant report the results if anteater exits 1"

We cant report the results if anteater exits 1

So I guess we put the voting logic in the report results to
gerrit step

Change-Id: I5a6d8c7986bc317648bbb7512ba4f8357bbb4f3c
Signed-off-by: Aric Gardner <agardner@linuxfoundation.org>

Merge "Update modules/(test-)requirements"

Report anteater results to gerrit.

used tee to create audit log

Change-Id: I6941e142064cf7c9b4586660be69df2a02807af3
Signed-off-by: Aric Gardner <agardner@linuxfoundation.org>

Fix skip vote on anteaterjob

looks like the spacing was off

Change-Id: Ief6d15d122add79b8f9492550ce4ceecafe545bd
Signed-off-by: Aric Gardner <agardner@linuxfoundation.org>

prototypes: xci: Add 'ansible-hardening' role to the requirements file

Upstream commit 2798cf403c47d165cd8d34d7888990dce1f827f8 ("Use new
ansible-hardening role") added the new 'ansible-hardening' role to the
ansible-role-requirements.yml file and as such we also need to take that
into consideration. The sha hash does not matter much at this point
since it will be fixed the next time we tag all the roles.

Change-Id: I5444af948e2b83de49863e7e28f3918fed88c90d
Signed-off-by: Markos Chandras <mchandras@suse.de>

anteater: Fix jjb script

Change-Id: Ib42cef840ff8118c32676efdf8c21c315c1f4911
Signed-off-by: Fatih Degirmenci <fatih.degirmenci@ericsson.com>

move to a server that docker works on

Change-Id: Ibb3cc5a2425d9f2f79e27c86e22b176fd36cb3dc
Signed-off-by: Aric Gardner <agardner@linuxfoundation.org>

Change git base

Change-Id: I988a95141886d53b7b14f3ab5c673f589786ae7a
Signed-off-by: Aric Gardner <agardner@linuxfounation.org>

run anteater ci gate on lf-build2

Change-Id: I21aca84c2ce5526f4a0942b21c50455c3d8aa4bd
Signed-off-by: Aric Gardner <agardner@linuxfounation.org>

releng-anteater: Create script to run checks and adjust jjb

Change-Id: I7f161b5f939eaeba019ce882a9977908ee0c01b8
Signed-off-by: Fatih Degirmenci <fatih.degirmenci@ericsson.com>
Signed-off-by: Trevor Bramwell <tbramwell@linuxfoundation.org>

Update modules/(test-)requirements

It updates requirements.txt and test-requirements.txt according to
OpenStack stable/ocata. It also fixes install_requires and
test_requires in modules/setup.py.

Change-Id: I9290db34e7bc1c78200130dd6a67d2d33dbc388d
Signed-off-by: Cédric Ollivier <cedric.ollivier@orange.com>

Merge "Apex: adds smoketest back"

Reschedule armband jobs

Removed the master jobs until mcp is functional on arm.
Rescheduled the danube jobs 8 hours apart.

Change-Id: I90037a76a50d61c76c13cd68fa5926e1a73e88e6
Signed-off-by: Cristina Pauna <cristina.pauna@enea.com>

Merge "fix workspace permission error"

Apex: adds onos rpm back to upload/download

Change-Id: Ib71936bec70951dea7478c1dcf657c5f2581fdf6
Signed-off-by: Tim Rozet <trozet@redhat.com>

Time of day change

Changes the time of day and default run parameters of the job so the
interns can use Pod 9 during the day, IST

Change-Id: Ifee9384925fac614d06cdc8eba2f8973692a7144
Signed-off-by: mbeierl <mark.beierl@dell.com>

Merge "add filter based on begin&end time of start_date"

fix workspace permission error

after https://gerrit.opnfv.org/gerrit/#/c/35833/ merged

still fails https://build.opnfv.org/ci/job/compass-verify-deploy-virtual-xenial-master/360/console

by checking the host the file was changed to <jenkins root>
it should be <jenkins jenkins>

Change-Id: I44bab9aaedaa18fc2c2b654bf156703904c220c7
Signed-off-by: MatthewLi <matthew.lijun@huawei.com>

workspace wrapper put before scm

after https://gerrit.opnfv.org/gerrit/#/c/35833/ merged

still fails https://build.opnfv.org/ci/job/compass-verify-deploy-virtual-xenial-master/359/console

Change-Id: Ia960d70fa6ffc24dcc4a135cccd08cc120f2348a
Signed-off-by: MatthewLi <matthew.lijun@huawei.com>

yardstick: Rename yardstick-ci-jobs to align with functest

Change-Id: I1b88ca7f25431b48e3fce3ebec20274062204718
Signed-off-by: Fatih Degirmenci <fatih.degirmenci@ericsson.com>

Apex: adds smoketest back

Adding smoketest back, but it will not fail verify job.

Change-Id: I18743ceb529565b2afc26ad0983c18d911920bec
Signed-off-by: Tim Rozet <trozet@redhat.com>

Merge "fix the judgement condition"

fix the judgement condition

when in danube branch the $BRANCH is stable/danube
so we need fix the judgement condition

Change-Id: If3a0a40b60098cbd0baf2e64fad8763fae128cb1
Signed-off-by: wutianwei <wutianwei1@huawei.com>