add doctor-functest verify job

This patch adds a new jenkins job which will be executed every time
doctor patch is uploaded. The code will be verified by executing
doctor scenario on the specific pod using functest.

JIRA: DOCTOR-70
Change-Id: I480cd905991ccb1ef7426187fe83cbf1ae798ce9
Signed-off-by: Ryota MIBU <r-mibu@cq.jp.nec.com>

Merge "template-ize _testcases in create_kibana_dashboards.py"

Merge "kvmfornfv: Use correct url for uploading artifacts"

kvmfornfv: Use correct url for uploading artifacts

Change-Id: Ia3f1f37dfec0c8e73328e048fab8f9b8892e8c66
Signed-off-by: Fatih Degirmenci <fatih.degirmenci@ericsson.com>

armband: fix job naming issue

We were refering jobs in other projects (mainly fuel) because
the ci pods were named jost baremetal and virtual

Change-Id: I9d02e2e61fe666f4ef46c1eb62f41da065e46059
Signed-off-by: Paul Vaduva <Paul.Vaduva@enea.com>

Merge "armband: Deploy triggers yardstick tests for CI pods."

armband: functest jobs refactored to use labels

Change-Id: I50c47a40f3337e7140740f49b09f3e508eb0087c
Signed-off-by: Paul Vaduva <Paul.Vaduva@enea.com>

Merge "armband: triggers modified to run twice a day each branch"

template-ize _testcases in create_kibana_dashboards.py

Visualization items of test cases is written in _testcases variable
 in create_kibana_dashboards.py, make it rather difficult to integrate
 other testcases. Use a yaml configuration file to simplify it

JIRA: FUNCTEST-461

Change-Id: If64f6e18ea72dd864c9e9e067655aa951406b291
Signed-off-by: SerenaFeng <feng.xiaowei@zte.com.cn>

armband: Deploy triggers yardstick tests for CI pods.

Change-Id: I8b011aafd333c78eaeed59040476b1325e2dc56c
Signed-off-by: Paul Vaduva <Paul.Vaduva@enea.com>

Fix problems and add missing info to puppet-infracloud instructions

The instructions in README file will be automated later on so they
are just documented for the timebeing in order to prevent others
from facing issues while they try to follow the steps.

Change-Id: I38fe2609da6389a1cd120075f8eea243edd28e58
Signed-off-by: Fatih Degirmenci <fatih.degirmenci@ericsson.com>

Merge "Fix issue of not setting metadata correctly for generated docs"

armband: triggers modified to run twice a day each branch

Change-Id: I7fcd24852a0d1aecdfacf5f3cb1dfd49fb711916
Signed-off-by: Paul Vaduva <Paul.Vaduva@enea.com>

[Docker] Use build time args only for Functest

Using build-time arguments on Dockerfiles which
dont use the argument throws an error:
One or more build-args [BRANCH] were not consumed, failing build.

Examples:
https://build.opnfv.org/ci/view/functest/job/functest-docker-build-push-master/lastBuild/console

Change-Id: I2acb3a52ef648ca4f160f63cdcdebf1dae5931bc
Signed-off-by: jose.lausuch <jose.lausuch@ericsson.com>

Merge "[Docker] Add git branch as an argument to the dockerfile at build time"

Merge "yardstick: updated yardstick jobs for armband to use labels"

[Docker] Add git branch as an argument to the dockerfile at build time

This will be useful for the dockerfiles which need to have this
as a parameter to clone the respective repositories.

Needed for Functest.
Related JIRA: FUNCTEST-458

Change-Id: I6c818bdbc6d9935a6bf5274487540309ce1017b6
Signed-off-by: jose.lausuch <jose.lausuch@ericsson.com>

Fix issue of not setting metadata correctly for generated docs

Removed if clause does not return any html file, causing setmeta
to not run which in turn causes people to see cached versions of
the generated documents instead of the latest generated documents.

This is a quick fix in order to unblock Brady.

Change-Id: Id692781ee8713007b5987bf2bf48a6880978a977
Signed-off-by: Fatih Degirmenci <fatih.degirmenci@ericsson.com>

armband: Fix file handler in lab-config test -e

Previous change adding lab-config/.../local_env support introduced
an issue, in the form of `test -e file:///path/to/local_env`,
which is not supported.

Change-Id: I1566b41765329f18523cfc506c9112b6694a8317
Signed-off-by: Alexandru Avadanii <Alexandru.Avadanii@enea.com>

make mongo_to_elasticsearch.py skip resolve-failed results

mongo_to_elasticsearch.py exit when encounter can-not-be-parsed results,
for example:
File "mongo_to_elasticsearch.py", line 58, in _convert_duration
hours, minutes, seconds = duration.split(":")
ValueError: need more than 2 values to unpack

File "mongo_to_elasticsearch.py", line 228, in modify_functest_odl
test_statuses = _get_dicts_from_list(testcase, testcase['details']['details'],
KeyError: 'details'

change the logic, try...Except the Exception, logger it as error, then
continue processing the rest results

Change-Id: I18facd457ba3e8f661f5c9a1da1e6c200af6fc4e
Signed-off-by: SerenaFeng <feng.xiaowei@zte.com.cn>

Merge "Remove double slashes when generating the links of the logs in artifact repo"

Remove double slashes when generating the links of the logs in artifact repo

Change-Id: Ia9c3b5765872516640db451ad54f2efab9250082
Signed-off-by: jose.lausuch <jose.lausuch@ericsson.com>

yardstick: updated yardstick jobs for armband to use labels

Change-Id: I38aac6caf4f439e6524bf08e5dd038bca01180cf
Signed-off-by: Paul Vaduva <Paul.Vaduva@enea.com>

Merge "Generate and print link of the log files pushed to artifacts"

Generate and print link of the log files pushed to artifacts

Also, avoid having twice the name of the branch.

Change-Id: If6be5e742fa961b2a81015fe76f4ba5e52aeb0ab
Signed-off-by: jose.lausuch <jose.lausuch@ericsson.com>

Reflect upstream change to local script fixing playbook syntax check

Upstream change: https://review.openstack.org/#/c/358477/

Change-Id: Ibfef32aec4b62d8d1d13728abec374a2d4560d81
Signed-off-by: Fatih Degirmenci <fatih.degirmenci@ericsson.com>

Merge "correct backup-db.sh in kibana repo to keep consistent with testapi"

Merge "armband: Fix default params for labeled pods"

correct backup-db.sh in kibana repo to keep consistent with testapi

We change some interfaces in testapi, but this file doesn't change
with that

JIRA: FUNCTEST-455

Change-Id: I105a82557244481bbdf9885fc166ebe975b050ea
Signed-off-by: SerenaFeng <feng.xiaowei@zte.com.cn>

[Functest] Remove exit value job from functest-suite builder

Change-Id: I8309c027a871246623c199447dcb667b5bb2f066
Signed-off-by: jose.lausuch <jose.lausuch@ericsson.com>

armband: Fix default params for labeled pods

After previous change introducing the usage of node labels for
Armband CI deploy jobs, we discovered that the old params were
not applied to labeled pods.

To complicate things, we had different DEFAULT_BRIDGE params
for each CI pod, which contradicts the Jenkins templating
paradigm.

Since we already have a mechanism in place for overriding
env vars based on the POD we are running against, move both
<DEPLOY_TIMEOUT> and <DEFAULT_BRIDGE> params to our local_env,
which is sourced by the deploy script and can apply POD specific
configuration.

Add missing LAB_CONFIG_URL to newly added baremetal and virtual
defaults for Armband.

While at it, also replace "brahmaputra" comments with "colorado".

v2 -> v3:
Source local_env before using DEFAULT_BRIDGE in <armband-deploy.sh>.
Previously, we (Armband) sourced this file in our <ci/deploy.sh> [1],
which will be dropped after this change is merged.

[1] https://git.opnfv.org/cgit/armband/tree/ci/deploy.sh#n24

Change-Id: Ibafea25b3df8c3118ce05e3f40934c8e8b9c8dcd
Signed-off-by: Alexandru Avadanii <Alexandru.Avadanii@enea.com>

Fix test results dashboard homepage navbar links

The previous versions were the wrong paths, 404'd.

Change-Id: I9368db672a18b5bb0394cfacf016cd7f5821d886
Signed-off-by: Daniel Farrell <dfarrell@redhat.com>

Increase the git clone timeout to 15 minutes

Change-Id: Iac19f79f36fcbb7bbc27d7f6adf6085cb0ec449c
Signed-off-by: Fatih Degirmenci <fatih.degirmenci@ericsson.com>

Merge "Add Fedor Zhadaev in recipients list for Fuel jobs"

Merge "kvmfornfv: Store the metadata for the artifacts built by daily jobs"

Add Fedor Zhadaev in recipients list for Fuel jobs

Change-Id: Icb1a16f2136291239daffa0fe5932caf6d6c92dd
Signed-off-by: Fedor Zhadaev <fzhadaev@mirantis.com>

infra: Do not run provisioning in deploy & smoketest phases

Change-Id: I326053d863f0f06ceb293cda3cd2405cf2d25f13
Signed-off-by: Fatih Degirmenci <fatih.degirmenci@ericsson.com>

Merge "infra: Fix small doc/script issues and enable mail notification"

infra: Fix small doc/script issues and enable mail notification

This change
- Fixes readme of puppet-infracloud
- renames destroy_env.sh script
- enables mail notification
- disables removal of DIB images by default

Change-Id: I628b26b976e38772cbbc69b737a545fe801639ba
Signed-off-by: Fatih Degirmenci <fatih.degirmenci@ericsson.com>

Merge "armband: Use labels for pods and schedule jobs"

armband: Use labels for pods and schedule jobs

Change-Id: Idb3cabe46082b8c0a160cbc156abe0fe8cafbc4a
Signed-off-by: Paul Vaduva <Paul.Vaduva@enea.com>

kvmfornfv: Store the metadata for the artifacts built by daily jobs

Change-Id: I338401a1ced29b7907e74bea6ff28f5a6e80e5df
Signed-off-by: Fatih Degirmenci <fatih.degirmenci@ericsson.com>

Install tacker on controller node

In no-ha scenarios opendaylight role may not be collocated with
controller

Change-Id: Ic2040924949e7a0286ffeba795ea102face9bc0f
Signed-off-by: Michal Skalski <mskalski@mirantis.com>

Merge "Disable selinux on RHEL case"

Merge "Add jumphost to the managed servers"

Disable selinux on RHEL case

This is causing several puppet moduels to fail (for example
rabbit not starting). Set that to permissive as a workaround,
but with the intention of fixing the configuration and enabling
selinux on next steps.

Signed-Off-By: Yolanda Robla <yroblamo@redhat.com>
Change-Id: I34b388792699a9563dacedf87dd6ff85e482e431

Add jumphost to the managed servers

So at least it gets the dns, ports, and extra
config setup.

Signed-off-by: Yolanda Robla <yroblamo@redhat.com>
Change-Id: Iceb075b7491a9098b10a40b0a549023129739883

Set bridge name in hiera

It is different from debian/centos, and will be different
in baremetal as well, where vlans will be used. Add the ability
to manage in hiera, so it can just be edited on the yaml
file directly.

Change-Id: I5f5ac3adec6606ca34b3c8ad86c99d8e3aee52d1
Signed-Off-By: Yolanda Robla <yroblamo@redhat.com>

Merge "qtip: move bash scripts out of qtip-ci-jobs.yml"

Merge "fuel: Enable triggers of Colorado on zte-pod1 and zte-pod3"

fuel: Enable triggers of Colorado on zte-pod1 and zte-pod3

Enable triggers of Colorado on zte-pod1 and zte-pod3. Meanwhile, add
colorado branch for zte-pod1 and zte-pod3 in Functest and Yardstick.

Change-Id: I575d37356c9223935d5975a834589b33f9e7498b
Signed-off-by: wu.zhihui <wu.zhihui1@zte.com.cn>

Apex: fixes wrong arg to clean

Change-Id: If76e078215af068d7f4e04a961b7fc700b73eec7
Signed-off-by: Tim Rozet <trozet@redhat.com>

Merge "[Functest] Fix typo exiting with a ret_val variable"

Apex: fixes cleaning nodes

Change-Id: Ic83d559fab26cc795e16769529ddce0acd84dc17
Signed-off-by: Tim Rozet <trozet@redhat.com>

[Functest] Fix typo exiting with a ret_val variable

Change-Id: I39d085726551ac1db2531d474d9c407840f5ffc0
Signed-off-by: jose.lausuch <jose.lausuch@ericsson.com>

[Functest] Push logs to artifacts regardless if loop fails

This prevents from exiting the job without pushing the logs
to artifacts if the functest loop fails.

JIRA: FUNCTEST-443

Change-Id: I6925b5855326df809dbce9f389b10be8a00cf8de
Signed-off-by: jose.lausuch <jose.lausuch@ericsson.com>

Create daily job for infra deployment, remove sandbox jobs and fix bugs

This change
- creates upstream daily job to trigger and control the execution of jobs
that provision nodes using bifrost, deployment using puppet-infracloud,
and simple smoke test job.
- fixes the hashbang placement in 2 of the scripts.
- removes sandbox dummy jobs as the infra jobs can serve as examples now.

Only the node provisioning job is functional at the moment.

Change-Id: I311d159956d8b7ce3f7a500fac5a7dcb459104cf
Signed-off-by: Fatih Degirmenci <fatih.degirmenci@ericsson.com>

Merge "[compass] set timer of colorado jobs"

Apex: Adds powering off nodes to clean

Change-Id: Icaa3160bf9b96e323e448f66abe3a203e202c090
Signed-off-by: Tim Rozet <trozet@redhat.com>

[compass] set timer of colorado jobs

Change-Id: I9a3ec4c5adf52c5990dd163970faf376f60aa037
Signed-off-by: meimei <meimei@huawei.com>

Merge "Add the function of yardstick testcase reporter"

Add the function of yardstick testcase reporter

JIRA: YARDSTICK-324

Change-Id: I58969265f88d5c20f46f0b1097f5b0ccb1d9a40d
Signed-off-by: rexlee8776 <limingjiang@huawei.com>

Merge "[multisite] stop the timer of colorado"

Merge "Add colorado reporting for tempest and vims"

qtip: move bash scripts out of qtip-ci-jobs.yml

Change-Id: Ib48a1800b5d6d253c8bd8d383cf36c7119f6e9a4
Signed-off-by: wu.zhihui <wu.zhihui1@zte.com.cn>

modfied the external-network again.

It seems tardstick need the external-network variable defined in
this job so introducing the definition again.

Change-Id: I37bab57a9dda70554fb53de725a0124dc18181e9
Signed-off-by: Narinder Gupta <narinder.gupta@canonical.com>

Add colorado reporting for tempest and vims

Change-Id: I978799cd1cd777b5033e55a0146c41865e9c2bf5
Signed-off-by: Morgan Richomme <morgan.richomme@orange.com>

[multisite] stop the timer of colorado

Change-Id: Ib5dbc1561c895a6be1e4666239ec262450cfb740
Signed-off-by: meimei <meimei@huawei.com>

Merge "yardstick: Pull the right image for master and colorado branches"

fuel: Rearrange slave assignments for verify jobs

Change-Id: Iaf83ba8bc96189e9ef7749bd367197857c3e656a
Signed-off-by: Fatih Degirmenci <fatih.degirmenci@ericsson.com>

Apex: add job to verify only unit test changes

Change-Id: I76d79ae45e134646f1331a733e4c03948ee9f93a
Signed-off-by: Tim Rozet <trozet@redhat.com>

Add pathname jjb param for release branch.

JIRA: APEX-242

Change-Id: I5bb889a4c7023b650d4de8817d88e29fa6e70d9b
Signed-off-by: Thomas F Herbert <therbert@redhat.com>

Apex, Functest: Adds apex colorado functest jobs

Change-Id: I07d7f0a3cdef3ebe1dec07156791f181a149ba19
Signed-off-by: Tim Rozet <trozet@redhat.com>

Merge "qtip: remove brahmaputra jobs and change branch/pod allocation"

qtip: remove brahmaputra jobs and change branch/pod allocation

Change-Id: Ie01e2e6bd32c28df55146da328346bfcd2808f05
Signed-off-by: wu.zhihui <wu.zhihui1@zte.com.cn>

yardstick: Pull the right image for master and colorado branches

Change-Id: I868b837f67d24c53ee40bbd03fb1997da4938b3b
Signed-off-by: Fatih Degirmenci <fatih.degirmenci@ericsson.com>

Merge "joid: Enable colorado triggers and disable jobs of inactive pods"

joid: Enable colorado triggers and disable jobs of inactive pods

Change-Id: I1ddd6e59c7b55cd5107122a97652da97abb8ca97
Signed-off-by: Fatih Degirmenci <fatih.degirmenci@ericsson.com>

[JOID] Joid cleanup

Change-Id: I133b1dae993fa6b5e0fc52be411f68a06fbe72bb
Signed-off-by: David Blaisonneau <david.blaisonneau@orange.com>

bottlenecks project branch to colorado

switch to colorado job, annotate offline pods.

Change-Id: I905a67e2085d38719d42875a298d9c28c7a7556a
Signed-off-by: MatthewLi <matthew.lijun@huawei.com>

Merge "[compass] create new job for verify of colorado"

Merge "BugFix: Fix a wrong comment"

fuel: Get rid of the general disabled trigger

Change-Id: I8d73f588662a926dce7f0534e26f8b2945316a50
Signed-off-by: Fatih Degirmenci <fatih.degirmenci@ericsson.com>

BugFix: Fix a wrong comment

Change-Id: Ic5c9d35ccc92d8f19419c9b25476c0e084c7299f
Signed-off-by: JingLu5 <lvjing5@huawei.com>

fuel: Enable triggers for colorado jobs

Change-Id: I4048277c1b3ff1d3181004596d059d078c06089b
Signed-off-by: Fatih Degirmenci <fatih.degirmenci@ericsson.com>

[compass] create new job for verify of colorado

Change-Id: I7aa96c53f40696fe33326468537c83f427f02038
Signed-off-by: meimei <meimei@huawei.com>

yardstick: Pull image with stable tag

Change-Id: I47cb8e3ff448b8adc26b62201b15ddd3476dd0c1
Signed-off-by: Fatih Degirmenci <fatih.degirmenci@ericsson.com>

Apex: fixes blocking between streams

Change-Id: I162e51e0fd6d2d31a8c9daa08e1cc1a0678d5824
Signed-off-by: Tim Rozet <trozet@redhat.com>

Merge "armband: switched from brahma to colorado"

armband: switched from brahma to colorado

Switched from brahmaputra branches jobs to colorado
and add installer info.
ARMBAND-54

Change-Id: Ib6389427e4d67135d8096127ba6101684342a613
Signed-off-by: Paul Vaduva <Paul.Vaduva@enea.com>

Apex: migrate jjb to colorado

Change-Id: I2e45ea68a30ec356e14d2162df85bf50f51faab2
Signed-off-by: Tim Rozet <trozet@redhat.com>

Adjust build blocker for fuel and joid

Change-Id: Id33731d5c4d4b76450598ed2f19cd2b14097d748
Signed-off-by: Fatih Degirmenci <fatih.degirmenci@ericsson.com>

Merge "joid: Create jobs for Colorado"

Merge "Create project jobs for colorado branch"

Add initial puppet and hiera files

Include the basic site.pp and initial modules, as long as default
hieras, to manage opnfv infracloud.

Change-Id: I891bc414b102257534f1d28df8299bf41c12e8f2
Signed-Off-By: Yolanda Robla <yroblamo@redhat.com>

joid: Create jobs for Colorado

Please note that the triggers for colorado haven't been created yet.
It will be done once the basics in place.

This change depends on Id5eb8c406d34ff9f3ac59f73243034cbf49b23f0

Change-Id: I637f9cb54858f4b63c0b44478dfcafa30dde97a1
Signed-off-by: Fatih Degirmenci <fatih.degirmenci@ericsson.com>

fuel: Create jobs for Colorado

This change contains updates that impact compass and joid jobs due
to updates in functest and yardstick that remove brahmaputra branch.

Please note that the triggers for colorado haven't been created yet.
It will be done once the basics in place.

Change-Id: Id5eb8c406d34ff9f3ac59f73243034cbf49b23f0
Signed-off-by: Fatih Degirmenci <fatih.degirmenci@ericsson.com>

Add missing curl package for infracloud

It is needed on rabbit install

Change-Id: I0ebf66883cc7c66771b3b5b4c2cccc590e61e5ca
Signed-off-by: Yolanda Robla <yroblamo@redhat.com>

[Joid] Recover config UBUNTU_DISTRO=trusty for onos-sfc

Because it was deleted by https://gerrit.opnfv.org/gerrit/#/c/18937/

Change-Id: Ic276ef624edbdb46801262e197c309a678b3ed1b
Signed-off-by: Yuanyou Zhang<zhangyuanyou@huawei.com>

Create project jobs for colorado branch

Daily jobs for Colorado branch for installer and test projects
have not been created yet and it needs to be done via separate
patches.

Change-Id: I34517e89dfc502ce5741733e01bf8425d513df02
Signed-off-by: Fatih Degirmenci <fatih.degirmenci@ericsson.com>