infra: Fix ownerships for successful runs as well

Change-Id: I11b73104b5a80351537109fcb504bb250c641220
Signed-off-by: Fatih Degirmenci <fatih.degirmenci@ericsson.com>

infra: Change the ownership of stuff back to jenkins

Change-Id: I869a2e44b78ed33e3419077c32f5c0a08b63191f
Signed-off-by: Fatih Degirmenci <fatih.degirmenci@ericsson.com>
Signed-off-by: Markos Chandras <mchandras@suse.de>

Merge "infra: Remove /opt/stack to prevent leftovers from causing trouble"

Merge "kvmfornfv: Downloading sha512sum file of the guest image."

infra: Remove /opt/stack to prevent leftovers from causing trouble

Change-Id: I924f40a363fcaf50eb7e4c6f8cd1c5acba7c330b
Signed-off-by: Fatih Degirmenci <fatih.degirmenci@ericsson.com>

kvmfornfv: Downloading sha512sum file of the guest image.

This patch contains the script to download sha512sum file
of the kvmfornfv guest image along with other artifacts.

Change-Id: I2aa2e76124a12fb0d11975cda758f76e91f00390
Signed-off-by: kalyanreddy <reddyx.gundarapu@intel.com>

Merge "prototypes: bifrost: README: Run the deployment script using sudo"

Add gauge metrics for Functest reporting dashboard

JIRA: FUNCTEST-476

Change-Id: Ia39ffa8b39a1085a081d6128871cee20436e051c
Signed-off-by: jose.lausuch <jose.lausuch@ericsson.com>

prototypes: bifrost: README: Run the deployment script using sudo

It's necessary to run the deployment script using 'sudo' so that
exported variables within the script are preserved in playbooks
once we gain elevated privileges.

Change-Id: I824b44199d57b6acf14804c3ab1825d7aa80da4e
Signed-off-by: Markos Chandras <mchandras@suse.de>

Merge "merge N days and whole database process and not publish existed data any way"

Merge "prototypes: bifrost: Check we are running the destroy-env.sh as root"

Merge "yardstick: enable colorado branch for arm-pod2"

prototypes: bifrost: Check we are running the destroy-env.sh as root

Nearly all operations in the destroy-env.sh script need to be executed
as root so make sure that's the case before we try to do anything.
This also fixes the dnsmasq.leases path and we check that the file
exists before we try to wipe it. The dnsmasq is also restarted to take
the empty leases file into consideration. Finally, we improve the
documentation to run the necessary commands using sudo.

Change-Id: I56df821ca8a93307117a94a11abd0867b27d8443
Signed-off-by: Markos Chandras <mchandras@suse.de>

Merge "Fix security issues of eval-s in testapi"

Fix security issues of eval-s in testapi

results from security audit show risks and recommendations to fix them

JIRA: RELENG-144

Change-Id: If128cc3ae230150a912b581dfb1ded543d851eb5
Signed-off-by: SerenaFeng <feng.xiaowei@zte.com.cn>

Merge "doctor: skip voting from results of immature jobs"

merge N days and whole database process and not publish existed data any way

JIRA: FUNCTEST-473

Change-Id: I2631fa04b0922afda2746cfd6be6f35587d534ba
Signed-off-by: SerenaFeng <feng.xiaowei@zte.com.cn>

Merge "Bugfix: reporting shows more than 4 days result"

doctor: skip voting from results of immature jobs

Change-Id: I8bfe946c6708f2d0eb0b1c583e1a522d4d797e93
Signed-off-by: Ryota MIBU <r-mibu@cq.jp.nec.com>

Merge "add logger common process for releng scripts"

Merge "Change naming for bridge in CentOS"

Bugfix: reporting shows more than 4 days result

JIRA: YARDSTICK-346

Change-Id: Ife5334f9c7d6a1546eee6995ce4b1b36d0f2c008
Signed-off-by: chenjiankun <chenjiankun1@huawei.com>

yardstick: enable colorado branch for arm-pod2

Change-Id: I4756b64d302c2e44b0cb84d0ad4e34288eae25fa
Signed-off-by: Paul Vaduva <Paul.Vaduva@enea.com>

Merge "infra: infra-daily-jobs: Use of the infra-{smoketest,deploy} scripts"

Merge "Implements use of yaml.safe_load as per sec audit"

Bugfix:[yardstick reporting] reporting status is not true due to select a wrong keyword

JIRA: RELENG-146

Change-Id: I9bea896c3be02b7533ab170b3e91117499eef06f
Signed-off-by: chenjiankun <chenjiankun1@huawei.com>

add logger common process for releng scripts

JIRA: FUNCTEST-468

Change-Id: I03fb25ef26db521bceb740ec2808106a00e55165
Signed-off-by: SerenaFeng <feng.xiaowei@zte.com.cn>

Change naming for bridge in CentOS

Change-Id: I7a35a1222ce7524fbf74848daec68dfd57616026
Signed-Off-By: Yolanda Robla <yroblamo@redhat.com>

infra: infra-daily-jobs: Use of the infra-{smoketest,deploy} scripts

The Jenkins jobs for smoketest and deploy use inline scripts which are
essentially no-ops but they should use the respective scripts instead
which are also no-ops at the moment but they could potentially become
more useful in the future.

Change-Id: Ic91f65b43468aaba503e71773098853bf43f229f
Signed-off-by: Markos Chandras <mchandras@suse.de>

Implements use of yaml.safe_load as per sec audit

Change-Id: I9b8d9746e8a3beebc1aff9f883dcec39928831d7
Signed-off-by: Luke Hinds <lukehinds@gmail.com>

Merge "utils: arm-pod3 test logs push enable"

refactor modify_mongo_entry of kibana_dashboard

JIRA: FUNCTEST-469

Change-Id: Ifd6598232fb0a1615352e0f27aefd51beeedbcbc
Signed-off-by: SerenaFeng <feng.xiaowei@zte.com.cn>

Merge "Stop disabling selinux"

Merge "Update documentation about disabling selinux"

Merge "Parameterize infracloud playbook by platforms"

Merge "Fix script when CLEAN_DIB_IMAGES var is not set"

Parameterize infracloud playbook by platforms

This will allow to run on different distros depending on
settings exported.

Change-Id: I068d7bb2eebfd009dceeff057c8a65361483788b
Signed-off-by: Yolanda Robla <yroblamo@redhat.com>

Merge "bugfix: yardstick reporing in stable branch omit stable/"

Merge "Fix security issues reported by the security audit"

bugfix: yardstick reporing in stable branch omit stable/

JIRA: YARDSTICK-343

Change-Id: I926d1fcb308feb118663ba4db7adf3bc9eab7cbe
Signed-off-by: rexlee8776 <limingjiang@huawei.com>

utils: arm-pod3 test logs push enable

arm-pod3 is a CI POD deployed with Fuel on AArch64 hardware,
and also runs Functest jobs for it.

Enable pushing logs from this POD, as well as listing it
in the dashboard.

Closes-bug: ARMBAND-73

Change-Id: I8ed833f6a0b3a96d7473539129de662f8ddde95e
Signed-off-by: Alexandru Avadanii <Alexandru.Avadanii@enea.com>

armband: deploy: upload logs to GS

Closes-bug: ARMBAND-72

Change-Id: I6c5a3e6ce4c320bf42f02b290a0137f5b892ad7f
Signed-off-by: Alexandru Avadanii <Alexandru.Avadanii@enea.com>

Stop disabling selinux

It is already disabled in origin in puppet-infracloud,
and it is causing an error with duplicates now.

Change-Id: Ie40232c03138f1c8a1516895828c6cfd5730f9f7
Signed-Off-By: Yolanda Robla <yroblamo@redhat.com>

infra: Fix the gerrit project name and preserve env for sudo

Change-Id: I9b86f285ac0a3e3f8ea95550f7490ced8d3ca2a3
Signed-off-by: Fatih Degirmenci <fatih.degirmenci@ericsson.com>

infra: Create 3rd party CI job to verify bifrost patches in OPNFV

This change creates job to run patchset verification for openstack/bifrost.
The verification is done by checking out the patch from upstream bifrost
repo and combining opnfv bifrost stuff with it to see if any change that
is proposed upstream breaks opnfv bifrost.

The verification is done only for trusty and this can be expanded to support
centos7 and suse as well.

Due to change in slave label, impacted files are also updated.

Change-Id: Id34b7ddcf5e3f424a5999aa1a9fa69ff53d95fc4
Signed-off-by: Fatih Degirmenci <fatih.degirmenci@ericsson.com>

Merge "add doctor-functest verify job"

add doctor-functest verify job

This patch adds a new jenkins job which will be executed every time
doctor patch is uploaded. The code will be verified by executing
doctor scenario on the specific pod using functest.

JIRA: DOCTOR-70
Change-Id: I480cd905991ccb1ef7426187fe83cbf1ae798ce9
Signed-off-by: Ryota MIBU <r-mibu@cq.jp.nec.com>

add http:// to rpm install path

Change-Id: I9b1d0a5bb9c6b84515ee6daecc9b2e1983c93c7d
Signed-off-by: Jamo Luhrsen <jluhrsen@redhat.com>

Apex: fix rpm latest path

Change-Id: I78a67475956405193a55a1d8d13a93bfe913c8f5
Signed-off-by: Tim Rozet <trozet@redhat.com>

Apex: fix latest rpm path

Change-Id: I396e8b8e3958cb89cdd3d8790f78ae4085e90e47
Signed-off-by: Tim Rozet <trozet@redhat.com>

add cperf specific stream to apex-runner-cperf job

trying to find the  best/right way to point this job to use cperf's
intel-pod2.

Change-Id: I461d7367b73d4e388200cc7c7db0ab005e28cc2d
Signed-off-by: Jamo Luhrsen <jluhrsen@redhat.com>

Fix security issues reported by the security audit

JIRA: RELENG-143

Change-Id: Ia20c6ce86e72924ab8ab5f93bdc956d7f6a40a93
Signed-off-by: Morgan Richomme <morgan.richomme@orange.com>

armband: enable concurrency and adjust throttle params

Change-Id: I72e061ae57ccdd06520dbf93cdf146390bfc0591
Signed-off-by: Paul Vaduva <Paul.Vaduva@enea.com>

Merge "Fix tacker installation"

Merge "KVMFORNFV: Enable artifact download and testing for daily job"

KVMFORNFV: Enable artifact download and testing for daily job

This patch contains scripts for downloading artifacts and running
tests as part of KVM4NFV daily job.

Change-Id: Iaf557d260e236f873acf99d7d735c54d7d2903cf
Signed-off-by: kalyanreddy <reddyx.gundarapu@intel.com>

Fix tacker installation

Sometimes commands are exeucuted before last one was finished, for
example here:
https://build.opnfv.org/ci/job/fuel-deploy-virtual-daily-colorado/117/console
Try set custom prompt to eliminate false matching and add additional sleep
after git package installation.

Change-Id: I0fd1b5410c7870ff2a074e050069efc3b61b0d79
Signed-off-by: Michal Skalski <mskalski@mirantis.com>

Update documentation about disabling selinux

Change-Id: Ic3729d9450edabd809eed53525632e2b36752401
Signed-Off-By: Yolanda Robla <yroblamo@redhat.com>

Fix script when CLEAN_DIB_IMAGES var is not set

It relies on this var being exported, and if the script
is ran manually and this var is not set, it crashes. Adding
a default to this var to avoid this failure.

Change-Id: I5c61a1d9f1aafe2d6c64af70d3237b6c5b0d1e1d
Signed-Off-By: Yolanda Robla <yroblamo@redhat.com>

Merge "Add stable/colorado to versions"

Merge "template-ize _testcases in create_kibana_dashboards.py"

Merge "kvmfornfv: Use correct url for uploading artifacts"

kvmfornfv: Use correct url for uploading artifacts

Change-Id: Ia3f1f37dfec0c8e73328e048fab8f9b8892e8c66
Signed-off-by: Fatih Degirmenci <fatih.degirmenci@ericsson.com>

armband: fix job naming issue

We were refering jobs in other projects (mainly fuel) because
the ci pods were named jost baremetal and virtual

Change-Id: I9d02e2e61fe666f4ef46c1eb62f41da065e46059
Signed-off-by: Paul Vaduva <Paul.Vaduva@enea.com>

Merge "armband: Deploy triggers yardstick tests for CI pods."

armband: functest jobs refactored to use labels

Change-Id: I50c47a40f3337e7140740f49b09f3e508eb0087c
Signed-off-by: Paul Vaduva <Paul.Vaduva@enea.com>

Merge "armband: triggers modified to run twice a day each branch"

template-ize _testcases in create_kibana_dashboards.py

Visualization items of test cases is written in _testcases variable
 in create_kibana_dashboards.py, make it rather difficult to integrate
 other testcases. Use a yaml configuration file to simplify it

JIRA: FUNCTEST-461

Change-Id: If64f6e18ea72dd864c9e9e067655aa951406b291
Signed-off-by: SerenaFeng <feng.xiaowei@zte.com.cn>

armband: Deploy triggers yardstick tests for CI pods.

Change-Id: I8b011aafd333c78eaeed59040476b1325e2dc56c
Signed-off-by: Paul Vaduva <Paul.Vaduva@enea.com>

Fix problems and add missing info to puppet-infracloud instructions

The instructions in README file will be automated later on so they
are just documented for the timebeing in order to prevent others
from facing issues while they try to follow the steps.

Change-Id: I38fe2609da6389a1cd120075f8eea243edd28e58
Signed-off-by: Fatih Degirmenci <fatih.degirmenci@ericsson.com>

Add stable/colorado to versions

Change-Id: Ieccb04d20ca23265af30e6a671cd999b6d1cd349
Signed-off-by: chenjiankun <chenjiankun1@huawei.com>

Merge "Fix issue of not setting metadata correctly for generated docs"

armband: triggers modified to run twice a day each branch

Change-Id: I7fcd24852a0d1aecdfacf5f3cb1dfd49fb711916
Signed-off-by: Paul Vaduva <Paul.Vaduva@enea.com>

[Docker] Use build time args only for Functest

Using build-time arguments on Dockerfiles which
dont use the argument throws an error:
One or more build-args [BRANCH] were not consumed, failing build.

Examples:
https://build.opnfv.org/ci/view/functest/job/functest-docker-build-push-master/lastBuild/console

Change-Id: I2acb3a52ef648ca4f160f63cdcdebf1dae5931bc
Signed-off-by: jose.lausuch <jose.lausuch@ericsson.com>

Merge "[Docker] Add git branch as an argument to the dockerfile at build time"

Merge "yardstick: updated yardstick jobs for armband to use labels"

[Docker] Add git branch as an argument to the dockerfile at build time

This will be useful for the dockerfiles which need to have this
as a parameter to clone the respective repositories.

Needed for Functest.
Related JIRA: FUNCTEST-458

Change-Id: I6c818bdbc6d9935a6bf5274487540309ce1017b6
Signed-off-by: jose.lausuch <jose.lausuch@ericsson.com>

Fix issue of not setting metadata correctly for generated docs

Removed if clause does not return any html file, causing setmeta
to not run which in turn causes people to see cached versions of
the generated documents instead of the latest generated documents.

This is a quick fix in order to unblock Brady.

Change-Id: Id692781ee8713007b5987bf2bf48a6880978a977
Signed-off-by: Fatih Degirmenci <fatih.degirmenci@ericsson.com>

armband: Fix file handler in lab-config test -e

Previous change adding lab-config/.../local_env support introduced
an issue, in the form of `test -e file:///path/to/local_env`,
which is not supported.

Change-Id: I1566b41765329f18523cfc506c9112b6694a8317
Signed-off-by: Alexandru Avadanii <Alexandru.Avadanii@enea.com>

make mongo_to_elasticsearch.py skip resolve-failed results

mongo_to_elasticsearch.py exit when encounter can-not-be-parsed results,
for example:
File "mongo_to_elasticsearch.py", line 58, in _convert_duration
hours, minutes, seconds = duration.split(":")
ValueError: need more than 2 values to unpack

File "mongo_to_elasticsearch.py", line 228, in modify_functest_odl
test_statuses = _get_dicts_from_list(testcase, testcase['details']['details'],
KeyError: 'details'

change the logic, try...Except the Exception, logger it as error, then
continue processing the rest results

Change-Id: I18facd457ba3e8f661f5c9a1da1e6c200af6fc4e
Signed-off-by: SerenaFeng <feng.xiaowei@zte.com.cn>

Merge "Remove double slashes when generating the links of the logs in artifact repo"

Remove double slashes when generating the links of the logs in artifact repo

Change-Id: Ia9c3b5765872516640db451ad54f2efab9250082
Signed-off-by: jose.lausuch <jose.lausuch@ericsson.com>

yardstick: updated yardstick jobs for armband to use labels

Change-Id: I38aac6caf4f439e6524bf08e5dd038bca01180cf
Signed-off-by: Paul Vaduva <Paul.Vaduva@enea.com>

Merge "Generate and print link of the log files pushed to artifacts"

Generate and print link of the log files pushed to artifacts

Also, avoid having twice the name of the branch.

Change-Id: If6be5e742fa961b2a81015fe76f4ba5e52aeb0ab
Signed-off-by: jose.lausuch <jose.lausuch@ericsson.com>

Reflect upstream change to local script fixing playbook syntax check

Upstream change: https://review.openstack.org/#/c/358477/

Change-Id: Ibfef32aec4b62d8d1d13728abec374a2d4560d81
Signed-off-by: Fatih Degirmenci <fatih.degirmenci@ericsson.com>

Merge "correct backup-db.sh in kibana repo to keep consistent with testapi"

Merge "armband: Fix default params for labeled pods"

correct backup-db.sh in kibana repo to keep consistent with testapi

We change some interfaces in testapi, but this file doesn't change
with that

JIRA: FUNCTEST-455

Change-Id: I105a82557244481bbdf9885fc166ebe975b050ea
Signed-off-by: SerenaFeng <feng.xiaowei@zte.com.cn>

[Functest] Remove exit value job from functest-suite builder

Change-Id: I8309c027a871246623c199447dcb667b5bb2f066
Signed-off-by: jose.lausuch <jose.lausuch@ericsson.com>

armband: Fix default params for labeled pods

After previous change introducing the usage of node labels for
Armband CI deploy jobs, we discovered that the old params were
not applied to labeled pods.

To complicate things, we had different DEFAULT_BRIDGE params
for each CI pod, which contradicts the Jenkins templating
paradigm.

Since we already have a mechanism in place for overriding
env vars based on the POD we are running against, move both
<DEPLOY_TIMEOUT> and <DEFAULT_BRIDGE> params to our local_env,
which is sourced by the deploy script and can apply POD specific
configuration.

Add missing LAB_CONFIG_URL to newly added baremetal and virtual
defaults for Armband.

While at it, also replace "brahmaputra" comments with "colorado".

v2 -> v3:
Source local_env before using DEFAULT_BRIDGE in <armband-deploy.sh>.
Previously, we (Armband) sourced this file in our <ci/deploy.sh> [1],
which will be dropped after this change is merged.

[1] https://git.opnfv.org/cgit/armband/tree/ci/deploy.sh#n24

Change-Id: Ibafea25b3df8c3118ce05e3f40934c8e8b9c8dcd
Signed-off-by: Alexandru Avadanii <Alexandru.Avadanii@enea.com>

Fix test results dashboard homepage navbar links

The previous versions were the wrong paths, 404'd.

Change-Id: I9368db672a18b5bb0394cfacf016cd7f5821d886
Signed-off-by: Daniel Farrell <dfarrell@redhat.com>

Increase the git clone timeout to 15 minutes

Change-Id: Iac19f79f36fcbb7bbc27d7f6adf6085cb0ec449c
Signed-off-by: Fatih Degirmenci <fatih.degirmenci@ericsson.com>

Merge "Add Fedor Zhadaev in recipients list for Fuel jobs"

Merge "kvmfornfv: Store the metadata for the artifacts built by daily jobs"

Add Fedor Zhadaev in recipients list for Fuel jobs

Change-Id: Icb1a16f2136291239daffa0fe5932caf6d6c92dd
Signed-off-by: Fedor Zhadaev <fzhadaev@mirantis.com>

infra: Do not run provisioning in deploy & smoketest phases

Change-Id: I326053d863f0f06ceb293cda3cd2405cf2d25f13
Signed-off-by: Fatih Degirmenci <fatih.degirmenci@ericsson.com>

Merge "infra: Fix small doc/script issues and enable mail notification"

infra: Fix small doc/script issues and enable mail notification

This change
- Fixes readme of puppet-infracloud
- renames destroy_env.sh script
- enables mail notification
- disables removal of DIB images by default

Change-Id: I628b26b976e38772cbbc69b737a545fe801639ba
Signed-off-by: Fatih Degirmenci <fatih.degirmenci@ericsson.com>

Merge "armband: Use labels for pods and schedule jobs"