bug-fix: do not have permission to execute sudo pip

JIRA: BOTTLENECK-211

This patch is to fix the bug by adding -H flag to sudo, i.e.,
sudo -H pip install ...

Change-Id: Ie31f435e341ae9fe8f8e084696e8e1b7a05888d3
Signed-off-by: Yang Yu <Gabriel.yuyang@huawei.com>

Merge "Move securedlab clone outside of daisy WORKSPACE"

Merge "Added license metadata to specify Apache-2.0"

Merge "Use absolute timeout for validation jobs"

Merge "Update table headers in the reporting page"

Added license metadata to specify Apache-2.0

Change-Id: Id2e6b148f896eee5122339e501c8604e74ef774c
Signed-off-by: rpaik <rpaik@linuxfoundation.org>

Merge "Enable Yamllint on the Releng Project Repo"

Merge "Fix incorrect comment that security report posted"

joid: Fix build blocker for os and k8 scenarios

Change-Id: Id1fba783069c883868aa9cab6c8ea09485c411e5
Signed-off-by: Fatih Degirmenci <fatih.degirmenci@ericsson.com>

Enable Yamllint on the Releng Project Repo

All new patchsets should be free of yamllint violations.

JIRA: RELENG-254

Change-Id: Ia4f6d201837eb74d0c641b7ffb745c3df4327848
Signed-off-by: Trevor Bramwell <tbramwell@linuxfoundation.org>

Merge "Change criteria 'SUCCESS' to 'PASS' in yardstick reporting"

Merge "Fix Yamllint violations in Docker Custom jobs"

Merge "Final Yamllint Fixes"

Merge "daisy: bug-fix of upload iso to art"

opnfv-docs: Enable Euphrates jobs

Change-Id: Iccf3e3202bf7fc090293454ddf8e6b93c2d3007c
Signed-off-by: Alexandru Avadanii <Alexandru.Avadanii@enea.com>

KVMFORNFV: Disable jobs on Euphrates

This patch is used to diasable jobs on Euphrates branch as there is only
one node assigned for the daily job. If the jobs on master and Euphrates
are enabled, the verify job is delayed.So inorder to avoid the delay for
the verify job, disabling the jobs on Euphrates.

Change-Id: Ib0eff4a1156858a73e4b889a61ac0cbd4ebe5ef0
Signed-off-by: Navya Bathula<navyax.bathula@intel.com>

Change criteria 'SUCCESS' to 'PASS' in yardstick reporting

To keep consistent with other testing project,
yardstick should change criteria value from 'SUCCESS' to 'PASS'

Change-Id: I8d8779927a74749e7c43df4e55e1888c49cbbbaf
Signed-off-by: chenjiankun <chenjiankun1@huawei.com>

daisy: bug-fix of upload iso to art

Change-Id: Idc204f9f8c3e71f80d607ee55630cbea1e4f118a
Signed-off-by: zhouya <zhou.ya@zte.com.cn>

bugfix: trend graph not show in fuel x86 and aarch64

The trend tool will read installer field in scenario_history.txt
But now this field is fuel not fuel@x86 or fuel@aarch64.
So I change fuel -> fuel@x86 & fuel@aarch64.

Change-Id: I8e97e57febd559f65be559b16bceee5cf8268926
Signed-off-by: chenjiankun <chenjiankun1@huawei.com>

Merge "bug-fix: do not have permission to execute sudo pip"

Merge "opnfv-lint: Enable yamllint for Fuel & Armband"

Fix incorrect comment that security report posted

A string is added to the build that a security report is being
reported to Gerrit, even when it is not. This moves the string to just
before the line when the comment is posted so we aren't lying to
developers.

Change-Id: I73840d025e8be86b6ac02772b22b22c4abd29422
Signed-off-by: Trevor Bramwell <tbramwell@linuxfoundation.org>

Merge "Fix jenkins-jnlp-connect.sh for missing a quotation mark"

Merge "Fixing Workspace Permissions"

Merge "Add fuel@x86 and fuel@arm support"

Add fuel@x86 and fuel@arm support

Since scenario data do not have a field named architecture,
So I choose pod_name for now.
For example:
    pod_name: arm-pod5
I assume that it is based arm architecture

Change-Id: I92159a5e08b1ed80701494483fd9922dbd459193
Signed-off-by: chenjiankun <chenjiankun1@huawei.com>

bug-fix: do not have permission to execute sudo pip

JIRA: BOTTLENECK-211

This patch is to fix the bug by adding -H flag to sudo, i.e.,
sudo -H pip install ...

Change-Id: Icdb187660cc1e08e134a79592e7454b77576f457
Signed-off-by: Gabriel Yu <Gabriel.yuyang@huawei.com>

Merge "put htmlize directory under jjb/releng"

Merge "jjb: daisy: Upload iso file as well as the bin file"

put htmlize directory under jjb/releng

centralize jjb related scripts

Change-Id: I4abeb06f17b48b8e7ac15803db0f3ce7eb0c1b93
Signed-off-by: SerenaFeng <feng.xiaowei@zte.com.cn>

Only Submit Security Scan Results that Exist

When anteater runs it generates a shortlog containing any errors that
were encountered during it's run.

If no errors exist it will still create an empty file 'shortlog'. A
review containing no content will be attempt to be posted and fail with:

  fatal: Argument "{COMMIT | CHANGE,PATCHSET}" is required

Instead of attempting to post nothing, the job should just skip
submitting a review.

Change-Id: I3feacb15e47dea204783053b3e67a9aa81ba164d
Signed-off-by: Trevor Bramwell <tbramwell@linuxfoundation.org>

Final Yamllint Fixes

Fixes some final yamllint issues introduced by recent patchsets in apex
and armband.

JIRA: RELENG-254

Change-Id: I26b45d737f06c215413e29c92031d14e23967506
Signed-off-by: Trevor Bramwell <tbramwell@linuxfoundation.org>

Fix Yamllint violations in Docker Custom jobs

JIRA: RELENG-254

Change-Id: I8d119fb0f925bfebd91cb18fb4c0a176fb9dd4ca
Signed-off-by: Trevor Bramwell <tbramwell@linuxfoundation.org>

Fix Yamllint Violations for jjb/octopus

JIRA: RELENG-254

Change-Id: Id2c105c5540848b545316ce132e19b74f8fd35f1
Signed-off-by: Trevor Bramwell <tbramwell@linuxfoundation.org>

opnfv-lint: Enable yamllint for Fuel & Armband

Change-Id: Iaccfa0df8f9f282a54712f61489af3029a91d44b
Signed-off-by: Alexandru Avadanii <Alexandru.Avadanii@enea.com>

Fixing Workspace Permissions

Adds fix-workspace-permissions wrapper in case StorPerf leaves
any files owned by root behind

Increases timeout to 45 as miminal run can take just over 30
minutes.

Change-Id: I85549a2246baa3a24686cf425850a8e7c0b645c8
Signed-off-by: mbeierl <mark.beierl@dell.com>

Merge "fuel: Drop obsolete DEPLOY_TIMEOUT"

globals/slave-params: Remove unused Fuel overrides

Cleanup some unused parameter overrides, which were never in effect
in the first place. For CI PODs, we inherit only installer specific
parameters, so slave-label based overrides are ignored.

PODs:
- arm-pod5;
- arm-virtual2;
- ericsson-pod1;
- lf-pod2;

This reverts commit bb22c8c02df3e9d030ff64c304536c31b78a37a6.
This reverts commit fc26623f9d7f211a9e29e246a2b13bdae5b3982b.

Change-Id: Iee80ad8357f5126c4aa7510ed66ab6e79c20f3fc

fuel: Drop obsolete DEPLOY_TIMEOUT

While at it, add missing DEPLOY_SCENARIO for Fuel log collection job.
This will add some more useful info to each job description text.

Change-Id: I4936013dc23ed696ad4a526961b23031753aed2a
Signed-off-by: Alexandru Avadanii <Alexandru.Avadanii@enea.com>

Merge "Fix Yamllint violations for jjb/releng"

Merge "Fix Yamllint violations for jjb/snaps"

Merge "Fix Yamllint violations for jjb/yardstick"

Merge "fuel-deploy: Only pass ISO arg for Danube branch"

Merge "Fix minor yamllint violation in Joid job config"

Merge "Fix Yamllint violations for jjb/storperf"

Merge "Fix Yamllint violations for jjb/compass4nfv"

Fix Yamllint violations for jjb/releng

JIRA: RELENG-254

Change-Id: I5b9fe931e20a84d80d9ce6bc565bfee1db2dbc32
Signed-off-by: Trevor Bramwell <tbramwell@linuxfoundation.org>

Fix Yamllint violations for jjb/snaps

JIRA: RELENG-254

Change-Id: Ia18bb029bdb235c5e3a28bd3d0bf5f354d524769
Signed-off-by: Trevor Bramwell <tbramwell@linuxfoundation.org>

Fix Yamllint violations for jjb/yardstick

JIRA: RELENG-254

Change-Id: Icbfff8c0368c227451a09ac7f1f81df3e0f3563a
Signed-off-by: Trevor Bramwell <tbramwell@linuxfoundation.org>

Fix minor yamllint violation in Joid job config

The newly added euphrates stream had it's fields overindented.

JIRA: RELENG-254

Change-Id: I8d033966023fdecec3f03f2c74982f9de775ac08
Signed-off-by: Trevor Bramwell <tbramwell@linuxfoundation.org>

Fix Yamllint violations for jjb/storperf

JIRA: RELENG-254

Change-Id: Idc05b81ebf8636a5d422e54b72ee58c039b1843c
Signed-off-by: Trevor Bramwell <tbramwell@linuxfoundation.org>

Fix jenkins-jnlp-connect.sh for missing a quotation mark

Change-Id: Iba2a7b5de9cb56c2cc6579fb9ff37b3242a0283f
Signed-off-by: Alex Yang <yangyang1@zte.com.cn>

Merge "jjb: xci: Make use of alternative ssh configuration file"

Merge "Bug fix:Bottlenecks job failed."

Fix Yamllint violations for jjb/compass4nfv

JIRA: RELENG-254

Change-Id: I11aee517b2a8af8d2e2519642872c84ba494a335
Signed-off-by: Trevor Bramwell <tbramwell@linuxfoundation.org>

Merge "This job will allow projects to create custom docker jobs"

Merge "Disable timed dovetail danube jobs"

Merge "Change score calculation for functest reporting"

Disable timed dovetail danube jobs

Dovetail danube jobs don't need to be triggerred every day now.
Disable the timed trigger.
If need, they can be triggered manually.

Change-Id: I2f114cd17fcd27d0e34be0824be3fc0d072dbae9
Signed-off-by: xudan <xudan16@huawei.com>

Use absolute timeout for validation jobs

not enough valid data in history for elastic check

Change-Id: Ie3bcd7cc186605a31a857130646468e6f1ca7dde
Signed-off-by: Yujun Zhang <zhang.yujunz@zte.com.cn>

fuel-deploy: Only pass ISO arg for Danube branch

Post-Danube branches (master, stable/euphrates) do not use an ISO
argument, so stop passing it.

While at it, fix some minor coding style and a wrong scenario default.

Change-Id: I1878f80e685efc2da07dedd1d2c05c51933da2ec
Signed-off-by: Alexandru Avadanii <Alexandru.Avadanii@enea.com>

jjb: daisy: Upload iso file as well as the bin file

To align to the convention, Daisy now also provides iso format
artifacts for user to download instead of the bin format. So
need to upload iso to GS.

In future, the bin file can be eliminated to save storage space.

Depends-On: I6ddfe8e291ea8f6d673bd82c4df310d63f61a130

Change-Id: Ib97f93b043866174d5d63f122aa867b2af1c1424
Signed-off-by: Zhijiang Hu <hu.zhijiang@zte.com.cn>

jjb: xci: xci-verify-jobs: Fix regexp for GERRIT_TOPIC

Drop the single quotes to regexp works as expected.

Change-Id: I2ea09be14bc83effdd5860fd35dda540b412cf59
Signed-off-by: Markos Chandras <mchandras@suse.de>

Merge "jjb: xci: xci-verify-jobs: Skip complete XCI deployments for 'skip-deloyment'"

Change score calculation for functest reporting

the goal is not to penalize scenario with few iteration due to
CI pipeline constraints
until now the top score was calculated on the base on 4 iterations, it means
whatever the number of iterations, we always consider the possible top score
based on at least 4 iterations

each case can get
- 3 points (last 4 iterations PASS)
- 2 points (more than 1 PASS over the last 10 days but 1 FAIL of the last 4)
- 1 point (at least 1 PASS over the last 10 days)
- no point  (never work)

so if we consider a scenario with 10 cases, the top score is
30 = 10*3 (max points)

the coefficient to calculate the top score is not the number of iterations

- 1 iteration => possible  top score 10
- 2 iterations  => top score 20
- 3 iterations => top score 20
- 4 or more iterations => top score 30

previously top score was systematically 30

https://wiki.opnfv.org/plugins/servlet/mobile#content/view/6828617

Change-Id: I01102bc00766b7f5b58e73befa7d5328fcc895cc
Signed-off-by: Morgan Richomme <morgan.richomme@orange.com>

Merge "jjb: xci: bifrost-cleanup-jobs: Disable cleanup bifrost jobs"

jjb: xci: xci-verify-jobs: Skip complete XCI deployments for 'skip-deloyment'

When we want to test patches affecting the start-new-vm.sh script,
sometimes we only want to test whether VM is operational without having
to run the entire XCI deployment on it. As such, skip XCI deployments
when the topic matches the 'skip-deployment' regexp.

Change-Id: I4242ac09a9e65c939a06ad47eb26a62af39128c8
Signed-off-by: Markos Chandras <mchandras@suse.de>

Merge "fuel-deploy.sh: Drop local_env mechanism"

Rename the external network for fuel

The external network was renamend with the MCP deploy to floating_net

Change-Id: I73f5f5d14b0b18a2e838dae163dcfd62edcb0c0b
Signed-off-by: Cristina Pauna <cristina.pauna@enea.com>

jjb: xci: bifrost-cleanup-jobs: Disable cleanup bifrost jobs

We no longer update logs in artifacts.opnfv.org so there is no point
in running this job. We will enable it back when we start uploading logs
for XCI.

Change-Id: Icee15d346c32dff693b5c474a51fb79763841bb7
Signed-off-by: Markos Chandras <mchandras@suse.de>

Merge "jjb: xci: Refactor bifrost jobs to use the XCI clean VM"

jjb: xci: Make use of alternative ssh configuration file

The script now creates an XCI specific ssh configuration file
so we need to use that when trying to connect to the host.

Change-Id: I34cb39636b95de9ab97cb5d2ca250b4218e9a7f7
Signed-off-by: Markos Chandras <mchandras@suse.de>

Merge "jjb: xci: xci-verify-jobs: Export clean vm variables properly"

Merge "Do not use capital letters to refer to osa"

jjb: xci: xci-verify-jobs: Export clean vm variables properly

The variables are meant to be used by the start-vm-new.sh script
instead of the XCI test so they need to be exported properly before
we run the script.

Change-Id: I224ec7bfced5eb51f01de46bd042274bcf3ec86b
Signed-off-by: Markos Chandras <mchandras@suse.de>

kvmfornfv: Enable all jobs for all branches

Change-Id: I88daffa1e15339166240f8520e9fe9909f6a5f49
Signed-off-by: Fatih Degirmenci <fatih.degirmenci@ericsson.com>

Merge "jjb: xci: Use pre-built dib images for CI runs"

fuel-deploy.sh: Drop local_env mechanism

Now that Fuel supports reading bridge names from IDF / determine
them based on IP address matching to PDF network, we can drop
the mechanism for sourcing "local_env".

Change-Id: Ib9fe0ddb2b54b9c5c037a3451cf049323ae7a864
Signed-off-by: Alexandru Avadanii <Alexandru.Avadanii@enea.com>

Merge "Revert "fetch_os_creds.sh: Fix unbound BUILD_TAG""

Merge "Fix Yamllint violations for jjb/apex"

Revert "fetch_os_creds.sh: Fix unbound BUILD_TAG"

This reverts commit 3f27c8b519e42295bd76ace5506903f265e48560.

Change-Id: I024ba8c0b960387138a71be9bc19f6d1b72030ca

armband: Fix Fuel collect job reference

Armband uses different 'pod' naming/labeling, so instead of Fuel's
'baremetal' reference, we have 'armband-baremetal', leading to
unresolved job references for the recently added log collection.

Fix that by adding a new 'deploy-type' variable, which corresponds
to either 'baremetal' or 'virtual', aligning with Fuel naming.
While at it, slightly refactor our pod definitions to use the new var.

Change-Id: Ie84c40a5c208072da2e4766233a844f2670d4f87
Signed-off-by: Alexandru Avadanii <Alexandru.Avadanii@enea.com>

Merge "fuel, armband: Add post mortem log collection"

Fix Yamllint violations for jjb/apex

JIRA: RELENG-254

Change-Id: I354d7064c560d4b23e361d556b7fe269d7fb5d26
Signed-off-by: Trevor Bramwell <tbramwell@linuxfoundation.org>

fetch_os_creds.sh: Fix unbound BUILD_TAG

Fuel baremetal deployments provide a certificate, which should be
copied over to test containers. Virtual deployments do not, hence
the need to determine the deployment type and decide whether the
certificate should be transferred in the first place.

However, the Docker args we contruct will try to map the certificate
file no matter what, so we will instead try to transfer the cert
from Salt Master in all deployments, and just create an empty file
in case it does not exist.

Change-Id: I3d3fe6cabf552a88841c529ce38446b2e54b3053
Signed-off-by: Alexandru Avadanii <Alexandru.Avadanii@enea.com>

jjb: xci: Refactor bifrost jobs to use the XCI clean VM

We no longer run opnfv/bifrost jobs so drop all the references from
the configuration file. Moreover, make use of the releng-xci XCI clean
VM virtual machine to run the tests on a clean environment. Finally, we
drop the support for uploading logs to the artifacts.opnfv.org. This
needs to be done for XCI as well so we will bring it back when we
develop a universal solution.

Change-Id: I9bad17508ab8ee6594aec444ab864b99331b616d
Signed-off-by: Markos Chandras <mchandras@suse.de>

jjb: xci: Use pre-built dib images for CI runs

We make use of the pre-built dib images hosted on artifacts.opnfv.org
instead of building a new one on every CI build. This makes the CI jobs
somewhat faster since we start with the XCI deployment straight away

This patchset depends on https://gerrit.opnfv.org/gerrit/#/c/44049/

Signed-off-by: Markos Chandras <mchandras@suse.de>
Change-Id: Id2ccee8882cd20590a4cd27d4e512dc414d7b40e

Merge "Fix minor yamllint violation in jjb/moon/moon.yml"

Merge "Fix Yamllint violations for jjb/dovetail"

Merge "Fix Yamllint violations for jjb/daisy4nfv"

Merge "Fix Yamllint violations for jjb/calipso"

Merge "Fix Yamllint violations for jjb/xci"

Merge "Fix Yamllint violations for jjb/sfc"

Merge "Fix Yamllint violations: jjb/vnf_forwarding_graph"

Merge "Fix Yamllint violations for jjb/functest"

Do not use capital letters to refer to osa

As agreed with the releng-xci, we should stop using OSA and start using osa
to refer to openstack-ansible

Change-Id: I201b360654b9a52a3387c5e473a3e448a900bb9f
Signed-off-by: Manuel Buil <mbuil@suse.com>

Add OPNRC file to Yardstick container for fuel installer type

OPNRC file (openstack.creds) is needed to call openstack services
It was not added any longer because we added a specific case for
fuel installer to send SSH_KEY, OPNRC file and OS_CACERT to
the container

Change-Id: I235b138a77e06cded86a0b163ef383c1c37a0469
Signed-off-by: Delia Popescu <delia.popescu@enea.com>

Fix Yamllint violations for jjb/functest

JIRA: RELENG-254

Change-Id: I89043a1149360d587588e8c887f88cc5192c1692
Signed-off-by: Trevor Bramwell <tbramwell@linuxfoundation.org>

Fix Yamllint violations for jjb/xci

JIRA: RELENG-254

Change-Id: Iaf58cc822eb616711c0dc081f5b0154fe881646c
Signed-off-by: Trevor Bramwell <tbramwell@linuxfoundation.org>

Fix Yamllint violations: jjb/vnf_forwarding_graph

JIRA: RELENG-254

Change-Id: If660d0bedee12c00e385aa1f42ed3c1acc9aeb27
Signed-off-by: Trevor Bramwell <tbramwell@linuxfoundation.org>