Merge "[Functest] Cleanup daily Jenkins job"

Merge "fuel, armband: Limit dovetail to Danube branch"

[Functest] Cleanup daily Jenkins job

There is a former job template which was used for testing Alpine
containers at the beginning on 2 alpine-pods. That is not needed
any longer since we are running Alpine everywhere.
Also, this patch re-orders the builders.

Change-Id: Iabb41552f513773ebae1170232b8db1aeceb9a59
Signed-off-by: Jose Lausuch <jalausuch@suse.com>

fuel, armband: Limit dovetail to Danube branch

While at it, limit functest & yardstick to master and
stable/euphrates, trying to work around missing job references
in Danube scenarios on ZTE PODs.

Change-Id: I89de0c3b3c914e1ad735980a995e5cae625238be
Signed-off-by: Alexandru Avadanii <Alexandru.Avadanii@enea.com>

yardstick: remove apexlake

apexlake was removed from yardstick codebase

Change-Id: I8eb826aa725dfb0e2c2c7a0bc1b15931fa245967
Signed-off-by: Ross Brattain <ross.b.brattain@intel.com>

Merge "Added tox to nfvbench"

Merge "fuel: installer param: Add CI_DEBUG=false"

Merge "fuel, armband: verify jobs: Fix race condition"

Added tox to nfvbench

Change-Id: I1344241cc488481a64a7ba13da521537420a0c59
Signed-off-by: Kerim Gokarslan <kgokarsl@cisco.com>

ovsnfv: Disable daily jobs

Change-Id: I88a6c87379ce330a90564bf174258d5e09d75c46
Signed-off-by: Fatih Degirmenci <fatih.degirmenci@ericsson.com>

fuel, armband: verify jobs: Fix race condition

On rare occasions, Fuel/Armband verify jobs can get into a deadlock
on nodes with exactly 2 executors.
Add a build blocker to prevent such scenarios.

Change-Id: Ia00d88df0dd033264eaeb66e27188c62514b74d8
Signed-off-by: Alexandru Avadanii <Alexandru.Avadanii@enea.com>

fuel: installer param: Add CI_DEBUG=false

Change-Id: Ic2c4a52d58a7fdced5acfb9a706583646af7e56e
Signed-off-by: Alexandru Avadanii <Alexandru.Avadanii@enea.com>

Changed path of a file to its correct location

Recently htmlize.py was changed to a new directory. So, updated the path
of it in a build script

Change-Id: Ia409a36fdf38e16e9a66b73a07b7a78faaeb88fe
Signed-off-by: Sakala Venkata Krishna Rohit <rohitsakala@gmail.com>

Merge changes from topics 'testapi', 'yamllint'

* changes:
  delete legacy update code
  fix yamllint verify fail

Merge "Get daisy installer IP"

delete legacy update code

update directory was employed to update TestAPI before auto deployment
is adopted, now it is useless and can be deleted.

Change-Id: I4e5ae84e80879cd9f711dc1d02224ae4f5902e49
Signed-off-by: SerenaFeng <feng.xiaowei@zte.com.cn>

fix yamllint verify fail

fail record: https://build.opnfv.org/ci/job/opnfv-yamllint-verify-master/1050/console

Change-Id: Ic709b9a3d1d3642a3deebd930714a2ba2de22da6
Signed-off-by: SerenaFeng <feng.xiaowei@zte.com.cn>

bug-fix: do not have permission to execute sudo pip

JIRA: BOTTLENECK-211

This patch is to fix the bug by adding -H flag to sudo, i.e.,
sudo -H pip install ...

Change-Id: Ie31f435e341ae9fe8f8e084696e8e1b7a05888d3
Signed-off-by: Yang Yu <Gabriel.yuyang@huawei.com>

Get daisy installer IP

Now the job functest-daisy-baremetal-daily-master runs on zte-pod3,
but the INSTALLER_IP in [1] belongs to zte-pod2.
Use virsh and arp commands to get the real INSTALLER_IP.

[1] https://build.opnfv.org/ci/view/functest/job/functest-daisy-baremetal-daily-master/151/console

Change-Id: I9e297b8f7a240437f81b4c3e2eab5949ac9d5e51
Signed-off-by: Alex Yang <yangyang1@zte.com.cn>

Merge "Move securedlab clone outside of daisy WORKSPACE"

Merge "Added license metadata to specify Apache-2.0"

Merge "Use absolute timeout for validation jobs"

Merge "Update table headers in the reporting page"

Added license metadata to specify Apache-2.0

Change-Id: Id2e6b148f896eee5122339e501c8604e74ef774c
Signed-off-by: rpaik <rpaik@linuxfoundation.org>

Merge "Enable Yamllint on the Releng Project Repo"

Merge "Fix incorrect comment that security report posted"

joid: Fix build blocker for os and k8 scenarios

Change-Id: Id1fba783069c883868aa9cab6c8ea09485c411e5
Signed-off-by: Fatih Degirmenci <fatih.degirmenci@ericsson.com>

Enable Yamllint on the Releng Project Repo

All new patchsets should be free of yamllint violations.

JIRA: RELENG-254

Change-Id: Ia4f6d201837eb74d0c641b7ffb745c3df4327848
Signed-off-by: Trevor Bramwell <tbramwell@linuxfoundation.org>

Merge "Change criteria 'SUCCESS' to 'PASS' in yardstick reporting"

Merge "Fix Yamllint violations in Docker Custom jobs"

Merge "Final Yamllint Fixes"

Merge "daisy: bug-fix of upload iso to art"

opnfv-docs: Enable Euphrates jobs

Change-Id: Iccf3e3202bf7fc090293454ddf8e6b93c2d3007c
Signed-off-by: Alexandru Avadanii <Alexandru.Avadanii@enea.com>

KVMFORNFV: Disable jobs on Euphrates

This patch is used to diasable jobs on Euphrates branch as there is only
one node assigned for the daily job. If the jobs on master and Euphrates
are enabled, the verify job is delayed.So inorder to avoid the delay for
the verify job, disabling the jobs on Euphrates.

Change-Id: Ib0eff4a1156858a73e4b889a61ac0cbd4ebe5ef0
Signed-off-by: Navya Bathula<navyax.bathula@intel.com>

Change criteria 'SUCCESS' to 'PASS' in yardstick reporting

To keep consistent with other testing project,
yardstick should change criteria value from 'SUCCESS' to 'PASS'

Change-Id: I8d8779927a74749e7c43df4e55e1888c49cbbbaf
Signed-off-by: chenjiankun <chenjiankun1@huawei.com>

daisy: bug-fix of upload iso to art

Change-Id: Idc204f9f8c3e71f80d607ee55630cbea1e4f118a
Signed-off-by: zhouya <zhou.ya@zte.com.cn>

bugfix: trend graph not show in fuel x86 and aarch64

The trend tool will read installer field in scenario_history.txt
But now this field is fuel not fuel@x86 or fuel@aarch64.
So I change fuel -> fuel@x86 & fuel@aarch64.

Change-Id: I8e97e57febd559f65be559b16bceee5cf8268926
Signed-off-by: chenjiankun <chenjiankun1@huawei.com>

Merge "bug-fix: do not have permission to execute sudo pip"

Merge "opnfv-lint: Enable yamllint for Fuel & Armband"

Fix incorrect comment that security report posted

A string is added to the build that a security report is being
reported to Gerrit, even when it is not. This moves the string to just
before the line when the comment is posted so we aren't lying to
developers.

Change-Id: I73840d025e8be86b6ac02772b22b22c4abd29422
Signed-off-by: Trevor Bramwell <tbramwell@linuxfoundation.org>

Merge "Fix jenkins-jnlp-connect.sh for missing a quotation mark"

Merge "Fixing Workspace Permissions"

Merge "Add fuel@x86 and fuel@arm support"

Add fuel@x86 and fuel@arm support

Since scenario data do not have a field named architecture,
So I choose pod_name for now.
For example:
    pod_name: arm-pod5
I assume that it is based arm architecture

Change-Id: I92159a5e08b1ed80701494483fd9922dbd459193
Signed-off-by: chenjiankun <chenjiankun1@huawei.com>

bug-fix: do not have permission to execute sudo pip

JIRA: BOTTLENECK-211

This patch is to fix the bug by adding -H flag to sudo, i.e.,
sudo -H pip install ...

Change-Id: Icdb187660cc1e08e134a79592e7454b77576f457
Signed-off-by: Gabriel Yu <Gabriel.yuyang@huawei.com>

Merge "put htmlize directory under jjb/releng"

Merge "jjb: daisy: Upload iso file as well as the bin file"

put htmlize directory under jjb/releng

centralize jjb related scripts

Change-Id: I4abeb06f17b48b8e7ac15803db0f3ce7eb0c1b93
Signed-off-by: SerenaFeng <feng.xiaowei@zte.com.cn>

Only Submit Security Scan Results that Exist

When anteater runs it generates a shortlog containing any errors that
were encountered during it's run.

If no errors exist it will still create an empty file 'shortlog'. A
review containing no content will be attempt to be posted and fail with:

  fatal: Argument "{COMMIT | CHANGE,PATCHSET}" is required

Instead of attempting to post nothing, the job should just skip
submitting a review.

Change-Id: I3feacb15e47dea204783053b3e67a9aa81ba164d
Signed-off-by: Trevor Bramwell <tbramwell@linuxfoundation.org>

Final Yamllint Fixes

Fixes some final yamllint issues introduced by recent patchsets in apex
and armband.

JIRA: RELENG-254

Change-Id: I26b45d737f06c215413e29c92031d14e23967506
Signed-off-by: Trevor Bramwell <tbramwell@linuxfoundation.org>

Fix Yamllint violations in Docker Custom jobs

JIRA: RELENG-254

Change-Id: I8d119fb0f925bfebd91cb18fb4c0a176fb9dd4ca
Signed-off-by: Trevor Bramwell <tbramwell@linuxfoundation.org>

Fix Yamllint Violations for jjb/octopus

JIRA: RELENG-254

Change-Id: Id2c105c5540848b545316ce132e19b74f8fd35f1
Signed-off-by: Trevor Bramwell <tbramwell@linuxfoundation.org>

opnfv-lint: Enable yamllint for Fuel & Armband

Change-Id: Iaccfa0df8f9f282a54712f61489af3029a91d44b
Signed-off-by: Alexandru Avadanii <Alexandru.Avadanii@enea.com>

Fixing Workspace Permissions

Adds fix-workspace-permissions wrapper in case StorPerf leaves
any files owned by root behind

Increases timeout to 45 as miminal run can take just over 30
minutes.

Change-Id: I85549a2246baa3a24686cf425850a8e7c0b645c8
Signed-off-by: mbeierl <mark.beierl@dell.com>

Merge "fuel: Drop obsolete DEPLOY_TIMEOUT"

globals/slave-params: Remove unused Fuel overrides

Cleanup some unused parameter overrides, which were never in effect
in the first place. For CI PODs, we inherit only installer specific
parameters, so slave-label based overrides are ignored.

PODs:
- arm-pod5;
- arm-virtual2;
- ericsson-pod1;
- lf-pod2;

This reverts commit bb22c8c02df3e9d030ff64c304536c31b78a37a6.
This reverts commit fc26623f9d7f211a9e29e246a2b13bdae5b3982b.

Change-Id: Iee80ad8357f5126c4aa7510ed66ab6e79c20f3fc

fuel: Drop obsolete DEPLOY_TIMEOUT

While at it, add missing DEPLOY_SCENARIO for Fuel log collection job.
This will add some more useful info to each job description text.

Change-Id: I4936013dc23ed696ad4a526961b23031753aed2a
Signed-off-by: Alexandru Avadanii <Alexandru.Avadanii@enea.com>

Merge "Fix Yamllint violations for jjb/releng"

Merge "Fix Yamllint violations for jjb/snaps"

Merge "Fix Yamllint violations for jjb/yardstick"

Merge "fuel-deploy: Only pass ISO arg for Danube branch"

Merge "Fix minor yamllint violation in Joid job config"

Merge "Fix Yamllint violations for jjb/storperf"

Merge "Fix Yamllint violations for jjb/compass4nfv"

Fix Yamllint violations for jjb/releng

JIRA: RELENG-254

Change-Id: I5b9fe931e20a84d80d9ce6bc565bfee1db2dbc32
Signed-off-by: Trevor Bramwell <tbramwell@linuxfoundation.org>

Fix Yamllint violations for jjb/snaps

JIRA: RELENG-254

Change-Id: Ia18bb029bdb235c5e3a28bd3d0bf5f354d524769
Signed-off-by: Trevor Bramwell <tbramwell@linuxfoundation.org>

Fix Yamllint violations for jjb/yardstick

JIRA: RELENG-254

Change-Id: Icbfff8c0368c227451a09ac7f1f81df3e0f3563a
Signed-off-by: Trevor Bramwell <tbramwell@linuxfoundation.org>

Fix minor yamllint violation in Joid job config

The newly added euphrates stream had it's fields overindented.

JIRA: RELENG-254

Change-Id: I8d033966023fdecec3f03f2c74982f9de775ac08
Signed-off-by: Trevor Bramwell <tbramwell@linuxfoundation.org>

Fix Yamllint violations for jjb/storperf

JIRA: RELENG-254

Change-Id: Idc05b81ebf8636a5d422e54b72ee58c039b1843c
Signed-off-by: Trevor Bramwell <tbramwell@linuxfoundation.org>

Fix jenkins-jnlp-connect.sh for missing a quotation mark

Change-Id: Iba2a7b5de9cb56c2cc6579fb9ff37b3242a0283f
Signed-off-by: Alex Yang <yangyang1@zte.com.cn>

Merge "jjb: xci: Make use of alternative ssh configuration file"

Merge "Bug fix:Bottlenecks job failed."

Fix Yamllint violations for jjb/compass4nfv

JIRA: RELENG-254

Change-Id: I11aee517b2a8af8d2e2519642872c84ba494a335
Signed-off-by: Trevor Bramwell <tbramwell@linuxfoundation.org>

Merge "This job will allow projects to create custom docker jobs"

Merge "Disable timed dovetail danube jobs"

Merge "Change score calculation for functest reporting"

Disable timed dovetail danube jobs

Dovetail danube jobs don't need to be triggerred every day now.
Disable the timed trigger.
If need, they can be triggered manually.

Change-Id: I2f114cd17fcd27d0e34be0824be3fc0d072dbae9
Signed-off-by: xudan <xudan16@huawei.com>

Use absolute timeout for validation jobs

not enough valid data in history for elastic check

Change-Id: Ie3bcd7cc186605a31a857130646468e6f1ca7dde
Signed-off-by: Yujun Zhang <zhang.yujunz@zte.com.cn>

fuel-deploy: Only pass ISO arg for Danube branch

Post-Danube branches (master, stable/euphrates) do not use an ISO
argument, so stop passing it.

While at it, fix some minor coding style and a wrong scenario default.

Change-Id: I1878f80e685efc2da07dedd1d2c05c51933da2ec
Signed-off-by: Alexandru Avadanii <Alexandru.Avadanii@enea.com>

jjb: daisy: Upload iso file as well as the bin file

To align to the convention, Daisy now also provides iso format
artifacts for user to download instead of the bin format. So
need to upload iso to GS.

In future, the bin file can be eliminated to save storage space.

Depends-On: I6ddfe8e291ea8f6d673bd82c4df310d63f61a130

Change-Id: Ib97f93b043866174d5d63f122aa867b2af1c1424
Signed-off-by: Zhijiang Hu <hu.zhijiang@zte.com.cn>

jjb: xci: xci-verify-jobs: Fix regexp for GERRIT_TOPIC

Drop the single quotes to regexp works as expected.

Change-Id: I2ea09be14bc83effdd5860fd35dda540b412cf59
Signed-off-by: Markos Chandras <mchandras@suse.de>

Merge "jjb: xci: xci-verify-jobs: Skip complete XCI deployments for 'skip-deloyment'"

Change score calculation for functest reporting

the goal is not to penalize scenario with few iteration due to
CI pipeline constraints
until now the top score was calculated on the base on 4 iterations, it means
whatever the number of iterations, we always consider the possible top score
based on at least 4 iterations

each case can get
- 3 points (last 4 iterations PASS)
- 2 points (more than 1 PASS over the last 10 days but 1 FAIL of the last 4)
- 1 point (at least 1 PASS over the last 10 days)
- no point  (never work)

so if we consider a scenario with 10 cases, the top score is
30 = 10*3 (max points)

the coefficient to calculate the top score is not the number of iterations

- 1 iteration => possible  top score 10
- 2 iterations  => top score 20
- 3 iterations => top score 20
- 4 or more iterations => top score 30

previously top score was systematically 30

https://wiki.opnfv.org/plugins/servlet/mobile#content/view/6828617

Change-Id: I01102bc00766b7f5b58e73befa7d5328fcc895cc
Signed-off-by: Morgan Richomme <morgan.richomme@orange.com>

Merge "jjb: xci: bifrost-cleanup-jobs: Disable cleanup bifrost jobs"

jjb: xci: xci-verify-jobs: Skip complete XCI deployments for 'skip-deloyment'

When we want to test patches affecting the start-new-vm.sh script,
sometimes we only want to test whether VM is operational without having
to run the entire XCI deployment on it. As such, skip XCI deployments
when the topic matches the 'skip-deployment' regexp.

Change-Id: I4242ac09a9e65c939a06ad47eb26a62af39128c8
Signed-off-by: Markos Chandras <mchandras@suse.de>

Merge "fuel-deploy.sh: Drop local_env mechanism"

Rename the external network for fuel

The external network was renamend with the MCP deploy to floating_net

Change-Id: I73f5f5d14b0b18a2e838dae163dcfd62edcb0c0b
Signed-off-by: Cristina Pauna <cristina.pauna@enea.com>

jjb: xci: bifrost-cleanup-jobs: Disable cleanup bifrost jobs

We no longer update logs in artifacts.opnfv.org so there is no point
in running this job. We will enable it back when we start uploading logs
for XCI.

Change-Id: Icee15d346c32dff693b5c474a51fb79763841bb7
Signed-off-by: Markos Chandras <mchandras@suse.de>

Merge "jjb: xci: Refactor bifrost jobs to use the XCI clean VM"

jjb: xci: Make use of alternative ssh configuration file

The script now creates an XCI specific ssh configuration file
so we need to use that when trying to connect to the host.

Change-Id: I34cb39636b95de9ab97cb5d2ca250b4218e9a7f7
Signed-off-by: Markos Chandras <mchandras@suse.de>

Merge "jjb: xci: xci-verify-jobs: Export clean vm variables properly"

Merge "Do not use capital letters to refer to osa"

jjb: xci: xci-verify-jobs: Export clean vm variables properly

The variables are meant to be used by the start-vm-new.sh script
instead of the XCI test so they need to be exported properly before
we run the script.

Change-Id: I224ec7bfced5eb51f01de46bd042274bcf3ec86b
Signed-off-by: Markos Chandras <mchandras@suse.de>

kvmfornfv: Enable all jobs for all branches

Change-Id: I88daffa1e15339166240f8520e9fe9909f6a5f49
Signed-off-by: Fatih Degirmenci <fatih.degirmenci@ericsson.com>

Merge "jjb: xci: Use pre-built dib images for CI runs"

fuel-deploy.sh: Drop local_env mechanism

Now that Fuel supports reading bridge names from IDF / determine
them based on IP address matching to PDF network, we can drop
the mechanism for sourcing "local_env".

Change-Id: Ib9fe0ddb2b54b9c5c037a3451cf049323ae7a864
Signed-off-by: Alexandru Avadanii <Alexandru.Avadanii@enea.com>

Merge "Revert "fetch_os_creds.sh: Fix unbound BUILD_TAG""

Merge "Fix Yamllint violations for jjb/apex"

Revert "fetch_os_creds.sh: Fix unbound BUILD_TAG"

This reverts commit 3f27c8b519e42295bd76ace5506903f265e48560.

Change-Id: I024ba8c0b960387138a71be9bc19f6d1b72030ca

armband: Fix Fuel collect job reference

Armband uses different 'pod' naming/labeling, so instead of Fuel's
'baremetal' reference, we have 'armband-baremetal', leading to
unresolved job references for the recently added log collection.

Fix that by adding a new 'deploy-type' variable, which corresponds
to either 'baremetal' or 'virtual', aligning with Fuel naming.
While at it, slightly refactor our pod definitions to use the new var.

Change-Id: Ie84c40a5c208072da2e4766233a844f2670d4f87
Signed-off-by: Alexandru Avadanii <Alexandru.Avadanii@enea.com>