opnfv-docs: Enable Euphrates jobs

Change-Id: Iccf3e3202bf7fc090293454ddf8e6b93c2d3007c
Signed-off-by: Alexandru Avadanii <Alexandru.Avadanii@enea.com>

KVMFORNFV: Disable jobs on Euphrates

This patch is used to diasable jobs on Euphrates branch as there is only
one node assigned for the daily job. If the jobs on master and Euphrates
are enabled, the verify job is delayed.So inorder to avoid the delay for
the verify job, disabling the jobs on Euphrates.

Change-Id: Ib0eff4a1156858a73e4b889a61ac0cbd4ebe5ef0
Signed-off-by: Navya Bathula<navyax.bathula@intel.com>

bugfix: trend graph not show in fuel x86 and aarch64

The trend tool will read installer field in scenario_history.txt
But now this field is fuel not fuel@x86 or fuel@aarch64.
So I change fuel -> fuel@x86 & fuel@aarch64.

Change-Id: I8e97e57febd559f65be559b16bceee5cf8268926
Signed-off-by: chenjiankun <chenjiankun1@huawei.com>

Merge "bug-fix: do not have permission to execute sudo pip"

Merge "opnfv-lint: Enable yamllint for Fuel & Armband"

Merge "Fix jenkins-jnlp-connect.sh for missing a quotation mark"

Merge "Fixing Workspace Permissions"

Merge "Add fuel@x86 and fuel@arm support"

Add fuel@x86 and fuel@arm support

Since scenario data do not have a field named architecture,
So I choose pod_name for now.
For example:
    pod_name: arm-pod5
I assume that it is based arm architecture

Change-Id: I92159a5e08b1ed80701494483fd9922dbd459193
Signed-off-by: chenjiankun <chenjiankun1@huawei.com>

bug-fix: do not have permission to execute sudo pip

JIRA: BOTTLENECK-211

This patch is to fix the bug by adding -H flag to sudo, i.e.,
sudo -H pip install ...

Change-Id: Icdb187660cc1e08e134a79592e7454b77576f457
Signed-off-by: Gabriel Yu <Gabriel.yuyang@huawei.com>

Merge "put htmlize directory under jjb/releng"

Merge "jjb: daisy: Upload iso file as well as the bin file"

put htmlize directory under jjb/releng

centralize jjb related scripts

Change-Id: I4abeb06f17b48b8e7ac15803db0f3ce7eb0c1b93
Signed-off-by: SerenaFeng <feng.xiaowei@zte.com.cn>

Only Submit Security Scan Results that Exist

When anteater runs it generates a shortlog containing any errors that
were encountered during it's run.

If no errors exist it will still create an empty file 'shortlog'. A
review containing no content will be attempt to be posted and fail with:

  fatal: Argument "{COMMIT | CHANGE,PATCHSET}" is required

Instead of attempting to post nothing, the job should just skip
submitting a review.

Change-Id: I3feacb15e47dea204783053b3e67a9aa81ba164d
Signed-off-by: Trevor Bramwell <tbramwell@linuxfoundation.org>

Fix Yamllint Violations for jjb/octopus

JIRA: RELENG-254

Change-Id: Id2c105c5540848b545316ce132e19b74f8fd35f1
Signed-off-by: Trevor Bramwell <tbramwell@linuxfoundation.org>

opnfv-lint: Enable yamllint for Fuel & Armband

Change-Id: Iaccfa0df8f9f282a54712f61489af3029a91d44b
Signed-off-by: Alexandru Avadanii <Alexandru.Avadanii@enea.com>

Fixing Workspace Permissions

Adds fix-workspace-permissions wrapper in case StorPerf leaves
any files owned by root behind

Increases timeout to 45 as miminal run can take just over 30
minutes.

Change-Id: I85549a2246baa3a24686cf425850a8e7c0b645c8
Signed-off-by: mbeierl <mark.beierl@dell.com>

Merge "fuel: Drop obsolete DEPLOY_TIMEOUT"

globals/slave-params: Remove unused Fuel overrides

Cleanup some unused parameter overrides, which were never in effect
in the first place. For CI PODs, we inherit only installer specific
parameters, so slave-label based overrides are ignored.

PODs:
- arm-pod5;
- arm-virtual2;
- ericsson-pod1;
- lf-pod2;

This reverts commit bb22c8c02df3e9d030ff64c304536c31b78a37a6.
This reverts commit fc26623f9d7f211a9e29e246a2b13bdae5b3982b.

Change-Id: Iee80ad8357f5126c4aa7510ed66ab6e79c20f3fc

fuel: Drop obsolete DEPLOY_TIMEOUT

While at it, add missing DEPLOY_SCENARIO for Fuel log collection job.
This will add some more useful info to each job description text.

Change-Id: I4936013dc23ed696ad4a526961b23031753aed2a
Signed-off-by: Alexandru Avadanii <Alexandru.Avadanii@enea.com>

Merge "Fix Yamllint violations for jjb/releng"

Merge "Fix Yamllint violations for jjb/snaps"

Merge "Fix Yamllint violations for jjb/yardstick"

Merge "fuel-deploy: Only pass ISO arg for Danube branch"

Merge "Fix minor yamllint violation in Joid job config"

Merge "Fix Yamllint violations for jjb/storperf"

Merge "Fix Yamllint violations for jjb/compass4nfv"

Fix Yamllint violations for jjb/releng

JIRA: RELENG-254

Change-Id: I5b9fe931e20a84d80d9ce6bc565bfee1db2dbc32
Signed-off-by: Trevor Bramwell <tbramwell@linuxfoundation.org>

Fix Yamllint violations for jjb/snaps

JIRA: RELENG-254

Change-Id: Ia18bb029bdb235c5e3a28bd3d0bf5f354d524769
Signed-off-by: Trevor Bramwell <tbramwell@linuxfoundation.org>

Fix Yamllint violations for jjb/yardstick

JIRA: RELENG-254

Change-Id: Icbfff8c0368c227451a09ac7f1f81df3e0f3563a
Signed-off-by: Trevor Bramwell <tbramwell@linuxfoundation.org>

Fix minor yamllint violation in Joid job config

The newly added euphrates stream had it's fields overindented.

JIRA: RELENG-254

Change-Id: I8d033966023fdecec3f03f2c74982f9de775ac08
Signed-off-by: Trevor Bramwell <tbramwell@linuxfoundation.org>

Fix Yamllint violations for jjb/storperf

JIRA: RELENG-254

Change-Id: Idc05b81ebf8636a5d422e54b72ee58c039b1843c
Signed-off-by: Trevor Bramwell <tbramwell@linuxfoundation.org>

Fix jenkins-jnlp-connect.sh for missing a quotation mark

Change-Id: Iba2a7b5de9cb56c2cc6579fb9ff37b3242a0283f
Signed-off-by: Alex Yang <yangyang1@zte.com.cn>

Merge "jjb: xci: Make use of alternative ssh configuration file"

Merge "Bug fix:Bottlenecks job failed."

Fix Yamllint violations for jjb/compass4nfv

JIRA: RELENG-254

Change-Id: I11aee517b2a8af8d2e2519642872c84ba494a335
Signed-off-by: Trevor Bramwell <tbramwell@linuxfoundation.org>

Merge "This job will allow projects to create custom docker jobs"

Merge "Disable timed dovetail danube jobs"

Merge "Change score calculation for functest reporting"

Disable timed dovetail danube jobs

Dovetail danube jobs don't need to be triggerred every day now.
Disable the timed trigger.
If need, they can be triggered manually.

Change-Id: I2f114cd17fcd27d0e34be0824be3fc0d072dbae9
Signed-off-by: xudan <xudan16@huawei.com>

fuel-deploy: Only pass ISO arg for Danube branch

Post-Danube branches (master, stable/euphrates) do not use an ISO
argument, so stop passing it.

While at it, fix some minor coding style and a wrong scenario default.

Change-Id: I1878f80e685efc2da07dedd1d2c05c51933da2ec
Signed-off-by: Alexandru Avadanii <Alexandru.Avadanii@enea.com>

jjb: daisy: Upload iso file as well as the bin file

To align to the convention, Daisy now also provides iso format
artifacts for user to download instead of the bin format. So
need to upload iso to GS.

In future, the bin file can be eliminated to save storage space.

Depends-On: I6ddfe8e291ea8f6d673bd82c4df310d63f61a130

Change-Id: Ib97f93b043866174d5d63f122aa867b2af1c1424
Signed-off-by: Zhijiang Hu <hu.zhijiang@zte.com.cn>

jjb: xci: xci-verify-jobs: Fix regexp for GERRIT_TOPIC

Drop the single quotes to regexp works as expected.

Change-Id: I2ea09be14bc83effdd5860fd35dda540b412cf59
Signed-off-by: Markos Chandras <mchandras@suse.de>

Merge "jjb: xci: xci-verify-jobs: Skip complete XCI deployments for 'skip-deloyment'"

Change score calculation for functest reporting

the goal is not to penalize scenario with few iteration due to
CI pipeline constraints
until now the top score was calculated on the base on 4 iterations, it means
whatever the number of iterations, we always consider the possible top score
based on at least 4 iterations

each case can get
- 3 points (last 4 iterations PASS)
- 2 points (more than 1 PASS over the last 10 days but 1 FAIL of the last 4)
- 1 point (at least 1 PASS over the last 10 days)
- no point  (never work)

so if we consider a scenario with 10 cases, the top score is
30 = 10*3 (max points)

the coefficient to calculate the top score is not the number of iterations

- 1 iteration => possible  top score 10
- 2 iterations  => top score 20
- 3 iterations => top score 20
- 4 or more iterations => top score 30

previously top score was systematically 30

https://wiki.opnfv.org/plugins/servlet/mobile#content/view/6828617

Change-Id: I01102bc00766b7f5b58e73befa7d5328fcc895cc
Signed-off-by: Morgan Richomme <morgan.richomme@orange.com>

Merge "jjb: xci: bifrost-cleanup-jobs: Disable cleanup bifrost jobs"

jjb: xci: xci-verify-jobs: Skip complete XCI deployments for 'skip-deloyment'

When we want to test patches affecting the start-new-vm.sh script,
sometimes we only want to test whether VM is operational without having
to run the entire XCI deployment on it. As such, skip XCI deployments
when the topic matches the 'skip-deployment' regexp.

Change-Id: I4242ac09a9e65c939a06ad47eb26a62af39128c8
Signed-off-by: Markos Chandras <mchandras@suse.de>

Merge "fuel-deploy.sh: Drop local_env mechanism"

Rename the external network for fuel

The external network was renamend with the MCP deploy to floating_net

Change-Id: I73f5f5d14b0b18a2e838dae163dcfd62edcb0c0b
Signed-off-by: Cristina Pauna <cristina.pauna@enea.com>

jjb: xci: bifrost-cleanup-jobs: Disable cleanup bifrost jobs

We no longer update logs in artifacts.opnfv.org so there is no point
in running this job. We will enable it back when we start uploading logs
for XCI.

Change-Id: Icee15d346c32dff693b5c474a51fb79763841bb7
Signed-off-by: Markos Chandras <mchandras@suse.de>

Merge "jjb: xci: Refactor bifrost jobs to use the XCI clean VM"

jjb: xci: Make use of alternative ssh configuration file

The script now creates an XCI specific ssh configuration file
so we need to use that when trying to connect to the host.

Change-Id: I34cb39636b95de9ab97cb5d2ca250b4218e9a7f7
Signed-off-by: Markos Chandras <mchandras@suse.de>

Merge "jjb: xci: xci-verify-jobs: Export clean vm variables properly"

Merge "Do not use capital letters to refer to osa"

jjb: xci: xci-verify-jobs: Export clean vm variables properly

The variables are meant to be used by the start-vm-new.sh script
instead of the XCI test so they need to be exported properly before
we run the script.

Change-Id: I224ec7bfced5eb51f01de46bd042274bcf3ec86b
Signed-off-by: Markos Chandras <mchandras@suse.de>

kvmfornfv: Enable all jobs for all branches

Change-Id: I88daffa1e15339166240f8520e9fe9909f6a5f49
Signed-off-by: Fatih Degirmenci <fatih.degirmenci@ericsson.com>

Merge "jjb: xci: Use pre-built dib images for CI runs"

fuel-deploy.sh: Drop local_env mechanism

Now that Fuel supports reading bridge names from IDF / determine
them based on IP address matching to PDF network, we can drop
the mechanism for sourcing "local_env".

Change-Id: Ib9fe0ddb2b54b9c5c037a3451cf049323ae7a864
Signed-off-by: Alexandru Avadanii <Alexandru.Avadanii@enea.com>

Merge "Revert "fetch_os_creds.sh: Fix unbound BUILD_TAG""

Merge "Fix Yamllint violations for jjb/apex"

Revert "fetch_os_creds.sh: Fix unbound BUILD_TAG"

This reverts commit 3f27c8b519e42295bd76ace5506903f265e48560.

Change-Id: I024ba8c0b960387138a71be9bc19f6d1b72030ca

armband: Fix Fuel collect job reference

Armband uses different 'pod' naming/labeling, so instead of Fuel's
'baremetal' reference, we have 'armband-baremetal', leading to
unresolved job references for the recently added log collection.

Fix that by adding a new 'deploy-type' variable, which corresponds
to either 'baremetal' or 'virtual', aligning with Fuel naming.
While at it, slightly refactor our pod definitions to use the new var.

Change-Id: Ie84c40a5c208072da2e4766233a844f2670d4f87
Signed-off-by: Alexandru Avadanii <Alexandru.Avadanii@enea.com>

Merge "fuel, armband: Add post mortem log collection"

Fix Yamllint violations for jjb/apex

JIRA: RELENG-254

Change-Id: I354d7064c560d4b23e361d556b7fe269d7fb5d26
Signed-off-by: Trevor Bramwell <tbramwell@linuxfoundation.org>

fetch_os_creds.sh: Fix unbound BUILD_TAG

Fuel baremetal deployments provide a certificate, which should be
copied over to test containers. Virtual deployments do not, hence
the need to determine the deployment type and decide whether the
certificate should be transferred in the first place.

However, the Docker args we contruct will try to map the certificate
file no matter what, so we will instead try to transfer the cert
from Salt Master in all deployments, and just create an empty file
in case it does not exist.

Change-Id: I3d3fe6cabf552a88841c529ce38446b2e54b3053
Signed-off-by: Alexandru Avadanii <Alexandru.Avadanii@enea.com>

jjb: xci: Refactor bifrost jobs to use the XCI clean VM

We no longer run opnfv/bifrost jobs so drop all the references from
the configuration file. Moreover, make use of the releng-xci XCI clean
VM virtual machine to run the tests on a clean environment. Finally, we
drop the support for uploading logs to the artifacts.opnfv.org. This
needs to be done for XCI as well so we will bring it back when we
develop a universal solution.

Change-Id: I9bad17508ab8ee6594aec444ab864b99331b616d
Signed-off-by: Markos Chandras <mchandras@suse.de>

jjb: xci: Use pre-built dib images for CI runs

We make use of the pre-built dib images hosted on artifacts.opnfv.org
instead of building a new one on every CI build. This makes the CI jobs
somewhat faster since we start with the XCI deployment straight away

This patchset depends on https://gerrit.opnfv.org/gerrit/#/c/44049/

Signed-off-by: Markos Chandras <mchandras@suse.de>
Change-Id: Id2ccee8882cd20590a4cd27d4e512dc414d7b40e

Merge "Fix minor yamllint violation in jjb/moon/moon.yml"

Merge "Fix Yamllint violations for jjb/dovetail"

Merge "Fix Yamllint violations for jjb/daisy4nfv"

Merge "Fix Yamllint violations for jjb/calipso"

Merge "Fix Yamllint violations for jjb/xci"

Merge "Fix Yamllint violations for jjb/sfc"

Merge "Fix Yamllint violations: jjb/vnf_forwarding_graph"

Merge "Fix Yamllint violations for jjb/functest"

Do not use capital letters to refer to osa

As agreed with the releng-xci, we should stop using OSA and start using osa
to refer to openstack-ansible

Change-Id: I201b360654b9a52a3387c5e473a3e448a900bb9f
Signed-off-by: Manuel Buil <mbuil@suse.com>

Add OPNRC file to Yardstick container for fuel installer type

OPNRC file (openstack.creds) is needed to call openstack services
It was not added any longer because we added a specific case for
fuel installer to send SSH_KEY, OPNRC file and OS_CACERT to
the container

Change-Id: I235b138a77e06cded86a0b163ef383c1c37a0469
Signed-off-by: Delia Popescu <delia.popescu@enea.com>

Fix Yamllint violations for jjb/functest

JIRA: RELENG-254

Change-Id: I89043a1149360d587588e8c887f88cc5192c1692
Signed-off-by: Trevor Bramwell <tbramwell@linuxfoundation.org>

Fix Yamllint violations for jjb/xci

JIRA: RELENG-254

Change-Id: Iaf58cc822eb616711c0dc081f5b0154fe881646c
Signed-off-by: Trevor Bramwell <tbramwell@linuxfoundation.org>

Fix Yamllint violations: jjb/vnf_forwarding_graph

JIRA: RELENG-254

Change-Id: If660d0bedee12c00e385aa1f42ed3c1acc9aeb27
Signed-off-by: Trevor Bramwell <tbramwell@linuxfoundation.org>

Fix Yamllint violations for jjb/sfc

JIRA: RELENG-254

Change-Id: I3f878f50de8e0e60d3332ab8cd0ef8224524d38e
Signed-off-by: Trevor Bramwell <tbramwell@linuxfoundation.org>

Fix minor yamllint violation in jjb/moon/moon.yml

Without a '|' after the shell builder declaration yamllint will think
the bash directive is a comment.

JIRA: RELENG-254

Change-Id: Ib4e9802dbceeac1356936510ffa2efeca648076d
Signed-off-by: Trevor Bramwell <tbramwell@linuxfoundation.org>

Fix Yamllint violations for jjb/dovetail

JIRA: RELENG-254

Change-Id: I63bb14821b5d1798fccc313a07191e5f3dec160e
Signed-off-by: Trevor Bramwell <tbramwell@linuxfoundation.org>

Fix Yamllint violations for jjb/daisy4nfv

JIRA: RELENG-254

Change-Id: I71f2879dd04cc56dc8023fc7163871e94de78eb6
Signed-off-by: Trevor Bramwell <tbramwell@linuxfoundation.org>

Fix Yamllint violations for jjb/calipso

JIRA: RELENG-254

Change-Id: I9391e0537d2c0904daa966f56d99c96d445d00d9
Signed-off-by: Trevor Bramwell <tbramwell@linuxfoundation.org>

fuel, armband: Add post mortem log collection

Debugging test suite failures is often hard without physical access
to the POD, and even then the environment might be automatically
redeployed before successfully debugging the problem.

So, collect all contents of </var/log> from all cluster nodes
(including the Salt Master node) after all test suites have been
executed as part of the CI job.

Change-Id: Ie5e2526c74f4ed21be9c76c6f6101eb3f434be36
Signed-off-by: Alexandru Avadanii <Alexandru.Avadanii@enea.com>

Create euphrates jobs for remaining projects

Change-Id: I1aee6c882b863ab69393ba906ae8b067a426fc3b
Signed-off-by: Fatih Degirmenci <fatih.degirmenci@ericsson.com>

Merge "Fix Yamllint violations for jjb/fuel"

Merge "Fix minor yamllint violation for jjb/bottlenecks"

Merge "Fix Yamllint violation for jjb/doctor"

Fix Yamllint violations for jjb/fuel

JIRA: RELENG-254

Change-Id: I685f8ffd22e9083ac79655ff490ca0cc5d825c9d
Signed-off-by: Trevor Bramwell <tbramwell@linuxfoundation.org>

Merge "Add CACERT file to Yardstick Container for fuel installer"

Fix Security Scan Shortlog Format

The current Anteater shortlog output still contains single and double
quotes, causing comments to not be posted to Gerrit. So instead of
trying to escape the quotations they should be removed entirely.

JIRA: RELENG-272

Change-Id: I8a2565c85763d7617ced73702a12e28bf634678a
Signed-off-by: Trevor Bramwell <tbramwell@linuxfoundation.org>

Merge "fuel, armband: Hard set dovetail stream to master"

Merge "kvmfornfv: Enable jobs running on intel-pod10"

Add OPNFV_RELEASE in enviroment which is used in testapi reporting

Change-Id: I81b1cf1492d215c934e148eba5eba7535d38cfd0
Signed-off-by: Yujun Zhang <zhang.yujunz@zte.com.cn>

kvmfornfv: Enable jobs running on intel-pod10

Change-Id: If4f37121068895854d3261ffce8aab02abb083be
Signed-off-by: Navya Bathula <navyax.bathula@intel.com>

Fix typo in job definition

Change-Id: I67a96819d4cf5c6c2b18267f97728aaeda1b188a
Signed-off-by: Yujun Zhang <zhang.yujunz@zte.com.cn>

Add CACERT file to Yardstick Container for fuel installer

CACERT file is needed for authentication to and
between openstack services.

Change-Id: Ic6c48ad0ac6f16c2dca82214f5b44d2f8dcac4fc
Signed-off-by: Delia Popescu <delia.popescu@enea.com>

calipso: Tie jobs to centos machine

Change-Id: I7c2d0afb4c2b3e2680893c8cea660b36c553b39c
Signed-off-by: Fatih Degirmenci <fatih.degirmenci@ericsson.com>