opnfv-lint: Enable yamllint for Fuel & Armband

Change-Id: Iaccfa0df8f9f282a54712f61489af3029a91d44b
Signed-off-by: Alexandru Avadanii <Alexandru.Avadanii@enea.com>

Merge "fuel: Drop obsolete DEPLOY_TIMEOUT"

globals/slave-params: Remove unused Fuel overrides

Cleanup some unused parameter overrides, which were never in effect
in the first place. For CI PODs, we inherit only installer specific
parameters, so slave-label based overrides are ignored.

PODs:
- arm-pod5;
- arm-virtual2;
- ericsson-pod1;
- lf-pod2;

This reverts commit bb22c8c02df3e9d030ff64c304536c31b78a37a6.
This reverts commit fc26623f9d7f211a9e29e246a2b13bdae5b3982b.

Change-Id: Iee80ad8357f5126c4aa7510ed66ab6e79c20f3fc

fuel: Drop obsolete DEPLOY_TIMEOUT

While at it, add missing DEPLOY_SCENARIO for Fuel log collection job.
This will add some more useful info to each job description text.

Change-Id: I4936013dc23ed696ad4a526961b23031753aed2a
Signed-off-by: Alexandru Avadanii <Alexandru.Avadanii@enea.com>

Merge "Fix Yamllint violations for jjb/releng"

Merge "Fix Yamllint violations for jjb/snaps"

Merge "Fix Yamllint violations for jjb/yardstick"

Merge "fuel-deploy: Only pass ISO arg for Danube branch"

Merge "Fix minor yamllint violation in Joid job config"

Merge "Fix Yamllint violations for jjb/storperf"

Merge "Fix Yamllint violations for jjb/compass4nfv"

Fix Yamllint violations for jjb/releng

JIRA: RELENG-254

Change-Id: I5b9fe931e20a84d80d9ce6bc565bfee1db2dbc32
Signed-off-by: Trevor Bramwell <tbramwell@linuxfoundation.org>

Fix Yamllint violations for jjb/snaps

JIRA: RELENG-254

Change-Id: Ia18bb029bdb235c5e3a28bd3d0bf5f354d524769
Signed-off-by: Trevor Bramwell <tbramwell@linuxfoundation.org>

Fix Yamllint violations for jjb/yardstick

JIRA: RELENG-254

Change-Id: Icbfff8c0368c227451a09ac7f1f81df3e0f3563a
Signed-off-by: Trevor Bramwell <tbramwell@linuxfoundation.org>

Fix minor yamllint violation in Joid job config

The newly added euphrates stream had it's fields overindented.

JIRA: RELENG-254

Change-Id: I8d033966023fdecec3f03f2c74982f9de775ac08
Signed-off-by: Trevor Bramwell <tbramwell@linuxfoundation.org>

Fix Yamllint violations for jjb/storperf

JIRA: RELENG-254

Change-Id: Idc05b81ebf8636a5d422e54b72ee58c039b1843c
Signed-off-by: Trevor Bramwell <tbramwell@linuxfoundation.org>

Merge "jjb: xci: Make use of alternative ssh configuration file"

Merge "Bug fix:Bottlenecks job failed."

Fix Yamllint violations for jjb/compass4nfv

JIRA: RELENG-254

Change-Id: I11aee517b2a8af8d2e2519642872c84ba494a335
Signed-off-by: Trevor Bramwell <tbramwell@linuxfoundation.org>

Merge "This job will allow projects to create custom docker jobs"

Merge "Disable timed dovetail danube jobs"

Merge "Change score calculation for functest reporting"

Disable timed dovetail danube jobs

Dovetail danube jobs don't need to be triggerred every day now.
Disable the timed trigger.
If need, they can be triggered manually.

Change-Id: I2f114cd17fcd27d0e34be0824be3fc0d072dbae9
Signed-off-by: xudan <xudan16@huawei.com>

fuel-deploy: Only pass ISO arg for Danube branch

Post-Danube branches (master, stable/euphrates) do not use an ISO
argument, so stop passing it.

While at it, fix some minor coding style and a wrong scenario default.

Change-Id: I1878f80e685efc2da07dedd1d2c05c51933da2ec
Signed-off-by: Alexandru Avadanii <Alexandru.Avadanii@enea.com>

jjb: xci: xci-verify-jobs: Fix regexp for GERRIT_TOPIC

Drop the single quotes to regexp works as expected.

Change-Id: I2ea09be14bc83effdd5860fd35dda540b412cf59
Signed-off-by: Markos Chandras <mchandras@suse.de>

Merge "jjb: xci: xci-verify-jobs: Skip complete XCI deployments for 'skip-deloyment'"

Change score calculation for functest reporting

the goal is not to penalize scenario with few iteration due to
CI pipeline constraints
until now the top score was calculated on the base on 4 iterations, it means
whatever the number of iterations, we always consider the possible top score
based on at least 4 iterations

each case can get
- 3 points (last 4 iterations PASS)
- 2 points (more than 1 PASS over the last 10 days but 1 FAIL of the last 4)
- 1 point (at least 1 PASS over the last 10 days)
- no point  (never work)

so if we consider a scenario with 10 cases, the top score is
30 = 10*3 (max points)

the coefficient to calculate the top score is not the number of iterations

- 1 iteration => possible  top score 10
- 2 iterations  => top score 20
- 3 iterations => top score 20
- 4 or more iterations => top score 30

previously top score was systematically 30

https://wiki.opnfv.org/plugins/servlet/mobile#content/view/6828617

Change-Id: I01102bc00766b7f5b58e73befa7d5328fcc895cc
Signed-off-by: Morgan Richomme <morgan.richomme@orange.com>

Merge "jjb: xci: bifrost-cleanup-jobs: Disable cleanup bifrost jobs"

jjb: xci: xci-verify-jobs: Skip complete XCI deployments for 'skip-deloyment'

When we want to test patches affecting the start-new-vm.sh script,
sometimes we only want to test whether VM is operational without having
to run the entire XCI deployment on it. As such, skip XCI deployments
when the topic matches the 'skip-deployment' regexp.

Change-Id: I4242ac09a9e65c939a06ad47eb26a62af39128c8
Signed-off-by: Markos Chandras <mchandras@suse.de>

Merge "fuel-deploy.sh: Drop local_env mechanism"

Rename the external network for fuel

The external network was renamend with the MCP deploy to floating_net

Change-Id: I73f5f5d14b0b18a2e838dae163dcfd62edcb0c0b
Signed-off-by: Cristina Pauna <cristina.pauna@enea.com>

jjb: xci: bifrost-cleanup-jobs: Disable cleanup bifrost jobs

We no longer update logs in artifacts.opnfv.org so there is no point
in running this job. We will enable it back when we start uploading logs
for XCI.

Change-Id: Icee15d346c32dff693b5c474a51fb79763841bb7
Signed-off-by: Markos Chandras <mchandras@suse.de>

Merge "jjb: xci: Refactor bifrost jobs to use the XCI clean VM"

jjb: xci: Make use of alternative ssh configuration file

The script now creates an XCI specific ssh configuration file
so we need to use that when trying to connect to the host.

Change-Id: I34cb39636b95de9ab97cb5d2ca250b4218e9a7f7
Signed-off-by: Markos Chandras <mchandras@suse.de>

Merge "jjb: xci: xci-verify-jobs: Export clean vm variables properly"

Merge "Do not use capital letters to refer to osa"

jjb: xci: xci-verify-jobs: Export clean vm variables properly

The variables are meant to be used by the start-vm-new.sh script
instead of the XCI test so they need to be exported properly before
we run the script.

Change-Id: I224ec7bfced5eb51f01de46bd042274bcf3ec86b
Signed-off-by: Markos Chandras <mchandras@suse.de>

kvmfornfv: Enable all jobs for all branches

Change-Id: I88daffa1e15339166240f8520e9fe9909f6a5f49
Signed-off-by: Fatih Degirmenci <fatih.degirmenci@ericsson.com>

Merge "jjb: xci: Use pre-built dib images for CI runs"

fuel-deploy.sh: Drop local_env mechanism

Now that Fuel supports reading bridge names from IDF / determine
them based on IP address matching to PDF network, we can drop
the mechanism for sourcing "local_env".

Change-Id: Ib9fe0ddb2b54b9c5c037a3451cf049323ae7a864
Signed-off-by: Alexandru Avadanii <Alexandru.Avadanii@enea.com>

Merge "Revert "fetch_os_creds.sh: Fix unbound BUILD_TAG""

Merge "Fix Yamllint violations for jjb/apex"

Revert "fetch_os_creds.sh: Fix unbound BUILD_TAG"

This reverts commit 3f27c8b519e42295bd76ace5506903f265e48560.

Change-Id: I024ba8c0b960387138a71be9bc19f6d1b72030ca

armband: Fix Fuel collect job reference

Armband uses different 'pod' naming/labeling, so instead of Fuel's
'baremetal' reference, we have 'armband-baremetal', leading to
unresolved job references for the recently added log collection.

Fix that by adding a new 'deploy-type' variable, which corresponds
to either 'baremetal' or 'virtual', aligning with Fuel naming.
While at it, slightly refactor our pod definitions to use the new var.

Change-Id: Ie84c40a5c208072da2e4766233a844f2670d4f87
Signed-off-by: Alexandru Avadanii <Alexandru.Avadanii@enea.com>

Merge "fuel, armband: Add post mortem log collection"

Fix Yamllint violations for jjb/apex

JIRA: RELENG-254

Change-Id: I354d7064c560d4b23e361d556b7fe269d7fb5d26
Signed-off-by: Trevor Bramwell <tbramwell@linuxfoundation.org>

fetch_os_creds.sh: Fix unbound BUILD_TAG

Fuel baremetal deployments provide a certificate, which should be
copied over to test containers. Virtual deployments do not, hence
the need to determine the deployment type and decide whether the
certificate should be transferred in the first place.

However, the Docker args we contruct will try to map the certificate
file no matter what, so we will instead try to transfer the cert
from Salt Master in all deployments, and just create an empty file
in case it does not exist.

Change-Id: I3d3fe6cabf552a88841c529ce38446b2e54b3053
Signed-off-by: Alexandru Avadanii <Alexandru.Avadanii@enea.com>

jjb: xci: Refactor bifrost jobs to use the XCI clean VM

We no longer run opnfv/bifrost jobs so drop all the references from
the configuration file. Moreover, make use of the releng-xci XCI clean
VM virtual machine to run the tests on a clean environment. Finally, we
drop the support for uploading logs to the artifacts.opnfv.org. This
needs to be done for XCI as well so we will bring it back when we
develop a universal solution.

Change-Id: I9bad17508ab8ee6594aec444ab864b99331b616d
Signed-off-by: Markos Chandras <mchandras@suse.de>

jjb: xci: Use pre-built dib images for CI runs

We make use of the pre-built dib images hosted on artifacts.opnfv.org
instead of building a new one on every CI build. This makes the CI jobs
somewhat faster since we start with the XCI deployment straight away

This patchset depends on https://gerrit.opnfv.org/gerrit/#/c/44049/

Signed-off-by: Markos Chandras <mchandras@suse.de>
Change-Id: Id2ccee8882cd20590a4cd27d4e512dc414d7b40e

Merge "Fix minor yamllint violation in jjb/moon/moon.yml"

Merge "Fix Yamllint violations for jjb/dovetail"

Merge "Fix Yamllint violations for jjb/daisy4nfv"

Merge "Fix Yamllint violations for jjb/calipso"

Merge "Fix Yamllint violations for jjb/xci"

Merge "Fix Yamllint violations for jjb/sfc"

Merge "Fix Yamllint violations: jjb/vnf_forwarding_graph"

Merge "Fix Yamllint violations for jjb/functest"

Do not use capital letters to refer to osa

As agreed with the releng-xci, we should stop using OSA and start using osa
to refer to openstack-ansible

Change-Id: I201b360654b9a52a3387c5e473a3e448a900bb9f
Signed-off-by: Manuel Buil <mbuil@suse.com>

Add OPNRC file to Yardstick container for fuel installer type

OPNRC file (openstack.creds) is needed to call openstack services
It was not added any longer because we added a specific case for
fuel installer to send SSH_KEY, OPNRC file and OS_CACERT to
the container

Change-Id: I235b138a77e06cded86a0b163ef383c1c37a0469
Signed-off-by: Delia Popescu <delia.popescu@enea.com>

Fix Yamllint violations for jjb/functest

JIRA: RELENG-254

Change-Id: I89043a1149360d587588e8c887f88cc5192c1692
Signed-off-by: Trevor Bramwell <tbramwell@linuxfoundation.org>

Fix Yamllint violations for jjb/xci

JIRA: RELENG-254

Change-Id: Iaf58cc822eb616711c0dc081f5b0154fe881646c
Signed-off-by: Trevor Bramwell <tbramwell@linuxfoundation.org>

Fix Yamllint violations: jjb/vnf_forwarding_graph

JIRA: RELENG-254

Change-Id: If660d0bedee12c00e385aa1f42ed3c1acc9aeb27
Signed-off-by: Trevor Bramwell <tbramwell@linuxfoundation.org>

Fix Yamllint violations for jjb/sfc

JIRA: RELENG-254

Change-Id: I3f878f50de8e0e60d3332ab8cd0ef8224524d38e
Signed-off-by: Trevor Bramwell <tbramwell@linuxfoundation.org>

Fix minor yamllint violation in jjb/moon/moon.yml

Without a '|' after the shell builder declaration yamllint will think
the bash directive is a comment.

JIRA: RELENG-254

Change-Id: Ib4e9802dbceeac1356936510ffa2efeca648076d
Signed-off-by: Trevor Bramwell <tbramwell@linuxfoundation.org>

Fix Yamllint violations for jjb/dovetail

JIRA: RELENG-254

Change-Id: I63bb14821b5d1798fccc313a07191e5f3dec160e
Signed-off-by: Trevor Bramwell <tbramwell@linuxfoundation.org>

Fix Yamllint violations for jjb/daisy4nfv

JIRA: RELENG-254

Change-Id: I71f2879dd04cc56dc8023fc7163871e94de78eb6
Signed-off-by: Trevor Bramwell <tbramwell@linuxfoundation.org>

Fix Yamllint violations for jjb/calipso

JIRA: RELENG-254

Change-Id: I9391e0537d2c0904daa966f56d99c96d445d00d9
Signed-off-by: Trevor Bramwell <tbramwell@linuxfoundation.org>

fuel, armband: Add post mortem log collection

Debugging test suite failures is often hard without physical access
to the POD, and even then the environment might be automatically
redeployed before successfully debugging the problem.

So, collect all contents of </var/log> from all cluster nodes
(including the Salt Master node) after all test suites have been
executed as part of the CI job.

Change-Id: Ie5e2526c74f4ed21be9c76c6f6101eb3f434be36
Signed-off-by: Alexandru Avadanii <Alexandru.Avadanii@enea.com>

Create euphrates jobs for remaining projects

Change-Id: I1aee6c882b863ab69393ba906ae8b067a426fc3b
Signed-off-by: Fatih Degirmenci <fatih.degirmenci@ericsson.com>

Merge "Fix Yamllint violations for jjb/fuel"

Merge "Fix minor yamllint violation for jjb/bottlenecks"

Merge "Fix Yamllint violation for jjb/doctor"

Fix Yamllint violations for jjb/fuel

JIRA: RELENG-254

Change-Id: I685f8ffd22e9083ac79655ff490ca0cc5d825c9d
Signed-off-by: Trevor Bramwell <tbramwell@linuxfoundation.org>

Merge "Add CACERT file to Yardstick Container for fuel installer"

Fix Security Scan Shortlog Format

The current Anteater shortlog output still contains single and double
quotes, causing comments to not be posted to Gerrit. So instead of
trying to escape the quotations they should be removed entirely.

JIRA: RELENG-272

Change-Id: I8a2565c85763d7617ced73702a12e28bf634678a
Signed-off-by: Trevor Bramwell <tbramwell@linuxfoundation.org>

Merge "fuel, armband: Hard set dovetail stream to master"

Merge "kvmfornfv: Enable jobs running on intel-pod10"

Add OPNFV_RELEASE in enviroment which is used in testapi reporting

Change-Id: I81b1cf1492d215c934e148eba5eba7535d38cfd0
Signed-off-by: Yujun Zhang <zhang.yujunz@zte.com.cn>

kvmfornfv: Enable jobs running on intel-pod10

Change-Id: If4f37121068895854d3261ffce8aab02abb083be
Signed-off-by: Navya Bathula <navyax.bathula@intel.com>

Fix typo in job definition

Change-Id: I67a96819d4cf5c6c2b18267f97728aaeda1b188a
Signed-off-by: Yujun Zhang <zhang.yujunz@zte.com.cn>

Add CACERT file to Yardstick Container for fuel installer

CACERT file is needed for authentication to and
between openstack services.

Change-Id: Ic6c48ad0ac6f16c2dca82214f5b44d2f8dcac4fc
Signed-off-by: Delia Popescu <delia.popescu@enea.com>

calipso: Tie jobs to centos machine

Change-Id: I7c2d0afb4c2b3e2680893c8cea660b36c553b39c
Signed-off-by: Fatih Degirmenci <fatih.degirmenci@ericsson.com>

fuel, armband: Hard set dovetail stream to master

Fuel and Armband Euphrates jobs are always marked as failed, even
when at least one sub-job passes, due to missing Dovetail job for
that respective stream.

Change-Id: Ibcdde75d70111e82f8498114deabaf7808cc6d74
Signed-off-by: Alexandru Avadanii <Alexandru.Avadanii@enea.com>

Ignore Scenarios directory when yamllinting SFC

These yaml files are for defining scenario in XCI and can be ignored for
now.

Change-Id: I48b1598406e34a5129c7c7dab73f6a06af6db82e
Signed-off-by: Trevor Bramwell <tbramwell@linuxfoundation.org>

Merge "Remove functest alpine images from docker builds"

Remove functest alpine images from docker builds

They are already built via Dockerhub automatically

Change-Id: If0b336a0be741b17c2f7b80eaa51a0f235ad9ddf
Signed-off-by: Jose Lausuch <jalausuch@suse.com>

[Functest] Continue the job execution if healhcheck fails

This will allow the push-test-logs.sh script to be executed
in any case instead of exiting directly

Change-Id: I03c40e2f368485389a21313f98745217ae634eca
Signed-off-by: Jose Lausuch <jalausuch@suse.com>

Merge "Keep Docker builds from thrashing on same server"

Added "calipso" scenario to apex.yml

Change-Id: I1e4237fd9716e92eec7633006c54240284f312c6
Signed-off-by: Ilia Abashin <abashinos@gmail.com>

Bug fix:Bottlenecks job failed.

This patch is to fix the bottlenecks rc file.
shown the problem:
touch: cannot touch '/tmp/admin_rc.sh': Permission denied
releng have chown code.
We will delete this file if have problem in fetch_os script

Change-Id: I9f53f9243697c3faca2b4d09a5847253a70f9686
Signed-off-by: liyin <liyin11@huawei.com>

Merge changes from topic 'qtip'

* changes:
  Fix status reporting page
  Specify TESTAPI_URL in releng jobs

Merge "Add timeout and timestamp for long duration tasks"

Fix status reporting page

- use data in last 10 days instead of 1 day
- hide installers without any data
- remove redundant qtip reporting

Change-Id: If73a439572b6a1cf09c7d34f643fb14be82196ca
Signed-off-by: Yujun Zhang <zhang.yujunz@zte.com.cn>

Merge "[Yardstick]Enable using the CACERT file in all compass branches"

Specify TESTAPI_URL in releng jobs

Change-Id: Ied35e58137fb8040779fe038626facd684a935dd
Signed-off-by: Yujun Zhang <zhang.yujunz@zte.com.cn>

Add timeout and timestamp for long duration tasks

Change-Id: Ib4b07e23a81718e759ed43ff7fa2882735804afc
Signed-off-by: Yujun Zhang <zhang.yujunz@zte.com.cn>

Merge "Move daisy jobs of master branch to zte-pod3"

Merge "Enable Daisy Euphrates merge jobs"

Merge "Modify the timed trigger on zte-pod1"

[Yardstick]Enable using the CACERT file in all compass branches

Change-Id: Ia699a23d292ea2c18f309022352f83a22041626a
Signed-off-by: JingLu5 <lvjing5@huawei.com>