Add parameter of `DEPLOY_SCENARIO` for doctor

Need to get the os_cacert file according to the scenario for MCP installer.
You can see here: https://github.com/opnfv/releng/blob/master/utils/fetch_os_creds.sh#L116

Change-Id: I9216f2c810a93a25406a33e2f9c542c64f30e27e
Signed-off-by: dongwenjuan <dong.wenjuan@zte.com.cn>

remove `SSH_KEY` parameter from `doctor-slave-parameter`

There is the `SSH_KEY` parameter in the parameter macro of 'fuel-defaults'.
If we redefine it in the `doctor-slave-parameter`,it will be overwrited.

Change-Id: Ifb2c95ea8df9a22cd5304872f5893bb6b4a0f447
Signed-off-by: dongwenjuan <dong.wenjuan@zte.com.cn>

Parpare ssh_key for MCP in doctor

Change-Id: I10a79e6003a442572cdaca544c4862844720a3d3
Signed-off-by: dongwenjuan <dong.wenjuan@zte.com.cn>

Merge "Publish Functest and Functest K8s Gambia.1"

Publish Functest and Functest K8s Gambia.1

No change has been done for K8s between Gambia and Gambia.1.

Change-Id: Ia080716ff7c18c625423060a3cc01a2873ca8382
Signed-off-by: Cédric Ollivier <cedric.ollivier@orange.com>

Merge "VSPERF: Tagging for 7.0.0"

Merge "Add bottlenecks 7.1"

Merge "Tagging opnfv-7.1.0 for ipv6 Project"

Merge "Compass4nfv Gambia opnfv-7.1"

Merge "Apex: Update versions for Gambia"

Merge "Add Bottlenecks gambia docker job"

Merge "Tag SampleVNF for Gambia 7.1.0"

Apex: Update versions for Gambia

Updates missing version for 7.0.0 as well as adds 7.1.0

Change-Id: If02e40cde1cf840c1c007ef7a0064c9170a5925b
Signed-off-by: Tim Rozet <trozet@redhat.com>

Merge "[release] fuel, armband: opnfv-7.1.0"

[release] fuel, armband: opnfv-7.1.0

Change-Id: I005420665d569bb8f45aa3847509140a01c96e78
Signed-off-by: Alexandru Avadanii <Alexandru.Avadanii@enea.com>

Revert "[fuel] Define Docker tag for stable branches"

Moved logic to OPNFV Fuel via [1].

[1] https://gerrit.opnfv.org/gerrit/#/c/65833/

This reverts commit 1590de2d2a85506c29826c6914dc1cbe218d4113.

Change-Id: I1acd257ea121e6ff48ce1605e9509e01ce6edb76
Signed-off-by: Alexandru Avadanii <Alexandru.Avadanii@enea.com>

Tagging opnfv-7.1.0 for ipv6 Project

Tagging opnfv-7.1.0 for ipv6 project stable/gambia branch

Change-Id: I2c37c069ad885a39284f3614f99cd1bde7e8b756
Signed-off-by: BIN HU <bin.hu@att.com>

Compass4nfv Gambia opnfv-7.1

Change-Id: I56ab304eaaacf3fd7f852117876dfcd982aaa97b
Signed-off-by: Harry Huang <huangxiangyu5@huawei.com>

Add Bottlenecks gambia docker job

Change-Id: I5dc35ee11c0cf01d41f64fcedf2b9a1e30e25e04
Signed-off-by: Yang (Gabriel) Yu <Gabriel.yuyang@huawei.com>

Add bottlenecks 7.1

Change-Id: If9375e19ebe9244cc116c59bf03af3edd7a3f79a
Signed-off-by: Yang (Gabriel) Yu <Gabriel.yuyang@huawei.com>

Merge "Doctor Gambia opnfv-7.1.0"

Tagging SampleVNF stable/gambia branch for Gambia 7.1.0

Change-Id: Ie0f8ad3a33abbae55769fe44ccdd6d2b62d2e633
Signed-off-by: Deepak S <deepak.s@linux.intel.com>

Tag SampleVNF for Gambia 7.1.0

Change-Id: I6afd63fdd85954c748ca8706c48ad95e49181c7b
Signed-off-by: Trevor Bramwell <tbramwell@linuxfoundation.org>

Doctor Gambia opnfv-7.1.0

Change-Id: I8e96eba5d1bf5bdb4cf34e91bda7b5477e3c0f67
Signed-off-by: Tomi Juvonen <tomi.juvonen@nokia.com>

Merge "[utils, functest] Fix SSL-enabled Fuel condition"

Apex: Fix injecting functest vars

Functest scenario script uses functest_scenario file intead of
functest_tag as previously used.

Change-Id: Ie0f8ad3a33abbae55769fe44ccdd6d2b62d2e622
Signed-off-by: Tim Rozet <trozet@redhat.com>

Apex: Fix functest docker tag passing for gate

The daily job moved to using the apex-functest-scenario script. This
updates the gate jobs to use the same logic as well as updates the
detection script to drop snapshot specific extensions like functest/csit
which Apex uses to determine special deploy types.

Change-Id: Id5f23d71401fc341c640b388f583b304b2ac6789
Signed-off-by: Tim Rozet <trozet@redhat.com>

[utils, functest] Fix SSL-enabled Fuel condition

Fuel enables SSL based on scenario type (only for HA), not based
on cluster type (baremetal or virtual).

Change-Id: I3dc94f953e9a8ee0e94028577270ac05c9318ad6
Signed-off-by: Alexandru Avadanii <Alexandru.Avadanii@enea.com>

Auto: Update daily job definition

Add git-scm macro to auto daily job definition, so auto
git repository is properly cloned into the WORKSPACE.

Change-Id: I86377563e839b17cc2cdf15d84a19d4bc3e76237
Signed-off-by: Martin Klozik <martin.klozik@tieto.com>

Switch Builder for Weekly CI Security Scanning

Instead of running these specifically on ericsson-build3, we target them
to run on any of the build servers since the job just runs a docker
container.

Change-Id: Ia05adb20bcb84a0a2a187c81ef25b9dcbc99e020
Signed-off-by: Trevor Bramwell <tbramwell@linuxfoundation.org>

Cperf: Add missing nova path var

This variable is required for the live migration tests.

Change-Id: I2505d31f0c0c9b5cf540473937d500fdf506af5f
Signed-off-by: Tim Rozet <trozet@redhat.com>

VSPERF: Tagging for 7.0.0

Added release version tag for 7.0.0

Change-Id: Ibad16f982f9bacbefa7e4e33caf86b768ef5e0a1
Signed-off-by: Sridhar K. N. Rao <sridhar.rao@spirent.com>

Merge "Disable blocking on buildable queue (Functest)"

Disable blocking on buildable queue (Functest)

Else daily jjbs could be dead blocked as they are triggered at the same
time.

Change-Id: I3f3c4bc96b603fbaa76806238191fbce240220f9
Signed-off-by: Cédric Ollivier <cedric.ollivier@orange.com>

Cperf: Enable csit live migration

With the support for NFS shared storage with Apex CSIT we can reanble
the live migration test. Apex commit:
https://gerrit.opnfv.org/gerrit/#/c/65585/

Change-Id: I60ec03605537a003f32a4ef9231036db2649ad6a
Signed-off-by: Tim Rozet <trozet@redhat.com>

Merge "Slave.jar renamed to Agent.jar"

Auto: Daily job definition

A daily job definition to execute Auto project daily CI script.
A definition of intel-pod18-defaults was added into
jjb/global/slave-params.yaml

Change-Id: I26877088a0c1ab25dc67de0aba1f2da6b2862661
Signed-off-by: Martin Klozik <martin.klozik@tieto.com>

Apex: add missing builders path to trigger

Verify job was missing this patch to be able to trigger on commit.

Change-Id: I8b1c1149ea47496389144dec648f9c8f58e8d343
Signed-off-by: Tim Rozet <trozet@redhat.com>

Temporarily disable perm (tox)

The permissions are incorrect in functest-virtual [1].

[1] https://build.opnfv.org/ci/job/opnfv-functest-latest-ut-gate/2/console

Change-Id: I18b0bc3361b99316c0f77207e3c060333f8fcc74
Signed-off-by: Cédric Ollivier <cedric.ollivier@orange.com>

Apex: Fix deployment detecting snapshot type

With the refactoring of the promotion job, the Apex deploy was not
detecting the snapshot type and using default upstream deployment. This
change passes the snapshot type to the deploy script for detection.

Change-Id: I76cf2b894955aa94bd70dc597305553dc9fe4c17
Signed-off-by: Tim Rozet <trozet@redhat.com>

remove Daisy installer for doctor test

As Daisy doesn't participate H Release

Change-Id: I79caa01c1aa2905ae65689ba2e310c4be7078636
Signed-off-by: dongwenjuan <dong.wenjuan@zte.com.cn>

support fuel installer for doctor test

As currently fuel doesn't integrate with Congress, we only support sample inspector.

Change-Id: I4a3742f019bdd3c0e666ed5f18f456793a6edbc0
Signed-off-by: dongwenjuan <dong.wenjuan@zte.com.cn>

Slave.jar renamed to Agent.jar

Jenkins changed the word slave for agent in their code.
so we are following suit.

Change-Id: I5697494274b444624aae5177905bfc4c401f5257
Signed-off-by: Aric Gardner <agardner@linuxfoundation.org>

[fuel] docker: Improve build blocking

We previously blocked the parent job from running on the same node,
but we need to also block the sub-jobs to prevent races.

Fixes: 2e8907a0

Change-Id: I8243407f4f3db3c07a8dba66ba02575bede70fbc
Signed-off-by: Alexandru Avadanii <Alexandru.Avadanii@enea.com>

Apex: Fix CSIT snapshot files path

With the refactor of snapshot pipeline to include other snapshots, the
path had changed to be generic for where temporary snapshot files are
stored (from /tmp/csit to /tmp/snap). See this commit:

https://gerrit.opnfv.org/gerrit/#/c/65157/4/jjb/apex/apex-fetch-snap-info.sh

This patch fixes the path for triggering CSIT job.

Change-Id: I63308d73c13e8c714078a38bc6cf9bb75cbeec5c
Signed-off-by: Tim Rozet <trozet@redhat.com>

Merge "xci: Enable daily baremetal jobs"

Merge "Run tox in functest-virtual"

xci: Enable daily baremetal jobs

Only the 2 generic noha scenarios are enabled in order to
verify the sanity of the jobs. The rest will be enabled
once this is done.

Change-Id: Id53f9e694d548ff0858b3c8ebfb3b4e27d37966d
Signed-off-by: Fatih Degirmenci <fdegir@gmail.com>

CPERF: Fixes issue with known hosts

Exporting the global var to disable ansible host key checking doesn't
ignore known hosts in the file. To fix this, this patch sets the known
hosts file to /dev/null.

Reference: https://github.com/ansible/ansible/issues/9442

Jobs currently failing due to known hosts:
https://build.opnfv.org/ci/job/cperf-apex-csit-master/320/console

Change-Id: Ic3470b368a056b3a3981f9555160a44018f97ebd
Signed-off-by: Tim Rozet <trozet@redhat.com>

Fix my timezone

this is to test a gerrit trigger

Change-Id: I8537aae255df14ec31fe14468abf7e5dda1286e1
Signed-off-by: Aric Gardner <agardner@linuxfoundation.org>

Merge "Switch from block-level to blocking-level (former)"

Switch from block-level to blocking-level (former)

[1] https://docs.openstack.org/infra/jenkins-job-builder/properties.html

Change-Id: Ic9e20f28ab3093ff29c1cc1681e75812db7ed949
Signed-off-by: Cédric Ollivier <cedric.ollivier@orange.com>

Merge "Revert "Fix typos in Apex jjbs""

Revert "Fix typos in Apex jjbs"

This reverts commit fca796f895e8c3e00fb4f7b7f0bfa2e366627db0.

Change-Id: I5e96ae38519865dfb42c4134c09f5eb4be275225
Signed-off-by: Tim Rozet <trozet@redhat.com>

Merge "Revert "Apex: Fix incorrect block syntax in other jobs""

Revert "Apex: Fix incorrect block syntax in other jobs"

This reverts commit ceb545e311cc9f8adcc8e617346b9cb63af16f5c.

Change-Id: I01e782c280d62b59cd85f97ddcee1a86fbd93d7d
Signed-off-by: Tim Rozet <trozet@redhat.com>

Run tox in functest-virtual

It will replace the former jjb and avoids running functional tests if
the patchset is wrong.

Change-Id: I4264780180d953b0dac0febf1f1c2dc2d08f93c6
Signed-off-by: Cédric Ollivier <cedric.ollivier@orange.com>

Clean all containers as first step

It overprotects vs aborted jobs or failures in CI.
It fixes few urls printed in console.

Change-Id: Ibbaacfd9d51c5424c5632fcdeaedf619fd946006
Signed-off-by: Cédric Ollivier <cedric.ollivier@orange.com>

Apex: Fix incorrect block syntax in other jobs

block-level was incorrectly worded as blocking-level

Change-Id: Iccfc45841c042746e86bb9cebb0f28012d79d589
Signed-off-by: Tim Rozet <trozet@redhat.com>

Merge "Fix typos in Apex jjbs"

Merge "Clean Functest containers even if failure"

Clean Functest containers even if failure

It creates an additional multijob to ensure all containers are removed.
It also publishes logs via gsutil.

Change-Id: I45bd8aec3569e3257b94ea978c5bf2fd703649be
Signed-off-by: Cédric Ollivier <cedric.ollivier@orange.com>

Merge "mcelog not longer supported on ubuntu 18.04"

Disable vnf testing in daily gates

heat_ims sometimes fails.
It mainly eases saving time when developping the workflow.

Change-Id: I230461a3bae508bf60771df3f01a8271a2735065
Signed-off-by: Cédric Ollivier <cedric.ollivier@orange.com>

Fix latest tag in functest-virtual.yaml

Change-Id: If3df5a002db5157dea423f3acac6c47b78d9b4ad
Signed-off-by: Cédric Ollivier <cedric.ollivier@orange.com>

Fix typos in Apex jjbs

It replaces blocking-level by block-level [1].

https://docs.openstack.org/infra/jenkins-job-builder/properties.html

Change-Id: I304ab122de3699401d2be92955e151e774206c07
Signed-off-by: Cédric Ollivier <cedric.ollivier@orange.com>

Avoid possible deadblocks in Functest jjbs

From the time being, only 2 executors are allowed and then it may lead
to deadblocks if two multijobs are executed.

Normally we should only forbid gate and daily jobs at the time (tags are hardcoded).

It reverts to new patchset triggers as on core approval is buggy.

Daily jobs are now triggered once a day.

Change-Id: Iaa1ae73f8baeed037dd2f20f05ec3b15d1643b3b
Signed-off-by: Cédric Ollivier <cedric.ollivier@orange.com>

Gate Functest tests when +2

It will update to Workflow as soon as possible.

Change-Id: Id12afa6836b4cc0129666480eb92c36132c32823
Signed-off-by: Cédric Ollivier <cedric.ollivier@orange.com>

Add check mode in Functest jjbs

It allows checking one specific change on LF resources.
It completes the two modes already defined: daily and gate.

Change-Id: I7ccadf1ef07533bb549ee365b4f3deedd3d457fe
Signed-off-by: Cédric Ollivier <cedric.ollivier@orange.com>

Perform a second Mock tag

tagging the sandbox project a second time to verify release automation is working as
intended.

Change-Id: Ib03db24d09b7fa28dd1f3893337b8670886e5686
Signed-off-by: Aric Gardner <agardner@linuxfoundation.org>

Perform a Mock tag

tagging the sandbox project to verify release automation is working as
intended.

Change-Id: Iba5a8e8d612c9a7fb50db41cb5e46777901e70ad
Signed-off-by: Aric Gardner <agardner@linuxfoundation.org>

Rework creating tags & branches from release files

Old method could not properly handle both branching and
tagging on changes to the release file.

Proposed method:
jjb calls:
jjb/releng/branch-or-tag.sh
for both verify and merge jobs.

branch-or-tag determins nature of the change to
"releases/branch/project.yaml"
and calls
 releng-release-tagging.sh
or
 releng-release-create-branch.sh

The scripts above handle both verify and merge operations

based on
  if [[ $TAG_EXISTS = false && "$JOB_NAME" =~ "merge" ]];
and
  if [[ $REF_EXISTS = true && "$JOB_NAME" =~ "merge" ]]; then

both scripts check that the ref exits in verfiy and merge stages.

if releng-release-create-branch.sh creates a branch it then also
calls releases/scripts/create_jobs.py

Change-Id: Ieb99de5e4df100af59ecc818f52b0831383b2b62
Signed-off-by: Aric Gardner <agardner@linuxfoundation.org>

Merge "Add triggers to verify Functest"

Add triggers to verify Functest

It runs testcases for all new patchset.

Change-Id: Ida99e2f40cf3a7a6bc002e81cee27eb67ea62ff0
Signed-off-by: Cédric Ollivier <cedric.ollivier@orange.com>

Merge "[fuel] docker build: Add blocking jobs"

[fuel] docker build: Add blocking jobs

Prevent master & stable streams to trigger concurrent builds on the
same node, which usually leads to one of the jobs failing to acquire
the DPDK lock on the build server.

Change-Id: I1f61f1a2eb10eb9373a75b31c74f5d6de60f5334
Signed-off-by: Alexandru Avadanii <Alexandru.Avadanii@enea.com>

[fuel] docker build: Add CACHE_INVALIDATE

JIRA: FUEL-398

Change-Id: Ie490ec0841dae9748b35fa716e8b9fc0cd0aff63
Signed-off-by: Alexandru Avadanii <Alexandru.Avadanii@enea.com>

Adding promotion of alex

This is actually to test somethign in our
internal jenkins it can be ignored

Change-Id: I6d6bd1e53280f2f6431ee901c517bb6316dd934a
Signed-off-by: Aric Gardner <agardner@linuxfoundation.org>

mcelog not longer supported on ubuntu 18.04

I belive that barometer needs mce log and will need to find another way
of using it.

https://bugs.launchpad.net/ubuntu/+source/mcelog/+bug/1752251

Change-Id: I798f3052710a276c49d562b61661c2edf719d88b
Signed-off-by: Aric Gardner <agardner@linuxfoundation.org>

Merge "Bug: Doctor all does not work"

Merge "Remove '|' from ovn4nfv plugin unit test builder"

Merge "Adding a new verification job for testapi UI."

Bug: Doctor all does not work

Change-Id: I3654c125192686348c59cd14e0de562e1043011e
Signed-off-by: Tomi Juvonen <tomi.juvonen@nokia.com>

Apex: Fixes unset var checks

Var checks for unset required proper parameter expansion to avoid
nounset.

Change-Id: Ide5db47e2243c8aee0f97369bf3cd0673e7f4bd3
Signed-off-by: Tim Rozet <trozet@redhat.com>

Remove '|' from ovn4nfv plugin unit test builder

Because of the '|' character JJB thinks '!include-raw:...' should be
executed literally, instead of including the file as the shell script.

Change-Id: I753dec4b496bd7d9a43c7c5aced17dfb9005f251
Signed-off-by: Trevor Bramwell <tbramwell@linuxfoundation.org>

Promote Alexandru Avadanii to Releng Committer

Alex has been an active contributor and reviewer to Releng since 2016 maintaing
the Armband and Fuel jobs. And as the PTL of Fuel he should be granted
committer rights.

Change-Id: I5ee698440d2a5d7f0cfee31b83ad40c92702b838
Signed-off-by: Trevor Bramwell <tbramwell@linuxfoundation.org>

Merge "Apex: Fix OS_VERSION detection"

Merge "Promote Cédric Ollivier to Committer on Releng"

Merge "Fix a nit in functest-virtual.yaml"

Apex: Fix OS_VERSION detection

When we run deployments for snapshot creation we typically pass in the
OS_VERSION var so we know what openstack version we are deploying with.
However when we run a verify/gate job to ensure that the snapshot
deploys work we do not have this variable, and need to detect it based
on the OPNFV branch, or if the branch is master, the deploy scenario
naming scheme.

Change-Id: If1445dc564d2af59b9740391de56b821b78de0b5
Signed-off-by: Tim Rozet <trozet@redhat.com>

Fix a nit in functest-virtual.yaml

Change-Id: I993bac8545d896d1ead25c5f33c9645c52c5d208
Signed-off-by: Cédric Ollivier <cedric.ollivier@orange.com>

Merge "Apex: Refactor snapshot pipeline for other types"

Fix functest-virtual (sudo + current dirs)

It completes the previous commit [1] pulling all images.

[1] https://gerrit.opnfv.org/gerrit/#/c/65203/

Change-Id: Id32aabf107064689a38d5ffb719ba5023c40296d
Signed-off-by: Cédric Ollivier <cedric.ollivier@orange.com>

Pull all containers before running tests

Else we might test previous containers.

Change-Id: I53b98f99f7fe5db8ea2087c93cfc58a03103db9e
Signed-off-by: Cédric Ollivier <cedric.ollivier@orange.com>

Enable vnf testing when gating Functest

It adds rally_sanity and vnfs.
From the time being, only rally_full is excluded (all-in-one).

Change-Id: I451d1503a0a1633f4e3e68ed272742981f04eb36
Signed-off-by: Cédric Ollivier <cedric.ollivier@orange.com>

Apex: Refactor snapshot pipeline for other types

This patch changes snapshot related scripts to allow for more than just
the current snapshot type of "csit". This allows us to add other
snapshot types, including the functest type. The same
snapshot.properties file will be used to store information for all types
of snapshots. The snap cache folder structure will remain the same, but
hold different types of snapshots in the same folders.

These changes include renaming the URLs for the snapshot artifacts to
reflect the snapshot type, but remains backwards compatible until enough
promotions have occurred and other apex snapshot deployment scripts have
been migrated to the new format.

Change-Id: If3e47e700b5ad9c95418179042b85814fe389233
Signed-off-by: Tim Rozet <trozet@redhat.com>

Merge "Tagging SampleVNF stable/gambia branch for Gambia 7.0.0"

Add Promise gambia rtd job

Change-Id: I122523925a022efe04040a021deebb257109132c
Signed-off-by: Bertrand Souville <souville@docomolab-euro.com>

Tagging SampleVNF stable/gambia branch for Gambia 7.0.0

Change-Id: I6312e57c689519bdf65a562db85acfb443ac6c68
Signed-off-by: Deepak S <deepak.s@linux.intel.com>

Merge "Add Clover gambia rtd job"