Prepare integration of daisy and dovetail

JARA: DAISY-76

1. add daisy adapter in releng utils and modules
2. add daisy adapter in dovetail jjb script
3. support id_dsa as ssh key

Change-Id: I15a1c0cfcc17ae1fe6b7020f674b8bbbb72f4a7a
Signed-off-by: Alex Yang <yangyang1@zte.com.cn>

Merge "Create dovetail-docker-build-stable job"

Merge "create dovetail-merge-danube and dovetail-verify-danube jobs"

jjb: xci: Do not trigger the CI when patchset modifies the CI VM

The scripts in xci/scripts/vm are used to manage the VM on the CI so
we shouldn't blindly test a patch that modifies them. It's better to
use manual inspection since that script rarely changes anyway.

Change-Id: I48d81f984a1a8d1500be2cc74ea79420962b9a15
Signed-off-by: Markos Chandras <mchandras@suse.de>

Merge "xci: Use custom-url for readable CI reports"

xci: Use custom-url for readable CI reports

Change-Id: I97d8fac47ec25414045a7761b651019f9f89224f
Signed-off-by: Markos Chandras <mchandras@suse.de>

Merge "Update the fuel ci job on zte pods"

create dovetail-merge-danube and dovetail-verify-danube jobs

Dovetail has a branch stable/danube now, so it needs to add the verify jobs
on branch stable/danube.

JIRA: DOVETAIL-577

Change-Id: Ifd2622d58439b6794f6b0f2e636142d4e7d1ac5e
Signed-off-by: xudan <xudan16@huawei.com>

Merge "Add 'docker' string to functest docker build names"

jjb: xci: Use the correct SSH configuration file

We need to use the XCI specific SSH configuration file so rsync can
tranfer the working directory to the virtual machine. This also
drop the ironic command like we do in the XCI jobs.

Change-Id: I10ce38db6777d5dbfbe62961c88b3902de2160e2
Signed-off-by: Markos Chandras <mchandras@suse.de>

Merge "Add separate builders for Yardstick project jobs"

Merge "Increase Functest jjob timeouts"

Increase the timeout of Compass Deploy

Change-Id: I6f3ef41585560559d28bb15d3825bedaad2ef976
Signed-off-by: wutianwei <wutianwei1@huawei.com>

Increase Functest jjob timeouts

Functest has multiplied the testcases and integrates several ones
which are growing (e.g. snaps).

4 hours is reached if snaps or one vnf testcase fails (20 minutes).

https://build.opnfv.org/ci/view/functest/job/functest-compass-baremetal-daily-master/1695/console

Change-Id: I5e8b744d35b5253f6e7ac1310286ae374de1943b
Signed-off-by: Cédric Ollivier <cedric.ollivier@orange.com>

Merge "[Compass4nfv]change the timeout of verify"

Merge "Allow intel-pod18 to push results to the DB"

Merge "[Compass4nfv] add nosdn-bar-ha scenario"

Merge "[Compass4nfv] run centos in intel-pod17"

Merge "Enable jobs on compass Master and Euphrates"

Create dovetail-docker-build-stable job

1. Dovetail first release is based on OPNFV danube release.
2. Dovetail has the branch stable/danube now.
3. It needs to automatically triggle dovetail-docker-build-stable job
   when there is a patch cherry picked to this stable branch.

JIRA: DOVETAIL-576

Change-Id: I58a639cd8208e40099c6481085d1f450c89b2523
Signed-off-by: xudan <xudan16@huawei.com>

[Compass4nfv]change the timeout of verify

Change-Id: Id854f0ccbfd112c43ba1257d8b87994b20f838a9
Signed-off-by: wutianwei <wutianwei1@huawei.com>

[Compass4nfv] add nosdn-bar-ha scenario

Change-Id: Iaf4cc72fe31bbf6f7d492e33c33abf056ccafcf4
Signed-off-by: wutianwei <wutianwei1@huawei.com>

Allow intel-pod18 to push results to the DB

Change-Id: I54447764996a4e2bb303a9e71cc525e999c1bdd5
Signed-off-by: Jose Lausuch <jalausuch@suse.com>

Enable jobs on compass Master and Euphrates

Dovetail now have jobs on Compass danube on huawei-pod7.
Add jobs on Compass master and euphrates.
Scenario os-nosdn-nofeature-ha and os-odl_l3-nofeature-ha.

JIRA: DOVETAIL-574

Change-Id: I502c59365248122480cdb5be2bb79582150591e4
Signed-off-by: xudan <xudan16@huawei.com>

Merge "[Compass] change the trigger time once every two days"

Merge "Remove Matthew Lijun as committer"

Merge "Email a monthly repo archives link to OPNFV Legal"

Prune docker images on ericsson-build3

This patch removes ericsson-build5 as well since that machine
does not exist anymore.

Change-Id: I7598e5fff166e29ecf4fcd18bebc6d2e3b9be9ed
Signed-off-by: Fatih Degirmenci <fdegir@gmail.com>

[Compass] change the trigger time once every two days

Change-Id: I458d00a57d121c3a712d696ef5f703b527dbe3a0
Signed-off-by: wutianwei <wutianwei1@huawei.com>

Merge "enable dovetail to run on APEX bgpvpn scenario"

Add 'docker' string to functest docker build names

This will make it a little easier to track all our docker builds and
clarify what these specific builds do.

Change-Id: I92a60055af1153991877373550ea1a6f3e86682d
Signed-off-by: Trevor Bramwell <tbramwell@linuxfoundation.org>

Update the fuel ci job on zte pods

- Delete Danube job on zte-pod1
- Modify the triggers on zte-pod1
- Delete master and Euphrates job on zte-pod3

Change-Id: I034dc3b968ee9255aa014c28dc08237fc0803d32
Signed-off-by: zhihui wu <wu.zhihui1@zte.com.cn>

Revert "functest-docker: Build all images on same host"

This reverts commit d7ed45793e56243d63da12f184db96731d1d6a1c.

Change-Id: Ie7cc94419969e5c95abd227ff0f159f0683c4386

functest-docker: Build all images on same host

Change-Id: I6ba2666a0dbec23c7a854c030113b809bd9a328a
Signed-off-by: Fatih Degirmenci <fdegir@gmail.com>

Merge "Filter out added/modified *.ipynb for preview job"

[Compass4nfv] run centos in intel-pod17

Change-Id: Ifbe959d178781c14a9d32db78d84972d2505c8dc
Signed-off-by: wutianwei <wutianwei1@huawei.com>

enable dovetail to run on APEX bgpvpn scenario

Since only APEX has the bgpvpn scenario in Euphrates, enable run dovetail
on Apex euphrates scenario os-odl-bgpvpn-ha to test sdnvpn test cases.

JIRA: DOVETAIL-568

Change-Id: Ic7c880a5ef911fac17807e19484f937bdaa53e21
Signed-off-by: xudan <xudan16@huawei.com>

Remove Matthew Lijun as committer

Matthew Lijun moved to a new employer which is not a member to OPNFV
requiring Matthew to sign individual CLA. This has not happened over
the past weeks which needs us to take action to initiate committer
removal process.

Change-Id: I17081aaffae72e01e98814defe062accac0a4739
Signed-off-by: Fatih Degirmenci <fdegir@gmail.com>

Merge "Don't verify Danube and verify Euphrates"

Merge "[Compass4nfv] upgrade OpenStack Pike version"

Filter out added/modified *.ipynb for preview job

deleted file can not be previewed

Change-Id: Ic860baf0deeb574e20067bdae230cb7ef22d7458
Signed-off-by: Yujun Zhang <zhangyujun@gmail.com>

Merge "jjb: xci: xci-verify-jobs: Fix block on bifrost jobs"

Merge "Add pod info in the job's name"

Add separate builders for Yardstick project jobs

Added separate builders for Yardstick project jobs, in order
to test each context individually. The new builders are:
  - Unit tests in Python 2.7
  - Unit tests in Python 3
  - Functional tests in Python 2.7
  - Functional tests in Python 3
  - Coverage tests
  - Style guidelines (PEP8) tests

JIRA: YARDSTICK-877

Change-Id: I625a956bdaad88277b6ba36852639f23c8cda198
Signed-off-by: Rodolfo Alonso Hernandez <rodolfo.alonso.hernandez@intel.com>

Add pod info in the job's name

Same with the patch https://gerrit.opnfv.org/gerrit/#/c/47541/

Change-Id: Ide8e125731de046793326e5a8d8ef373b4fdad19
Signed-off-by: zhihui wu <wu.zhihui1@zte.com.cn>

Order euphrates build alphabetically

Change-Id: I32506e0cad8215e0b16814035b9faec3a86ec4b5
Signed-off-by: Yujun Zhang <zhangyujun@gmail.com>

Merge "opnfv-docker: add barometer"

Email a monthly repo archives link to OPNFV Legal

Each month we are asked for a copy of all the repositories for license
scanning. Sending out a link to this archive will save them from having
to ask.

Change-Id: I2f51688049b08a556f6bc8d8b098165c0ba281d8
Signed-off-by: Trevor Bramwell <tbramwell@linuxfoundation.org>

Merge "Fix Cron timing for JOID OpenBaton Jobs"

Fix Cron timing for JOID OpenBaton Jobs

There is no '25' hour in the day, so scheduling these for '23' should
ensure they're triggered after all the other jobs, and keep Jenkins from
complaining about the syntax.

Change-Id: I6c51b15fec09679a7504c060cdbca9d6f9f0ca92
Signed-off-by: Trevor Bramwell <tbramwell@linuxfoundation.org>

Merge "jjb: xci: bifrost-verify.sh: Do not build OS images"

barometer: bugfix missing script

Update job to check for missing RPMs and block the artifact upload if there is
an issue.

Change-Id: I8230e82e7bc7c92bd5e87a8c15867ad311089790
Signed-off-by: Maryam Tahhan <maryam.tahhan@intel.com>

allow zte-pod3 pushing results to artifacts

Change-Id: I72d93cc6a6e73b9fd91b3a1777dbf0dfe25a0b22
Signed-off-by: SerenaFeng <feng.xiaowei@zte.com.cn>

jjb: xci: bifrost-verify.sh: Do not build OS images

Use the images we provide in artifacts.opnfv.org instead of
building new ones on every CI run. Moreover, enter the correct
directory before executing the CI script.

Change-Id: Iffa0080ab8f746344aa13bca6a26395a8a0953f2
Signed-off-by: Markos Chandras <mchandras@suse.de>

jjb: xci: xci-verify-jobs: Fix block on bifrost jobs

The bifrost jobs are normally named 'openstack-bifrost-...' so
fix the regexp to look for proper bifrost job patterns.

Change-Id: Ie1823e942a201485aa5fbad4bde27653823d849b
Signed-off-by: Markos Chandras <mchandras@suse.de>

Update Releng Testresults PTL Macro

Send emails to Serena after weekly Anteater scans on the
releng-testresults repository.

Change-Id: Ic4d61137ea8e30985f5330651e8d2da37b71fca3
Signed-off-by: Trevor Bramwell <tbramwell@linuxfoundation.org>

Merge "Clean Anteater Weekly Workspace after Emailing PTL"

jjb: xci: bifrost-verify: Simplify bifrost job

We no longer test OPNFV commits that affect bifrost since these are
being tested as part of the XCI jobs. As such, simplify the job to
only test incoming upstream patchsets. Moreover, we need to block
when an XCI job is running since both jobs run on the same hosts and
create the same VMs.

Change-Id: I5c11ae5b6a4d719ec41a6e663ddf6ecbd71ac1a5
Signed-off-by: Markos Chandras <mchandras@suse.de>

opnfv-docker: add barometer

Change-Id: I0f768c1350cd1f5d6613b93b34319e7a1c321a29
Signed-off-by: Maryam Tahhan <maryam.tahhan@intel.com>

Clean Anteater Weekly Workspace after Emailing PTL

The workspace is cleaned immediately after anteater is ran. This removes
the securityaudit.log which the emails to PTLs should contain.

Change-Id: I0afa4c69035e411aebe7cfea625ebafe5796d236
Signed-off-by: Trevor Bramwell <tbramwell@linuxfoundation.org>

Fix Anteater Weekly Reporting Job

- Does not output the full scan to the console log
- Updates the email-ext defaults to include any *.log file in the root
  of the workspace. This should include securityaudit.log
- Adds 'GERRIT_REFSPEC' to the list of job parameters as required by
  'git-scm-gerrit'
- Fixes email-ptl macros so projects with extra repos have the proper
  recipients.

Change-Id: Ibf22bf0683fc1f88de07ef3bb4717769c6ea0174
Signed-off-by: Trevor Bramwell <tbramwell@linuxfoundation.org>

Merge "Email Weekly Anteater Reports to PTLs"

[Compass4nfv] upgrade OpenStack Pike version

Compass4nfv has supported OpenStack Pike version
switch the master to run Pike version

Change-Id: I69b5ec54d0e7479fabfe4c2e06d916472427bdb1
Signed-off-by: wutianwei <wutianwei1@huawei.com>

KVMFORNFV: Enable daily job

This patch is used to enable kvmfornfv daily job as Intel-pod10 is
available.

Change-Id: I515543606a89c322f453fddd076d7a121cab26c9
Signed-off-by: Navya Bathula <navyax.bathula@intel.com>

Merge "Enable Dovetail Euphrates CI Jobs"

Apex: enables daily master every other day

Change-Id: I2f6e54badddf234fb781adc49b8395ac0144da06
Signed-off-by: Tim Rozet <trozet@redhat.com>

Revert "jjb: xci: xci-verify-jobs: Enable tempest for XCI"

This reverts commit 130a166b57d708cadba8a5917eadf0025fc17c6b.

It was very optimistic to enable tempest in the CI jobs so disable
it until we understand the problems. They are most likely related
to limited HW resources but we need to confirm that.

Change-Id: Id9ff9a4ca047140341c98411c0c57243d47001a9
Signed-off-by: Markos Chandras <mchandras@suse.de>

Enable Dovetail Euphrates CI Jobs

Now there are no jobs on Euphrates for Dovetail.
Add them and test Dovetail against OPNFV Euphrates.

JIRA: DOVETAIL-567

Change-Id: I592a367821fcbe84e403d16d5b34bf5c6103f5af
Signed-off-by: xudan <xudan16@huawei.com>

Merge "compass: Build Docker images with jjb"

Email Weekly Anteater Reports to PTLs

Completely replaces the current weekly security scan job. Instead of
publishing weekly security scan reports they will be emailed to
individual project PTLs.

Uses a modified copy of 'anteater-security-audit.sh' to ensure the
security scan job is not affected in this change. A later change will be
made to merge the file back in and update the jobs. This is why
'anteater-parameters' are added to both jobs-templates.

Change-Id: Ia8ebffbfce7a2d4feb83ef68ff0ab0c7bb4d2104
Signed-off-by: Trevor Bramwell <tbramwell@linuxfoundation.org>

Remove ODL+FDIO scenarios in Euphrates daily

These scenarios will not be part of 5.1 release.

Change-Id: Ied91df7379705414850cda504842ecef2b3c7e0b
Signed-off-by: Tim Rozet <trozet@redhat.com>

fix workspace permission for container4nfv

Change-Id: I1961d4740988278ef771b83635cf2b8a0cb2bc73
Signed-off-by: Guo Ruijing <ruijing.guo@intel.com>

Merge "Move check-jinja2 jenkins job to pharos project"

Fix Doctor run on 'doctor-{installer}-verify' slave

Change-Id: I65a2a3c6643cba870eec2f794199bb824c6b868c
Signed-off-by: Delia Popescu <delia.popescu@enea.com>
Signed-off-by: Alexandru Avadanii <Alexandru.Avadanii@enea.com>

Move check-jinja2 jenkins job to pharos project

Securedlab will be going away now that we can encrypt strings
(eyaml)

we need to check jinja2 PDF templates that will be moving into pharos
This adds a jenkins job to check those templates

After This change and https://gerrit.opnfv.org/gerrit/#/c/47735/ are merged
I can start moving pdf files into the pharos repo

Once this is complete I can remove check-jinja2 job from securedlab.
Eventually decommissioning the securedlab repo

Change-Id: I623b7d8eb78438a8a24307ff0b3a1966c33cd7cf
Signed-off-by: agardner <agardner@linuxfoundation.org>

Merge "jjb: xci: xci-verify-jobs: Enable tempest for XCI"

Merge "Fix Couldn't find remote ref $GERRIT_REFSPEC"

jjb: xci: xci-verify-jobs: Enable tempest for XCI

Set RUN_TEMPEST=true so we can tempest when running XCI CI
jobs.

Change-Id: I3f7617e20dc4f4c1ba9a1e9016eef125c924e7b7
Signed-off-by: Markos Chandras <mchandras@suse.de>

Merge "[Functest] Remove prepare_env from the docker cmds"

Fix Couldn't find remote ref $GERRIT_REFSPEC

JIRA: ARMBAND-305

Change-Id: Ic01d7d46375a27160e583e07ea96c60fa68f8c71
Signed-off-by: Delia Popescu <delia.popescu@enea.com>

[Functest] Remove prepare_env from the docker cmds

When [1] is merged, prepare_env won't exist and the call
will fail. Keeps the former call until Euphrates jobs
are stopped.

[1] https://gerrit.opnfv.org/gerrit/#/c/47267/

Change-Id: Ia41906f9e8ee15409cb28bb9bb621a7ab1964eee
Signed-off-by: Jose Lausuch <jalausuch@suse.com>

Merge "Bugfix: Dovetail failed on Compass master because of lacking cacert"

Merge "Bugfix: HA failed on Compass master because of lacking pod.yaml"

doctor: Fix AArch64 phase jobs not found

Change-Id: Iefb3a889302ecbf3b69529405543908880fad87f
Signed-off-by: Alexandru Avadanii <Alexandru.Avadanii@enea.com>
Signed-off-by: Delia Popescu <delia.popescu@enea.com>

Merge "Enlarge the timeout for storage test"

Bugfix: Dovetail failed on Compass master because of lacking cacert

Dovetail daily jobs on Compass failed because of lacking os cacert file.
Add the cacert file path into env_config.sh and copy cacert file to pre_config/.

JIRA: DOVETAIL-564

Change-Id: I23506bf3dea7ad3e82bd826f4ea344f6ddd99cac
Signed-off-by: xudan <xudan16@huawei.com>

Bugfix: HA failed on Compass master because of lacking pod.yaml

The module in releng which used to get all the pod info of each installer
can't work on Compass master.
Create a pod.yaml file for Compass master to ensure HA test cases can be
executed successfully.

JIRA: DOVETAIL-565

Change-Id: I86cbb4fb07b87b99bf1465d57a76b23e1159ec9f
Signed-off-by: xudan <xudan16@huawei.com>

Merge "added for master branch and new scenarios."

added for master branch and new scenarios.

Change-Id: I78ef43217896d2f7daa4df1a665c7be6bc14c088
Signed-off-by: Narinder Gupta <narinder.gupta@canonical.com>

Merge "Add the pod info to the job name"

Clean Functest images for CI jobs on ARM

Change-Id: I3e9d8122bf67296d6270583efeda34ac64e21e68
Signed-off-by: Linda Wang <wangwulin@huawei.com>

Enlarge the timeout for storage test

It seems we need to give more time for storage test.
That job has been aborted by timeout those days.[1]

[1]
https://build.opnfv.org/ci/view/qtip/job/qtip-storage-apex-master/97/console

Change-Id: Iafef11d38a83c95e8bf82c4b6664716f4e8de535
Signed-off-by: zhihui wu <wu.zhihui1@zte.com.cn>

Add the pod info to the job name

Since fetch_os_creds.sh has a judgement with BUILD_TAG,
I add the pod info for it.

Change-Id: I248be530d15bb807dcf9fec1fe924d698a8f56ab
Signed-off-by: zhihui wu <wu.zhihui1@zte.com.cn>

compass: Build Docker images with jjb

JIRA: COMPASS-567

Add compass4nfv-docker.yml
compass-tasks-k8s and compass-tasks-osa are dependent on compass-compass-tasks.
So we have to phase to build docker images
phase 1. execute the multijob 'build compass-tasks images'
Only the phase 1 is successful then excute the phase 2
phase 2. execute the multijob 'build all compass images'

Modify the opnfv-docker.sh
1. Add a function remove_containers_images
2. call the remove_containers_images when beginning and finishing build
   to solve the problem of rmove of images due to dependancy

Change-Id: I66fb27260cf114da96417361e80c8183db3233bd
Signed-off-by: wutianwei <wutianwei1@huawei.com>

Merge "Remove 'utils/test' Directory and update INFO"

Allow pod ARM-POD6 to push logs to the artifacts

Change-Id: I4a637249a50b5c8e3fc344493622f85c3583a2f4
Signed-off-by: Delia Popescu <delia.popescu@enea.com>

Exposes GERRIT_REFSPEC parameter to build

This value is usually passed by parent jobs (daily, verify, etc), but
exposing it as parameter should allow us to build from JJB GUI.

Change-Id: I294fbcd200ff5d8bbfca77681296c6e59d7f0063
Signed-off-by: Tim Rozet <trozet@redhat.com>

Fixes load-balancing jobs for virtual verify

Issue where apex-virtual-master label node was being passed from verify
job to deploy/functest.  We allow multiple verify jobs to kick off on
virtual slaves, but then passing the host down to the deploy/functest
jobs causes the deploy/functest only run 1 job at a time on the same
node, rather than running 2 jobs at a time, one on each slave.

Change-Id: I1648eb6b84f17a2b08db4d161effe977c7952d63
Signed-off-by: Tim Rozet <trozet@redhat.com>

Merge "Point qtip-experimental-job to zte-virtual6"

Merge "[Functest] Switch ARM jobs to Alpine containers"