Modify interactions with installer VM to set up jenkins-ci for cbench test

- was grabbing stackrc for SDN_CONTROLLER_IP, but it actually in overcloudrc
- need to skip hostkeychecking for scp operations
- change permissions and ownership of /tmp/.ssh/ files so jenkins-ci can
  take over as the user

Change-Id: I2d8f3aadfd6eff35a288a4e49eabb035bb2560ef
Signed-off-by: Jamo Luhrsen <jluhrsen@redhat.com>

Use cperf master branch even from apex danube

Change-Id: I2811165c71a115f4f97b7cbd6f0f40402aae5781
Signed-off-by: Jamo Luhrsen <jluhrsen@redhat.com>

Merge "jjb: xci: Fix permissions in workspace before removing it"

jjb: xci: Fix permissions in workspace before removing it

From time to time we end up in the unfortunate situation where
the jenkins job breaks for random reasons and the logs are left
with 'root' permissions. On the next run, the job fails again but
this time it's because Jenkins does not have enough permissions
to delete them. We workaround this by fixing up the permissions
before removing the workspace.

Change-Id: I2fda20ded527bac73605ffa5818a2c44bf6c9026
Signed-off-by: Markos Chandras <mchandras@suse.de>

KVMFORNFV:  Adding forbidden-file-paths.

This patch is used to disable strict-forbidden-file-verification and add
forbidden-file-paths so that kvmfornfv verify job will not be triggered
if the patch includes changes only to docs/

Change-Id: I03bf15aa354fda3c2003f59c5a8a6e1c741a6531
Signed-off-by: Gundarapu Kalyan Reddy <reddyx.gundarapu@intel.com>

Merge "xci: Fix grep, switch to opnfv playbook and log playbooks to console"

xci: Fix grep, switch to opnfv playbook and log playbooks to console

Change-Id: I4a576d45b71267f672e55c93e4f0c95410af019a
Signed-off-by: Fatih Degirmenci <fatih.degirmenci@ericsson.com>

Merge "functest: daily jobs: Increase timeout"

joid: disable dovetail jobs

Change-Id: I435ae5af78f259bb66a6104312b9bb5133ebeabc
Signed-off-by: Fatih Degirmenci <fatih.degirmenci@ericsson.com>

Change shell check name, as it's confusing

When you look at the build there is

opnfvdocs-verify-master (opnfvdocs project)
opnfv-docs-verify-master (releng project)

It's not clear on first glance which build does what.
change opnfvdocs-verify-{stream} to 'opnfvdocs-verify-shellcheck-{stream}'
change opnfvdocs-merge-{stream} to 'opnfvdocs-merge-shellcheck-{stream}'

Change-Id: I11927c9ac9b7ae6f9ae44660ea5008713a1b0a9f
Signed-off-by: Aric Gardner <agardner@linuxfoundation.org>

xci: Fix the script name and remove openstack services

Change-Id: I774e12f15561de75920ca50bcb2fbaf917e004a9
Signed-off-by: Fatih Degirmenci <fatih.degirmenci@ericsson.com>

xci: Logging, naming, and job updates

- adjust build blockers in daily jobs.
- explicity set SLAVE_LABEL for provision, deploy, and functest jobs
so they run on correct nodes even if they are started manually.
- rename files and update scripts accordingly.
    osa_deploy.sh -> osa-deploy.sh
    targethost_configuration.yml -> configure-targethosts.yml
    jumphost_configuration.yml -> configure-xcimaster.yml
- add/fix console logging in osa-deploy.sh.
- add license header to osa-deploy.sh.

Change-Id: I57a37dccaa4bcda554ef79969e5d288b49937807
Signed-off-by: Fatih Degirmenci <fatih.degirmenci@ericsson.com>

xci: Updates to releng/osa to make it work on Jenkins

- change OSA_BRANCH to OPENSTACK_BRANCH to be consistent everywhere.
- create opnfv-setup-openstack.yml playbook, getting rid of some components
and copy it to xcimaster to use during the deployment.
- switch to opnfv-setup-openstack.yml from setup-openstack.yml.
- create Jenkins job wrapper to execute osa deploy script.
- disable ansible strict host key checking.
- use sudo -E as needed in order to make env vars set by Jenkins
job and wrapper available to other scripts and to ansible.
- rename jumphost to xcimaster so people do not mix it with actual
jumphost located in Pharos PODs.
- other minor fixes.

Change-Id: I5736fa700c2aa39c598d301bc74450d766b74411
Signed-off-by: Fatih Degirmenci <fatih.degirmenci@ericsson.com>

xci: Updates to releng/bifrost to make it work on Jenkins

- get rid of BAREMETAL_DATA_FILE and use BIFROST_INVENTORY_SOURCE
so it works both for master and ocata for osa-bifrost.
- set BIFROST_INVENTORY_SOURCE file according to branch bifrost is
executed from for osa-bifrost.
- explicitly set what the SSH public key file is as ansible copies
the wrong public key to nodes if bifrost is executed on Jenkins
using sudo.
- set branches if they are not set so the scripts can be used manually
as well.
- rename jumphost to xcimaster so people do not mix it with actual
jumphost located in Pharos PODs.

Change-Id: Iff7631fa99816ad75316b62c5ac20714f67cd86a
Signed-off-by: Fatih Degirmenci <fatih.degirmenci@ericsson.com>

functest: daily jobs: Increase timeout

Armband Functest jobs timeout sometimes, mostly because of failing
tests which time out individually, adding to more than 180 min.

Therefore, increase the job timeout to 240 min.

Change-Id: I4829e14785f5dd7297f28dde436d5149a896d419
Signed-off-by: Alexandru Avadanii <Alexandru.Avadanii@enea.com>

jjb: xci: Fix trigger for cleanup jobs

Trigger should only run on change-merged and change-abandonded
The documentation could be imporved more explicitly here:
https://docs.openstack.org/infra/jenkins-job-builder/triggers.html#trigger-on
but the modified lines do not take true or false they stand alone

Fixes: ea33eda6954a ("jjb: infra: bifrost-cleanup-job: Do not trigger on new patchsets")
Fixes: f6bba721fd13 ("jjb: infra: bifrost-cleanup-job: Do not trigger on patchset creation")
Change-Id: Ibc574220ea86c5a039855d6f4fe35eef0aac7e0e
Signed-off-by: Aric Gardner <agardner@linuxfoundation.org>
Signed-off-by: Markos Chandras <mchandras@suse.de>

No longer needed, moved logic to docs-rtd.yaml

Change-Id: I2b8ad2ab185074047ce7267cbedf1dbd70b16535
Signed-off-by: Aric Gardner <agardner@linuxfoundation.org>

Remove cloning

Change-Id: Idd7c48095f74985a129b968b320b99d1bc606b58
Signed-off-by: ShubhamRathi <shubhamiiitbackup@gmail.com>

Remove default project off merge job

Danube's merge job was failing because
releng was given as the default project
to clone.

Change-Id: I57b40f37bf4a2c07ef5e566209f881be3c411975
Signed-off-by: ShubhamRathi <shubhamiiitbackup@gmail.com>

Merge "xci: Remove obsolete bifrost dib ELEMENTS_PATH"

Merge "[qtip]refactor validate job"

xci: Remove obsolete bifrost dib ELEMENTS_PATH

Change-Id: I7baa0db9c8193e4041883d5997529df98919c7af
Signed-off-by: Fatih Degirmenci <fatih.degirmenci@ericsson.com>

[qtip]refactor validate job

- only keep the builder "qtip-validate-deploy", remove the others
- add scenario info in qtip-validate-jobs.yaml
- add some print info in validate-deploy.sh
- a related modification in fuel jjb file

Change-Id: Iff884f273eea5c6aac64e09cfffcedc7481b47e9
Signed-off-by: wu.zhihui <wu.zhihui1@zte.com.cn>

Merge "xci: Enable VM provisioning using bifrost for daily runs"

Merge "qtip: set CI_DEBUG to false"

qtip: enable stable docker image build

Change-Id: I38fd97bff3aa1c966f9267d96e3b0cbabbf1f4a6
Signed-off-by: Yujun Zhang <zhang.yujunz@zte.com.cn>

Add mapping of intel-pod2 to apex with danube

Change-Id: I64019e8a80fe5c7605363b987a57fc6393ee1813
Signed-off-by: Jamo Luhrsen <jluhrsen@redhat.com>

Add danube for available cperf streams

Change-Id: I9b21f77ae5faf87e4bbb24f3b02d9169fe17eee6
Signed-off-by: Jamo Luhrsen <jluhrsen@redhat.com>

qtip: set CI_DEBUG to false

otherwise the insecure key will be left in server

Change-Id: I2bae0c16e8da05d68d53cb5624a6660053c80756
Signed-off-by: Yujun Zhang <zhang.yujunz@zte.com.cn>

Merge "qtip: fix daily job failure"

Merge "prototypes: fix yamllint issues"

Merge "prototypes: fix yamllint issues"

xci: Enable VM provisioning using bifrost for daily runs

- create script to provision VMs (log upload is not enabled yet)
- remove leftover inventory files (baremetal.csv, baremetal.json)
- set BIFROST_INVENTORY_SOURCE as needed by stable/ocata
- rename playbook used during bifrost and adjust scripts using it
- remove puppet-infracloud stuff

Change-Id: I1c4412d0725c00ab9a1b3497e358d33998b4e7e6
Signed-off-by: Fatih Degirmenci <fatih.degirmenci@ericsson.com>

joid: Disable auto-triggers for ONOS scenarios

Change-Id: I65ffee9cac42c33cfc923b67c8020bac6cc19da6
Signed-off-by: Fatih Degirmenci <fatih.degirmenci@ericsson.com>

qtip: fix daily job failure

Parameter BRANCH is not correct in danube daily job[1]: expected `stable/danube`, actual `danube`

The following corrections are made as an attempt to fix this issue

- enable CI_DEBUG for additional information
- inline qtip-common-parameters

[1]: https://build.opnfv.org/ci/view/qtip/job/qtip-daily-fuel-zte-pod3-danube/7/parameters/

Change-Id: Ia892371925ffdb817d663c134d16e4568c07dff7
Signed-off-by: Yujun Zhang <zhang.yujunz@zte.com.cn>

Merge "xci: Create jobs for stable/ocata"

Merge "[fuel]reschedule on ZTE POD3"

Merge "update qtip validate jobs"

xci: Create jobs for stable/ocata

Change-Id: Ie45900e1724d761d6f547b159f5ec276d705326b
Signed-off-by: Fatih Degirmenci <fatih.degirmenci@ericsson.com>

Merge "xci: Create skeletons for jobs and rename directory"

Merge "prototypes: bifrost: destroy-env: Delete nodes from vbmc"

xci: Create skeletons for jobs and rename directory

This patch
- creates job skeletongs based on the structure of other OPNFV jobs
    upstream job per scenario triggering and controlling the downstream jobs
    downstream jobs to run provisioning, deployment and functest
- renames infra directory to xci

Change-Id: I9a7ac3590d660f4270ab387598586e4270787ecb
Signed-off-by: Fatih Degirmenci <fatih.degirmenci@ericsson.com>

KVMFORNFV: Enabling triggers for kvmfornfv scenarios.

This patch includes resource allocation/time-slots for kvmfornfv
os-nosdn-kvm_ovs_dpdk-ha, os-nosdn-kvm_ovs_dpdk_bar-ha,
os-nosdn-kvm_ovs_dpdk-noha and os-nosdn-kvm_ovs_dpdk_bar-noha
scenarios on Danube branch.

Change-Id: Ib8250075a43dec60be398ce9ee4152b97b7c6796
Signed-off-by: Navya Bathula <navyax.bathula@intel.com>

prototypes: bifrost: destroy-env: Delete nodes from vbmc

Upstream commit 12376b958e76 ("Use virtualbmc for virtual BM nodes")
moved the VM IPMI management from the ssh drivers to the vbmc one.
As a result, we need to clear all the nodes from vbmc during cleanup.

Change-Id: I2a4e7233874c4fad8df525c8f7b526df17a8211f
Signed-off-by: Markos Chandras <mchandras@suse.de>

Merge "Read OSA_BRANCH from an env var"

bifrost: Create bifrost script for openstack-ansible

This change creates a separate script to provision 6 VMs for HA
to use for openstack-ansible.
- create 1 jumphost, 3 controller, 2 compute
- set the mumber of vCPU to 8
- use 16GB RAM per VM
- use xenial and add additional packages required by openstack-ansible

Change-Id: I858340c5bd13a1cd35cf4334ab2b8c362c5c5e7f
Signed-off-by: wutianwei <wutianwei1@huawei.com>
Signed-off-by: Fatih Degirmenci <fatih.degirmenci@ericsson.com>

multisite: Fix GS_PATH

Change-Id: I5c93950a12c284d5e560e813891283aaf3638fd4
Signed-off-by: Fatih Degirmenci <fatih.degirmenci@ericsson.com>

multisite: Switch to latest fuel deploy and create danube jobs

Change-Id: I93339884bd604da2314e32dfe7cbf25b21c67537
Signed-off-by: Fatih Degirmenci <fatih.degirmenci@ericsson.com>

Read OSA_BRANCH from an env var

Currently the OSA_BRANCH was sent in the deploy script,
but not being picked by ansible. Enable this OSA_BRANCH in
ansible, that will read from the populated env var in the
deploy script.

Change-Id: I77cffaee647a6f2a67baa49b1ddf022061398d86

update qtip validate jobs

- since zte pod2 is used for daisy, move qtip job to zte pod1
- add danube trigger

Change-Id: Id0bdc5e791d3ed33a4f48d46b51823672794d2dc
Signed-off-by: wu.zhihui <wu.zhihui1@zte.com.cn>

[fuel]reschedule on ZTE POD3

Change-Id: I52bc5bc4c8207b71ebad038c584874adebad3ec5
Signed-off-by: wu.zhihui <wu.zhihui1@zte.com.cn>

Merge "fuel: fix daily build without properties file"

Merge "Add new testcases in reporting page"

Merge "Fix trigger for validate tasks"

Merge "qtip: adapt job template for different streams"

Apex: disable daily master

Change-Id: Ia6cbcf2b4014f456916fc4971050e8a244b25e81
Signed-off-by: Tim Rozet <trozet@redhat.com>

APEX: Remove dovetail build temporarily

Change-Id: I45353b59bb13b49e8c81eb3e372672767d27d1d0
Signed-off-by: Feng Pan <fpan@redhat.com>

Apex: baremetal to use vfio-pci driver, adds nosdn-fdio to daily

Change-Id: I298b09f654dfe5efa64df9dc287fd586fcdf131d
Signed-off-by: Tim Rozet <trozet@redhat.com>

fuel: fix daily build without properties file

For the first time the daily build is ran, the properties file
for the latest ISO built is not present.

JIRA: FUEL-262

Change-Id: I842668bfde4c84cd3ba31571df274633ae238a90
Signed-off-by: Alexandru Avadanii <Alexandru.Avadanii@enea.com>

Merge "[fuel] Disable onos runs for danube"

Merge "Adds cronjob for filling vnf table row entries"

Merge "Add vnf, tag create & Associate Plugins"

Merge "utils: fix yamllint issues"

Merge "utils: fix yamllint issues"

Merge "Add jobs to use the aarch64 jenkins slave"

Add stable-danube to doc job

Change-Id: I8375e4bc2c43e5a7b1c537da409de69609229c9d
Signed-off-by: ShubhamRathi <shubhamiiitbackup@gmail.com>

Merge "Change cperf apex deploy to use odl_l3-nofeature-noha"

Merge "Add support for enum & expand vnf_catalogue schema"

Change cperf apex deploy to use odl_l3-nofeature-noha

Change-Id: I622eb6677423581ab842a169480d91e21965b265
Signed-off-by: Jamo Luhrsen <jluhrsen@redhat.com>

Add jobs to use the aarch64 jenkins slave

arm-pod3-2 is an aarch64 jenkins slave for the same POD as the existing
x86 jenkins slave arm-pod3. This commit adds jobs so we can deploy the
POD and run functest from the aarch64 jenkins slave.
These jobs are non-ci

JIRA: ARMBAND-241

Change-Id: Ie3b808a641e44649c02f3b75c83d79119217fdfe
Signed-off-by: Cristina Pauna <cristina.pauna@enea.com>

Add new testcases in reporting page

- FDS
- Refstack
- opera_ims
- vyos-vrouter

Change-Id: I42a323a1f466b0ba11e61bb287b8b283e4759c09
Signed-off-by: Morgan Richomme <morgan.richomme@orange.com>

Merge "[compass] adaption for danube"

[compass] adaption for danube

Change-Id: I486c94bd85574140069b4854e93f7a458a8c6885
Signed-off-by: meimei <meimei@huawei.com>

Add vnf, tag create & Associate Plugins

Adds support for accessing database, plugin to create tags and
vnfs and make association between them. Also adds autocomplete feature
to vnf-tag association.

Change-Id: Id55f998df68ae5e6e6fd298c6393b3500777468a
Signed-off-by: Kumar Rishabh <shailrishabh@gmail.com>

Use odl_l3-csit-noha scenario for apex cperf runner

Change-Id: I57c7a06f8a0d89c6238d1d25908786466fa1bff2
Signed-off-by: Jamo Luhrsen <jluhrsen@redhat.com>

jjb: infra: bifrost-cleanup-job: Do not trigger on new patchsets

Commit f6bba721fd13 ("jjb: infra: bifrost-cleanup-job: Do not trigger on
patchset creation") changed the job to not trigger on new patchsets but
this does not work as expected because it seems that the default value
for this option is 'true'. Set 'patchset-uploaded-event' to 'false' in
order to really disable that trigger.

Fixes: f6bba721fd13 ("jjb: infra: bifrost-cleanup-job: Do not trigger on patchset creation")
Change-Id: Id19474511f37ebd13d1933f5d13f185dc5c8e3c9
Signed-off-by: Markos Chandras <mchandras@suse.de>

prototypes: fix yamllint issues

Linting openstack-ansible files

Change-Id: Id9e3ffa7753f25cd57c4d706b26cbb76d0bd99c7
Signed-off-by: Jessica Wagantall <jwagantall@linuxfoundation.org>

prototypes: fix yamllint issues

Linting puppet-infracloud files

Change-Id: I37ccf9537a8d56e8209c6dbf17a62901d1cc441c
Signed-off-by: Jessica Wagantall <jwagantall@linuxfoundation.org>

jjb: Set disable-strict-forbidden-file-verification to 'true'

Previously, if an upstream patchset contained a change for a file
listed in 'forbidden-file-paths' the job would not be triggered. This
is not desirable since such a patchset may contain important changes so
we enable the 'disable-strict-forbidden-file-verification' option which
triggers the job unless the patchset only contains changes for the
files listed in 'forbidden-file-paths'.

Note: The diff was generated using the following script:
for i in $(grep -l -r forbidden-file-paths *);do sed -i "s/\(^.*\)forbidden-file-paths/\1disable-strict-forbidden-file-verification: \'true\'\n&/" $i; done
Please double check that the changes look sensible for each team's project.

Change-Id: Ifa86d3a39b36375b2fd52b449e29c8dc757499b4
Signed-off-by: Markos Chandras <mchandras@suse.de>

Trigger docs verify for all changes under docs/

This should be the same as docs merge

Change-Id: Ib65e4dca130369e8372cfda433d4158393e67d3f
Signed-off-by: Aric Gardner <agardner@linuxfoundation.org>

Adds cronjob for filling vnf table row entries

It uses github api calls to fill no_of_developers, no_of_stars and
versions entry. It is a bit hacky as it sets some parameters and parses
the header link line to get the number.
TODO lines_of_code entry as it is not provided directly by github api.

Change-Id: I6cba54ad48fbb6aa5f4823100a426abbb82fc447
Signed-off-by: Kumar Rishabh <shailrishabh@gmail.com>

Modify triggers for armband danube jobs

This commit rebalances the nr of runs between master and danube branch
for CI jobs

JIRA: ARMBAND-238

Change-Id: I541ddf3974680096d503829b279cb26ab76577bc
Signed-off-by: Cristina Pauna <cristina.pauna@enea.com>

[fuel] Disable onos runs for danube

Change-Id: I8b1a4291cd1e0167aad3e9341bb95c42f338caeb
Signed-off-by: Michael Polenchuk <mpolenchuk@mirantis.com>

Merge "Allow creation of Dockerfile.aarch64 through patch"

vswitchperf: Fix Danube VERIFY and MERGE jobs

VSPERF VERIFY and MERGE jobs should be executed at opnfv-build-ubuntu.
Only daily job should be executed at intel-pod12. Configuration of
Danube jobs was fixed to use the same executors as master branch.

Change-Id: I95a12c7d828eb840c177d3e8114ed81b342b9427
Signed-off-by: Martin Klozik <martinx.klozik@intel.com>
Reviewed-by: Aric Gardner <agardner@linuxfoundation.org>
Reviewed-by: Fatih Degirmenci <fatih.degirmenci@ericsson.com>

Merge "Update reporting page for Danube"

Fix trigger for validate tasks

Change-Id: If21b82c06ff38a52f70e502b49aa08dae8c2aad5
Signed-off-by: Yujun Zhang <zhang.yujunz@zte.com.cn>

qtip: adapt job template for different streams

Change-Id: Ia414071cccafe3f255d09555d83a04bc6600ffcd
Signed-off-by: Yujun Zhang <zhang.yujunz@zte.com.cn>

Add support for enum & expand vnf_catalogue schema

Adds support for enum and expands the vnf_catalogue schema.

Change-Id: Ifa2be1a01ad8e12f5f34d6472976f2a862189d48
Signed-off-by: Kumar Rishabh <shailrishabh@gmail.com>

utils: fix yamllint issues

Linting lab-reconfiguration files

Change-Id: I7e7dd8dc8653b2ace8f37591dd5ec190899ac256
Signed-off-by: Jessica Wagantall <jwagantall@linuxfoundation.org>

utils: fix yamllint issues

Linting utils/test yaml files

Change-Id: Id239cb2e2b2c4658dedfc187b7784b0302701700
Signed-off-by: Jessica Wagantall <jwagantall@linuxfoundation.org>

Merge "Enable Danube Jobs"

Enable Danube Jobs

Here are the projects that were branched:
I will double check against this list that these changes make sense
and that no one is missing  as I go forward.

wiki page of participating projects, and their jobs:
https://wiki.opnfv.org/display/SWREL/Milestone+Compliance+for+Danube

apex              -     already enabled
armband           -     done
availability      -     already enabled
barometer         -     done
bottlenecks       -     already enabled
compass4nfv       -     done
copper            -     already enabled
daisy             -     (not  participating  --  keep  jobs  disabled?)
doctor            -     already enabled
domino            -     already enabled
fds               -     N/A
fuel              -     done
functest          -     already enabled
ipv6              -     already enabled
joid              -     done
kvmfornfv         -     already enabled
models            -     already enabled
multisite         -     done
netready          -     NOT DONE
opera             -     NOT DONE
opnfvdocs         -     done
orchestra         -     Not participating
onosfw            -     done
ovsnfv            -     done
parser            -     N/A
promise           -     already enabled
qtip              -     already enabled
sdnvpn            -     N/A
snaps             -     done
securityscanning  -     N/A
sfc               -     N/A
storperf          -     done
ves               -     already enabled
vswitchperf       -     already enabled
yardstick         -     already enabled

Change-Id: I803662faf05c8554cfe7fa5f85da9521f72b03ff
Signed-off-by: Aric Gardner <agardner@linuxfoundation.org>

Enable docker build jobs for stable/danube

Change-Id: Ife9dae40246558b3219b4e194680e7428270df14
Signed-off-by: Fatih Degirmenci <fatih.degirmenci@ericsson.com>

Fix the RELEASE_VERSION unbound issue

'RELEASE_VERSION: unbound variable' popped up when building stable docker image

Change-Id: I5d4582aea2f154e0bc34cdccdd05b9df64032ed2
Signed-off-by: helenyao <yaohelan@huawei.com>

Merge "[qtip]execute compute qpi in qtip daily job"

[qtip]execute compute qpi in qtip daily job

- Execute compute qpi in qtip daily job.
- delete unuse parameter
- add CI_DEBUG parameter

Change-Id: I0e429703b7d1ac8cc7fda2ec888de789b57a5e50
Signed-off-by: wu.zhihui <wu.zhihui1@zte.com.cn>

Merge "Add logic to allow ODL Cbench suite to run from docker container"

Apex,Functest: Create correct danube functest jobs for Apex

Also adds odl_l3-fdio-noha to daily job for Apex

Change-Id: I4732f8b905d0908124c2c65cd2ad3af92262d4b5
Signed-off-by: Tim Rozet <trozet@redhat.com>

Update reporting page for Danube

- add danube in config to generate results
- create new web pages for Euphrates (master)

Change-Id: I11b3f37a0f6040a3d0c18820a08a9d6fb7ebe036
Signed-off-by: Morgan Richomme <morgan.richomme@orange.com>