Apex: fixes dpdk jobs with ODL

Change-Id: I9c33e6661b2dce1b0e5a77d3ed47bf7eebd3bb2c
Signed-off-by: Tim Rozet <trozet@redhat.com>

Merge "Monkey patch paramiko _custom_start_client"

Monkey patch paramiko _custom_start_client

A quick fix for the Unexpected kw arg in _custom_start_client error.
Monkey patches this fix:
https://github.com/robotframework/SSHLibrary/pull/159/files

Change-Id: Iaca2c3cb402f1f24d096c947bec5cb3e6aaf77d6
Signed-off-by: George Paraskevopoulos <geopar@intracom-telecom.com>

xci: Enable node provisioning and shuffle/rename stuff

This change enables node provisioning using bifrost based on the chosen
flavor.

Other changes include
- move flavor specific stuff (playbooks, inventory, vars) into their own
folders so it is easier to copy them over.
- rename flavors and get rid of xci from them.
- introduce env-vars to keep variables that are not really user variables.

Please note that this patch contains empty files and so on due to still
trying to find best way to structurei things. Apart from this, there will
probably be lots of duplications here and there which will be taken care
of once things settle.

Change-Id: I04a5d422e5b018439bafea5e68e65255ae38d22b
Signed-off-by: Fatih Degirmenci <fatih.degirmenci@ericsson.com>

Merge "Avoid build conflicts in build server"

Apex: adds dpdk scenarios to daily

Change-Id: I0b0b33cf3021e2c0fb868eca749ab61eed7b3792
Signed-off-by: Tim Rozet <trozet@redhat.com>

Merge "xci: Set up the basics for xci developer sandbox"

Merge "xci: Configure ansible verbosity based on job type"

xci: Set up the basics for xci developer sandbox

This change creates
- initial version of the script to initiate the VM node creation and
provisioning with bifrost and OpenStack installation with openstack-ansible
- pinned-versions to hold the "known working" versions. releng will use master
until the development is complete.
- user-vars to hold user variables
- configuration files to keep settings for different flavors
- ansible files (playbooks, inventory files, variables) per flavor. These
files are empty at the moment in order to save the chosen path makes sense.
Once the way is agreed on, these will be similar to the files listed below
with different content per flavor.
    https://gerrit.opnfv.org/gerrit/gitweb?p=releng.git;a=blob;f=prototypes/openstack-ansible/playbooks/inventory
    https://gerrit.opnfv.org/gerrit/gitweb?p=releng.git;a=blob;f=prototypes/openstack-ansible/playbooks/configure-xcimaster.yml
    https://gerrit.opnfv.org/gerrit/gitweb?p=releng.git;a=blob;f=prototypes/openstack-ansible/var/ubuntu.yml

These new files will be the ones used when the actual deployment is done
with openstack-ansible based on the flavor chosen by developer (or CI).

Change-Id: Ia2f38416a161abd186cbcca61e105c6a68f78b54
Signed-off-by: Fatih Degirmenci <fatih.degirmenci@ericsson.com>

xci: Configure ansible verbosity based on job type

Daily jobs will use pinned versions of bifrost and openstack-ansible in
order to make sure we use known good versions for them since focus of
the daily jobs is  OPNFV platform testing.

Ansible log can easily become massive depending on the level it is set
and it is not so relevant for daily jobs to have it like this due to
less probability of dailies failing to provision/deploy.

On the other hand, the jobs that verify/test bifrost and openstack-ansible
will have max verbosity enabled to troubleshoot these components themselves.

New set of jobs will be created running periodically against the HEAD
of master for bifrost and openstack-ansible to catch working versions
and help us promote them to use for daily platform jobs. Verbosity of these
jobs will be enabled like how we are doing for bifrost-verify jobs.

Change-Id: Ic9fd2ff418fdaa3ad7fbfc22d8ec2dc1174df65f
Signed-off-by: Fatih Degirmenci <fatih.degirmenci@ericsson.com>

Merge "Dovetail needs credentials file openrc as an input"

enabling the auto build in jenkins for K8.

This patch will enabled the auto build of K8 scenario in jenkins
for master and Danue.

Change-Id: Ic79b79a298358d932e0162ce1c739008c2f788a4
Signed-off-by: Narinder Gupta <narinder.gupta@canonical.com>

xci: Fix where the vm_defaults are placed

Change-Id: I3d9d9b8b7c3de0c22a62945de027b9e8994d35e8
Signed-off-by: Fatih Degirmenci <fatih.degirmenci@ericsson.com>

xci: Merge bifrost provisioning scripts and rename

Jobs are adjusted as well.

Change-Id: I0bc5bdda37277053d81d7da394e0156902da817a
Signed-off-by: Fatih Degirmenci <fatih.degirmenci@ericsson.com>

Merge "xci: Adjust how bifrost inventory files are specified"

Dovetail needs credentials file openrc as an input

1. The Dovetail tool itself needs openrc file as the input rather than
   INSTALLER_TYPE and INSTALLER_IP.
   See JIRA: DOVETAIL-369  and  JIRA: DOVETAIL-371
2. Now Dovetail CI jobs just give INSTALLER_TYPE and INSTALLER_IP
   to Dovetail tool.
3. So Dovetail CI jobs need to fetch the openrc file before
   and run Dovetail tool with the openrc file.

JIRA: DOVETAIL-372

Change-Id: I3a6293da621ae0a2f5d72a297d3d912fd60e05d8
Signed-off-by: xudan <xudan16@huawei.com>

Merge "qtip: delete container and image based with branch"

qtip: delete container and image based with branch

- delete container and image based with branch
- adjust builder sequence

Change-Id: Id365d2358195ae690d9a4d5ae8bd1a5adfcc7046
Signed-off-by: Julien <zhang.jun3g@zte.com.cn>
Signed-off-by: wu.zhihui <wu.zhihui1@zte.com.cn>

Merge "fuel: remove the trigger on zte pod2"

fix qtip priority issue

missing \" for if condition
use qtip temp dir for tempfiles

Change-Id: I696b81b2e017f630051353f10b96f07fb85e2ec2
Signed-off-by: Julien <zhang.jun3g@zte.com.cn>

Merge "modify the parameter of PPA_REPO"

xci: Adjust how bifrost inventory files are specified

First step towards creating env-vars files based on the use of these
scripts so the scripts can be merged into one.

Change-Id: I4ee1d9af520aa684a5367a2645d709835bc4a5a1
Signed-off-by: Fatih Degirmenci <fatih.degirmenci@ericsson.com>

Testing Jenkins Subscription

Change-Id: I7e9e4040cf4b711e44ee003bfd13675f556501fa
Signed-off-by: ShubhamRathi <shubhamiiitbackup@gmail.com>

Merge "Testing gerrit subscription"

Testing gerrit subscription

Change-Id: I801dac705223852a28d7e694e01db73f2da9d571
Signed-off-by: ShubhamRathi <shubhamiiitbackup@gmail.com>

Merge "Use cperf master branch even from apex danube"

Merge "Removing shallow clone option"

Removing shallow clone option

Change-Id: Iaae8a4b524ae804fd0efd75c656aae94c1c92a7e
Signed-off-by: ShubhamRathi <shubhamiiitbackup@gmail.com>

Add timeout in releng.ssh_utils

Change-Id: If9c7ba05946b995affd061dea2f531a0642650c2
Signed-off-by: George Paraskevopoulos <geopar@intracom-telecom.com>

Merge "Fix socker connection issue in qtip docker"

Merge "xci: Pass parameters to downstream jobs"

xci: Pass parameters to downstream jobs

Change-Id: I02f8c47fb19e6d47027c4655c233bf1952fabedd
Signed-off-by: Fatih Degirmenci <fatih.degirmenci@ericsson.com>

Merge "start TestAPI in venv with no config-file"

Merge "restore setup.cfg in case submitted by mistake"

Merge "make unittest execution more user-friendly"

Merge "fix: always return 200 even if exception happens"

Avoid build conflicts in build server

Currently each job in daisy project has multiple child jobs, which may
block the resources in lf-build1 for the excutors are limited.

Change-Id: I7977128a550421caaeda395fce04b91b31d35751
Signed-off-by: Julien <zhang.jun3g@zte.com.cn>

jjb: xci: xci-daily-jobs: Fix typo

Change-Id: Ib9116927c2169e033911d8b3fc64ba39232da6b0
Signed-off-by: Markos Chandras <mchandras@suse.de>

modify the parameter of PPA_REPO

We move the master ppa from <http://205.177.226.237:9999> to
<http://205.177.226.237:9999/master>. When we build the master iso,
we need download the ppa from <http://205.177.226.237:9999/master>.

Change-Id: I5fea8e6c6647f8bc0e550a39a9a4001196216685
Signed-off-by: wutianwei <wutianwei1@huawei.com>

make unittest execution more user-friendly

allow users use their existed venv
manage all test-related libs in test-requirements.txt

Change-Id: I39a63833e4a1f4f088afa045a83bf12cd01da167
Signed-off-by: SerenaFeng <feng.xiaowei@zte.com.cn>

restore setup.cfg in case submitted by mistake

in venv mode, setup.cfg will be modified to fit
venv condition, restore to the original after
installation

Change-Id: Ib38b2ab9e015201c812305414a207c05bdf7c830
Signed-off-by: SerenaFeng <feng.xiaowei@zte.com.cn>

start TestAPI in venv with no config-file

in virtual env mode, config.ini is configured in
.venv/etc/opnfv_testapi, in this case when we start
it the configuration file needs to be specified, by
changing the _default_config, the -config-file is no
longer needed when starting TestAPI in venv mode.

Change-Id: I0217cfefe578bbc3325bb7577ed268dc21cde4ea
Signed-off-by: SerenaFeng <feng.xiaowei@zte.com.cn>

fix: always return 200 even if exception happens

when post/update/delete is executed, the return value
always are 200, even if exceptions such as 404/409 happen

Change-Id: I612ad15cc6567f435caa4c889bb0c7b6a73f9c52
Signed-off-by: SerenaFeng <feng.xiaowei@zte.com.cn>

Fix socker connection issue in qtip docker

ansible can not run correctly in qtip docker currently in centos.

Change-Id: I3295b358e43026e10ed7421196d88305a11ed877
Signed-off-by: Julien <zhang.jun3g@zte.com.cn>

fuel: remove the trigger on zte pod2

zte pod2 will be provided to daisy to run CI job.

Change-Id: I9e0eee1bab4a949f6434850dcbd9624ac6476344
Signed-off-by: wu.zhihui <wu.zhihui1@zte.com.cn>

xci: Make it possible to select component versions

By replacing the branch with version, we now can specify sha1s
per project; opnfv/releng, openstack-ansible, and bifrost.

If nothing is specified manually (or via promotion), the defaults
will be set to branches, master and stable/ocata.

Change also includes further logging.

Change-Id: Iae0f8cc60391caeb0f2735610050007014374a70
Signed-off-by: Fatih Degirmenci <fatih.degirmenci@ericsson.com>

Use cperf master branch even from apex danube

Change-Id: I2811165c71a115f4f97b7cbd6f0f40402aae5781
Signed-off-by: Jamo Luhrsen <jluhrsen@redhat.com>

Merge "jjb: xci: Fix permissions in workspace before removing it"

jjb: xci: Fix permissions in workspace before removing it

From time to time we end up in the unfortunate situation where
the jenkins job breaks for random reasons and the logs are left
with 'root' permissions. On the next run, the job fails again but
this time it's because Jenkins does not have enough permissions
to delete them. We workaround this by fixing up the permissions
before removing the workspace.

Change-Id: I2fda20ded527bac73605ffa5818a2c44bf6c9026
Signed-off-by: Markos Chandras <mchandras@suse.de>

KVMFORNFV:  Adding forbidden-file-paths.

This patch is used to disable strict-forbidden-file-verification and add
forbidden-file-paths so that kvmfornfv verify job will not be triggered
if the patch includes changes only to docs/

Change-Id: I03bf15aa354fda3c2003f59c5a8a6e1c741a6531
Signed-off-by: Gundarapu Kalyan Reddy <reddyx.gundarapu@intel.com>

Merge "xci: Fix grep, switch to opnfv playbook and log playbooks to console"

xci: Fix grep, switch to opnfv playbook and log playbooks to console

Change-Id: I4a576d45b71267f672e55c93e4f0c95410af019a
Signed-off-by: Fatih Degirmenci <fatih.degirmenci@ericsson.com>

Merge "functest: daily jobs: Increase timeout"

joid: disable dovetail jobs

Change-Id: I435ae5af78f259bb66a6104312b9bb5133ebeabc
Signed-off-by: Fatih Degirmenci <fatih.degirmenci@ericsson.com>

Change shell check name, as it's confusing

When you look at the build there is

opnfvdocs-verify-master (opnfvdocs project)
opnfv-docs-verify-master (releng project)

It's not clear on first glance which build does what.
change opnfvdocs-verify-{stream} to 'opnfvdocs-verify-shellcheck-{stream}'
change opnfvdocs-merge-{stream} to 'opnfvdocs-merge-shellcheck-{stream}'

Change-Id: I11927c9ac9b7ae6f9ae44660ea5008713a1b0a9f
Signed-off-by: Aric Gardner <agardner@linuxfoundation.org>

xci: Fix the script name and remove openstack services

Change-Id: I774e12f15561de75920ca50bcb2fbaf917e004a9
Signed-off-by: Fatih Degirmenci <fatih.degirmenci@ericsson.com>

xci: Logging, naming, and job updates

- adjust build blockers in daily jobs.
- explicity set SLAVE_LABEL for provision, deploy, and functest jobs
so they run on correct nodes even if they are started manually.
- rename files and update scripts accordingly.
    osa_deploy.sh -> osa-deploy.sh
    targethost_configuration.yml -> configure-targethosts.yml
    jumphost_configuration.yml -> configure-xcimaster.yml
- add/fix console logging in osa-deploy.sh.
- add license header to osa-deploy.sh.

Change-Id: I57a37dccaa4bcda554ef79969e5d288b49937807
Signed-off-by: Fatih Degirmenci <fatih.degirmenci@ericsson.com>

xci: Updates to releng/osa to make it work on Jenkins

- change OSA_BRANCH to OPENSTACK_BRANCH to be consistent everywhere.
- create opnfv-setup-openstack.yml playbook, getting rid of some components
and copy it to xcimaster to use during the deployment.
- switch to opnfv-setup-openstack.yml from setup-openstack.yml.
- create Jenkins job wrapper to execute osa deploy script.
- disable ansible strict host key checking.
- use sudo -E as needed in order to make env vars set by Jenkins
job and wrapper available to other scripts and to ansible.
- rename jumphost to xcimaster so people do not mix it with actual
jumphost located in Pharos PODs.
- other minor fixes.

Change-Id: I5736fa700c2aa39c598d301bc74450d766b74411
Signed-off-by: Fatih Degirmenci <fatih.degirmenci@ericsson.com>

xci: Updates to releng/bifrost to make it work on Jenkins

- get rid of BAREMETAL_DATA_FILE and use BIFROST_INVENTORY_SOURCE
so it works both for master and ocata for osa-bifrost.
- set BIFROST_INVENTORY_SOURCE file according to branch bifrost is
executed from for osa-bifrost.
- explicitly set what the SSH public key file is as ansible copies
the wrong public key to nodes if bifrost is executed on Jenkins
using sudo.
- set branches if they are not set so the scripts can be used manually
as well.
- rename jumphost to xcimaster so people do not mix it with actual
jumphost located in Pharos PODs.

Change-Id: Iff7631fa99816ad75316b62c5ac20714f67cd86a
Signed-off-by: Fatih Degirmenci <fatih.degirmenci@ericsson.com>

functest: daily jobs: Increase timeout

Armband Functest jobs timeout sometimes, mostly because of failing
tests which time out individually, adding to more than 180 min.

Therefore, increase the job timeout to 240 min.

Change-Id: I4829e14785f5dd7297f28dde436d5149a896d419
Signed-off-by: Alexandru Avadanii <Alexandru.Avadanii@enea.com>

jjb: xci: Fix trigger for cleanup jobs

Trigger should only run on change-merged and change-abandonded
The documentation could be imporved more explicitly here:
https://docs.openstack.org/infra/jenkins-job-builder/triggers.html#trigger-on
but the modified lines do not take true or false they stand alone

Fixes: ea33eda6954a ("jjb: infra: bifrost-cleanup-job: Do not trigger on new patchsets")
Fixes: f6bba721fd13 ("jjb: infra: bifrost-cleanup-job: Do not trigger on patchset creation")
Change-Id: Ibc574220ea86c5a039855d6f4fe35eef0aac7e0e
Signed-off-by: Aric Gardner <agardner@linuxfoundation.org>
Signed-off-by: Markos Chandras <mchandras@suse.de>

No longer needed, moved logic to docs-rtd.yaml

Change-Id: I2b8ad2ab185074047ce7267cbedf1dbd70b16535
Signed-off-by: Aric Gardner <agardner@linuxfoundation.org>

Remove cloning

Change-Id: Idd7c48095f74985a129b968b320b99d1bc606b58
Signed-off-by: ShubhamRathi <shubhamiiitbackup@gmail.com>

Remove default project off merge job

Danube's merge job was failing because
releng was given as the default project
to clone.

Change-Id: I57b40f37bf4a2c07ef5e566209f881be3c411975
Signed-off-by: ShubhamRathi <shubhamiiitbackup@gmail.com>

Merge "xci: Remove obsolete bifrost dib ELEMENTS_PATH"

Merge "[qtip]refactor validate job"

xci: Remove obsolete bifrost dib ELEMENTS_PATH

Change-Id: I7baa0db9c8193e4041883d5997529df98919c7af
Signed-off-by: Fatih Degirmenci <fatih.degirmenci@ericsson.com>

[qtip]refactor validate job

- only keep the builder "qtip-validate-deploy", remove the others
- add scenario info in qtip-validate-jobs.yaml
- add some print info in validate-deploy.sh
- a related modification in fuel jjb file

Change-Id: Iff884f273eea5c6aac64e09cfffcedc7481b47e9
Signed-off-by: wu.zhihui <wu.zhihui1@zte.com.cn>

Merge "xci: Enable VM provisioning using bifrost for daily runs"

Merge "qtip: set CI_DEBUG to false"

qtip: enable stable docker image build

Change-Id: I38fd97bff3aa1c966f9267d96e3b0cbabbf1f4a6
Signed-off-by: Yujun Zhang <zhang.yujunz@zte.com.cn>

Add mapping of intel-pod2 to apex with danube

Change-Id: I64019e8a80fe5c7605363b987a57fc6393ee1813
Signed-off-by: Jamo Luhrsen <jluhrsen@redhat.com>

Add danube for available cperf streams

Change-Id: I9b21f77ae5faf87e4bbb24f3b02d9169fe17eee6
Signed-off-by: Jamo Luhrsen <jluhrsen@redhat.com>

qtip: set CI_DEBUG to false

otherwise the insecure key will be left in server

Change-Id: I2bae0c16e8da05d68d53cb5624a6660053c80756
Signed-off-by: Yujun Zhang <zhang.yujunz@zte.com.cn>

Merge "qtip: fix daily job failure"

Merge "prototypes: fix yamllint issues"

Merge "prototypes: fix yamllint issues"

xci: Enable VM provisioning using bifrost for daily runs

- create script to provision VMs (log upload is not enabled yet)
- remove leftover inventory files (baremetal.csv, baremetal.json)
- set BIFROST_INVENTORY_SOURCE as needed by stable/ocata
- rename playbook used during bifrost and adjust scripts using it
- remove puppet-infracloud stuff

Change-Id: I1c4412d0725c00ab9a1b3497e358d33998b4e7e6
Signed-off-by: Fatih Degirmenci <fatih.degirmenci@ericsson.com>

joid: Disable auto-triggers for ONOS scenarios

Change-Id: I65ffee9cac42c33cfc923b67c8020bac6cc19da6
Signed-off-by: Fatih Degirmenci <fatih.degirmenci@ericsson.com>

qtip: fix daily job failure

Parameter BRANCH is not correct in danube daily job[1]: expected `stable/danube`, actual `danube`

The following corrections are made as an attempt to fix this issue

- enable CI_DEBUG for additional information
- inline qtip-common-parameters

[1]: https://build.opnfv.org/ci/view/qtip/job/qtip-daily-fuel-zte-pod3-danube/7/parameters/

Change-Id: Ia892371925ffdb817d663c134d16e4568c07dff7
Signed-off-by: Yujun Zhang <zhang.yujunz@zte.com.cn>

Merge "xci: Create jobs for stable/ocata"

Merge "[fuel]reschedule on ZTE POD3"

Merge "update qtip validate jobs"

xci: Create jobs for stable/ocata

Change-Id: Ie45900e1724d761d6f547b159f5ec276d705326b
Signed-off-by: Fatih Degirmenci <fatih.degirmenci@ericsson.com>

Merge "xci: Create skeletons for jobs and rename directory"

Merge "prototypes: bifrost: destroy-env: Delete nodes from vbmc"

xci: Create skeletons for jobs and rename directory

This patch
- creates job skeletongs based on the structure of other OPNFV jobs
    upstream job per scenario triggering and controlling the downstream jobs
    downstream jobs to run provisioning, deployment and functest
- renames infra directory to xci

Change-Id: I9a7ac3590d660f4270ab387598586e4270787ecb
Signed-off-by: Fatih Degirmenci <fatih.degirmenci@ericsson.com>

KVMFORNFV: Enabling triggers for kvmfornfv scenarios.

This patch includes resource allocation/time-slots for kvmfornfv
os-nosdn-kvm_ovs_dpdk-ha, os-nosdn-kvm_ovs_dpdk_bar-ha,
os-nosdn-kvm_ovs_dpdk-noha and os-nosdn-kvm_ovs_dpdk_bar-noha
scenarios on Danube branch.

Change-Id: Ib8250075a43dec60be398ce9ee4152b97b7c6796
Signed-off-by: Navya Bathula <navyax.bathula@intel.com>

prototypes: bifrost: destroy-env: Delete nodes from vbmc

Upstream commit 12376b958e76 ("Use virtualbmc for virtual BM nodes")
moved the VM IPMI management from the ssh drivers to the vbmc one.
As a result, we need to clear all the nodes from vbmc during cleanup.

Change-Id: I2a4e7233874c4fad8df525c8f7b526df17a8211f
Signed-off-by: Markos Chandras <mchandras@suse.de>

Merge "Read OSA_BRANCH from an env var"

bifrost: Create bifrost script for openstack-ansible

This change creates a separate script to provision 6 VMs for HA
to use for openstack-ansible.
- create 1 jumphost, 3 controller, 2 compute
- set the mumber of vCPU to 8
- use 16GB RAM per VM
- use xenial and add additional packages required by openstack-ansible

Change-Id: I858340c5bd13a1cd35cf4334ab2b8c362c5c5e7f
Signed-off-by: wutianwei <wutianwei1@huawei.com>
Signed-off-by: Fatih Degirmenci <fatih.degirmenci@ericsson.com>

multisite: Fix GS_PATH

Change-Id: I5c93950a12c284d5e560e813891283aaf3638fd4
Signed-off-by: Fatih Degirmenci <fatih.degirmenci@ericsson.com>

multisite: Switch to latest fuel deploy and create danube jobs

Change-Id: I93339884bd604da2314e32dfe7cbf25b21c67537
Signed-off-by: Fatih Degirmenci <fatih.degirmenci@ericsson.com>

Read OSA_BRANCH from an env var

Currently the OSA_BRANCH was sent in the deploy script,
but not being picked by ansible. Enable this OSA_BRANCH in
ansible, that will read from the populated env var in the
deploy script.

Change-Id: I77cffaee647a6f2a67baa49b1ddf022061398d86

update qtip validate jobs

- since zte pod2 is used for daisy, move qtip job to zte pod1
- add danube trigger

Change-Id: Id0bdc5e791d3ed33a4f48d46b51823672794d2dc
Signed-off-by: wu.zhihui <wu.zhihui1@zte.com.cn>

[fuel]reschedule on ZTE POD3

Change-Id: I52bc5bc4c8207b71ebad038c584874adebad3ec5
Signed-off-by: wu.zhihui <wu.zhihui1@zte.com.cn>

Merge "fuel: fix daily build without properties file"

Merge "Add new testcases in reporting page"

Merge "Fix trigger for validate tasks"

Merge "qtip: adapt job template for different streams"