Support opera test in functest releng

Because opera vnf test requires Open-O msb ip and the independency
of this test case, set specific docker env vars for compass4nfv
os-nosdn-openo-ha scenario.

Change-Id: I486e3896dc86d29cf93818b317675c088c1c5198
Signed-off-by: Harry Huang <huangxiangyu5@huawei.com>

Merge "xci: Add main playbooks and files"

replace self-defined http codes with standard definitions

Change-Id: I3045dc690e0bc1186f5c548cb533462dd03130d9
Signed-off-by: SerenaFeng <feng.xiaowei@zte.com.cn>

xci: Add main playbooks and files

This patch adds the main/common playbooks, files, and templates to
be used for all flavors.

The provisioning and OpenStack installation process will be as below
- provision VMs for flavor using bifrost
- once the VMs are provisioned, configure-localhost.yml playbook will
be run, preparing the localhost in order to ensure the right playbooks
(configure-opnfvhost.yml and configure-targethosts.yml), inventory files
and var files are in place before we proceed with configuring opnfv host.
- after getting the right files for the flavor, opnfv host will be
configured using configure-opnfvhost.yml playbook.
- finally, the target hosts will be configured.
- once the above process is completed, openstack-ansible playbooks will
be run, setting up hosts, infrastructure and OpenStack.

Change-Id: I6e08b2cfdab9627f765e6fc414917b09f953cab2
Signed-off-by: Fatih Degirmenci <fatih.degirmenci@ericsson.com>

Merge "prototypes: bifrost: Remove /opt/stack from previous deployments"

Merge "add rename scenario exceptions"

Merge "dovetail: fix wipe workspace error"

prototypes: bifrost: Remove /opt/stack from previous deployments

/opt/stack is being created by bifrost so the destroy-env.sh
script should be responsible for cleaning up all the remnants.
That way we can use the destroy-env.sh script outside of Jenkins
as well.

Change-Id: I72d9737cf2446ff3ffc02f195337a6873eceb5c0
Signed-off-by: Markos Chandras <mchandras@suse.de>

Merge "Add docker-compose files and requirements"

Merge "xci: Destroy/undefine only the VMs we created"

Set the jobs 4 hours apart

A non-ci pod is made ci-pod for danube release, therefore this patch
modifies the cron jobs to be 4 hours apart instead of 8

This commit should be merged after the lable of the pods are changed
Request: OPNFV Helpdesk #39128

Change-Id: Ic88180d01d9ea03d03b79355cd78891ad612c59b
Signed-off-by: Cristina Pauna <cristina.pauna@enea.com>

xci: Destroy/undefine only the VMs we created

Destroying/undefining all the VMs on host might cause issues for the
users. This change tries to reduce the possibility of it by removing
VMs listed by vbmc.

Change-Id: I5134043309722632df68a0800c6403e6f39a8d16
Signed-off-by: Fatih Degirmenci <fatih.degirmenci@ericsson.com>

dovetail: fix wipe workspace error

JIRA: DOVETAIL-377

workspace wipe clean error log
https://build.opnfv.org/ci/job/dovetail-compass-virtual-debug-master/365/console
this is caused of wrong permissions with files under $WORKSPACE

seems the former method in dovetail-run not take effects(log into host, it's still root:root,
not $USER:$USER_GROUP)

use global fix workspace permission in wrapper to replace former method

Change-Id: I6ceaaf630590666f3b3db5f2628334879df2b8fb
Signed-off-by: MatthewLi <matthew.lijun@huawei.com>

Merge "Make prescm step workspace permission fix a macro available to all"

add rename scenario exceptions

JIRA: RELENG-163

Change-Id: I680a181a3c1728034e5782de4bc65cc07f64540c
Signed-off-by: SerenaFeng <feng.xiaowei@zte.com.cn>

Merge "bugfix: Bottlencks cleanup docker-compose dockers"

Make prescm step workspace permission fix a macro available to all

bifrost-verify jobs have been using this without issues and it is
needed for many other jobs in order to avoid unnecessary failures.

This change makes workspace permission fix prescm step a macro.

Change-Id: Ib5678dbf21c17ce640a600d2a06ebed9674663fa
Signed-off-by: Fatih Degirmenci <fatih.degirmenci@ericsson.com>

Merge "keep methods' name/docstring after decorator"

prototypes: bifrost: Fix Ironic drivers for VMs

Commit d8235c3c97f4("Set database pool_size in ironic.conf and
inspector.conf templates") added a copy of the ironic.conf.j2
template file to workaround an upstream bug but it also changed
the default ironic drivers leading to broken introspection. We use
virtual BMC for controlling the VMs and this expects ipmi ironic
drivers so we fix that.

Change-Id: Ibb2cc58738ec1693e136bdce7335cd1b861ec613
Fixes: d8235c3c97f4("Set database pool_size in ironic.conf and inspector.conf templates")
Signed-off-by: Markos Chandras <mchandras@suse.de>

Merge "Adjust the testcase name for Bottlenecks stress test job"

Merge "xci: Make OSA playbook to use during installation configurable"

Merge "xci: Rename the deployment host to opnfv"

xci: Make OSA playbook to use during installation configurable

Change-Id: Ie6f079bb61905ca0458778b78fef799777b24efa
Signed-off-by: Fatih Degirmenci <fatih.degirmenci@ericsson.com>

Apex: adds OVN to danube daily

Change-Id: I1d1b07fa3273a8766e0ec109d89e6c81b2d515d1
Signed-off-by: Tim Rozet <trozet@redhat.com>

xci: Rename the deployment host to opnfv

Reflect the changes to other impacted files as well.

Change-Id: I106f4e47fe5c75d288f4878fe6ec9f8ff39c652e
Signed-off-by: Fatih Degirmenci <fatih.degirmenci@ericsson.com>

Apex: disables vfio-pci for baremetal fdio

According to FDS folks, uio_pci_generic (default) should work with UCSB
baremetal.  We also hit a bug in UCSB where vfio-pci isn't working with
VPP.  Therefore falling back to uio_pci_generic.

Change-Id: Id9a6fe5be91aaf8476292a46c15c6e876616f4a6
Signed-off-by: Tim Rozet <trozet@redhat.com>

Merge "Create Catalogue page"

Merge "xci: Add/update variables to tool, user, and flavors"

Merge "jjb: xci: bifrost-cleanup: Retry 'gsutil rm' on failures"

xci: Add/update variables to tool, user, and flavors

Updates
- RAM allocations for the flavors mini and noha increased to 12GB.
- Distro variables introduced to tool as it will be used by the CI and
the developers.
- LOG_PATH and RUN_TEMPEST are now available in user variables.

Change-Id: I4a73d7b79761d81f605cdb3fa9771ca40e9f9f02
Signed-off-by: Fatih Degirmenci <fatih.degirmenci@ericsson.com>

Change jenkins user:group name according to Node Name.

JIRA: DOVETAIL-377

Change-Id: I55eebdd55c2cf91d74d166b0b31a0601efe0a751
Signed-off-by: zshi <zshi@redhat.com>

xci: Yet another try to find how best to structure stuff

Summary of changes are
- flavors directory has been removed and the flavor config files are
moved into config and renamed to <flavor>-vars
- common files are put under file
- files specific to flavors are put under file/<flavor> directories
- templates and var files are stored in template and var directories
respectively
- 3 playbooks are created

Change-Id: I8a93e0947ccb02f93a6c8f00da27e0cc6b4dc21e
Signed-off-by: Fatih Degirmenci <fatih.degirmenci@ericsson.com>

Set database pool_size in ironic.conf and inspector.conf templates

min_pool_size and max_pool_size are undefined in ironic.conf and inspector.conf
templates, causing issues during ironic-dbsync and ironic-inspector-dbsync.

https://build.opnfv.org/ci/job/opnfv-bifrost-verify-trusty-virtual-master/224/console

This issue is there for stable/ocata as well.

These should be got rid of once the patch on openstack/bifrost is merged.
https://review.openstack.org/#/c/450681/

Change-Id: I678835e763022a7168e498047bb65d140895e019
Signed-off-by: Fatih Degirmenci <fatih.degirmenci@ericsson.com>

Merge "KVMFORNFV:  Modifying forbidden-file-paths."

Merge "Add and insert new project icons"

keep methods' name/docstring after decorator

applying functools.wraps() to keep the name and docstring
of the original function which is decorated

Change-Id: Id612039921566dd48f8d8797abe30f23aaf99301
Signed-off-by: SerenaFeng <feng.xiaowei@zte.com.cn>

KVMFORNFV:  Modifying forbidden-file-paths.

This patch is used to add forbidden-file-paths so that kvmfornfv
verify job will not be triggered if the patch includes changes
only to docs/

Change-Id: I9de20549507be2eadaba7c99bc6de3b28d3c3ce1
Signed-off-by: Gundarapu Kalyan Reddy <reddyx.gundarapu@intel.com>

bugfix: Bottlencks cleanup docker-compose dockers

JIRA: RELENG-196
JIRA: BOTTLENECK-148

The bottlenecks_cleanup script can not clean some dockers and
their images that created by docker-compose.
This may cause the following test using dockers
created in last test. This patch is to fix this issue.

Change-Id: I83d294020596ad5d04302793084a432cae789685
Signed-off-by: yuyang <Gabriel.yuyang@huawei.com>

Adjust the testcase name for Bottlenecks stress test job

JIRA: RELENG-195
JIRA: BOTTLENECK-143

The name of stress test in Bottlenecks has been changed
due to the new entrance for it.
So CI job for the stress test should be adjusted.

Change-Id: I8432ea1c2dacb6cf42f09a5b74c3c6a93970a242
Signed-off-by: yuyang <Gabriel.yuyang@huawei.com>

Merge "Use docker image id instead of tag to remove yardstick Docker image with tag:<None>"

Add docker-compose files and requirements

This adds docker-compose file to define a multi-container
vnf_catalogue service alongwith helper service to migrate the schema.

Requires docker-compose installation

To run :: docker-compose up
The webapp by default would be accessible at ip_address:3000

Change-Id: I32daf7f76fb1d82116545187395cd96535c94541
Signed-off-by: Kumar Rishabh <shailrishabh@gmail.com>

Apex: fixes dpdk jobs with ODL

Change-Id: I9c33e6661b2dce1b0e5a77d3ed47bf7eebd3bb2c
Signed-off-by: Tim Rozet <trozet@redhat.com>

Merge "Monkey patch paramiko _custom_start_client"

Monkey patch paramiko _custom_start_client

A quick fix for the Unexpected kw arg in _custom_start_client error.
Monkey patches this fix:
https://github.com/robotframework/SSHLibrary/pull/159/files

Change-Id: Iaca2c3cb402f1f24d096c947bec5cb3e6aaf77d6
Signed-off-by: George Paraskevopoulos <geopar@intracom-telecom.com>

Add and insert new project icons

Change-Id: I4334bca1ab02a5d26b84b934cb718b3753ce0a13
Signed-off-by: Morgan Richomme <morgan.richomme@orange.com>

xci: Enable node provisioning and shuffle/rename stuff

This change enables node provisioning using bifrost based on the chosen
flavor.

Other changes include
- move flavor specific stuff (playbooks, inventory, vars) into their own
folders so it is easier to copy them over.
- rename flavors and get rid of xci from them.
- introduce env-vars to keep variables that are not really user variables.

Please note that this patch contains empty files and so on due to still
trying to find best way to structurei things. Apart from this, there will
probably be lots of duplications here and there which will be taken care
of once things settle.

Change-Id: I04a5d422e5b018439bafea5e68e65255ae38d22b
Signed-off-by: Fatih Degirmenci <fatih.degirmenci@ericsson.com>

Merge "Avoid build conflicts in build server"

Create Catalogue page

JIRA: RELENG-193

1.create a page to list all project.
2.This page can get test case list of certain project.
3.This page can show information of certain test case.

Change-Id: I79e0d3aafa99c054865a0d2948b99918802f32a7
Signed-off-by: chenjiankun <chenjiankun1@huawei.com>

Apex: adds dpdk scenarios to daily

Change-Id: I0b0b33cf3021e2c0fb868eca749ab61eed7b3792
Signed-off-by: Tim Rozet <trozet@redhat.com>

jjb: xci: bifrost-cleanup: Retry 'gsutil rm' on failures

Sometimes 'gsutil rm' may fail for unknown reasons like the following
one:

[...]
/ [7/10 objects]  70% Done
/ [8/10 objects]  80% Done
/ [9/10 objects]  90% Done
Operation completed over 10 objects.
CommandException: 1 files/objects could not be removed.

Try a few more times to remove the objects before giving up.

Change-Id: I6905a806446dac41ddc43d4195514a5233480ccd
Signed-off-by: Markos Chandras <mchandras@suse.de>

Merge "xci: Set up the basics for xci developer sandbox"

Merge "xci: Configure ansible verbosity based on job type"

xci: Set up the basics for xci developer sandbox

This change creates
- initial version of the script to initiate the VM node creation and
provisioning with bifrost and OpenStack installation with openstack-ansible
- pinned-versions to hold the "known working" versions. releng will use master
until the development is complete.
- user-vars to hold user variables
- configuration files to keep settings for different flavors
- ansible files (playbooks, inventory files, variables) per flavor. These
files are empty at the moment in order to save the chosen path makes sense.
Once the way is agreed on, these will be similar to the files listed below
with different content per flavor.
    https://gerrit.opnfv.org/gerrit/gitweb?p=releng.git;a=blob;f=prototypes/openstack-ansible/playbooks/inventory
    https://gerrit.opnfv.org/gerrit/gitweb?p=releng.git;a=blob;f=prototypes/openstack-ansible/playbooks/configure-xcimaster.yml
    https://gerrit.opnfv.org/gerrit/gitweb?p=releng.git;a=blob;f=prototypes/openstack-ansible/var/ubuntu.yml

These new files will be the ones used when the actual deployment is done
with openstack-ansible based on the flavor chosen by developer (or CI).

Change-Id: Ia2f38416a161abd186cbcca61e105c6a68f78b54
Signed-off-by: Fatih Degirmenci <fatih.degirmenci@ericsson.com>

xci: Configure ansible verbosity based on job type

Daily jobs will use pinned versions of bifrost and openstack-ansible in
order to make sure we use known good versions for them since focus of
the daily jobs is  OPNFV platform testing.

Ansible log can easily become massive depending on the level it is set
and it is not so relevant for daily jobs to have it like this due to
less probability of dailies failing to provision/deploy.

On the other hand, the jobs that verify/test bifrost and openstack-ansible
will have max verbosity enabled to troubleshoot these components themselves.

New set of jobs will be created running periodically against the HEAD
of master for bifrost and openstack-ansible to catch working versions
and help us promote them to use for daily platform jobs. Verbosity of these
jobs will be enabled like how we are doing for bifrost-verify jobs.

Change-Id: Ic9fd2ff418fdaa3ad7fbfc22d8ec2dc1174df65f
Signed-off-by: Fatih Degirmenci <fatih.degirmenci@ericsson.com>

Merge "Dovetail needs credentials file openrc as an input"

enabling the auto build in jenkins for K8.

This patch will enabled the auto build of K8 scenario in jenkins
for master and Danue.

Change-Id: Ic79b79a298358d932e0162ce1c739008c2f788a4
Signed-off-by: Narinder Gupta <narinder.gupta@canonical.com>

xci: Fix where the vm_defaults are placed

Change-Id: I3d9d9b8b7c3de0c22a62945de027b9e8994d35e8
Signed-off-by: Fatih Degirmenci <fatih.degirmenci@ericsson.com>

xci: Merge bifrost provisioning scripts and rename

Jobs are adjusted as well.

Change-Id: I0bc5bdda37277053d81d7da394e0156902da817a
Signed-off-by: Fatih Degirmenci <fatih.degirmenci@ericsson.com>

Merge "xci: Adjust how bifrost inventory files are specified"

Dovetail needs credentials file openrc as an input

1. The Dovetail tool itself needs openrc file as the input rather than
   INSTALLER_TYPE and INSTALLER_IP.
   See JIRA: DOVETAIL-369  and  JIRA: DOVETAIL-371
2. Now Dovetail CI jobs just give INSTALLER_TYPE and INSTALLER_IP
   to Dovetail tool.
3. So Dovetail CI jobs need to fetch the openrc file before
   and run Dovetail tool with the openrc file.

JIRA: DOVETAIL-372

Change-Id: I3a6293da621ae0a2f5d72a297d3d912fd60e05d8
Signed-off-by: xudan <xudan16@huawei.com>

Merge "qtip: delete container and image based with branch"

qtip: delete container and image based with branch

- delete container and image based with branch
- adjust builder sequence

Change-Id: Id365d2358195ae690d9a4d5ae8bd1a5adfcc7046
Signed-off-by: Julien <zhang.jun3g@zte.com.cn>
Signed-off-by: wu.zhihui <wu.zhihui1@zte.com.cn>

Use docker image id instead of tag to remove yardstick Docker image with tag:<None>

JIRA: RELENG-194

Now, in CI, bottlenecks job will pull yardstick Docker image again, which may
cause the tag of the Docker image previous used by Yardstick changed to 'None'.
Using 'None' tag to remove Docker image will cause error.

Change-Id: I5c63c6c515ede5da4f6a40be6bb22fa6771f8f09
Signed-off-by: JingLu5 <lvjing5@huawei.com>

Merge "fuel: remove the trigger on zte pod2"

fix qtip priority issue

missing \" for if condition
use qtip temp dir for tempfiles

Change-Id: I696b81b2e017f630051353f10b96f07fb85e2ec2
Signed-off-by: Julien <zhang.jun3g@zte.com.cn>

Merge "modify the parameter of PPA_REPO"

xci: Adjust how bifrost inventory files are specified

First step towards creating env-vars files based on the use of these
scripts so the scripts can be merged into one.

Change-Id: I4ee1d9af520aa684a5367a2645d709835bc4a5a1
Signed-off-by: Fatih Degirmenci <fatih.degirmenci@ericsson.com>

Testing Jenkins Subscription

Change-Id: I7e9e4040cf4b711e44ee003bfd13675f556501fa
Signed-off-by: ShubhamRathi <shubhamiiitbackup@gmail.com>

Merge "Testing gerrit subscription"

Testing gerrit subscription

Change-Id: I801dac705223852a28d7e694e01db73f2da9d571
Signed-off-by: ShubhamRathi <shubhamiiitbackup@gmail.com>

Merge "Use cperf master branch even from apex danube"

Merge "Removing shallow clone option"

Removing shallow clone option

Change-Id: Iaae8a4b524ae804fd0efd75c656aae94c1c92a7e
Signed-off-by: ShubhamRathi <shubhamiiitbackup@gmail.com>

Add timeout in releng.ssh_utils

Change-Id: If9c7ba05946b995affd061dea2f531a0642650c2
Signed-off-by: George Paraskevopoulos <geopar@intracom-telecom.com>

Merge "Fix socker connection issue in qtip docker"

Merge "xci: Pass parameters to downstream jobs"

xci: Pass parameters to downstream jobs

Change-Id: I02f8c47fb19e6d47027c4655c233bf1952fabedd
Signed-off-by: Fatih Degirmenci <fatih.degirmenci@ericsson.com>

Merge "start TestAPI in venv with no config-file"

Merge "restore setup.cfg in case submitted by mistake"

Merge "make unittest execution more user-friendly"

Merge "fix: always return 200 even if exception happens"

Avoid build conflicts in build server

Currently each job in daisy project has multiple child jobs, which may
block the resources in lf-build1 for the excutors are limited.

Change-Id: I7977128a550421caaeda395fce04b91b31d35751
Signed-off-by: Julien <zhang.jun3g@zte.com.cn>

jjb: xci: xci-daily-jobs: Fix typo

Change-Id: Ib9116927c2169e033911d8b3fc64ba39232da6b0
Signed-off-by: Markos Chandras <mchandras@suse.de>

modify the parameter of PPA_REPO

We move the master ppa from <http://205.177.226.237:9999> to
<http://205.177.226.237:9999/master>. When we build the master iso,
we need download the ppa from <http://205.177.226.237:9999/master>.

Change-Id: I5fea8e6c6647f8bc0e550a39a9a4001196216685
Signed-off-by: wutianwei <wutianwei1@huawei.com>

make unittest execution more user-friendly

allow users use their existed venv
manage all test-related libs in test-requirements.txt

Change-Id: I39a63833e4a1f4f088afa045a83bf12cd01da167
Signed-off-by: SerenaFeng <feng.xiaowei@zte.com.cn>

restore setup.cfg in case submitted by mistake

in venv mode, setup.cfg will be modified to fit
venv condition, restore to the original after
installation

Change-Id: Ib38b2ab9e015201c812305414a207c05bdf7c830
Signed-off-by: SerenaFeng <feng.xiaowei@zte.com.cn>

start TestAPI in venv with no config-file

in virtual env mode, config.ini is configured in
.venv/etc/opnfv_testapi, in this case when we start
it the configuration file needs to be specified, by
changing the _default_config, the -config-file is no
longer needed when starting TestAPI in venv mode.

Change-Id: I0217cfefe578bbc3325bb7577ed268dc21cde4ea
Signed-off-by: SerenaFeng <feng.xiaowei@zte.com.cn>

fix: always return 200 even if exception happens

when post/update/delete is executed, the return value
always are 200, even if exceptions such as 404/409 happen

Change-Id: I612ad15cc6567f435caa4c889bb0c7b6a73f9c52
Signed-off-by: SerenaFeng <feng.xiaowei@zte.com.cn>

Fix socker connection issue in qtip docker

ansible can not run correctly in qtip docker currently in centos.

Change-Id: I3295b358e43026e10ed7421196d88305a11ed877
Signed-off-by: Julien <zhang.jun3g@zte.com.cn>

fuel: remove the trigger on zte pod2

zte pod2 will be provided to daisy to run CI job.

Change-Id: I9e0eee1bab4a949f6434850dcbd9624ac6476344
Signed-off-by: wu.zhihui <wu.zhihui1@zte.com.cn>

xci: Make it possible to select component versions

By replacing the branch with version, we now can specify sha1s
per project; opnfv/releng, openstack-ansible, and bifrost.

If nothing is specified manually (or via promotion), the defaults
will be set to branches, master and stable/ocata.

Change also includes further logging.

Change-Id: Iae0f8cc60391caeb0f2735610050007014374a70
Signed-off-by: Fatih Degirmenci <fatih.degirmenci@ericsson.com>

Use cperf master branch even from apex danube

Change-Id: I2811165c71a115f4f97b7cbd6f0f40402aae5781
Signed-off-by: Jamo Luhrsen <jluhrsen@redhat.com>

Merge "jjb: xci: Fix permissions in workspace before removing it"

jjb: xci: Fix permissions in workspace before removing it

From time to time we end up in the unfortunate situation where
the jenkins job breaks for random reasons and the logs are left
with 'root' permissions. On the next run, the job fails again but
this time it's because Jenkins does not have enough permissions
to delete them. We workaround this by fixing up the permissions
before removing the workspace.

Change-Id: I2fda20ded527bac73605ffa5818a2c44bf6c9026
Signed-off-by: Markos Chandras <mchandras@suse.de>

KVMFORNFV:  Adding forbidden-file-paths.

This patch is used to disable strict-forbidden-file-verification and add
forbidden-file-paths so that kvmfornfv verify job will not be triggered
if the patch includes changes only to docs/

Change-Id: I03bf15aa354fda3c2003f59c5a8a6e1c741a6531
Signed-off-by: Gundarapu Kalyan Reddy <reddyx.gundarapu@intel.com>

Merge "xci: Fix grep, switch to opnfv playbook and log playbooks to console"

xci: Fix grep, switch to opnfv playbook and log playbooks to console

Change-Id: I4a576d45b71267f672e55c93e4f0c95410af019a
Signed-off-by: Fatih Degirmenci <fatih.degirmenci@ericsson.com>

Merge "functest: daily jobs: Increase timeout"

joid: disable dovetail jobs

Change-Id: I435ae5af78f259bb66a6104312b9bb5133ebeabc
Signed-off-by: Fatih Degirmenci <fatih.degirmenci@ericsson.com>

Change shell check name, as it's confusing

When you look at the build there is

opnfvdocs-verify-master (opnfvdocs project)
opnfv-docs-verify-master (releng project)

It's not clear on first glance which build does what.
change opnfvdocs-verify-{stream} to 'opnfvdocs-verify-shellcheck-{stream}'
change opnfvdocs-merge-{stream} to 'opnfvdocs-merge-shellcheck-{stream}'

Change-Id: I11927c9ac9b7ae6f9ae44660ea5008713a1b0a9f
Signed-off-by: Aric Gardner <agardner@linuxfoundation.org>