Apex,3rd_party: Fix workspace wiping

Workspace wiping was done in builders, which can be removed in favor of
wiping workspace via the 'scm' entry in the job.  For now we point at
apex since we require apex repo to clean the host properly.  We also
need sdnvpn for the python code to upgrade ODL.  Since we can only use a
single scm at a time, we use apex in the jjb, and then manually clone
sdnvpn in the builders that require it.

Change-Id: I52274fc8fdd6b6c052e396c2a63dab5abcbf764e
Signed-off-by: Tim Rozet <trozet@redhat.com>

Merge "Apex: fixes missing GS_URL for CSIT"

Merge changes from topics 'deployment_handler_refactor', 'deployment_handler'

* changes:
  [deployment handler] Refactor the old installer_handler
  [deployment_handler] Remove current scripts

Apex: fixes missing GS_URL for CSIT

Change-Id: I059daa067b4aba9f680a63b0a5ec535164fb05d3
Signed-off-by: Tim Rozet <trozet@redhat.com>

Merge "Revert include-raw-escape to include-raw"

Apex: fixes gate job param passing

Change-Id: I81bd36ce085d373ecd986a453cde8d45f179a7fb
Signed-off-by: Tim Rozet <trozet@redhat.com>

Revert include-raw-escape to include-raw

Otherwise, we saw functions definition in shell script to be
fold by double bracket, not single as expected.

Change-Id: I1924d261f6d8313afa5cf70d173374840e5394db
Signed-off-by: Zhijiang Hu <hu.zhijiang@zte.com.cn>

Merge "Added VNF_Catalogue Server"

Merge "Move the compass centos job to intel-pod8"

Move the compass centos job to intel-pod8

We fixed the issue of accessing database failed on intel-pod8.
Some problem happened in Huawei Munich Lab.So we move the CI job to this pod.

Change-Id: Iefddcf2bef2cc296b1abd2d224b78c6dbc522295
Signed-off-by: wutianwei <wutianwei1@huawei.com>

Added VNF_Catalogue Server

Change-Id: I45cedac46f06e6e1f080dd3bc38d6f79eec37fa6
Signed-off-by: Kumar Rishabh <shailrishabh@gmail.com>

Apex: fixes issue with detecting proper gate scenario

Change-Id: I5aaf203f3db5078e462007c78aa9ff13d102c70c
Signed-off-by: Tim Rozet <trozet@redhat.com>

Merge "[qtip] Add experimental task"

Apex: fixes csit snap upload

Change-Id: Ideb6302df40cae35637d9d764a7811532cf46d7b
Signed-off-by: Tim Rozet <trozet@redhat.com>

Merge "jjb: infra: bifrost-verify.sh: Always print the GS URL"

Apex: csit snapshot create more perms fixes

Change-Id: I8143a664a7d9829a048df2603df281ee78dda937
Signed-off-by: Tim Rozet <trozet@redhat.com>

vsperf: replace intel-pod3 by intel-pod12

Intel POD dedicated to VSPERF was moved to new location
and renamed to Intel POD 12.

Change-Id: I98a2204de90f6a491edb9e378da46600d4f29978
Signed-off-by: Martin Klozik <martinx.klozik@intel.com>
Reviewed-by: Aric Gardner <agardner@linuxfoundation.org>
Reviewed-by: Fatih Degirmenci <fatih.degirmenci@ericsson.com>

Apex: removes files touched with by root in workspace for csit

Change-Id: I5e97a617a1e205ab7827b362d7e46e5f1792a578
Signed-off-by: Tim Rozet <trozet@redhat.com>

Apex: Adds gate scenario job

Apex needs a way to run a gate job after basic scenarios (nosdn,
odl-nofeature) pass.  We need the capability to specify which scenario
should be the gate.  This patch allows us via a comment to specify
'start-gate-scenario: <scenario>' which will start a gate job to
validate that scenario deploys and passes basic functest health check.

Some drawbacks of this approach include only being able to validate a
single scenario per comment + gerrit votes overriding (not true
workflow/pipeline plugin).  The positive is this is a fairly small CI
change to enable some much needed verification.  It will be the Apex
committers responsibility to issue this comment post Jenkins +1 approval
of pre-gate.

Change-Id: I9a1364bb1cece8b35488d496789a5e83c707b32d
Signed-off-by: Tim Rozet <trozet@redhat.com>

[deployment handler] Refactor the old installer_handler

This is a util library to interact with the
deployment regardless of the installer.

Objects:
  - Deployment
  - Node
  - DeploymentHandler
     - ApexAdapter
     - FuelAdapter
  - Factory

The installer adapters implement some of the
abstract functions of DeploymentHandler class
that can't be generalized.

Printout of example.py:
http://pastebin.com/raw/SF3A1fee

More info: JIRA: RELENG-149

Change-Id: I5c9e94459d5be0bfad6ffac29908a8cfc7ba919c
Signed-off-by: jose.lausuch <jose.lausuch@ericsson.com>

Merge "[fuel] Align master jobs schedule"

[fuel] Align master jobs schedule

- activate baremetal runs
- disable onos related runs (plugin ain't ready yet)

Change-Id: I89c9cc0a9eafeff698112cdfb4654f4f7852d014
Signed-off-by: Michael Polenchuk <mpolenchuk@mirantis.com>

Add huawei-pod12 (used for JOID) in ci-production list

Change-Id: Icf5b89e608d604fb0fec3369b680db9e341b2b35
Signed-off-by: Morgan Richomme <morgan.richomme@orange.com>

Merge "dovetail: branch parameter bugfix"

Apex: More fixes to csit snapshot create

Change-Id: I210e5148c8058488edab6f26ece42b011e0e618d
Signed-off-by: Tim Rozet <trozet@redhat.com>

dovetail: branch parameter bugfix

JIRA: DOVETAIL-180

Change-Id: Ia1e448c5802693c635bc4ca347df3defb9e1e3b4
Signed-off-by: MatthewLi <matthew.lijun@huawei.com>

[qtip] Add experimental task

Change-Id: I26a2296eb216fae738d4e749410810bff2072e25
Signed-off-by: Yujun Zhang <zhang.yujunz@zte.com.cn>

Merge "openretriever: verify job added and document check"

Merge "[opera] set timeout of daily building job as 240min"

Merge "[bugfix] wrong regular expression to fetch controller ip by hostname"

[opera] set timeout of daily building job as 240min

Change-Id: Ie323aa771f2348d99eacbf5115c1503e69576ab7
Signed-off-by: meimei <meimei@huawei.com>

Apex: fixes missing sudo on route cmd for csit

Change-Id: Iffb93175cc253a471530571662a5b8fb3a00ff88
Signed-off-by: Tim Rozet <trozet@redhat.com>

[bugfix] wrong regular expression to fetch controller ip by hostname

Change-Id: Idcf6739498837e828dd65897f599dada720fb48e
Signed-off-by: meimei <meimei@huawei.com>

qtip is using 'gerrit-trigger-change-merged'

Need to add it back from the last revert

Change-Id: Ibc2f225c94121e89cc1db1b03b085e588b5a732c
Signed-off-by: Aric Gardner <agardner@linuxfoundation.org>

Revert "Add new jobs for doc merge and verify"

This reverts commit fd8d915b212fb8adc943a74b537b5b5efffeaaad.

Change-Id: I9e56196f2ac84b72af2f9b51bbcd663fdc4e02c3

Apex: adds host route for csit jobs

This route will let functest container access floating IPs on the
overcloud when virtual deployments are used.

Change-Id: I9c63239d4d224a141538e9d6f203f4902fe8752e
Signed-off-by: Tim Rozet <trozet@redhat.com>

Fix verify job failure

https://gerrit.opnfv.org/gerrit/#/c/27629/ missed the qtip
jobs and caused verify job to fail with
https://build.opnfv.org/ci/job/releng-verify-jjb/900/console

Change-Id: Id9883edb98cc2e7f3fcb8623aeadebfb653f484b
Signed-off-by: Cristina Pauna <cristina.pauna@enea.com>

Merge "Remove email publisher from jenkins job"

Merge "Add new jobs for doc merge and verify"

Merge "Update new slave tag"

Merge "[Functest] Add push-logs to functest-suite job"

Add new jobs for doc merge and verify

New jobs for merge and verify added in tandem to ODLDocs.  Intent of
keeping these doc jobs  between ODL & OPNFV as similar as possible is
to keep the scope for common jobs and cross collaboration possible.
The archiving feature that is included in post build configuration of
ODLDoc jobs has been left out for now until CI Team can take it up.

Change-Id: Ifb494f1491f07ad0af39cd2644f895372b98edf3
Signed-off-by: ShubhamRathi <shubhamiiitbackup@gmail.com>

KVMFORNFV: Uploading logs to artifacts.

This patch includes script updates/corrections to upload the artifacts
based on Job type and phase.

Change-Id: I817f9a0cc9a2850759743a72f0db7d2c342360f1
Signed-off-by: Gundarapu Kalyan Reddy <reddyx.gundarapu@intel.com>

Merge "Refactor Daisy verify jobs"

Merge "Add daisy installer default parameters"

Merge "Refactoring daisy CI Jobs"

Merge "Use parameters in cli for deploy.sh"

Merge "Add docker build for escalator"

Merge "Update on Functest reporting processing"

Update new slave tag

The jenkins slave arm-build2 was retagged from opnfv-build-arm
to opnfv-build-enea. This change was made to avoid confusion, as
this slave is an x86 machine building an iso that is used by armband

Change-Id: Iac4e9bf635c128070c32818874626a81a28e6cf7
Signed-off-by: Cristina Pauna <cristina.pauna@enea.com>

Merge "dovetail: bugfix of parameter name"

Merge "send notifications to company email"

dovetail: bugfix of parameter name

JIRA: DOVETAIL-180

Change-Id: I63c8108cb86dcf810b60648ce3f0eddd70f9cd68
Signed-off-by: MatthewLi <matthew.lijun@huawei.com>

Merge "Deprecate legacy test task"

Merge "Refactor qtip jobs"

Remove email publisher from jenkins job

Sending emails for verify jenkins job is unnecessary

Change-Id: I44eaadc7cee1d6a8f6a29fc269279f3acd98c71f
Signed-off-by: rohitsakala <rohitsakala@gmail.com>

undo publishing the ansible.log

- we already redirect all the logs of ansible, so publishing ansible.log is unnesesaary

Change-Id: Ic3daf59a379512ac370739aff292509f81fa697c
Signed-off-by: meimei <meimei@huawei.com>

send notifications to company email

Change-Id: I678bdea2ff553a898135f36f9d0e1b0ca5ba8a98
Signed-off-by: SerenaFeng <feng.xiaowei@zte.com.cn>

Merge "Adding POSCA build job for Bottlenecks"

Merge "keep weekly-trigger-disabled and enable compass-dovetail weekly trigger"

Merge "KVMFORNFV: Uploading logs to artifacts for debugging."

KVMFORNFV: Uploading logs to artifacts for debugging.

This patch includes updated scripts for uploading kvmfornfv test
logs(example:ftrace logs) to artifacts for future debugging if needed.

Change-Id: I078169fc777de93cb2706bb07d77520da7527d73
Signed-off-by: Gundarapu Kalyan Reddy <reddyx.gundarapu@intel.com>

Merge "Add GIT_BASE parameter in a phase job."

[Functest] Add push-logs to functest-suite job

Functest suite is used now by different projects
for verify jobs for example. Some of these jobs
would like to have the logs in artifacts for
further troubleshooting.

Change-Id: I2e0c2d9539c2e195a5c4fb6c4708d82e512adf94
Signed-off-by: jose.lausuch <jose.lausuch@ericsson.com>

Apex: fixes snapshot create RC files

Change-Id: I769bf1f4f6d0c399769422bc7a84a171c295cf2c
Signed-off-by: Tim Rozet <trozet@redhat.com>

Merge "bifrost: Destroy all VMs from the slave nodes"

Merge "[APEX][BGPVPN] Add to bgpvpn to apex-daily"

KVMFORNFV: Enabling triggers for kvm OVS+DPDK+BAROMETER scenario.

This patch includes implementation of jobs and triggers for
kvmfornfv ovs+dpdk+barometer HA scenario test case.

Change-Id: I1b8e4a660f18b479631ea30df80d66c0d75a1bcd
Signed-off-by: Navya Bathula <navyax.bathula@intel.com>

bifrost: Destroy all VMs from the slave nodes

New patchsets may introduce (or remove) testing VMs so make sure the
script destroys all of them

Change-Id: Ic96142823b9a8b044306327ce3454fbdc6fa5eb4
Signed-off-by: Markos Chandras <mchandras@suse.de>

openretriever: verify job added and document check

1, verify job added
2, put into document check cfg file

Change-Id: I3f6ce78653aab789ccdc0a11f36c1b6e735ae3cc
Signed-off-by: MatthewLi <matthew.lijun@huawei.com>

Refactor Daisy verify jobs

remove unused jobs, such as basic, test, deploy and keep only build job.

Change-Id: I1639882f1bf5249f404d3fe6db69443a2a997f89
Signed-off-by: Julien <zhang.jun3g@zte.com.cn>

Add daisy installer default parameters

Add default settings for installer and slaves
Use baremetal deployment for daily
Use virtual deployment for merge

JIRA: DAISY-27

Change-Id: Ia00343225656c02aa292ee89d153f2e047c994b0
Signed-off-by: Julien <zhang.jun3g@zte.com.cn>

Add GIT_BASE parameter in a phase job.

This parameter is missed because there was no macro as
testresults-defaults.

Change-Id: I79e506943cfaab6568419b51c09981fd313522c6
Signed-off-by: rohitsakala <rohitsakala@gmail.com>

Refactoring daisy CI Jobs

Refactoring for:
1. Delete unuseful jobs;
does nothing but echo;
2. Daily build and Daily deployment jobs are missing;
3. Change include-raw-escape including multiple files into multiple
include-raw-escape for better troubleshooting;

JIRA: DAISY-25
JIRA: DAISY-26, fixed by add period building job

Change-Id: I3a1fc64f6416546b5bd1a7730629ad5ed88140b1
Signed-off-by: Julien <zhang.jun3g@zte.com.cn>

[deployment_handler] Remove current scripts

This work has been done from scratch following
a better OO approach and better structured.

The library is renamed by 'deploment handler'

Change-Id: I7af2963ebb4e33d90481e91cabfc015718b0bb68
Signed-off-by: jose.lausuch <jose.lausuch@ericsson.com>

Add pre-defined parameter for a phase job

The currentparameters for two phase jobs is set to true so that they run
on opnfv-build-ubuntu defaults and the second phase job has a
pre-defined parameter as it is to be run on testresults

Change-Id: Id5feb94f407d29f6a3d5aa88d321666f3ff463b5
Signed-off-by: rohitsakala <rohitsakala@gmail.com>

Merge "prototypes: bifrost: Drop the entire ironic database"

Merge "Changed parameters in phase jobs"

Changed parameters in phase jobs

This is done so that the parameters of the prevuious phase jobs are not
carried forward to next phase jobs

Change-Id: I91a068c75fe1658b3ca104613d3d59a6b82508e9
Signed-off-by: rohitsakala <rohitsakala@gmail.com>

Change testresults url to auto testresults url

The url is being changed to auto because the auto testresults website is
updated and the api-docs should be in sync with the testresults website.

Note - The auto testresults is created temporarily.

Change-Id: If2428511c46183bd57b1a466fbdd04786528b103
Signed-off-by: rohitsakala <rohitsakala@gmail.com>

Merge "Add description to builder in testapi jenkins job"

Add description to builder in testapi jenkins job

This is done so that we get to know the node on which it is built in the
console.

Change-Id: I7e0ff4dd2129637eb4b6e0476766c4fbcbcaafed
Signed-off-by: rohitsakala <rohitsakala@gmail.com>

keep weekly-trigger-disabled and enable compass-dovetail weekly trigger

Change-Id: I7dbe800da270275593e24aa91afcc963de2acf98
Signed-off-by: MatthewLi <matthew.lijun@huawei.com>

Update on Functest reporting processing

- new param to exclude or not results from virtual PODs
- new param to exclude or not noha results
- fix path
- add rally_sanity in black list until we fixed the format issue

Change-Id: Ie952f7d6968a322edbcf2effffbc1a75beddc52f
Signed-off-by: Morgan Richomme <morgan.richomme@orange.com>

Merge "dovetail: set weekly trigger"

yardstick: install python3-dev so we can build libraries

We need python3-dev so we can install Python3 libraries like lxml

Otherwise we fail with:

  building 'lxml.etree' extension
  creating build/temp.linux-x86_64-3.5
  creating build/temp.linux-x86_64-3.5/src
  creating build/temp.linux-x86_64-3.5/src/lxml
  x86_64-linux-gnu-gcc -pthread -DNDEBUG -g -fwrapv -O2 -Wall -Wstrict-prototypes -g -fstack-protector-strong -Wformat -Werror=format-security -Wdate-time -D_FORTIFY_SOURCE=2 -fPIC -I/usr/include/libxml2 -Isrc/lxml/includes -I/usr/include/python3.5m -I/home/jenkins/opnfv/slave_root/workspace/yardstick-verify-master/.tox/py3/include/python3.5m -c src/lxml/lxml.etree.c -o build/temp.linux-x86_64-3.5/src/lxml/lxml.etree.o -w
  src/lxml/lxml.etree.c:85:20: fatal error: Python.h: No such file or directory
  compilation terminated.
  Compile failed: command 'x86_64-linux-gnu-gcc' failed with exit status 1
  creating tmp
  cc -I/usr/include/libxml2 -I/usr/include/libxml2 -c /tmp/xmlXPathInitmtir1fki.c -o tmp/xmlXPathInitmtir1fki.o
  /tmp/xmlXPathInitmtir1fki.c:2:1: warning: return type defaults to ‘int’ [-Wimplicit-int]
   main (int argc, char **argv) {
   ^
  cc tmp/xmlXPathInitmtir1fki.o -lxml2 -o a.out
  error: command 'x86_64-linux-gnu-gcc' failed with exit status 1

JIRA: RELENG-190

Change-Id: Icea4cff9bb9699fbd4bfc25dd201ff8bc6e6a902
Signed-off-by: Ross Brattain <ross.b.brattain@intel.com>

Use parameters in cli for deploy.sh

JIRA:DAISY-29

Change-Id: Idacb508abb765e7528cfd19afb6d15c364e6132f
Signed-off-by: Julien <zhang.jun3g@zte.com.cn>

Merge "yardstick: use tox to add support for python3"

Merge "Adding multijob builder and script for deploy of testapi"

bugfix: miss a | after predefined-parameters

Change-Id: I3421885ac8ced9139331d234b786929d11da4293
Signed-off-by: meimei <meimei@huawei.com>

dovetail: set weekly trigger

JIRA: DOVETAIL-180

Change-Id: I26c02cd0805a8daf5a647e6c862f7befd0dbc34a
Signed-off-by: MatthewLi <matthew.lijun@huawei.com>

Deprecate legacy test task

Change-Id: I8cd4ac73cd71d4baf99500b729aefdcb0ff9baca
Signed-off-by: Yujun Zhang <zhang.yujunz@zte.com.cn>

Refactor qtip jobs

- rename jobs to verify and validate
- add job for validate-setup
- move all scripts to helpers folder
- use auto variables to merge job templates

Change-Id: Ie1199e35e48b6a95861d9b7281fa7bdcc94212d9
Signed-off-by: Yujun Zhang <zhang.yujunz@zte.com.cn>

armband: Fix log collection by not setting errexit

Fuel and Armband deploy scripts trap internal errors and call exit
in the trap handler, so the releng wrapper exists before collecting
all deploy logs when shell option "errexit" is set.

JIRA: ARMBAND-217

Change-Id: Icb1e3277c3e137abb3225a2b9a0b4269eaf08fc6
Signed-off-by: Alexandru Avadanii <Alexandru.Avadanii@enea.com>

Add docker build for escalator

Change-Id: Ie14404f29019c666a42b88ea802b412f20ba9a26
Signed-off-by: Julien <zhang.jun3g@zte.com.cn>

Merge "adjust parameters setting"

Adding multijob builder and script for deploy of testapi

docker-update and generate-doc will run in opnfv-build defaults, and
docker-deploy will run in testresults.

Script will ensure this :-
Docker Images in testresults.opnfv.org
- N-1 docker image will be labeled as stable.
- N docker image will be latest.

Docker containers
- N-1 container will be stopped but not removed but will be removed in next iteration.

JIRA: FUNCTEST-689

Change-Id: I8c66ff716bae969b34fe698cdfa6140ef494ec49
Signed-off-by: rohitsakala <rohitsakala@gmail.com>

Merge "[doctor] enable joid jobs"

Merge "Added helper scripts"

Merge "prototypes: bifrost: Cleanup old VM console logs"