[qtip] refactoring ci scripts

- manage help scripts in qtip repo instead of releng
- call entry script in qtip from releng

JIRA: QTIP-268

Change-Id: Ibd0d2c2533c1a7f1963f6c3214c563499cce8b22
Signed-off-by: Yujun Zhang <zhang.yujunz@zte.com.cn>

Merge "[doctor] drop experimental job (profiler)"

Apex: fixes test suite always running even when deploy fails

According to the multijob builder, condtion: "condition (str) – when to
trigger the other job".  Other job in this case means the next job I
believe.

Change-Id: I084fffc80584ad683345f6040ec0081c16513c8d
Signed-off-by: Tim Rozet <trozet@redhat.com>

Merge "Update repository with new location of XCI"

Add odl-fdio-dvr scenarios to daily

Change-Id: I6bd33b0304127dbcac1ccc4320a2a34e8a837d00
Signed-off-by: Feng Pan <fpan@redhat.com>

[doctor] drop experimental job (profiler)

doctor profiler is now enabled in default, we don't need this
experimental job anymore.

https://gerrit.opnfv.org/gerrit/33881

Change-Id: Ife6c81c0c45644ed3353c5b0b6011f33137edc14
Signed-off-by: Ryota MIBU <r-mibu@cq.jp.nec.com>

Merge "Pass jenkins variables to daisy deploy script"

Update repository with new location of XCI

With the releng-xci code moving to it's own repository, the Jenkins jobs
need to be modify to clone the correct repo and point at the right
paths:

 * The git repo is changed to 'releng-xci'
 * The cloned directory is changed to '$WORKSPACE/releng-xci'
 * References to the 'prototypes' directory path have been removed

Change-Id: Ia1d2ad0a2fb6cc9d1848356edf448b92ab67b017
Signed-off-by: Trevor Bramwell <tbramwell@linuxfoundation.org>

Merge "Add jjb script for nfvbench to build the nfvbench VM"

Merge "[qtip] Update shell in qtip integration job"

Merge "Rename odl_l3 to odl"

Merge "Initiate packetization of Testing reporting"

[qtip] Update shell in qtip integration job

Change-Id: I6c3fa3aaaf6f017a014a9e2294995e5a915fdbe8
Signed-off-by: zhihui wu <wu.zhihui1@zte.com.cn>

Don't convert JOID depl. mode from noha to nonha

JOID is not using nonha deployment mode anymore.

Reference change in JOID: https://gerrit.opnfv.org/gerrit/38973

Change-Id: Idc901551862d3936246afc06f0a97ab15d10b91d
Signed-off-by: Martin Kulhavy <martin.kulhavy@nokia.com>

Pass jenkins variables to daisy deploy script

JIRA: DAISY-42

Now the daisy deploy script is executed with sudo. In [1], daisy
deploy job needs to check INSTALLER_IP when it generates the
configuration by the POD Descriptor File. So -E option of sudo
is necessary to pass the jenkins variables.

[1] https://gerrit.opnfv.org/gerrit/#/c/38657/

Change-Id: I852c115d1f0623100afef9979619e4770b5bd1d3
Signed-off-by: Alex Yang <yangyang1@zte.com.cn>

Merge "Correct the description of the bridge used by daisy"

Merge "Fix error in qtip job template"

Merge "add Pods page in webportal"

Apex: Adds sfc scenarios to daily

Change-Id: I900f9dc6e6dd3bf041fbecc5eab3216f5bd7f8bc
Signed-off-by: Tim Rozet <trozet@redhat.com>

Merge "Send 'Build Failed' Emails to Jenkins Admins"

Merge "KVMFORNFV: Implementing kvmfornfv daily jobs."

Merge "APEX: Add os-nosdn-kvm_ovs_dpdk scenarios to daily"

Initiate packetization of Testing reporting

Testing reporting provides
- static reporting pages [1] (jinja2)
- landing pages including test case catalogue [2] (angular)

It consumes the Test API to build web pages providing status for
the testing projects (so far functest, yardstick, storperf and
qtip).

Dockerization has been initiated [3]. The goal is to replace the
static page hosted on testresults.opnfv.org by a docker regenerated
and redeployed when reporting code is changed

But the docker and more generally the testing reporting directory
must be refactored to
- manage dependencies properly
- leverage tox (py27, docs, pylint, pep8)

This patch
- setups tox (py27, pep8, pylint, docs)
- integrate the requirement management
- fix pep8 errors
- introduce 1 dummy unit test

This patch does not
- fix pylint errors
- create any doc

[1]: http://testresults.opnfv.org/reporting2/display/index.html
[2]: http://testresults.opnfv.org/reporting2/reporting/index.html
[3]: https://gerrit.opnfv.org/gerrit/#/c/36735/

Change-Id: I4613de7ca7036d6c6bbb8f58ade492b1d673599b
Signed-off-by: Morgan Richomme <morgan.richomme@orange.com>

add Pods page in webportal

delete OPNFV Powered Guidelines page
add Pods page with create/list operations

Change-Id: Ib9fd2834bd9d54ee33600458a90e3aac76382589
Signed-off-by: SerenaFeng <feng.xiaowei@zte.com.cn>

Merge "remove useless workspace from yardstick"

Rename odl_l3 to odl

Rename all scenarios with "odl_l3" in their name in Euphrates to
just "odl".

Change-Id: If2bff0da79f79b9305771d2fc575db1606cd4bf9
Signed-off-by: Zhijiang Hu <hu.zhijiang@zte.com.cn>

remove useless workspace from yardstick

There is a img file in this workspace, which consumes lots of disk space when
CI collects artifacts

Change-Id: Idef0624832cf2b12de2a63fc85bb65f4986ce0ca
Signed-off-by: grakiss <grakiss.wanglei@huawei.com>

APEX: Add os-nosdn-kvm_ovs_dpdk scenarios to daily

Change-Id: I8433b84bc2e2c3acf7db67b8bf40aedddb727daa
Signed-off-by: Feng Pan <fpan@redhat.com>

APEX: Add nosdn-ovs_dpdk scenarios to daily

Change-Id: I0670eb1e0c698e2a57698ba0f11879a17a34c2ff
Signed-off-by: Feng Pan <fpan@redhat.com>

Merge "APEX: add ipv6 to daily job"

Merge "Allow ZTE POD2 to Publish Testing Logs"

Merge "merge swagger_base_url with ui_url"

KVMFORNFV: Implementing kvmfornfv daily jobs.

JIRA: RELENG-285

This patch includes updated scripts for implementing kvmfornfv daily
jobs to add the new test name livemigration and trigger the livemigration
testcase

Change-Id: I4b32b14a85b87a386b8099b725ad11bc80ca9cdd
Signed-off-by:RajithaY<rajithax.yerrumsetty@intel.com>

Merge "export detailed logs for each project"

Merge "Fix anteater job failed because of quatation marks"

Allow ZTE POD2 to Publish Testing Logs

Change-Id: I17e6c6d316a49199f3e4797d87113392cce69568
Signed-off-by: Trevor Bramwell <tbramwell@linuxfoundation.org>

Merge "Use dovetail cvp.0.4.0 image"

Fix error in qtip job template

Change-Id: Ida62e630c1f26ed4058eb34dbd9d438fb6071387
Signed-off-by: Yujun Zhang <zhang.yujunz@zte.com.cn>

Merge "Create experimental job for qtip integration"

Merge "Add slave parameter for zte-pod4"

Merge "link from releng jjb to daily JOID job ORCHESTRA-15 ORCHESTRA-16"

Don't trigger odl_l2-nofeature scenario by time

when patch verify, we define the os-nosdn-nofeature-ha scenario for functest

Change-Id: Ia7a11817a29a2e5e9649708652f8655d1cf89361
Signed-off-by: wutianwei <wutianwei1@huawei.com>

Use dovetail cvp.0.4.0 image

JIRA: DOVETAIL-476

Change-Id: I0850ba96829e3a7233e80b4816424babd20175e0
Signed-off-by: xudan <xudan16@huawei.com>

Apex: fixes groovy script

The script had double quotes which will try to interpret dollar sign as
a templated variable.  Switching to literal string.

Change-Id: Ic8d09dc6c862b9db95bf9d1277f562e5bce02fc9
Signed-off-by: Tim Rozet <trozet@redhat.com>

bugfix: fix url name error

JIRA: BOTTLENECK-158

fix url name error in BOTTTLENECKS_TARGET_DB var

Change-Id: Ic8b4c2262e488bdafab329558c7fdde73e9413ba
Signed-off-by: Yang Yu <Gabriel.yuyang@huawei.com>

Add test case run command introduction

JIRA: BOTTLENECK-158

Print testcase run command to ease reading log

Change-Id: I41362349d23865d0a485d80856cbbc4658ee945a
Signed-off-by: Yang Yu <Gabriel.yuyang@huawei.com>

Merge "Add envs to Bottlenecks docker"

Send 'Build Failed' Emails to Jenkins Admins

Adds the 'email-jenkins-admins-on-build-failures' publishers for jobs
which have overridden the default list of publishers.

This will provide Jenkins administrators a time-series list of build
failures to assist in debugging issues with the master and agents.

JIRA: RELENG-257

Change-Id: I28f12877562113c9197ed6429ee2a7f3cdbaf346
Signed-off-by: Trevor Bramwell <tbramwell@linuxfoundation.org>

Add jjb script for nfvbench to build the nfvbench VM

Change-Id: I02b17840bdd03396b39401d03b1f9224cd899161
Signed-off-by: ahothan <ahothan@cisco.com>

Apex: fix groovy build result update

The groovy script is working, but it is changing the 'apex test suite'
phase to unstable and we really want it to change the 'scenario' job
result to unstable if deploy passed but tests failed.  Therefore this
patch moves the groovy plugin to execute on the scenario job, and looks
for deploy successful before changing the build result.

Change-Id: I1b6907f4fb2647e644c4a627be6e481fff32f195
Signed-off-by: Tim Rozet <trozet@redhat.com>

Add envs to Bottlenecks docker

JIRA: BOTTLENECK-158

Pass envs to Bottlenecks docker that used for report

Change-Id: Id7e34533c5fdd81dacaf95bb9321625dd6c8713c
Signed-off-by: Yang Yu <Gabriel.yuyang@huawei.com>

Create experimental job for qtip integration

Note that

- experimental trigger is modified to allow trigger the build from
changes outside `tests` folder
- doctor jobs modified to adapt the change in common trigger

Change-Id: Iaaa26651f9ea1d14cb6c77a713ff657c330dce6e
Signed-off-by: Yujun Zhang <zhang.yujunz@zte.com.cn>

Add slave parameter for zte-pod4

Change-Id: Icdfc94067313705913ccd215c1f20ca29f7a7e51
Signed-off-by: Yujun Zhang <zhang.yujunz@zte.com.cn>

APEX: add ipv6 to daily job

Change-Id: I9d080558ac6943f53d657cbec6c25dd2e6c10ac5
Signed-off-by: Feng Pan <fpan@redhat.com>

Apex: enables barometer scenarios in daily

Change-Id: I959a46ed619d55df3a8c6bd3b3300bad4432b911
Signed-off-by: Tim Rozet <trozet@redhat.com>

Merge "fuel: s/danube/euphrates/, disable triggers"

fuel: s/danube/euphrates/, disable triggers

While at it, also rename some leftover "danube" reference for
the armband project.

Change-Id: Icddcf19ca9dfd7880ae2f78ed690988bded25abd
Signed-off-by: Alexandru Avadanii <Alexandru.Avadanii@enea.com>

fuel, armband: Drop "-H" arg, fix bridge default

MCP does not have a self-test healtcheck suite, similar to old
Fuel, so we dropped the "-H" deploy argument (which used to disable
healtcheck autorun).
Adjust deploy command to reflect this installer change.

While at it, fix leftover "pxebr" default installer parameter,
which we missed in the previous commit where we changed the
default only in releng deploy scripts.

Change-Id: I55e1f5cad17687bdf304fbf04d67366dd32ed42a
Signed-off-by: Alexandru Avadanii <Alexandru.Avadanii@enea.com>

Merge "fuel, armband: Temporarily remove pxebr deploy arg"

Merge "Armband: Disable CI triggers for stable branch"

fuel, armband: Temporarily remove pxebr deploy arg

Fuel and implicitly Armband switched to a newer format for parsing
the "-B" deploy arg, used to pass bridge(s) information.

For now, we will default to ",,,", which is equivalent to not
setting any default value for any of the 4 possible bridges.

NOTE: Armband overrides this on a per-pod basis, since bridge
information is POD specific in our lab.

Change-Id: I3635b0eb6f8233cf99022a97d5642f2e49197e3b
Signed-off-by: Alexandru Avadanii <Alexandru.Avadanii@enea.com>

Correct the description of the bridge used by daisy

Change-Id: I1aeed86489f7d42e3513a212f34df02c7efb12b9
Signed-off-by: Alex Yang <yangyang1@zte.com.cn>

Bugfix: Permission denied when fetching Apex id_rsa file

JIRA: DOVETAIL-472

It's permission denied When copy id_rsa file from Apex undercloud.
Add sudo to the scp operation.

Change-Id: I97bd8a74c406269d066dcde36978c17aa3ce6be2
Signed-off-by: xudan <xudan16@huawei.com>

APEX: Add fdio scenarios to master daily

The following scenarios are added:
- os-nosdn-fdio-ha
- os-nosdn-fdio-noha
- os-odl-fdio-ha
- os-odl-fdio-noha

Change-Id: I7aa68cf3c673cd7f0026873cd3d6939887944117
Signed-off-by: Feng Pan <fpan@redhat.com>

Merge "Apex: changes build result using groovy-postbuild"

remove docker compose cleanup

JIRA: BOTTLENECK-103

Remove docker compose cleanup since docker-compose is not used

Change-Id: I73c6d114fc698c2508247eca2309d838ba929b38
Signed-off-by: yuyang <Gabriel.yuyang@huawei.com>

bugfix: unexpected file end for support SUT branches

JIRA: BOTTLENECK-103

Bugfix for 38413 that unexpected file end

Change-Id: Iab41019b2149332c44dc08e518d3787ccba6be9f
Signed-off-by: yuyang <Gabriel.yuyang@huawei.com>

Merge "Add support for Bottlenecks' new framework and potential installers"

Add support for Bottlenecks' new framework and potential installers

JIRA: BOTTLENECK-103

Bottlencks does not use docker-compose and support sourcing rc files
from different installers. This patch is to modify the CI process
for Bottlenecks.

Change-Id: I79dc79c6a9528678bf62caa1fa817273e040288c
Signed-off-by: yuyang <Gabriel.yuyang@huawei.com>

Merge "Add odl_l2-moon scenario in compass"

Merge "[fuel]reschedule fuel daily job on zte pods"

Add odl_l2-moon scenario in compass

Change-Id: I6274f18e553a06e8950e2ce2e0d01b1a35fa8a2b
Signed-off-by: wutianwei <wutianwei1@huawei.com>

ovn4nfv Create Jenkins tab for ovn4nfv Project jobs
JIRA:OVN4NFV-10

Change-Id: I8269e93d02b04990fb114f96e1a10f0c1d9fdc7e
Signed-off-by: Prakash Ramchandran <prakash.ramchandran@huawei.com>

link from releng jjb to daily JOID job ORCHESTRA-15 ORCHESTRA-16

Change-Id: I04f82595a5d6bdccab871df0397e3b696ebc0c74
Signed-off-by: Prakash Ramchandran <prakash.ramchandran@huawei.com>

Merge "Enable daisy HA deployment job"

Merge "support generating pod.yaml for HA test cases on Apex"

support generating pod.yaml for HA test cases on Apex

JIRA: DOVETAIL-472

Now Dovetail can run on Apex pod.
So it needs to support generating pod.yaml on this installer to
guarantee HA test cases can run successfully.

Change-Id: Idc3d457bf9f56ad2ea68d27921498f3060ec375f
Signed-off-by: xudan <xudan16@huawei.com>

Apex: changes build result using groovy-postbuild

Conditional plugin does not work for detecting current status in
mulitjob, but groovy publisher does.  Shown to be working in sandbox
job:
https://sandbox.opnfv.org/view/All/job/test_groovy_publisher/17/

Change-Id: Ic0ed09885bb29254c4bfda24164c5358eda0d20a
Signed-off-by: Tim Rozet <trozet@redhat.com>

adding OVN to the daily scenarios

Change-Id: I0399c414c5ae042fdc3d3ace1354414897f7d92b
Signed-off-by: Dan Radez <dradez@redhat.com>

Merge "Use http instead of https as a workaround for certificate error"

Merge "initial JJB for orchestra"

Armband: Disable CI triggers for stable branch

- rename "danube" to "euphrates";
- disable "euphrates", to be enabled when ready;

Change-Id: Id4932986e19c664b28749d0b6926d825ea632250
Signed-off-by: Alexandru Nemes <alexandru.nemes@enea.com>
Signed-off-by: Alexandru Avadanii <Alexandru.Avadanii@enea.com>

Merge "armband-deploy: rm translation of virtual POD name"

initial JJB for orchestra

- job for post installation step for joid installer
- job for executing functest orchestra test case after joid installer finished

Change-Id: I092712658e7b0fe08e45e29405fc0358b19a324e
JIRA: ORCHESTRA-15
Signed-off-by: Michael Pauls <michael.pauls@fokus.fraunhofer.de>

[Functest] Add os_cacert file mapping for compass master

Change-Id: I1e786839524de2bad09df39bd9450068cf3d2c96
Signed-off-by: Linda Wang <wangwulin@huawei.com>

Enable daisy HA deployment job

In patch https://gerrit.opnfv.org/gerrit/#/c/36873/ daisy noha jobs
were added since the HA function is not perfect at that time.
Now the issues have been fixed and HA function can be enabled.

Change-Id: I1fc9a235191ba47e8473ae8a429994dc36cca955
Signed-off-by: Alex Yang <yangyang1@zte.com.cn>

merge swagger_base_url with ui_url

TestAPI used to have only one webpage, which is swagger_ui,
now a new one webportal is added, and the base url is the same
(http://testresults.opnfv.org/test)for them both.
This patch aim to unify the urls.

Change-Id: I15295975fb05f7e8c8d413e12b2b5c0784f0799a
Signed-off-by: SerenaFeng <feng.xiaowei@zte.com.cn>

Merge "[compass4nfv] Add new scenarios"

[compass4nfv] Add new scenarios

1. add nosdn-dpdk-ha scenario
2. add odl-sfc-ha scenario
3. add k8s-nosdn-nofeature-ha scenario

Change-Id: Ied064f5e69e192c79cb165f37d493c811b27aaf2
Signed-off-by: wutianwei <wutianwei1@huawei.com>

Use http instead of https as a workaround for certificate error

Got an SSL error when loading content from https://artifacts.opnfv.org [1]
HTTPS is not a must for this use case, so use http instead to solve this issue.

[1] https://nbviewer.jupyter.org/urls/artifacts.opnfv.org/qtip/review/37731/compute-qpi-report/report.ipynb

Change-Id: I8b09eb2d1da234c17843f2cb7504a3b1ded9017e
Signed-off-by: Yujun Zhang <zhang.yujunz@zte.com.cn>

Move the defaut openstack to ocata

Moving from newton to Ocata openstack for deployment by default.
This patch will fix the aboe description.

Change-Id: I088dfab923589d50305c8e23356eaf2abe0a062f
Signed-off-by: Narinder Gupta <narinder.gupta@canonical.com>

Remove Old Storperf Docker Job

This has been replaced by three seperate docker build jobs.

Change-Id: Ib82e6e69e631ca0122a2dd8ee7881f22884cae39
Signed-off-by: Trevor Bramwell <tbramwell@linuxfoundation.org>

Merge "[Functest] Add huawei-virtual5 for alpine testing"

Merge "[yardstick]Add cacert file in yardstick job for compass master environment"

[yardstick]Add cacert file in yardstick job for compass master environment

Compass4nfv in master now enables https, so a cacert file is required when executing
openstack command in yardstick container. This patch adds a "cacert_file_ vol" binding
to the yardstick container.

Change-Id: Id69c3e71de6c73fc7834b3ac03f423e3636377b6
Signed-off-by: JingLu5 <lvjing5@huawei.com>

Add parameters for compass CI deployment

Change-Id: Ic553f1ae40464cd043c548e7d27017e7b17cbc52
Signed-off-by: wutianwei <wutianwei1@huawei.com>

Merge "delete obsolete run_test.sh"

compass: bugfix of conditional steps

Change-Id: Ib39afd5df9f0629c8dd3e4ba5ffb023cde5595a1
Signed-off-by: MatthewLi <lijun_1203@126.com>

Merge "Bugfix: Add Apex jobs failed because of wrong regex"

Create Docker Builds for Storperf Dockerfiles

Taking advantage of the changes to the way the docker build job is
configured, this adds builds for all three dockerfiles in the storperf
repository.

Change-Id: I88480d8453486e0fd1610b48cdd517751f907d34
Signed-off-by: Trevor Bramwell <tbramwell@linuxfoundation.org>