Apex: Fixes daily result reporting

Breaks testing up into its own mulitjob, which allows us to condtionally
set status for the job due to failures, which will be set to unstable if
only test suites fail.

Change-Id: I5d886b98e437bf100b1d5546aebfcd046b0238cb
Signed-off-by: Tim Rozet <trozet@redhat.com>

Apex: throttles scenario jobs to only 1 per node

Change-Id: Ia155e3c60be35c0cdd31d6ddb0705dc5c3f6ad42
Signed-off-by: Tim Rozet <trozet@redhat.com>

Merge "prototypes: bifrost: Do not use tmpfs for dib builds"

Apex: adds slave params to deploy job

Change-Id: I56002eea4b626fa9616d3a6dac7b230058121d96
Signed-off-by: Tim Rozet <trozet@redhat.com>

Merge "Apex: updates for post-danube"

Apex: updates for post-danube

Changes Include:
 - Functest in daily only executes on successful deployment
 - os-odl-bgpvpn-ha added to daily master
 - daily sub-job renamed to match CI evolution

Change-Id: If34d013416b6d6c7fdfb4d0cdff652222e02462e
Signed-off-by: Tim Rozet <trozet@redhat.com>

Merge "[Functest] Add presetup and fetch credentials for Alpine job"

Merge "bugfix: pagination raise exception when no records returned"

Merge "bugfix: query doesn't work well with period=1"

Merge "bugfix: mix order of Arno results"

Merge "leverage openstack's requirements rule"

[Functest] Add presetup and fetch credentials for Alpine job

Change-Id: I8633353f3ca9bbf854e0d67760e6504524309d74
Signed-off-by: jose.lausuch <jose.lausuch@ericsson.com>

[Functest] Add docker run command to execute the tests

Change-Id: Ie9a56a7786de841d720b9902e8d3b5aabd79dd7e
Signed-off-by: jose.lausuch <jose.lausuch@ericsson.com>

bugfix: pagination raise exception when no records returned

if no records returned, it will raise 'Request page > total_pages'
error. this patch is submitted to fix this

JIRA: RELENG-281

Change-Id: I447247c55c64674d44d21d6f4ac8bb3ef725cfb0
Signed-off-by: SerenaFeng <feng.xiaowei@zte.com.cn>

Merge "[Functest] Add script for running new Alpine containers"

[Functest] Add script for running new Alpine containers

Change-Id: I96c7144578ee2e1f842e4bd22ffb79b9e1e54e4c
Signed-off-by: jose.lausuch <jose.lausuch@ericsson.com>

Fix document review job for QTIP

- missing '/' in upload path
- missing build result report to gerrit
- notebook review job should be limited for changes in example/** folder

Change-Id: I83d09157077306128a6db66429d8a402f2e7c69e
Signed-off-by: Yujun Zhang <zhang.yujunz@zte.com.cn>

Merge "doctor: workaround for bug of set-functest-env.sh"

Merge "Add support for review jupyter notebook from nbviewer"

bugfix: query doesn't work well with period=1

when querying by date, if $lt is not provided,
the empty/None/null/'' results will also be returned,
the patch aims to fix this issue by adding
$lt = datetime.now() if not provided

JIRA: RELENG-212

Change-Id: Ida1e7d386a88d4ab640441df161c1fe134593f82
Signed-off-by: SerenaFeng <feng.xiaowei@zte.com.cn>

bugfix: mix order of Arno results

because start_date is not always in the same format or timezone,
sort by start_date will be misordered some times, in this patch
leverage '_id' to do the sort, it is generated by mongodb itself,
always upscend.

JIRA: FUNCTEST-694
JIRA: RELENG-213

Change-Id: Ie0ed5cd09c3f7abb1803d72abe5ecab440c1569c
Signed-off-by: SerenaFeng <feng.xiaowei@zte.com.cn>

prototypes: bifrost: Do not use tmpfs for dib builds

Using tmpfs seems somewhat unstable. For example the following
error is observed on openSUSE hosts

ERROR: failed to umount the /tmp/dib_image.RJBbahUd tmpfs

As such, we set the dib_notmpfs variable to 'true' which mimics what
upstream OpenStack scripts are doing already in
project-config:tools/build-image.sh

Change-Id: If050ab70303b3556fc1880a956f0ba1505d62050
Signed-off-by: Markos Chandras <mchandras@suse.de>

Revert "armband-deploy.sh: Inherit env vars for sudo"

Using sudo triggers a chain of dependencies in our infrastructure,
ranging from issues cleaning up the Jenkins workspace to deploy-time
permission issues.

As it turns out, cleaning all looses ends after that change is not a
trivial task, and the remaining work outweights the benefits of using
sudo in the first place.

The original motivation for using sudo was a superposition of:
- hardcoded check for running as root in Fuel's ci/deploy.sh;
- the ability to install packages on the hosts via apt-get/yum;
- the ability to spawn VMs using virt-manager;

All of the above can be mitigated by imposing a series of restrictions
for the Jenkins slave / jump server workstation and the jenkins user:
- check for sudo rights instead of running as root user;
- explicitly use sudo for package installation and/or system-level
  changes;
- add jenkins user to "kvm" and "libvirtd" groups;

So, revert using sudo when calling the deploy script, and limit sudo
actions to package installation in Armband's deploy script.
To compensate running as a regular user, a series of small changes is
required in Armband project itself, together with the appropiate
Jenkins slave user configuration on the machines running this script.

This reverts commit 67d8bac7b2a97531ad465f275747b3dc455d4fe4.

Change-Id: I88df6db1a43b93b7314ceca53d353f9000f15153
Signed-off-by: Alexandru Avadanii <Alexandru.Avadanii@enea.com>

armband-deploy.sh: Inherit env vars for sudo

Previous commit adding sudo for ci/deploy.sh call breaks Armband
deploys, since ci/deploy.sh relies on $WORKSPACE env var being set.

Change-Id: I948c8e3c00b430e0c186c0a727e1b7e027d7a089
Signed-off-by: Alexandru Avadanii <Alexandru.Avadanii@enea.com>

armband-deploy.sh: sudo ci/deploy.sh

New MCP deploy scripts have a hard requirement on running as root.
Bring back sudo for the `ci/deploy.sh` invocation, aligning with
Fuel@OPNFV.

NOTE: This can be later avoided/reverted if we can guarantee the
"jenkins" user has sudo rights, even without a tty present.

Change-Id: Ibec7b14e9174a7f482609890e5e68912931a8d05
Signed-off-by: Alexandru Avadanii <Alexandru.Avadanii@enea.com>

doctor: workaround for bug of set-functest-env.sh

`set-functest-env.sh' is expected to run with functest jobs,
so it need one of the files in functest repo placed under
WORKSPACE.

This patch avoiding this bug by getting functest repo in pre
section of functest trigger.

Change-Id: Ib266781005bab18f34fa0cdfe50e0facb95d27ef
Signed-off-by: Ryota MIBU <r-mibu@cq.jp.nec.com>

Merge "[Functest] Adapt set-functest-env to download OS images"

[Compass] Move cacert docker copy after chown in fetch_os_creds

sometimes it can't copy os_cacert but copy opnfv_openrc.
it cause an issue and didn't execute the command chown.
so the opnfv_openrc will belong to root, which will cause errors next time.

Change-Id: I2955ba347d399d65c9e5cd566235be06fb7c30af
Signed-off-by: wutianwei <wutianwei1@huawei.com>

leverage openstack's requirements rule

change requirements.txt and test-requirements.txt to keep
consistent with openstack's global-requirements.txt

Change-Id: I0e62c88b957136438a23e85e41d775194bdc8757
Signed-off-by: SerenaFeng <feng.xiaowei@zte.com.cn>

leverage tox and pytest to execute unit test

Change-Id: I20856e1b445587f0d8ee23e792793af863743252
Signed-off-by: SerenaFeng <feng.xiaowei@zte.com.cn>

Merge "testapi: bugfix of tox"

Merge "Compass: add cacert file to enable SSL verification"

Compass: add cacert file to enable SSL verification

Now only Openstack https is supported by OSA repo LXC in compass
deployment, so certification file is required to enable SSL
verification.
After [1] is merged, the cacert file os_cacert will be provided
in the container compass-tasks.

[1]: https://gerrit.opnfv.org/gerrit/#/c/37451/

Change-Id: Id747cef1955733a1c93feb20a26d503a5de1fb93
Signed-off-by: Linda Wang <wangwulin@huawei.com>

testapi: bugfix of not exist xml

Change-Id: I43bc486e2fc12bea5f7664cc1e5acc5630e5f739
Signed-off-by: MatthewLi <lijun_1203@126.com>

testapi: bugfix of tox

error log

https://gerrit.opnfv.org/gerrit/#/c/37053/
https://build.opnfv.org/ci/job/testapi-verify-master/220/console

Change-Id: Id278edad06c2852c662392d75fd3cf4041b03451
Signed-off-by: MatthewLi <lijun_1203@126.com>

Merge "Update Path to Anteater for Weekly Security Scan"

Merge "[fuel/mcp] Enable ready scenarios back"

[Functest] Adapt set-functest-env to download OS images

When [1] is ready and merged, we don't need to download the
OS images that are not needed for the deployed scenario.
The same filter applies to armband jobs.

[1] https://gerrit.opnfv.org/gerrit/#/c/37373/

Change-Id: I5813c738a8d9fa1262299cc50993557757f6d7e8
Signed-off-by: jose.lausuch <jose.lausuch@ericsson.com>

Merge "leverage tox to trigger verify job in reporting/TestAPI"

Merge "leverage testapi's own gitignore"

Add support for review jupyter notebook from nbviewer

It is done by uploading the notebook under reviewer to artifacts
and add the nbviewer link in gerrit comments

It is needed because reviewing jupyter notebook[1] directly in
gerrit is very difficult. See example in [2]. It will be much
easier if we can preview the result in nbviewer. See example in [3]

[1]: http://jupyter.org/
[2]: https://gerrit.opnfv.org/gerrit/#/c/37227/
[3]: https://nbviewer.jupyter.org/urls/git.opnfv.org/qtip/plain/examples/storage-qpi-report/storage-qpi.ipynb

Change-Id: I3e4c301f362ff6ac97aebc9d09c7103278efb136
Signed-off-by: Yujun Zhang <zhang.yujunz@zte.com.cn>

Merge "dovetail: dovetail run against ZTE-pod1 od-odl_l2-nofeature-ha scenario"

Merge "[Yardstick]Update Apex CI pod info for Yardstick CI jobs"

leverage tox to trigger verify job in reporting/TestAPI

Change-Id: Ie374bb151f351764e86d05d7c7b8e254c9d6cd59
Signed-off-by: SerenaFeng <feng.xiaowei@zte.com.cn>

[Yardstick]Update Apex CI pod info for Yardstick CI jobs

Change-Id: I2ec55ccba540979148abdf0ab028e114c36eff76
Signed-off-by: JingLu5 <lvjing5@huawei.com>

Merge "Making docker deploy script generic"

dovetail: dovetail run against ZTE-pod1 od-odl_l2-nofeature-ha scenario

JIRA: RELENG-277

dovetail run against ZTE-pod1 od-odl_l2-nofeature-ha scenario
weekly, every Sunday
ZTE-pod1 od-odl_l2-nofeature-ha scenario already exists, see the time trigger "0 2 * * *"
dovetail-fuel zte-pod1 job already exists

Change-Id: Ic870a78623873ce2f717477dcb09f18794651899
Signed-off-by: MatthewLi <matthew.lijun@huawei.com>

[fuel/mcp] Enable ready scenarios back

* os-nosdn-ovs-noha (dpdk)
* os-odl_l2-nofeature-noha
* os-odl_l3-nofeature-noha

Change-Id: Ic18f13ea4b23ab5bacb5418a6756bedf9e5fc242
Signed-off-by: Michael Polenchuk <mpolenchuk@mirantis.com>

Making docker deploy script generic

Replacing words with variables to make docker deploy generic so that it can
be availed by other modules.

Change-Id: Iacf4829aa5feede48038b71155a4dab43a8d427d
Signed-off-by: Sakala Venkata Krishna Rohit <rohitsakala@gmail.com>

Merge "move resources unit tests to tests/unit/resources"

Merge "Fix missing python packages for password generation"

leverage testapi's own gitignore

some files/dirs should be gitignored in testapi,
but they may be needed in releng, this patch aims to
manage gitignore by testapi itself

Change-Id: I3c57d1199145d7f062d4e48aa8216ae34672f455
Signed-off-by: SerenaFeng <feng.xiaowei@zte.com.cn>

move resources unit tests to tests/unit/resources

As webportal is introduced, the project structure
is becoming more complex, it is time to make it a
a little bit more official

Change-Id: Id380d37b07719f053b0bd385a326a2f2944a4b22
Signed-off-by: SerenaFeng <feng.xiaowei@zte.com.cn>

Merge "dovetail: conditional step bugfix"

Merge "[Yardstick]Use volume-binding to provide rc file to yardstick container"

Merge "armband: Disable ISO actions for MCP"

Update Path to Anteater for Weekly Security Scan

This is a port from the patchset verify job and is needed due to changes
in the docker container.

Change-Id: I54626e4681ab25f6d947aaa2dcf969e5b2e0bab9
Signed-off-by: Trevor Bramwell <tbramwell@linuxfoundation.org>

Merge "Weekly Anteater Project Additions"

Fix missing python packages for password generation

These packages are needed by pw-token-gen.py tool

Change-Id: Ib9d165274449551a469e201da9feeffac5a7a4cf
Signed-off-by: Juan Vidal Allende <juan.vidal.allende@ericsson.com>

Merge "[QTIP]Change QTIP danube daily jobs to weekly jobs"

armband: Disable ISO actions for MCP

Sync with changes for Fuel@OPNFV targeting master branch (MCP):
- disable ISO build for master branch;
- turn off upload action & checkout;
- add retrieving OS credentials for MCP;
- disable ISO download for master branch;

Change-Id: I11eacfad7ee1f738119e17c2e63c3d92707f8e1f
Signed-off-by: Alexandru Avadanii <Alexandru.Avadanii@enea.com>

Weekly Anteater Project Additions

https://wiki.opnfv.org/display/INF/Project+Roll+Out+for+Anteater

Week begining July the 10th

Change-Id: Ifc6e59f2298ae8d83679a3817c82a2cc6ec4acd6
Signed-off-by: lukehinds <lhinds@redhat.com>

[QTIP]Change QTIP danube daily jobs to weekly jobs

Change-Id: I5e9ee5bf45f4f349dc178ce7062610469c8de008
Signed-off-by: zhihui wu <wu.zhihui1@zte.com.cn>

dovetail: conditional step bugfix

error log
https://build.opnfv.org/ci/job/compass-os-odl_l3-nofeature-ha-virtual-daily-master/366/
Subprojects triggered but not blocked for

Change-Id: Idc73361430f91c0f2e8002a950a738054442807f
Signed-off-by: MatthewLi <matthew.lijun@huawei.com>

Remove SERVER_URL in reporting deploy job

Since we improved the reporting deploy way, the SERVER_URL is set
to http://testresults.opnfv.org/reporting2 by default. So we don't
need to set it.

So we have to ways:
In CI:
    docker run -itd -p 8084:8000 opnfv/reporting:tag
Personal use:
    docker run -itd -p 8084:8000 -e SERVER_URL={server_ip}:8084 opnfv/reporting:tag
    (8084 is the port mapping, you can change it)

Change-Id: Ibe8adbb4601378d59d4d1fe6c7dd3266222c47d1
Signed-off-by: chenjiankun <chenjiankun1@huawei.com>

Merge "Yamllint Job for Octopus, Pharos, and Anteater"

Merge "Send Build Notifications to Jenkins Admins"

Merge "Ignore create_pod_file failure for Compass latest deployment"

[Yardstick]Use volume-binding to provide rc file to yardstick container

The 'fetch_os_creds' script is preferred to run on jump server to get OS creds as mand projects do,
this patch unify the way to get OS creds by volume-binding.

Change-Id: I0da54545ee088458c952f216945c29232d487692
Signed-off-by: JingLu5 <lvjing5@huawei.com>

Merge "dovetail: fix compass branch issue"

Ignore create_pod_file failure for Compass latest deployment

JIRA: DOVETAIL-460

Change-Id: Ibd89d338e94178fadcdfe533c71e4df74641b97c
Signed-off-by: xudan <xudan16@huawei.com>

Merge "patch don't verify in centos In master branch, compass4nfv don't support centos. it is needless to verify in centos."

dovetail: fix compass branch issue

log https://build.opnfv.org/ci/job/compass-os-nosdn-nofeature-ha-virtual-daily-danube/119/

Change-Id: I7ea57268b92e48c3531f412551c9582f440950ee
Signed-off-by: MatthewLi <matthew.lijun@huawei.com>

compass verify have problem to git clone functest

Change-Id: I390c742040b3f32c705c989cac82ee7cbe7b5748
Signed-off-by: wutianwei <wutianwei1@huawei.com>

Merge "prototypes: xci: xci-deploy: Set default value for devel parameters"

Merge "Change owner of the openrc file for compass"

Merge "Push Functest API doc to artifact"

Change owner of the openrc file for compass

The jenkins user is not permitted to view openrc file
with root owner and group.[1]
cat: /home/jenkins/opnfv-openrc.sh: Permission denied

[1]: https://build.opnfv.org/ci/view/functest/job/functest-compass-baremetal-daily-master/1293/console

Change-Id: I89d0597c8f0ece00f70fd6622048794b15510636
Signed-off-by: Linda Wang <wangwulin@huawei.com>

Merge "Compass: add retrieving OS credentials for Containers"

bugfix for reporting verify job

Copying xml files to workspace folder as jenkins searchs for xml files
from workspace directory. This solves the configuration error the
reporting verify job is facing.

Change-Id: I747a6e93995188d645d3fa09cdbd60e7a7fc453b
Signed-off-by: Sakala Venkata Krishna Rohit <rohitsakala@gmail.com>

Bugfix for failure of reporting verify job

Prefer to run unit tests from the directory in which unit test script
is present as errors are being raised if it is being run from other
directories.

Change-Id: Ifa2000ac333f2e985feeae76c0040a1831f60253
Signed-off-by: Sakala Venkata Krishna Rohit <rohitsakala@gmail.com>

Merge "Reporting docker deployment improvement"

Push Functest API doc to artifact

Note that it is not the final goal
The final goal is to integrate api doc into Functest
developer guide
This will be triggered from opnfvdocs and replace the current
developer guide:
http://docs.opnfv.org/en/stable-danube/submodules/functest/docs/testing/developer/devguide/index.html

This patch allows to have an up-to-date api docs on the artifact after
functest merge
http://artifacts.opnfv.org/functest/docs/

Change-Id: I91256add29ce9eadd66764c2234da1d60981dd31
Signed-off-by: Morgan Richomme <morgan.richomme@orange.com>
Signed-off-by: Sakala Venkata Krishna Rohit <rohitsakala@gmail.com>
Signed-off-by: Morgan Richomme <morgan.richomme@orange.com>

patch don't verify in centos
In master branch, compass4nfv don't support centos.
it is needless to verify in centos.

Change-Id: I0d7797ca4c057d2422a9bde5d684577a32854e33
Signed-off-by: wutianwei <wutianwei1@huawei.com>

Merge "Functest verify jobs only for master branch"

Merge "bugfix: hardcoded testapi urls"

Compass: add retrieving OS credentials for Containers

Compass has changed the mechanism of deployment (Containers) in master,
so we adjust the way to fetch the OS credentials file.

Change-Id: If126ac9b081589c21466b59eae05b107bf6dc425
Signed-off-by: Linda Wang <wangwulin@huawei.com>

Reporting docker deployment improvement

In the patch, I make build pages(landing page ...),
when docker build, when run a container, we can set
the api url(default:testresults.opnfv.org/reporting2) by -e;

For example:
1. In testresults.opnfv.org:
docker run -itd -p 8888:8000 -p 80:80 opnfv/reporting:tag
visit: http://testresults.opnfv.org/reporting2/reporting/index.html

2. Personal use:
docker run -itd -p 8888:8000 -p 80:80 -e SERVER_URL=192.168.131.2:8888 opnfv/reporting:tag
visit: http://192.168.131.2:8888/reporting/index.html

Change-Id: Ib838c12e785151acf9852f25eab254aedc520a1d
Signed-off-by: chenjiankun <chenjiankun1@huawei.com>

Change the installer ip of daisy-baremetal

From 10.20.11.2 to 10.20.7.3

Change-Id: I796e2bcf3065df804eefec28c2ed9ecdcb198d7a
Signed-off-by: Alex Yang <yangyang1@zte.com.cn>

prototypes: xci: xci-deploy: Set default value for devel parameters

Commit 68412ffc734e ("prototypes: xci: xci-deploy.sh: Append trailing
slash for rsync vars") modified xci-deploy.sh script to append a
trailing slash to the devel variables but it broke the script when
one of these variables was not set (since we run with 'set -eu') with
the following error:

./xci-deploy.sh: line 45: !local_user_var: unbound variable

Fixes: I0103b754585931fa1dcd3966c52d7e4a8f2f63f6
Change-Id: Ic2465ff07348b61e74e191516425cd10d80c1fce
Signed-off-by: Markos Chandras <mchandras@suse.de>

Functest verify jobs only for master branch

The verify job is running tox which is not in stable/danube
branch. Therefore, the bugfixes in that branch fail.
This enables verify jobs only to master branch.

Change-Id: Iff2a7b5e2d6aaff489767e77ebfa9a16bb9326de
Signed-off-by: jose.lausuch <jose.lausuch@ericsson.com>

bugfix: hardcoded testapi urls

testapi webportal's urls are fixed in configure files
this patch aims to modify them according to base_url
provided when bringing up container

Change-Id: I29c461fc3b837e54d4ff5330dcaa520637590ff7
Signed-off-by: SerenaFeng <feng.xiaowei@zte.com.cn>

Merge "remove scenarios"

Merge "Enable ODL scenarios jobs"

Merge "prototypes: xci: xci-deploy.sh: Append trailing slash for rsync vars"

Merge "Use former calls to running Functest in Danube"

Merge "add zte-virtul3 and zte-virtul4 to Doctor CI pods"

Use former calls to running Functest in Danube

Change-Id: I472a41e3c2ad41e97a6f4ea3b82d72df73c8416b
Signed-off-by: jose.lausuch <jose.lausuch@ericsson.com>

remove scenarios

compass4nfv don't support openo, moon,onos in master branch
so we remove these scenario

Change-Id: Ibfad2b352b1236dac48453101860cdd538528aa3
Signed-off-by: wutianwei <wutianwei1@huawei.com>

dovetail change tag to cvp.0.2.0

after https://gerrit.opnfv.org/gerrit/#/c/36775/ merged
let it run in CI

Change-Id: I46a4a55aab673c346291428eccdc24c77cfd8bc4
Signed-off-by: MatthewLi <matthew.lijun@huawei.com>