fix the log name of functest result for doctor project

Change-Id: I356036cad510e4fe5550505d46dbf1aea3b11496
Signed-off-by: dongwenjuan <dong.wenjuan@zte.com.cn>

Merge "[Compass]master daily CI don't download iso from artifacts"

Revert "Comment Pending JJB Changes on Patchset"

There are obviously way more issues than expected with this change and
it is currently blocking releng verification.

This reverts commit 97b70892a76351da03f981ff4559aabfed0e0840.

Change-Id: I871e35fc0dd36dbdee315b6efbe3d7fb99e38463
Signed-off-by: Trevor Bramwell <tbramwell@linuxfoundation.org>

Merge "Comment Pending JJB Changes on Patchset"

query date from oldest to newest

Change-Id: I3d0345bb85967f48617c485bbee1dfe6fa04a644
Signed-off-by: SerenaFeng <feng.xiaowei@zte.com.cn>

separate db methods from handler.py

db methods are mingled in handler, which is not well structured

Change-Id: I639679d3fc05a0b6528158186b8bf89e0cd10596
Signed-off-by: SerenaFeng <feng.xiaowei@zte.com.cn>

Merge "decouple the mutual-dependence of config.py and server.py"

[Compass]master daily CI don't download iso from artifacts

Sometime compass build ISO failed, and didn't upload the iso to artifacts.
So daily CI didn't use the latest code.
We want the daily CI run the latest code, and we will build ISO when deploying

Change-Id: Ic2af2987119fe5e9eb772a710ba4b4620cb9ee65
Signed-off-by: wutianwei <wutianwei1@huawei.com>

Use dovetail cvp.0.3.0 image

JIRA: DOVETAIL-468

Change-Id: Ie2a700719cfbf9ceac0063444f910eedb1bff4f9
Signed-off-by: xudan <xudan16@huawei.com>

Merge "modify url to relative path to fit with testresults.opnfv.org/test"

Merge "dovetail: proposed_test run against apex"

decouple the mutual-dependence of config.py and server.py

Currently server.py relies on CONF while starting the service, and
config.py's config_fie is set in server.py, which is wrongly bi-depended
this patch aims to let Config parse the sys.argv personally,
just as oslo.config do, so that decouple the mutual-dependency

Change-Id: I46887d122a98d478caebe9eeb7ab038941ce1f6b
Signed-off-by: SerenaFeng <feng.xiaowei@zte.com.cn>

modify url to relative path to fit with testresults.opnfv.org/test

Change-Id: Ia600fe310404a1ba45e9571d611eedcdc669dbc7
Signed-off-by: grakiss <grakiss.wanglei@huawei.com>

Merge "[Functest] Wget download_images.sh to support Alpine on Danube jobs"

role based access control and result upload

1. add role for user
2. user can upload test results

Change-Id: I1c5370be7818edb0394f05e8b81f975deb98b286
Signed-off-by: grakiss <grakiss.wanglei@huawei.com>

Merge "Compass4NFV add new scenario nosdn-kvm"

Compass4NFV add new scenario nosdn-kvm

Compass4NFV has integrated KVM. We add this scenario to CI

Change-Id: I9e0625147f5c5f8adb46e4bf0f645a2fb3de3634
Signed-off-by: wutianwei <wutianwei1@huawei.com>

dovetail: proposed_test run against apex

JIRA: DOVETAIL-359

1)run againt scenarios:
os-nosdn-nofeature-ha os-nosdn-kvm-ha   os-odl_l3-fdio-ha
2)stream: master
3)details see
https://wiki.opnfv.org/display/dovetail/Running+history+for+the+dovetail+tool

Change-Id: Ief6f85faa955b59c2229a5fdffd73f83480fc214
Signed-off-by: MatthewLi <matthew.lijun@huawei.com>

Apex: fix missing job for testsuite

Change-Id: Ica77eb12fccfbb45479bbd75bbd8d3154f16a17b
Signed-off-by: Tim Rozet <trozet@redhat.com>

Apex: Fixes daily result reporting

Breaks testing up into its own mulitjob, which allows us to condtionally
set status for the job due to failures, which will be set to unstable if
only test suites fail.

Change-Id: I5d886b98e437bf100b1d5546aebfcd046b0238cb
Signed-off-by: Tim Rozet <trozet@redhat.com>

Apex: throttles scenario jobs to only 1 per node

Change-Id: Ia155e3c60be35c0cdd31d6ddb0705dc5c3f6ad42
Signed-off-by: Tim Rozet <trozet@redhat.com>

Merge "prototypes: bifrost: Do not use tmpfs for dib builds"

Apex: adds slave params to deploy job

Change-Id: I56002eea4b626fa9616d3a6dac7b230058121d96
Signed-off-by: Tim Rozet <trozet@redhat.com>

Merge "Apex: updates for post-danube"

Apex: updates for post-danube

Changes Include:
 - Functest in daily only executes on successful deployment
 - os-odl-bgpvpn-ha added to daily master
 - daily sub-job renamed to match CI evolution

Change-Id: If34d013416b6d6c7fdfb4d0cdff652222e02462e
Signed-off-by: Tim Rozet <trozet@redhat.com>

[Functest] Wget download_images.sh to support Alpine on Danube jobs

Change-Id: I70cf598a09def6c62dd4c32ed819e818833a6ff2
Signed-off-by: jose.lausuch <jose.lausuch@ericsson.com>

Merge "[Functest] Add presetup and fetch credentials for Alpine job"

Merge "bugfix: pagination raise exception when no records returned"

Merge "bugfix: query doesn't work well with period=1"

Merge "bugfix: mix order of Arno results"

Merge "leverage openstack's requirements rule"

[Functest] Add presetup and fetch credentials for Alpine job

Change-Id: I8633353f3ca9bbf854e0d67760e6504524309d74
Signed-off-by: jose.lausuch <jose.lausuch@ericsson.com>

[Functest] Add docker run command to execute the tests

Change-Id: Ie9a56a7786de841d720b9902e8d3b5aabd79dd7e
Signed-off-by: jose.lausuch <jose.lausuch@ericsson.com>

bugfix: pagination raise exception when no records returned

if no records returned, it will raise 'Request page > total_pages'
error. this patch is submitted to fix this

JIRA: RELENG-281

Change-Id: I447247c55c64674d44d21d6f4ac8bb3ef725cfb0
Signed-off-by: SerenaFeng <feng.xiaowei@zte.com.cn>

Merge "[Functest] Add script for running new Alpine containers"

[Functest] Add script for running new Alpine containers

Change-Id: I96c7144578ee2e1f842e4bd22ffb79b9e1e54e4c
Signed-off-by: jose.lausuch <jose.lausuch@ericsson.com>

Fix document review job for QTIP

- missing '/' in upload path
- missing build result report to gerrit
- notebook review job should be limited for changes in example/** folder

Change-Id: I83d09157077306128a6db66429d8a402f2e7c69e
Signed-off-by: Yujun Zhang <zhang.yujunz@zte.com.cn>

Merge "doctor: workaround for bug of set-functest-env.sh"

Merge "Add support for review jupyter notebook from nbviewer"

bugfix: query doesn't work well with period=1

when querying by date, if $lt is not provided,
the empty/None/null/'' results will also be returned,
the patch aims to fix this issue by adding
$lt = datetime.now() if not provided

JIRA: RELENG-212

Change-Id: Ida1e7d386a88d4ab640441df161c1fe134593f82
Signed-off-by: SerenaFeng <feng.xiaowei@zte.com.cn>

bugfix: mix order of Arno results

because start_date is not always in the same format or timezone,
sort by start_date will be misordered some times, in this patch
leverage '_id' to do the sort, it is generated by mongodb itself,
always upscend.

JIRA: FUNCTEST-694
JIRA: RELENG-213

Change-Id: Ie0ed5cd09c3f7abb1803d72abe5ecab440c1569c
Signed-off-by: SerenaFeng <feng.xiaowei@zte.com.cn>

prototypes: bifrost: Do not use tmpfs for dib builds

Using tmpfs seems somewhat unstable. For example the following
error is observed on openSUSE hosts

ERROR: failed to umount the /tmp/dib_image.RJBbahUd tmpfs

As such, we set the dib_notmpfs variable to 'true' which mimics what
upstream OpenStack scripts are doing already in
project-config:tools/build-image.sh

Change-Id: If050ab70303b3556fc1880a956f0ba1505d62050
Signed-off-by: Markos Chandras <mchandras@suse.de>

Revert "armband-deploy.sh: Inherit env vars for sudo"

Using sudo triggers a chain of dependencies in our infrastructure,
ranging from issues cleaning up the Jenkins workspace to deploy-time
permission issues.

As it turns out, cleaning all looses ends after that change is not a
trivial task, and the remaining work outweights the benefits of using
sudo in the first place.

The original motivation for using sudo was a superposition of:
- hardcoded check for running as root in Fuel's ci/deploy.sh;
- the ability to install packages on the hosts via apt-get/yum;
- the ability to spawn VMs using virt-manager;

All of the above can be mitigated by imposing a series of restrictions
for the Jenkins slave / jump server workstation and the jenkins user:
- check for sudo rights instead of running as root user;
- explicitly use sudo for package installation and/or system-level
  changes;
- add jenkins user to "kvm" and "libvirtd" groups;

So, revert using sudo when calling the deploy script, and limit sudo
actions to package installation in Armband's deploy script.
To compensate running as a regular user, a series of small changes is
required in Armband project itself, together with the appropiate
Jenkins slave user configuration on the machines running this script.

This reverts commit 67d8bac7b2a97531ad465f275747b3dc455d4fe4.

Change-Id: I88df6db1a43b93b7314ceca53d353f9000f15153
Signed-off-by: Alexandru Avadanii <Alexandru.Avadanii@enea.com>

armband-deploy.sh: Inherit env vars for sudo

Previous commit adding sudo for ci/deploy.sh call breaks Armband
deploys, since ci/deploy.sh relies on $WORKSPACE env var being set.

Change-Id: I948c8e3c00b430e0c186c0a727e1b7e027d7a089
Signed-off-by: Alexandru Avadanii <Alexandru.Avadanii@enea.com>

armband-deploy.sh: sudo ci/deploy.sh

New MCP deploy scripts have a hard requirement on running as root.
Bring back sudo for the `ci/deploy.sh` invocation, aligning with
Fuel@OPNFV.

NOTE: This can be later avoided/reverted if we can guarantee the
"jenkins" user has sudo rights, even without a tty present.

Change-Id: Ibec7b14e9174a7f482609890e5e68912931a8d05
Signed-off-by: Alexandru Avadanii <Alexandru.Avadanii@enea.com>

doctor: workaround for bug of set-functest-env.sh

`set-functest-env.sh' is expected to run with functest jobs,
so it need one of the files in functest repo placed under
WORKSPACE.

This patch avoiding this bug by getting functest repo in pre
section of functest trigger.

Change-Id: Ib266781005bab18f34fa0cdfe50e0facb95d27ef
Signed-off-by: Ryota MIBU <r-mibu@cq.jp.nec.com>

Merge "[Functest] Adapt set-functest-env to download OS images"

[Compass] Move cacert docker copy after chown in fetch_os_creds

sometimes it can't copy os_cacert but copy opnfv_openrc.
it cause an issue and didn't execute the command chown.
so the opnfv_openrc will belong to root, which will cause errors next time.

Change-Id: I2955ba347d399d65c9e5cd566235be06fb7c30af
Signed-off-by: wutianwei <wutianwei1@huawei.com>

leverage openstack's requirements rule

change requirements.txt and test-requirements.txt to keep
consistent with openstack's global-requirements.txt

Change-Id: I0e62c88b957136438a23e85e41d775194bdc8757
Signed-off-by: SerenaFeng <feng.xiaowei@zte.com.cn>

leverage tox and pytest to execute unit test

Change-Id: I20856e1b445587f0d8ee23e792793af863743252
Signed-off-by: SerenaFeng <feng.xiaowei@zte.com.cn>

Merge "testapi: bugfix of tox"

Merge "Compass: add cacert file to enable SSL verification"

Compass: add cacert file to enable SSL verification

Now only Openstack https is supported by OSA repo LXC in compass
deployment, so certification file is required to enable SSL
verification.
After [1] is merged, the cacert file os_cacert will be provided
in the container compass-tasks.

[1]: https://gerrit.opnfv.org/gerrit/#/c/37451/

Change-Id: Id747cef1955733a1c93feb20a26d503a5de1fb93
Signed-off-by: Linda Wang <wangwulin@huawei.com>

testapi: bugfix of not exist xml

Change-Id: I43bc486e2fc12bea5f7664cc1e5acc5630e5f739
Signed-off-by: MatthewLi <lijun_1203@126.com>

testapi: bugfix of tox

error log

https://gerrit.opnfv.org/gerrit/#/c/37053/
https://build.opnfv.org/ci/job/testapi-verify-master/220/console

Change-Id: Id278edad06c2852c662392d75fd3cf4041b03451
Signed-off-by: MatthewLi <lijun_1203@126.com>

Merge "Update Path to Anteater for Weekly Security Scan"

Merge "[fuel/mcp] Enable ready scenarios back"

[Functest] Adapt set-functest-env to download OS images

When [1] is ready and merged, we don't need to download the
OS images that are not needed for the deployed scenario.
The same filter applies to armband jobs.

[1] https://gerrit.opnfv.org/gerrit/#/c/37373/

Change-Id: I5813c738a8d9fa1262299cc50993557757f6d7e8
Signed-off-by: jose.lausuch <jose.lausuch@ericsson.com>

Merge "leverage tox to trigger verify job in reporting/TestAPI"

Merge "leverage testapi's own gitignore"

Add support for review jupyter notebook from nbviewer

It is done by uploading the notebook under reviewer to artifacts
and add the nbviewer link in gerrit comments

It is needed because reviewing jupyter notebook[1] directly in
gerrit is very difficult. See example in [2]. It will be much
easier if we can preview the result in nbviewer. See example in [3]

[1]: http://jupyter.org/
[2]: https://gerrit.opnfv.org/gerrit/#/c/37227/
[3]: https://nbviewer.jupyter.org/urls/git.opnfv.org/qtip/plain/examples/storage-qpi-report/storage-qpi.ipynb

Change-Id: I3e4c301f362ff6ac97aebc9d09c7103278efb136
Signed-off-by: Yujun Zhang <zhang.yujunz@zte.com.cn>

Merge "dovetail: dovetail run against ZTE-pod1 od-odl_l2-nofeature-ha scenario"

Merge "[Yardstick]Update Apex CI pod info for Yardstick CI jobs"

leverage tox to trigger verify job in reporting/TestAPI

Change-Id: Ie374bb151f351764e86d05d7c7b8e254c9d6cd59
Signed-off-by: SerenaFeng <feng.xiaowei@zte.com.cn>

[Yardstick]Update Apex CI pod info for Yardstick CI jobs

Change-Id: I2ec55ccba540979148abdf0ab028e114c36eff76
Signed-off-by: JingLu5 <lvjing5@huawei.com>

Merge "Making docker deploy script generic"

dovetail: dovetail run against ZTE-pod1 od-odl_l2-nofeature-ha scenario

JIRA: RELENG-277

dovetail run against ZTE-pod1 od-odl_l2-nofeature-ha scenario
weekly, every Sunday
ZTE-pod1 od-odl_l2-nofeature-ha scenario already exists, see the time trigger "0 2 * * *"
dovetail-fuel zte-pod1 job already exists

Change-Id: Ic870a78623873ce2f717477dcb09f18794651899
Signed-off-by: MatthewLi <matthew.lijun@huawei.com>

Comment Pending JJB Changes on Patchset

After submitting a releng patchset a comment listing the jobs that are
added, modified, or deleted by the change will be posted to the review.

Change-Id: I53562c9ad5b0185d3dfe354e265e250c7e9f7f72
Signed-off-by: Trevor Bramwell <tbramwell@linuxfoundation.org>

[fuel/mcp] Enable ready scenarios back

* os-nosdn-ovs-noha (dpdk)
* os-odl_l2-nofeature-noha
* os-odl_l3-nofeature-noha

Change-Id: Ic18f13ea4b23ab5bacb5418a6756bedf9e5fc242
Signed-off-by: Michael Polenchuk <mpolenchuk@mirantis.com>

Making docker deploy script generic

Replacing words with variables to make docker deploy generic so that it can
be availed by other modules.

Change-Id: Iacf4829aa5feede48038b71155a4dab43a8d427d
Signed-off-by: Sakala Venkata Krishna Rohit <rohitsakala@gmail.com>

Merge "move resources unit tests to tests/unit/resources"

Merge "Fix missing python packages for password generation"

leverage testapi's own gitignore

some files/dirs should be gitignored in testapi,
but they may be needed in releng, this patch aims to
manage gitignore by testapi itself

Change-Id: I3c57d1199145d7f062d4e48aa8216ae34672f455
Signed-off-by: SerenaFeng <feng.xiaowei@zte.com.cn>

move resources unit tests to tests/unit/resources

As webportal is introduced, the project structure
is becoming more complex, it is time to make it a
a little bit more official

Change-Id: Id380d37b07719f053b0bd385a326a2f2944a4b22
Signed-off-by: SerenaFeng <feng.xiaowei@zte.com.cn>

Merge "dovetail: conditional step bugfix"

Merge "[Yardstick]Use volume-binding to provide rc file to yardstick container"

Merge "armband: Disable ISO actions for MCP"

Update Path to Anteater for Weekly Security Scan

This is a port from the patchset verify job and is needed due to changes
in the docker container.

Change-Id: I54626e4681ab25f6d947aaa2dcf969e5b2e0bab9
Signed-off-by: Trevor Bramwell <tbramwell@linuxfoundation.org>

Merge "Weekly Anteater Project Additions"

Fix missing python packages for password generation

These packages are needed by pw-token-gen.py tool

Change-Id: Ib9d165274449551a469e201da9feeffac5a7a4cf
Signed-off-by: Juan Vidal Allende <juan.vidal.allende@ericsson.com>

Merge "[QTIP]Change QTIP danube daily jobs to weekly jobs"

armband: Disable ISO actions for MCP

Sync with changes for Fuel@OPNFV targeting master branch (MCP):
- disable ISO build for master branch;
- turn off upload action & checkout;
- add retrieving OS credentials for MCP;
- disable ISO download for master branch;

Change-Id: I11eacfad7ee1f738119e17c2e63c3d92707f8e1f
Signed-off-by: Alexandru Avadanii <Alexandru.Avadanii@enea.com>

Weekly Anteater Project Additions

https://wiki.opnfv.org/display/INF/Project+Roll+Out+for+Anteater

Week begining July the 10th

Change-Id: Ifc6e59f2298ae8d83679a3817c82a2cc6ec4acd6
Signed-off-by: lukehinds <lhinds@redhat.com>

[QTIP]Change QTIP danube daily jobs to weekly jobs

Change-Id: I5e9ee5bf45f4f349dc178ce7062610469c8de008
Signed-off-by: zhihui wu <wu.zhihui1@zte.com.cn>

dovetail: conditional step bugfix

error log
https://build.opnfv.org/ci/job/compass-os-odl_l3-nofeature-ha-virtual-daily-master/366/
Subprojects triggered but not blocked for

Change-Id: Idc73361430f91c0f2e8002a950a738054442807f
Signed-off-by: MatthewLi <matthew.lijun@huawei.com>

Remove SERVER_URL in reporting deploy job

Since we improved the reporting deploy way, the SERVER_URL is set
to http://testresults.opnfv.org/reporting2 by default. So we don't
need to set it.

So we have to ways:
In CI:
    docker run -itd -p 8084:8000 opnfv/reporting:tag
Personal use:
    docker run -itd -p 8084:8000 -e SERVER_URL={server_ip}:8084 opnfv/reporting:tag
    (8084 is the port mapping, you can change it)

Change-Id: Ibe8adbb4601378d59d4d1fe6c7dd3266222c47d1
Signed-off-by: chenjiankun <chenjiankun1@huawei.com>

Merge "Yamllint Job for Octopus, Pharos, and Anteater"

Merge "Send Build Notifications to Jenkins Admins"

Merge "Ignore create_pod_file failure for Compass latest deployment"

[Yardstick]Use volume-binding to provide rc file to yardstick container

The 'fetch_os_creds' script is preferred to run on jump server to get OS creds as mand projects do,
this patch unify the way to get OS creds by volume-binding.

Change-Id: I0da54545ee088458c952f216945c29232d487692
Signed-off-by: JingLu5 <lvjing5@huawei.com>

Merge "dovetail: fix compass branch issue"

Ignore create_pod_file failure for Compass latest deployment

JIRA: DOVETAIL-460

Change-Id: Ibd89d338e94178fadcdfe533c71e4df74641b97c
Signed-off-by: xudan <xudan16@huawei.com>

Merge "patch don't verify in centos In master branch, compass4nfv don't support centos. it is needless to verify in centos."

dovetail: fix compass branch issue

log https://build.opnfv.org/ci/job/compass-os-nosdn-nofeature-ha-virtual-daily-danube/119/

Change-Id: I7ea57268b92e48c3531f412551c9582f440950ee
Signed-off-by: MatthewLi <matthew.lijun@huawei.com>

compass verify have problem to git clone functest

Change-Id: I390c742040b3f32c705c989cac82ee7cbe7b5748
Signed-off-by: wutianwei <wutianwei1@huawei.com>

Merge "prototypes: xci: xci-deploy: Set default value for devel parameters"

Merge "Change owner of the openrc file for compass"

Merge "Push Functest API doc to artifact"

Change owner of the openrc file for compass

The jenkins user is not permitted to view openrc file
with root owner and group.[1]
cat: /home/jenkins/opnfv-openrc.sh: Permission denied

[1]: https://build.opnfv.org/ci/view/functest/job/functest-compass-baremetal-daily-master/1293/console

Change-Id: I89d0597c8f0ece00f70fd6622048794b15510636
Signed-off-by: Linda Wang <wangwulin@huawei.com>

Merge "Compass: add retrieving OS credentials for Containers"