Merge "bug fix: last 4 run reporting for storperf"

multisite: Use known/working version of fuel

Change-Id: I65e4f58e9ed5ead16279128a58d3f6d9e951593d
Signed-off-by: Fatih Degirmenci <fatih.degirmenci@ericsson.com>

bug fix: last 4 run reporting for storperf

- bug fix:
copy/paste of yardstick code but list of results
is not sorted by default, taking the last 4 array
items lead to random results on the 4 last run
sort results before taking the last 4 results
to establish last 4 run criteria
- enhancement: add link to last CI run in the
reporting page
- fix trend line bug

Change-Id: Ice16832a81cb65503a63b16321a2be92a427d279
Signed-off-by: Morgan Richomme <morgan.richomme@orange.com>

Merge "Use local bin file for daisy deploy job"

Merge "change the name of open-o scenario to os-nosdn-openo-ha"

fuel: Fix build blockers between daily and weekly jobs

Change-Id: I465de0d1e7fec4f8e9b03762adff0049a22f05ef
Signed-off-by: Fatih Degirmenci <fatih.degirmenci@ericsson.com>

change the name of open-o scenario to os-nosdn-openo-ha

according to this patch: https://gerrit.opnfv.org/gerrit/#/c/29819/

Change-Id: Ie0851b7a5500968a1c1f2f4f4eeaa27fc75a4f29
Signed-off-by: meimei <meimei@huawei.com>

Merge "[compass] add new scenario of os-nosdn-openo-noha"

[doctor] make symbolic link of directory instead of file

Change-Id: Ic879ebe17c317c95921f250dd31dbcc9a7e2d6e2
Signed-off-by: Ryota MIBU <r-mibu@cq.jp.nec.com>

[doctor] fix file path to functest results

Change-Id: I1915a9975d3df42171e223aee6be38a6b1f79ebc
Signed-off-by: Ryota MIBU <r-mibu@cq.jp.nec.com>

[doctor] create symbolic link to capture functest log

Change-Id: I2eaa57351ebfbc36a142b977e7e22b9d8c4943cd
Signed-off-by: Ryota MIBU <r-mibu@cq.jp.nec.com>

[doctor] add postbuildscript for functest log

Change-Id: Ifebef95a69f98f53fc3c826116bf45c647d4911f
Signed-off-by: Ryota MIBU <r-mibu@cq.jp.nec.com>

Create Test Reporting landing page

JIRA: RELENG-165

In this patch, I upload the backend code

usage:
docker run -itd -p 8000:8000 -e SERVER_URL=server_ip:8000 opnfv/reporting:<tag>

note: must point SERVER_URL, it is the api server.

visit landing page:
http://server_ip:8000/reporting/index.html

Change-Id: I10121574e0c4b2733a8084c986d7a2746e7ce2a4
Signed-off-by: chenjiankun <chenjiankun1@huawei.com>

Merge "dovetail: adjust apex pod"

[compass] add new scenario of os-nosdn-openo-noha

Change-Id: I4a59678cc9b4a44fd90543d6cd4456262386cdb7
Signed-off-by: meimei <meimei@huawei.com>

Merge "snaps: Create job for patchset verification"

Merge "functest: Create functest-weekly prototype jobs"

Add trevor

This is to test verify and merge for new rtd builds

Change-Id: Iaaf0730766559e18689ad617892ab77072d26fd2
Signed-off-by: Aric Gardner <agardner@linuxfoundation.org>

snaps: Create job for patchset verification

Change-Id: I944b1ddb736553a79169da481ca6911d546d8ac6
Signed-off-by: Fatih Degirmenci <fatih.degirmenci@ericsson.com>

Merge "Made new doc job voting"

functest: Create functest-weekly prototype jobs

Fuel weekly jobs are created, calling fuel-deploy and functest weekly
jobs.

Experimental scripts have also been removed.

Change-Id: If492443e26248731df35e6b6cb5239fb2ae9a86a
Signed-off-by: Fatih Degirmenci <fatih.degirmenci@ericsson.com>

Made new doc job voting

1. New has been made voting.
   Old doc job has been made non voting.
2. Adding files variable which triggers
   job on changes in 'docs/'
   Merge job earlier did not trigger on merge.

Change-Id: Id19c02949a0a5f2b1da0682f18ed6051403aa77e
Signed-off-by: ShubhamRathi <shubhamiiitbackup@gmail.com>

Problem with rally_sanity results

after refactor, details in rally_sanity became 'unicode',
which contains built-in 'format' method, which is not processed correctly
error message:
File
"/usr/local/lib/python2.7/dist-packages/opnfv_testapi/resources/models.py",
  line 36, in _format
    for h in dicts[k]]
        KeyError: u"u'details'"

JIRA: FUNCTEST-723

Change-Id: If35e55f542fbbae8bd1a534938b7279b7a634880
Signed-off-by: SerenaFeng <feng.xiaowei@zte.com.cn>

Merge "bugfix unittest test_queryProject occasionally failed in TestAPI"

Merge "Fix the wrong pod and job name of Daisy"

Merge "Update the ignore patterns for Parser"

Update the ignore patterns for Parser

Change-Id: I1fb0fdd32e7fdb9c0d04547b95fda63e23a71f0c
Signed-off-by: Julien <zhang.jun3g@zte.com.cn>

[doctor] archive functest log file regardless result

Change-Id: I5c61b1773bbc4913f23bf5e458e4e94c29bd29ef
Signed-off-by: Ryota MIBU <r-mibu@cq.jp.nec.com>

Fix the wrong pod and job name of Daisy

Change-Id: Ic6fea2c189de30875968b436db9469bfb5e9b051
Signed-off-by: Julien <zhang.jun3g@zte.com.cn>

dovetail: adjust apex pod

JIRA: DOVETAIL-359

see patch https://gerrit.opnfv.org/gerrit/#/c/29543/
runs on lf-pod1

Change-Id: Ieb0f081cdaf5d5f79f0145940b08ec0c5a8ec6c2
Signed-off-by: MatthewLi <matthew.lijun@huawei.com>

Use local bin file for daisy deploy job

Change-Id: I5e09837264d93ad503dff3f886c4aba281f04255
Signed-off-by: Alex Yang <yangyang1@zte.com.cn>

Merge "dovetail: add dovetail debug testsuite into apex daily loop"

[deployment_handler] Fix apt-cache to get installed version

In case multiple versions of a package exist on the repo, the old method using
apt-cache show opendaylight returned everything available rather than what was
actually installed. Using apt-cache policy opendaylight is more appropriate.

Change-Id: I8068c18ab25ca532988f24277fd48a4c42647891
Signed-off-by: Ciprian Barbu <ciprian.barbu@enea.com>

Merge "[yamllint] move yamllint into verify phases"

Merge "jjb: infra: bifrost-cleanup-job: Ignore jjb patchsets"

bugfix unittest test_queryProject occasionally failed in TestAPI

error message:
"E   AssertionError: Mismatched values: u'installers', expected:[], actual: []

Change-Id: Ieae5fdfd2a044909784cbb4766a5d25f4bbafcea
Signed-off-by: SerenaFeng <feng.xiaowei@zte.com.cn>

dovetail: add dovetail debug testsuite into apex daily loop

JIRA: DOVETAIL-359

similiar patches see
https://gerrit.opnfv.org/gerrit/#/c/25697/

Change-Id: I3715cbbc911f80fd840ab2b10708f98a03959c6f
Signed-off-by: MatthewLi <matthew.lijun@huawei.com>

Merge "add openrc fetching for daisy installer"

[yamllint] move yamllint into verify phases

Change-Id: Id6e541f9260df44ca33f66acec1bdf1e4b4a812d
Signed-off-by: meimei <meimei@huawei.com>

Add odl_netvirt as a suite choice for FUNCTEST_SUITE_NAME param

Change-Id: I86790035c0bb203e8e84c40c863b0750658d6901
Signed-off-by: Jamo Luhrsen <jluhrsen@redhat.com>

Merge "Move from snaps_healthcheck to connection_check to retireve scenario lxd based scenarios are not running snaps_healthcheck"

add openrc fetching for daisy installer

JIRA: FUNCTEST-743

Change-Id: Ic9153575bd43bbc67042cd69a996ad18175427a7
Signed-off-by: SerenaFeng <feng.xiaowei@zte.com.cn>

Source is a bash built in

whatever jjb shell we are calling doesnt
have it

change to . is more posix

Change-Id: Ic4c89cb39d118bae8502f0f94da620436da11fe9
Signed-off-by: Aric Gardner <agardner@linuxfoundation.org>

Move from snaps_healthcheck to connection_check
to retireve scenario
lxd based scenarios are not running snaps_healthcheck

Change-Id: I34a86b5b8d0e1dffda40e6173196eb9409c448a0
Signed-off-by: Morgan Richomme <morgan.richomme@orange.com>

Merge "Move case base from tempest_smoke_serial to snaps_healthcheck"

Move case base from tempest_smoke_serial to snaps_healthcheck

It will allow to show additional scenarios in the reporting page
the scenarios that fail on healthcheck or smoke tests
before running tempest_smoke_serial

Change-Id: I0d9ba84296bfc867ab80caa7873bb5bcb8469fc2
Signed-off-by: Morgan Richomme <morgan.richomme@orange.com>

Remove auto update bars

auto update the bars will make the project submit new codes more and
more difficult.

now it is blocking project in qtip:
no verify +1 and reivew -1

Change-Id: I559125c8e467b2cab9e95c493c60689b9d13016e
Signed-off-by: Julien <zhang.jun3g@zte.com.cn>

Comment out shellcheck job

JIRA: COPPER-35
JIRA: MODELS-47
JIRA: VES-10

Temporary disabling of shellcheck job in Copper, Models, VES.

Change-Id: I6f4eb0a921676d990d951710651e25991543bd08
Signed-off-by: Aimee Ukasick <aimeeu.opensource@gmail.com>

jjb: infra: bifrost-cleanup-job: Do not trigger on patchset creation

There are no logs to remove when a patchset is created.

Change-Id: Ieae8e8e142d69f741d43e740371110ce13255436
Signed-off-by: Markos Chandras <mchandras@suse.de>

[Functest] Add Tempest Defcore test to the dashboard

Change-Id: Id2292198d1e34a2de1d2b9ccdda83f565f771df1
Signed-off-by: jose.lausuch <jose.lausuch@ericsson.com>

Merge "make unittest cover server.py in TestAPI"

Merge "Remove quotes of parameter for functest-fuel-virtual-suite job"

Merge "Use new-style classes which inherit from object in TestAPI"

Remove quotes of parameter for functest-fuel-virtual-suite job

Functest failed to recognise testcase name with quotes in CI:
https://build.opnfv.org/ci/job/functest-fuel-virtual-suite-master/264/console

Change-Id: I8dd3c9f98b0edff593437200c995be51767b3c37
Signed-off-by: Linda Wang <wangwulin@huawei.com>

Merge "Add storperf reportign status page Create associated static storperf page Prepare vsperf, qtip, bottlenecks Put Yardstick scenario class into utils directory"

Use new-style classes which inherit from object in TestAPI

JIRA: FUNCTEST-707

Change-Id: I90a3d6ebfdf798eefccb8e5a0deebb661329d903
Signed-off-by: SerenaFeng <feng.xiaowei@zte.com.cn>

make unittest cover server.py in TestAPI

Change-Id: Id379e6786e1f61fb1032f80636da107156e68fb5
Signed-off-by: SerenaFeng <feng.xiaowei@zte.com.cn>

yardstick: email receiver change

Change-Id: I3cf28afe76bc0cd0bbabae28ad2620a565756e93
Signed-off-by: MatthewLi <matthew.lijun@huawei.com>

leverage tox to facilitate the development

Before submitting a patch, we need to execute flake8, unittest,
open coverage report, now with the help of tox any pytest,
we can process them all with only one command.

pytest is choosen here is because of its useful assert showcase,
and powerful properties and healthy ecosystem(plugins of mock etc)

Change-Id: I7ee89da370da08cc2bc70f7d3b1e2741d7d2e1e8
Signed-off-by: SerenaFeng <feng.xiaowei@zte.com.cn>

add -L para to curl for download bin file

without -L, curl just download the redirects info not the file.

same to https://gerrit.opnfv.org/gerrit/#/c/24769/

Change-Id: Ib40c6bf27651860c7d590ee021064e1245004fb9
Signed-off-by: Julien <zhang.jun3g@zte.com.cn>

add unittest of config.py

Change-Id: I96639c47d27ef449d02528efad23e2499daa3def
Signed-off-by: SerenaFeng <feng.xiaowei@zte.com.cn>

fix internal port of TestAPI

There are too many parameters when starting TestAPI container,
it will confuse the user. I learned that docker containers like
Jenkins and mongo the internal port is fixed, the user only need
to change the exposed port, so the same strategy is adopted here

Change-Id: I59424f5a1f36945d906975a741b631019fcbd46d
Signed-off-by: SerenaFeng <feng.xiaowei@zte.com.cn>

jjb: infra: bifrost-cleanup-job: Ignore jjb patchsets

This is similar to ebaf0be9a53d ("jjb: infra: bifrost-verify-jobs:
Ignore jjb patchsets"). There are no CI logs when a patchset is about
the jjb files so there is nothing for this job to do in that case.

Change-Id: I7b815b612da0407ddefaee9cf9826e9003b668ef
Signed-off-by: Markos Chandras <mchandras@suse.de>

jjb: infra: bifrost-cleanup-job.yml: Use -m gsutil option for removals

Use the -m gsutil option to perform parallel object removal insted of a
sequential one to reduce the job's execution time.

Change-Id: I87d21b07674035113883f7952514555dec1750ca
Signed-off-by: Markos Chandras <mchandras@suse.de>

dovetail: ci jobs change to Danube

JIRA: DOVETAIL-356

since dovetail tool will based on SUT Danube branch,
there's a need to switch dovetail tool "debug" ci jobs
switch to Danube to debug the tool bugs.

Change-Id: I90fdc9042e1bae324c56ca5c5fd4c1a60136fdd8
Signed-off-by: MatthewLi <matthew.lijun@huawei.com>

Add storperf reportign status page
Create associated static storperf page
Prepare vsperf, qtip, bottlenecks
Put Yardstick scenario class into utils directory

Change-Id: I874d1733fe3f37dc5dd557559478e7e0b25371d7
Signed-off-by: Morgan Richomme <morgan.richomme@orange.com>

Merge "Added Search_Results Page"

Merge "Fix no coverage file exported"

Merge "Add scenarios jobs"

Fix no coverage file exported

minor spell error

Change-Id: Iecc5ce87c50e9d275c0d5ae11040f0b6e97deaa6
Signed-off-by: Julien <zhang.jun3g@zte.com.cn>

Apex: fixes deploy with promote jobs

Change-Id: I6331f835ec20abeb5e001ccd7c29a76ad72c583c
Signed-off-by: Tim Rozet <trozet@redhat.com>

Use jenkins-zte user, uncomment daisy deploy and cp labs dir

Change-Id: Ia031b39a8335e223aee27db9cff334af285632ab
Signed-off-by: Alex Yang <yangyang1@zte.com.cn>

[deployment_handler] Fix problem when trying to run ovs-vsctl on Fuel

When creating a Node object, it fetches the ovs version
in the init method. This prevents doing this if the
node is the installer. Anyways, the information
about the installer node is not showed.

Error:
opnfv.deployment.manager - ERROR - error bash: ovs-vsctl: command not found

Example of this output:
https://build.opnfv.org/ci/view/functest/job/functest-fuel-baremetal-daily-master/1161/consoleFull

Change-Id: I7b5d41af438e18dffa3b1eab2c9279164a4d4fc2
Signed-off-by: jose.lausuch <jose.lausuch@ericsson.com>

Add sha512sum into opnfv.properties file for daisy

Change-Id: I21146ebba8088d00f201e1acb51d71731aa595a9
Signed-off-by: Alex Yang <yangyang1@zte.com.cn>

Apex: Adds job for creating snapshots for FDIO

For now this is a manually triggered job, until there is a demand to
produce it automatically.  Only the snapshots are uploaded for this job
and we are not updating snapshot properties file.  We will move to
making that more dynamic in the future.

Change-Id: I3d8392c2c99a524fd20de82d5032c2d4557b045a
Signed-off-by: Tim Rozet <trozet@redhat.com>

Remove job timers for cengn-pod1

Change-Id: I742712c559ffc1b069be451436eed08e1454cfa1
Signed-off-by: dave.urschatz@cengn.ca <dave.urschatz@cengn.ca>

Merge "[Functest] Refactor Functest-suite job"

Merge "Add Netready and Barometer tests to the reporting dashboard"

Merge "Add coverage support"

Merge "dovetail: docker build not set branch parameter"

Add Netready and Barometer tests to the reporting dashboard

Change-Id: Idc09d3461ee5af09625aba3cf2219b64318145c8
Signed-off-by: jose.lausuch <jose.lausuch@ericsson.com>

jjb: infra: bifrost-cleanup-job: Fix job triggers

Add new trigger when a patchset is abandoned and drop the one for
'recheck' and 'reverify' comments since the logs will be eventually
deleted when the patchset is merged or abandoned. Moreover, fix quoting
for the BIFROST_GS_URL variable which prevented logs from being deleted
properly. This fixes the following error:

CommandException: No URLs matched:
gs://artifacts.opnfv.org/cross-community-ci/openstack/bifrost/$GERRIT_NAME/$GERRIT_CHANGE_NUMBER/

Change-Id: I8f6ca7a9b2af4a7a4b204f15abf6a223144637a6

Move rtd build to lf-build2

Change-Id: I4f6379b7de9d6d04d1fbdaa965cf0e8c4ec8013d
Signed-off-by: Aric Gardner <agardner@linuxfoundation.org>

change rtd project

hard code to opnfvdocsdemo
this account has a 30 minute build timeout.

Change-Id: I01099ef370a3c824fe02a7d7069643b3e6e13609
Signed-off-by: Aric Gardner <agardner@linuxfoundation.org>

Merge "jjb: infra: bifrost-cleanup-job.yml: Add new bifrost cleanup job"

Add scenarios jobs

deployment and integration with functest

Change-Id: Ic9f72f4f6bf4d526b51b3254cfc2efd5842dd58c
Signed-off-by: Julien <zhang.jun3g@zte.com.cn>

Add coverage support

Add publish-coverage macro and used in qtip

JIRA:QTIP-204

Change-Id: Ic0a0ca5f082bcaf10074b6312debd8549f99d065
Signed-off-by: Julien <zhang.jun3g@zte.com.cn>

Merge "ignore auto generated files and directories by running TestAPI unittest"

Merge "[docker] Use image IDs instead of tags"

Revert "Remove jobs for cengn-pod1"

This reverts commit c88a035890338b9cd1a78766bcddfe6c95fad963.

Change-Id: Iba57f84b3b358a4178b79fe0122dc9b4ace6132f

[Functest] Refactor Functest-suite job

- Remove if clauses for old releases (not used any more)
- Use python call to run_tests.py instead of CLI
   This will allow us to return the proper value to
   the job. The CLI command returns always 0.
- Remove push logs to artifacts
    Functest-suite is not meant for daily CI runs

Change-Id: I34d99cbe5af07a1fcf583a9a0b6ac6ab286c9adc
Signed-off-by: jose.lausuch <jose.lausuch@ericsson.com>

[deployment_handler] Add get_arch function

This function will be used by ARM project to
detect the architecture of the compute nodes.

Example: http://paste.openstack.org/raw/599722/

Change-Id: Ic76f291468998d3a3d9e7df507a146da44f2f7f9
Signed-off-by: jose.lausuch <jose.lausuch@ericsson.com>

Remove jobs for cengn-pod1

Change-Id: Ie7a6313e60bc9446665151fe691fe50118bc8280
Signed-off-by: dave.urschatz@cengn.ca <dave.urschatz@cengn.ca>

Fixed url path of artifacts

Change-Id: I503acd1bf421e4734b4edbe07a562ec51f3c0b77
Signed-off-by: rohitsakala <rohitsakala@gmail.com>

Add unit tests to token based authentication

Projects has been choosen as an helper to test token success,invalid and
unauthorized

JIRA: FUNCTEST-739

Change-Id: Iecc68821f5cc85630c17e54144723cc6f5e21ded
Signed-off-by: rohitsakala <rohitsakala@gmail.com>

Add token based authentication for post/update/delete

As the mongodb database is not so secure today, this has been added.
The token is stored in the mongoDB database. For now, authenticate variable is set
false so that there would be no problem in accessing the databse by jenkins
jobs.

JIRA: FUNCTEST-730

Change-Id: I12b3907d650fc63efbdb031ebf3dd09519750109
Signed-off-by: rohitsakala <rohitsakala@gmail.com>

Merge "[deployment_handler] Fix some nits and improve output"

Merge "Apex: Removes nosdn from verify"

Merge "[deployment_handler] Opendaylight node check"

[deployment_handler] Opendaylight node check

- Enhance functionality of manager.py to check if a node is opendaylight
- Update is_compute and is_controller methods, using the Role Class attributes

Change-Id: Icf1d83b289bf6e87f83b0e1b5bdd2f9da436cde5
Signed-off-by: tomsou <soth@intracom-telecom.com>