Merge "add mongodb update script in testAPI"

Merge "Yardstick: rename test suite script"

add mongodb update script in testAPI

add file update.py

JIRA: FUNCTEST-298

Change-Id: I419e9b72464ac04562f5550409561d269d9f0d36
Signed-off-by: SerenaFeng <feng.xiaowei@zte.com.cn>

modified to use mitaka by default rather than Liberty.

This patch to modify the default deployment to mitaka. Ans also
disable the creation of external network as now joid deploy.sh will
create the external network itself based on labconfig.yaml

Change-Id: I282eaa803af47f04348532ffd1a7a5990d50d380
signed-off-by: Narinder Gupta <narinder.gupta@canonical.com>

add mongodb backup and restore scripts in testAPI

add directory update
add files backup.py restore.py utils.py

JIRA: FUNCTEST-297

Change-Id: I6e8b6c4b87b6081e67bc3e1a7605c83d0232e3ca
Signed-off-by: SerenaFeng <feng.xiaowei@zte.com.cn>

Merge "remove useless method get_dashboard_cases() in testAPI"

Merge "add unittest for 'last' query of results in testAPI"

Merge "joid: Disable brahmaputra jobs, enable master jobs"

add unittest for 'last' query of results in testAPI

add 'last' related unittest in test_result.py
implement sort()&limit() in fake_pymongo.py
refactor 'sort' model in result_handlers.py

JIRA: FUNCTEST-296
Change-Id: Ib5371f1df67f170e3ba26c6da27a651e34f2b0d6
Signed-off-by: SerenaFeng <feng.xiaowei@zte.com.cn>

remove useless method get_dashboard_cases() in testAPI

remove get_dashboard_cases() method in dashboard_utils.py

JIRA: FUNCTEST-295

Change-Id: Id450f3d9c2b4870a0a9da42abd536a412ac25323
signed-off-by: SerenaFeng <feng.xiaowei@zte.com.cn>
Signed-off-by: SerenaFeng <feng.xiaowei@zte.com.cn>

Yardstick: rename test suite script

JIRA: YARDSTICK-279

two scripts are with the same name run_tests.sh, for unittest and test suite running,
confusions are made here, this should be merged after https://gerrit.opnfv.org/gerrit/#/c/14687/

Change-Id: I31aca6144b94a0fd167f5ed77580ba8d9ac4c917
Signed-off-by: MatthewLi <matthew.lijun@huawei.com>

refactor int query parameter process in testAPI

add method GenericResultHandler.get_int()
refactor GenericResultHandler.set_query() & ResultsCLHandler.get()

JIRA: FUNCTEST-294

Change-Id: I44636983af7784a5b2863427abc0895e89cfa83c
Signed-off-by: SerenaFeng <feng.xiaowei@zte.com.cn>

Apex: Adds ODL L3 scenario to daily

Change-Id: I3fcdf3a471806c6342065ed2ef8df9e649e9c044
Signed-off-by: Tim Rozet <trozet@redhat.com>

Merge "test APi evolution add filter to retrieve last results"

Merge "support 'GET /dashboard/v1/projects' REST api in testAPI"

test APi evolution add filter to retrieve last results

add 'last' query parameter prcess in ResultsCLHandler.get()
add 'sort' and 'last' parameters process in GenericApiHandler._list()
add sort() and limit() fake in fake_pymongo.py

JIRA: FUNCTEST-259

Change-Id: I96c1ff37325c65cf9c421f4277662dde28b1473d
Signed-off-by: SerenaFeng <feng.xiaowei@zte.com.cn>

remove not used 'import copy'

remove not used 'import copy' in test_result.py

JIRA: FUNCTEST-293

Change-Id: I6c8db5674e6dd9770cd859c74d43bd5b9440544a
Signed-off-by: SerenaFeng <feng.xiaowei@zte.com.cn>

support 'GET /dashboard/v1/projects' REST api in testAPI

add get_dashboard_projects() in dashboard_utils.py
add DashboardProjectHandler in dashboard_handlers.py
add router mapping in url_mappings.py
add file test_dashboard_project.py to do the unittest

JIRA: FUNCTEST-292

Change-Id: I51ad8dd26abbd8d43c656c8b03ff302227255d11
Signed-off-by: SerenaFeng <feng.xiaowei@zte.com.cn>

Merge "compass CI support deployment of Mitaka"

joid: Disable brahmaputra jobs, enable master jobs

Change-Id: Ic97671af63b9405fab8fd99de758170095c57934
Signed-off-by: Fatih Degirmenci <fatih.degirmenci@ericsson.com>

Apex: Fixes build caching

Changes include:
 - Removing deprecated Brahmaputra support
 - Properly passing CACHE_DIRECTORY without file:// prefix

JIRA: APEX-167

Change-Id: Ic52e394d682d59662006a74ec2d32eef7bc3b6c2
Signed-off-by: Tim Rozet <trozet@redhat.com>

Merge "Apex: Add jinja2 package check and install"

support GET /api/v1/results in testAPI

change require flag of project&case to False

JIRA: FUNCTEST-291

Change-Id: Idc165cc4d5950cd7f7313a1e19f013933a5d4a9a
Signed-off-by: SerenaFeng <feng.xiaowei@zte.com.cn>

Merge "add copyright to files in testAPI"

compass CI support deployment of Mitaka

- remove the support of juno
- support Mitaka

JIRA: COMPASS-413

Change-Id: I592001421ce485cabb400a72d9ffe2fd0d3577f5
Signed-off-by: meimei <meimei@huawei.com>

fix odl test repo path and remove unneeded sudo

Change-Id: Iefcdf2b22b0069c109a00cbc058678ee067db7bb
Signed-off-by: Jamo Luhrsen <jluhrsen@redhat.com>

Apex: Add jinja2 package check and install

Change-Id: I9ea883139333730d9f3d0c77abef459d9f26e94b
Signed-off-by: Feng Pan <fpan@redhat.com>

add README.md to introduce the usage of tornado_swagger

add README.md file in tornado_swagger package

JIRA: FUNCTEST-290

Change-Id: I0ba306f0e5dfb576b34959f054e1c9cc61079039
Signed-off-by: SerenaFeng <feng.xiaowei@zte.com.cn>

Merge "change TestVersionbBase to TestVersionBase in testAPI"

add copyright to files in testAPI

add copyright head to new created files

JIRA: FUNCTEST-289

Change-Id: Idbedcf6d63156570dfa4b85dd8125b3882251765
Signed-off-by: SerenaFeng <feng.xiaowei@zte.com.cn>

remove unittest test_createSameResults in testAPI

remove unittest test_createSameResults in test_results.py

JIRA: FUNCTEST-288

Change-Id: I5c1e8eb6c09a5ced1a6cdd380e9c37961136e6d2
Signed-off-by: SerenaFeng <feng.xiaowei@zte.com.cn>

change TestVersionbBase to TestVersionBase in testAPI

delete extra 'b' in the clase name

JIRA: FUNCTEST-287

Change-Id: I4189182ec93425e16d1b56b440f001f72a3c5f2a
Signed-off-by: SerenaFeng <feng.xiaowei@zte.com.cn>

change the usage of tornado_swagger package

changes:
    move tornado_swagger package out of tornado_swagger_ui
    remove tornado_swagger_ui
    modify files that import tornado_swagger
        originally: opnfv_testapi.tornado_swagger_ui.tornado_swagger
        to: opnfv_testapi.tornado_swagger
    modify setup.cfg to delete tornado_swagger_ui prefix

JIRA: FUNCTEST-286

Change-Id: I1e8972e4fbe26ad3a5d945f3aed6783d0b666a5f
Signed-off-by: SerenaFeng <feng.xiaowei@zte.com.cn>

add router package to implement url-2-XXXHandlers mappings in testAPI project
and eliminate flake8 violation

JIRA: FUNCTEST-285

Change-Id: I15b568a97279032549f24ff81520220e271f3488
Signed-off-by: SerenaFeng <feng.xiaowei@zte.com.cn>

project-ize testAPI

JIRA: FUNCTEST-284

Change-Id: I219e934bb11f50de84df2aa0345ecc7885223491
Signed-off-by: SerenaFeng <feng.xiaowei@zte.com.cn>

fuel: Enable concurrency for fuel-deploy job

Change-Id: Id6d121dd27b141a4be663a140dc8c3937680c81e
Signed-off-by: Fatih Degirmenci <fatih.degirmenci@ericsson.com>

bugfix: query results failed due to wrong using period

JIRA: FUNCTEST-281

Change-Id: I3d0bdc302afc45593ad3feaec21b89d5c6eeaa0b
Signed-off-by: SerenaFeng <feng.xiaowei@zte.com.cn>

Add Tempest error in Tempest reporting

JIRA: FUNCTEST-150

Change-Id: I0b2a3a38bbbb11a80c761c23c71c2f45a959e477
Signed-off-by: Morgan Richomme <morgan.richomme@orange.com>

Merge "bugfix: query results failed due to wrong using type of trust_indicator"

bugfix: query results failed due to wrong using type of trust_indicator

trust_indicator must be int/long/float rather than string

JIRA: FUNCTEST-280

Change-Id: I2e2b292f9181fd28896bfe1e3b86ec3976b65016
Signed-off-by: SerenaFeng <feng.xiaowei@zte.com.cn>

fuel: Adjust throttling for deploy jobs

Change-Id: Ia9939f489320b95bd417d3e25b2a5b99644f549f
Signed-off-by: Fatih Degirmenci <fatih.degirmenci@ericsson.com>

Merge "bottlenecks: redefine the jobs accordingly"

Merge "bugfix: version return body is inconsistent with the designed model"

bottlenecks: redefine the jobs accordingly

JIRA: BOTTLENECK-85

Change-Id: I6ec45a7fa292ee69a75820d1ed9ce3fd82aebe5d
Signed-off-by: MatthewLi <matthew.lijun@huawei.com>

Merge "refactor fake_pymongo.py to eliminate repeated codes"

Merge "bugfix: query results failed due to using mutable list initiation and forget to swagger-ize TestResult model"

bugfix: version return body is inconsistent with the designed model

JIRA: FUNCTEST-278

Change-Id: I53fa2eca6476c07ad513e72241d9715431cbdee8
Signed-off-by: SerenaFeng <feng.xiaowei@zte.com.cn>

bugfix: query results failed due to using mutable list initiation
and forget to swagger-ize TestResult model

JIRA: FUNCTEST-277

Change-Id: I5d8ddd9983484a61df9b77392d5ae24bde6a16dc
Signed-off-by: SerenaFeng <feng.xiaowei@zte.com.cn>

Format the script for better reading

esp for heading spaces and if/else/fi
JIRA:RELENG-113

Change-Id: I9009cfec71be653e1009d8d59aec2f27d7206a8d
Signed-off-by: Julien <zhang.jun3g@zte.com.cn>

Yardstick, Apex: Fixes yardstick to use right Apex vm name (undercloud)

Change-Id: I709dbf36667202ed0e1feb4793aa10071dc137c4
Signed-off-by: Tim Rozet <trozet@redhat.com>

refactor fake_pymongo.py to eliminate repeated codes

JIRA: FUNCTEST-276

Change-Id: I2e40e12bc5b472aae88d294fb11dc479d5dd538c
Signed-off-by: SerenaFeng <feng.xiaowei@zte.com.cn>

Merge "Functest, switch CI_DEBUG to false."

eliminate flake8 violation of testAPI

JIRA: FUNCTEST-274

Change-Id: I64e5e1c0d1165ac7ad7ff59dfd824dc00e131cdc
Signed-off-by: SerenaFeng <feng.xiaowei@zte.com.cn>

Functest, switch CI_DEBUG to false.

JIRA: FUNCTEST-275

At least until we fix the issue with the python logger showing
the output twice.

Change-Id: I121b6164cd9dc263b0c6f87afb661f853bcca708
Signed-off-by: jose.lausuch <jose.lausuch@ericsson.com>

swagger-ize dashboard and version apis of testAPI

JIRA: FUNCTEST-273

Change-Id: I6f2b1de5488ba684d0c00e9f40daee2487a011cc
Signed-off-by: SerenaFeng <feng.xiaowei@zte.com.cn>

Merge "swagger-ize result-apis of testAPI"

Apex, Functest: Reconfigure Apex with labels

Change-Id: Ia56ceefe5bf93cf15f89133c40f0e23c678e11d3
Signed-off-by: Tim Rozet <trozet@redhat.com>

Apex: Fixes yardstick/functest for daily

Also adds ODL_L2 to daily

Change-Id: Ic9e29d440988ff2eba42ae314cfc0f86313092f2
Signed-off-by: Tim Rozet <trozet@redhat.com>

swagger-ize result-apis of testAPI

JIRA: FUNCTEST-270

Change-Id: I82b1e3acee82d9b4931531c9404e13a663ff32de
Signed-off-by: SerenaFeng <feng.xiaowei@zte.com.cn>

Merge "[compass] wrong job name of verify smoke test"

[compass] wrong job name of verify smoke test

Change-Id: Ib56f4675e840c05ab2ed331efef553362cd16fb3
Signed-off-by: meimei <meimei@huawei.com>

Apex: Adds block level per node for baremetal

Change-Id: If9de486a95ed7a890d23abfe88f6eb70803d2cae
Signed-off-by: Tim Rozet <trozet@redhat.com>

Merge "Fixes network/inventory checks for baremetal deployments"

Fixes network/inventory checks for baremetal deployments

Change-Id: Ic18bafda91538d93ba66ee2969fec2949cecdb52
Signed-off-by: Tim Rozet <trozet@redhat.com>

Apex: Fixes artifact upload

Fixes include:
 - SRPM extension was wrong, causing SRPMs to not be uploaded correctly
 - No more redirecting stderr to stdout
 - More print statements to Jenkins

Change-Id: Ib96bb1efd967d9510d14a2e63bdf7d97b5d07cb2
Signed-off-by: Tim Rozet <trozet@redhat.com>

Merge "swagger-ize testcase-apis of testAPI"

fastpathmetrics: add daily and merge jobs

Add daily, verify and merge jobs for fastpath metrics project.

Change-Id: Ieeca12b0743cc4387ce6725b018360627b5164e7
Signed-off-by: Maryam Tahhan <maryam.tahhan@intel.com>

swagger-ize testcase-apis of testAPI

Change-Id: Ibe4b068fd667b796455be3fd4d9701d50879aace
JIRA: FUNCTEST-266
Signed-off-by: SerenaFeng <feng.xiaowei@zte.com.cn>

Merge "Fix "Illegal option -o pipefail" problem and correct the parser path."

Fix "Illegal option -o pipefail" problem and correct the parser path.

JIRA:RELENG-110

Change-Id: I7cf0a79cd7046878de50c0214837d266770560c1
Signed-off-by: zhifeng.jiang <jiang.zhifeng@zte.com.cn>

Apex: fixes env vars that cannot be exported due to sudo

Change-Id: I2d27170c3797b1191dd39c3c9f6741a343acf70d
Signed-off-by: Tim Rozet <trozet@redhat.com>

Apex: Converges separate virtual and baremetal deploy scripts

Changes Include:
 - Combined apex-deploy-baremetal and apex-deploy-virtual into the
   apex-deploy.sh
   into functions
 - JJB modified to only use single builder for deploy

Change-Id: Ia129d8d6004b36c09bdb01685f2a0fced13bccea
Signed-off-by: Tim Rozet <trozet@redhat.com>

Merge "Adapt push_logs after CI refactoring"

Adapt push_logs after CI refactoring

- change POD names
- remove branch for local results

Change-Id: I8749cfe34e9819c42f859c9a1f2f5d5cce5ccbb1
Signed-off-by: Morgan Richomme <morgan.richomme@orange.com>

swagger-ize project-apis of testAPI

rename pod_handler.py to pod_handlers.py

JIRA: FUNCTEST-264

Change-Id: I8699999776bdb238f680a128b83cea0a098534c5
Signed-off-by: SerenaFeng <feng.xiaowei@zte.com.cn>

swagger-ize pod-apis of testAPI

JIRA: FUNCTEST-263

Change-Id: I293e05f565f882ea39bbf6368405f10241269716
Signed-off-by: SerenaFeng <feng.xiaowei@zte.com.cn>

Merge "compass: Switch using labels instead of slaves"

Merge "eliminate flake8 violation in testAPI except dashboard dir"

compass: Switch using labels instead of slaves

This change switches compass jobs to use labels instead of tying
jobs to slaves.

The changes in detail are:
- Compass jobs can roam on any pod that is labelled with compass-baremetal
  and compass-virtual.
- Above means that there is no branch/pod allocation anymore.
- New jobs are created in order to get rid of pod names from them and just
  use baremetal or virtual in names.
- Old jobs are removed.
- Related test jobs are updated.
- huawei-virtual label is renamed to compass-virtual since we still have
  installer specific slaves, not company specific. In future the job
  might end up on a none-Huawei slave too.
- huawei-pod2 is not a CI POD so it is left in none-CI PODs section.
- block relations and triggers might require fine tuning and left to compass
  project to decide how to adjust

Job structure remains same; one parent job calling 3 downstream jobs:
deploy, functest, yardstick.

The OS to deploy (trusty or centos7) needs to be solved in a separate patch
in a sustainable way.

Change-Id: I22bfaff36640667b6764f0e303a3286af0eb41b2
Signed-off-by: Fatih Degirmenci <fatih.degirmenci@ericsson.com>

eliminate flake8 violation in testAPI except dashboard dir

JIRA: FUNCTEST-262

Change-Id: Ib77bb080111392b8e3248c5e6152f55c12b8c67c
Signed-off-by: SerenaFeng <feng.xiaowei@zte.com.cn>

joid: Switch using labels instead of slaves

This change switches joid jobs to use labels instead of tying
jobs to slaves.

The changes in detail are:
- Joid jobs can roam on any pod that is labelled with joid-baremetal
  and joid-virtual.
- Above means that there is no branch/pod allocation anymore.
- New jobs are created in order to get rid of pod names from them and
  just use baremetal or virtual in names.
- Old jobs are removed.
- Related test jobs are updated.
- POD specific parameters are updated and instead of adding pod
  specific parameters, they now become parameters for all the pods
  labelled with same label. It is not a problem at the moment as
  both Intel PODs (pod5, pod6) have same parameters but a different
  pod with different parameters will require alignment between pods.

Job structure remains same; one parent job calling 3 downstream jobs:
deploy, functest, yardstick.

Change-Id: I30d270cd05ba3756f6f161d65ee5160eab6b80f4
Signed-off-by: Fatih Degirmenci <fatih.degirmenci@ericsson.com>

Merge "attach version number to url in testAPI"

Add the  pep8 check in parser verify

JIRA:RELENG-110

Change-Id: I5c877d558bb04255a9e99dbe3459fba40217232c
Signed-off-by: zhifeng.jiang <jiang.zhifeng@zte.com.cn>

attach version number to url in testAPI

version - /versions
api - /api/v1/pods(projects/results)
dashboard - /dashboard/v1/results
I tried to make the code smart, but in vain, sad......

JIRA: FUNCTEST-261

Change-Id: I3e9e3ad7180a6c6349fd743e24eafea07bdefd1d
Signed-off-by: SerenaFeng <feng.xiaowei@zte.com.cn>

Apex: Fixes RPM checking in virtual deployment

Change-Id: I2e02f16173ec495e250bc60bc225ad1bb6a91828
Signed-off-by: Tim Rozet <trozet@redhat.com>

apex: Take builders out of jjb

Having builders embedded in jjb makes maintenance harder than what
it could be and error prone so the builders have been taken out.

Apart from this, the upcoming change proposals will split yml files
in 2, aligning with the rest and jobs in these files can reuse same
builders when they are converted in shell scripts.

This is the first change in series, trying to align job structure
with the rest in order to ease the effort required to troubleshoot
the deployments during release verification. The changes are
- take builders out of jjb (this patch)
- align the main CI jobs with the rest; 1 parent job per scenario/branch
  which controls triggering and execution of 3 downstream jobs;
  deploy, yardstick, functest
- split yml file in 2; ci jobs ending in apex-ci-jobs.yml (daily) and
  project jobs ending in apex-project-jobs.yml. (verify, merge, build)

Change-Id: I01f8bf351f0cbafbee1f41ec24ad5c2c6f21316f
Signed-off-by: Fatih Degirmenci <fatih.degirmenci@ericsson.com>

fuel: Switch using labels instead of slaves

This change switches fuel jobs to use labels instead of tying
jobs to slaves.

The possibilities and changes introduced with this approach are
- If things do not work as expected, slave-label parameter can
  be set to certain slave name to get back to old way of
  tying jobs to slaves.
- If a scenario requires a different slave, it can still be
  created using baremetal or virtual but the label can be
  different, pointing to a slave that is capable of running
  that scenario. (fuel-baremetal-multisite, etc.)
- The auto-trigger-name for brahmaputra is moved under the
  branch anchor and can be used like this if triggers for all
  all the jobs for a certain branch need not to be triggered
  automatically but job is still kept enabled in case if some
  crucial bug needs to be tested.
- No of max concurrent builds stepped to 4 in order to use
  all the labelled slaves available. This will require some
  adjustments before colorado jobs start to run in order to
  share resources between branches fairly.
- All the fuel CI PODs except lf-pod1 have been removed.

Change-Id: I91eca6743bb3d34263e634f9b74550efa1e2ddbe
Signed-off-by: Fatih Degirmenci <fatih.degirmenci@ericsson.com>

Test API add start_date, stop_date parameters in results

Change-Id: I8c8c5b1d82e447fb7a7413368a919b3d3c7b99a6
Signed-off-by: Morgan Richomme <morgan.richomme@orange.com>

Merge "add test result/dashboard related unittests in testAPI and refactor its response"

Merge "Add pod role in pod description in the API"

add test result/dashboard related unittests in testAPI and refactor its response

modification:
  add unittests for test result/dashboard
  rename test_results table name in db to results
  refactor response body

JIRA: FUNCTEST-255

Change-Id: I0657e6e95156a8c79072e7333fd8aaeb12d986e5
Signed-off-by: SerenaFeng <feng.xiaowei@zte.com.cn>

Enable opencontrail ci jobs in compass

JIRA: COMPASS-393

Change-Id: Ib079cb543f7ed9ae932ea3af99a8c3f187dd0cbc
Signed-off-by: meimei <meimei@huawei.com>

Merge "armband: schedule deploy jobs earlier"

armband: schedule deploy jobs earlier

Change-Id: Ib555f05777cd301851c10f139457a5babf1b7f5b
Signed-off-by: Josep Puigdemont <josep.puigdemont@enea.com>

Merge "[joid] correct auth url with good admin port"

Add pod role in pod description in the API

JIRA: FUNCTEST-259

Change-Id: Id0c232f61244a185c7ab238d6493ef5487a9efbf
Signed-off-by: Morgan Richomme <morgan.richomme@orange.com>

Merge "add zte-pod1 to functest dashboard"

Merge "Add dependency to futures lib in README"

bugfix: Switch to include-raw so curly brackets are not escaped

Change-Id: I22bdffac5888656ee95c458d42c0f6621c822f7f
Signed-off-by: Fatih Degirmenci <fatih.degirmenci@ericsson.com>

storperf: Fix the typo in DOCKER_REPO_NAME

Change-Id: I55255a33bb0c2cf88c709024f1712e5310082ae6
Signed-off-by: Fatih Degirmenci <fatih.degirmenci@ericsson.com>