clarify obsoleted test configuration files

delete noparam.ini/nosection.ini/notboolean.ini/notint.ini/normal.ini
substitute normal.ini with etc/config.ini

Change-Id: I7e2fa331736a2f9bf807814416a3118be5f613e5
Signed-off-by: SerenaFeng <feng.xiaowei@zte.com.cn>

Merge "leverage LFID as Authentication"

Merge "Add watchdog into testresults server to restart docker containers."

Merge "bug fix: reporting Tempest"

Merge "Added the validation for name field in create pod function"

bug fix: reporting Tempest

not updated since Colorado and data model changed

 - minor fixes to match data model
 - pep8/pylint correction

Change-Id: I3a0a9ea689d25b3cfff35cb1ec39329981627bc6
Signed-off-by: Morgan Richomme <morgan.richomme@orange.com>

leverage LFID as Authentication

delete openid authentication
add LFID authentication

Change-Id: Iead144b5130bce51448024e65092fdea3bb2f07a
Signed-off-by: SerenaFeng <feng.xiaowei@zte.com.cn>

Added the validation for name field in create pod function

Change-Id: I18a072c7b2677794a64693135904cf97eb7b3349
Signed-off-by: thuva4 <tharma.thuva@gmail.com>

Add watchdog into testresults server to restart docker containers.

Unexpected crashing of docker containers were occuring. So, a cron script
is to be run in regular intervals which will check for status of the
deployments and restart docker if necessary. Docker restart is seen
as a solution to solve majority of crashes.

Suggest if there is a better approach.

Change-Id: I40d56180350844b4a0f766e1b10a9fabfa02d3be
Signed-off-by: Sakala Venkata Krishna Rohit <rohitsakala@gmail.com>

Merge "bug fix for qtip reporting"

Merge "leverage setup.py directly to install TestAPI"

bug fix for qtip reporting

 - fix right path (version duplicated in path)
 - fix template for nav links in qtip reporting page

Change-Id: I7e14bea3feb5e6fad694e2837b3048b9cd8d5825
Signed-off-by: Morgan Richomme <morgan.richomme@orange.com>

Merge "update scenario name"

Merge "update installer under scenario"

Merge "simplify unit tests implementation of update scenario"

Merge "update versions under scenario"

Split HA and NOHA scenarios into 2 tables in reporting

the goal is to vizualize more quickly the HA and NOHA scenario
Note that if no scenario is available, the table title is displayed

Change-Id: Ibdade30aadf40fe4f7b9bfe547d23c186cb3e1df
Signed-off-by: Morgan Richomme <morgan.richomme@orange.com>

leverage setup.py directly to install TestAPI

1. delete additional script install.sh
2. using 'python setup.py install' directly to install
TestAPI, as traditional python project do

Change-Id: Ifcdee7b2bae2553f523a722bff794c40d20f81cc
Signed-off-by: SerenaFeng <feng.xiaowei@zte.com.cn>

Merge "bug fix: installation of node, bower and grunt for reporting docker"

update scenario name

url PUT /api/v1/scenarios/<scenario_name>
if new_name already exist, return Forbidden
if new_name == name, return Forbidden

Change-Id: If3b82b3df4a763d60dad110caca2659c5f39ab50
Signed-off-by: SerenaFeng <feng.xiaowei@zte.com.cn>

update installer under scenario

1. post, add one or more new installers
2. update, replace existed installers as a totality
3. delete, delete one or more installers by name
4. in post&update, if schema is not consistent with ScenarioInstaller model,
BadRequest will be raised(only extra keys will be detected currently)
5. in post, if installer already exist, return Conflict with already exist
message
6. in update, if a installer appears more than once, also return Conflict
with already exist message

Change-Id: I830dba3bcf5f1a9d1c93513b4aae59009f69dc8f
Signed-off-by: SerenaFeng <feng.xiaowei@zte.com.cn>

simplify unit tests implementation of update scenario

1. delete useless input arguments
2. update on and assert with self.req_d directly
   delete intermediate variable 'scenario'

Change-Id: I3eda1df4893c890bb23ccf05b45ce2de5fa9dd93
Signed-off-by: SerenaFeng <feng.xiaowei@zte.com.cn>

update versions under scenario

1. post, add one or more new versions
2. update, replace existed version as a totality
3. delete, delete one or more versions by name
4. in post&update, if schema is not consistent with ScenarioVersion model,
BadRequest will be raised(only extra keys will be detected currently)
5. in post, if project already exist, return Conflict with already exist
message
6. in update, if a version appears more than once, also return Conflict
with already exist message
7. add update with conflict unittest for projects

Change-Id: I0d2c8a5567f3abce7b0313a64e18303af02cc002
Signed-off-by: SerenaFeng <feng.xiaowei@zte.com.cn>

bugfix: fail to generate APIs document patch

Change-Id: Iac5bb851514f0f688fcb72deb5f07488bc071225
Signed-off-by: SerenaFeng <feng.xiaowei@zte.com.cn>

bugfix: fail to generate APIs document

Change-Id: I13c91fb34e190cd62400eccec6b755419aad89d1
Signed-off-by: SerenaFeng <feng.xiaowei@zte.com.cn>

bug fix: installation of node, bower and grunt for reporting docker

 - change node installation process
 - clean setup (no need of pbr)

Change-Id: I9015486e3892e7c949bad5140cc4180ec9f07aa7
Signed-off-by: Morgan Richomme <morgan.richomme@orange.com>

bugfix: malfunction of scenario equal check

1. bugfix equal check with[] will return list[false, true],
   and always True in next step check
2. in assert_res() leverage '==' will never assert even if
   they are not equal

Change-Id: I683e3489d45b98b508f8ab8b6ef268ca9a1ebd5f
Signed-off-by: SerenaFeng <feng.xiaowei@zte.com.cn>

Merge "Landing page adoption"

Merge "bugfix: OperationFailure: the limit must be positive"

Merge "change scenario owner"

Merge "update projects in scenario"

Merge "in swagger operation parameter supports array type"

Merge "update customs in scenario"

bugfix: OperationFailure: the limit must be positive

in cursor.aggregate(), set limit=0 is not allowed, in this patch,
if no records to be listed, return empty list directly, no more
aggregate()

JIRA: RELENG-293

Change-Id: I7317892875da9c0f785ba010b55715032dee31ce
Signed-off-by: SerenaFeng <feng.xiaowei@zte.com.cn>

change scenario owner

1 bugfix owner must be explicit in ScenarioVersion model
2 change owner of scenario
3. usage: PUT /api/v1/scenarios/<scenario_name>/owner? \
                installer=<installer_name>& \
                version=<version_name>
  body: new owner

Change-Id: I261468cd8445030b61e37e0f804b699d6205bdb0
Signed-off-by: SerenaFeng <feng.xiaowei@zte.com.cn>

update projects in scenario

1. post, add one or more new projects
2. update, replace existed projects wholly
3. delete, delete one or more projects by name
4. in post&update, if schema is not consistent with ScenarioProject model,
BadRequest will be raised(only extra keys will be detected currently)
5. in post, if project already exist, return Conflict with already exist
message

Change-Id: Iead585f787a4acc61abce6c9d38a036739b498d6
Signed-off-by: SerenaFeng <feng.xiaowei@zte.com.cn>

Landing page adoption

Since testapi have done some changes on scenarios api,
so landing page should do some adoption.

Change-Id: Ib5d1df03e2c50c7d6c038200d97f2057b90e48af
Signed-off-by: chenjiankun <chenjiankun1@huawei.com>

in swagger operation parameter supports array type

it will be used in scenario update process later

Change-Id: Ic44023169f1c0da0946e5e60339ce58076fc8807
Signed-off-by: SerenaFeng <feng.xiaowei@zte.com.cn>

update customs in scenario

1) post to add one or multiple test cases
2) update to substitute all the test cases
3) delete with body to delete one or multiple test cases
4) to facilitate the process and response body usually useless,
   if update success all updates(scores/trust_indicators/customs),
   return 200 with no response body

Change-Id: I5148f172989fa8e0e70ffed92ee383c0520dbb41
Signed-off-by: SerenaFeng <feng.xiaowei@zte.com.cn>

Merge "bugfix: testapi is killed because of oom_kill"

Merge "impl update trust_indicator in scenario"

impl update trust_indicator in scenario

Change-Id: I1afe38412926778bc84d178dbbfc3fe0cde15f69
Signed-off-by: SerenaFeng <feng.xiaowei@zte.com.cn>

Merge "update scenario scores"

Merge "delete obsolete scenario update code"

bugfix: testapi is killed because of oom_kill

if page is not provided, return page 1 to avoid large memory consume,
further more to kill testapi:

Out of memory: Kill process 30842 (opnfv-testapi) score 519 or sacrifice child
Killed process 30842 (opnfv-testapi) total-vm:4739716kB, anon-rss:3974612kB, file-rss:0kB

JIRA: RELENG-291

Change-Id: Id0e144c030aee390cc41cff8a48e3c997de4ad84
Signed-off-by: SerenaFeng <feng.xiaowei@zte.com.cn>

Merge "Bug fix: generate fuel reporting page when no aarch64 available"

update scenario scores

update score url:
POST /api/v1/scenarios/<scenario_name>/scores? \
                installer=<installer_name>& \
                version=<version_name>& \
                project=<project_name>
add new score record interface
add unit test
add swagger specification

Change-Id: Ib7bb31f303a9a9402325476bfdadb58aa0df560e
Signed-off-by: SerenaFeng <feng.xiaowei@zte.com.cn>

delete obsolete scenario update code

1) update scenario will be subsitituted with new methods,
in this patch delete the obsolete code first to make clean room
2) test_queryCombination() will fail randomly, in this patch disable
   it first, reopen when problem solved

Change-Id: I1939876465934ea09894255712057a78f120be71
Signed-off-by: SerenaFeng <feng.xiaowei@zte.com.cn>

Bug fix: generate fuel reporting page when no aarch64 available

In fuel we may deal with x86 or aarch64 architecture
We generate dedicated reporting page
- fuel@x86
- fuel@aarch64

However when there is no results for one of the architecture
the test on the number of architecture lead to a bug

Change-Id: I9906bd6078c8493587dc667eb23399a1e8311e77
Signed-off-by: Morgan Richomme <morgan.richomme@orange.com>

Add daisy to reporting

Change-Id: I5fd940b8c1be1c327cfcd481c27049f94ae2f175
Signed-off-by: Morgan Richomme <morgan.richomme@orange.com>

Merge "Initiate packetization of Testing reporting"

Merge "add Pods page in webportal"

Initiate packetization of Testing reporting

Testing reporting provides
- static reporting pages [1] (jinja2)
- landing pages including test case catalogue [2] (angular)

It consumes the Test API to build web pages providing status for
the testing projects (so far functest, yardstick, storperf and
qtip).

Dockerization has been initiated [3]. The goal is to replace the
static page hosted on testresults.opnfv.org by a docker regenerated
and redeployed when reporting code is changed

But the docker and more generally the testing reporting directory
must be refactored to
- manage dependencies properly
- leverage tox (py27, docs, pylint, pep8)

This patch
- setups tox (py27, pep8, pylint, docs)
- integrate the requirement management
- fix pep8 errors
- introduce 1 dummy unit test

This patch does not
- fix pylint errors
- create any doc

[1]: http://testresults.opnfv.org/reporting2/display/index.html
[2]: http://testresults.opnfv.org/reporting2/reporting/index.html
[3]: https://gerrit.opnfv.org/gerrit/#/c/36735/

Change-Id: I4613de7ca7036d6c6bbb8f58ade492b1d673599b
Signed-off-by: Morgan Richomme <morgan.richomme@orange.com>

add Pods page in webportal

delete OPNFV Powered Guidelines page
add Pods page with create/list operations

Change-Id: Ib9fd2834bd9d54ee33600458a90e3aac76382589
Signed-off-by: SerenaFeng <feng.xiaowei@zte.com.cn>

merge swagger_base_url with ui_url

TestAPI used to have only one webpage, which is swagger_ui,
now a new one webportal is added, and the base url is the same
(http://testresults.opnfv.org/test)for them both.
This patch aim to unify the urls.

Change-Id: I15295975fb05f7e8c8d413e12b2b5c0784f0799a
Signed-off-by: SerenaFeng <feng.xiaowei@zte.com.cn>

delete obsolete run_test.sh

after switching to tox, run_test.sh is not used now

Change-Id: I66d40d6df47652b956f85f022843b60886ce41a2
Signed-off-by: SerenaFeng <feng.xiaowei@zte.com.cn>

query date from oldest to newest

Change-Id: I3d0345bb85967f48617c485bbee1dfe6fa04a644
Signed-off-by: SerenaFeng <feng.xiaowei@zte.com.cn>

separate db methods from handler.py

db methods are mingled in handler, which is not well structured

Change-Id: I639679d3fc05a0b6528158186b8bf89e0cd10596
Signed-off-by: SerenaFeng <feng.xiaowei@zte.com.cn>

Merge "decouple the mutual-dependence of config.py and server.py"

decouple the mutual-dependence of config.py and server.py

Currently server.py relies on CONF while starting the service, and
config.py's config_fie is set in server.py, which is wrongly bi-depended
this patch aims to let Config parse the sys.argv personally,
just as oslo.config do, so that decouple the mutual-dependency

Change-Id: I46887d122a98d478caebe9eeb7ab038941ce1f6b
Signed-off-by: SerenaFeng <feng.xiaowei@zte.com.cn>

modify url to relative path to fit with testresults.opnfv.org/test

Change-Id: Ia600fe310404a1ba45e9571d611eedcdc669dbc7
Signed-off-by: grakiss <grakiss.wanglei@huawei.com>

role based access control and result upload

1. add role for user
2. user can upload test results

Change-Id: I1c5370be7818edb0394f05e8b81f975deb98b286
Signed-off-by: grakiss <grakiss.wanglei@huawei.com>

Merge "bugfix: pagination raise exception when no records returned"

Merge "bugfix: query doesn't work well with period=1"

Merge "bugfix: mix order of Arno results"

bugfix: pagination raise exception when no records returned

if no records returned, it will raise 'Request page > total_pages'
error. this patch is submitted to fix this

JIRA: RELENG-281

Change-Id: I447247c55c64674d44d21d6f4ac8bb3ef725cfb0
Signed-off-by: SerenaFeng <feng.xiaowei@zte.com.cn>

bugfix: query doesn't work well with period=1

when querying by date, if $lt is not provided,
the empty/None/null/'' results will also be returned,
the patch aims to fix this issue by adding
$lt = datetime.now() if not provided

JIRA: RELENG-212

Change-Id: Ida1e7d386a88d4ab640441df161c1fe134593f82
Signed-off-by: SerenaFeng <feng.xiaowei@zte.com.cn>

bugfix: mix order of Arno results

because start_date is not always in the same format or timezone,
sort by start_date will be misordered some times, in this patch
leverage '_id' to do the sort, it is generated by mongodb itself,
always upscend.

JIRA: FUNCTEST-694
JIRA: RELENG-213

Change-Id: Ie0ed5cd09c3f7abb1803d72abe5ecab440c1569c
Signed-off-by: SerenaFeng <feng.xiaowei@zte.com.cn>

leverage openstack's requirements rule

change requirements.txt and test-requirements.txt to keep
consistent with openstack's global-requirements.txt

Change-Id: I0e62c88b957136438a23e85e41d775194bdc8757
Signed-off-by: SerenaFeng <feng.xiaowei@zte.com.cn>

leverage tox and pytest to execute unit test

Change-Id: I20856e1b445587f0d8ee23e792793af863743252
Signed-off-by: SerenaFeng <feng.xiaowei@zte.com.cn>

testapi: bugfix of tox

error log

https://gerrit.opnfv.org/gerrit/#/c/37053/
https://build.opnfv.org/ci/job/testapi-verify-master/220/console

Change-Id: Id278edad06c2852c662392d75fd3cf4041b03451
Signed-off-by: MatthewLi <lijun_1203@126.com>

Merge "leverage testapi's own gitignore"

leverage testapi's own gitignore

some files/dirs should be gitignored in testapi,
but they may be needed in releng, this patch aims to
manage gitignore by testapi itself

Change-Id: I3c57d1199145d7f062d4e48aa8216ae34672f455
Signed-off-by: SerenaFeng <feng.xiaowei@zte.com.cn>

move resources unit tests to tests/unit/resources

As webportal is introduced, the project structure
is becoming more complex, it is time to make it a
a little bit more official

Change-Id: Id380d37b07719f053b0bd385a326a2f2944a4b22
Signed-off-by: SerenaFeng <feng.xiaowei@zte.com.cn>

Merge "Reporting docker deployment improvement"

Reporting docker deployment improvement

In the patch, I make build pages(landing page ...),
when docker build, when run a container, we can set
the api url(default:testresults.opnfv.org/reporting2) by -e;

For example:
1. In testresults.opnfv.org:
docker run -itd -p 8888:8000 -p 80:80 opnfv/reporting:tag
visit: http://testresults.opnfv.org/reporting2/reporting/index.html

2. Personal use:
docker run -itd -p 8888:8000 -p 80:80 -e SERVER_URL=192.168.131.2:8888 opnfv/reporting:tag
visit: http://192.168.131.2:8888/reporting/index.html

Change-Id: Ib838c12e785151acf9852f25eab254aedc520a1d
Signed-off-by: chenjiankun <chenjiankun1@huawei.com>

bugfix: hardcoded testapi urls

testapi webportal's urls are fixed in configure files
this patch aims to modify them according to base_url
provided when bringing up container

Change-Id: I29c461fc3b837e54d4ff5330dcaa520637590ff7
Signed-off-by: SerenaFeng <feng.xiaowei@zte.com.cn>

Merge "Add jenkins jobs for automatic reporting dashboard deployment"

Add jenkins jobs for automatic reporting dashboard deployment

Jenkins Jobs have been added for automating the deployment of the
reporting dashboard. Also multijob has been added for automating the
update of docker in the docker hub and generating docs which is empty
for now. Modified unit tests of reporting to make it run from any
directory.

Modified the testapi jenkins jobs yaml file to generic so that many
other modules which may have the same usecases can be integrated easily
just like the reporting one that is done now.

Change-Id: Id13a55416e17199dae1dd6ce64f7c167d117ba37
Signed-off-by: Sakala Venkata Krishna Rohit <rohitsakala@gmail.com>

Merge "bug fix: typo in bottlenecks naming (reporting page)"

Merge "refactor list operation"

Merge "bugfix: Exception when the results is empty"

refactor list operation

all operations mix together make it very difficult to read

Change-Id: I7e4a12fd13a7aa0dc0c8fc09b69c7e43a2ab18ac
Signed-off-by: SerenaFeng <feng.xiaowei@zte.com.cn>

bugfix: Exception when the results is empty

list operation crash when limit is not provided, error message:
OperationFailure: the limit must be positive

JIRA: RELENG-265

Change-Id: Id8db93b594010d054a71d301d9c42eed113c12e1
Signed-off-by: SerenaFeng <feng.xiaowei@zte.com.cn>

Merge "bugfix: pagination crash due to memory limitation"

bug fix: typo in bottlenecks naming (reporting page)

Change-Id: Ifb2047e688117c7c9af33031467f2025d530f187
Signed-off-by: Morgan Richomme <morgan.richomme@orange.com>

bugfix: pagination crash due to memory limitation

MongoDB sorts the results in memory, and the default mem limitation is
32M, if the sort operation consumes more than that it will return an
error:
OperationFailure: Executor error during find command: OperationFailed
Sort operation used more than the maximum 33554432 bytes of RAM. Add an
index, or specify a smaller limit.

To solve this problem, here we leverage aggregate() and
allowDiskUse=True, it is said will not be limited by memory

Change-Id: Id698ad1d02912e8b350a33a926fcccc390814fcc
Signed-off-by: SerenaFeng <feng.xiaowei@zte.com.cn>

bug fix: consider pagination when retrieveing results for reporting

Due to pagination feature introduced in test API, reporting pages
only considered the first page of results retrieved by the API
the number of pages is now detected to aggregate the results

JIRA: RELENG-259

Change-Id: I0ac90b125baf8c16341c8db22f5602fedd4cdf1b
Signed-off-by: Morgan Richomme <morgan.richomme@orange.com>

Merge "Changing urls of testapi api and resources"

Merge "support pagination in TestAPI"

Merge "bug fix: bad format for start/time in Tempest reporting"

bug fix: bad format for start/time in Tempest reporting

Change-Id: Ic9792023b9041dbe8081ff9840caa2cf2901b189
Signed-off-by: Morgan Richomme <morgan.richomme@orange.com>

support pagination in TestAPI

In this patch, pagination is supported, so you can go through results
leveraging: http://testresults.opnfv.org/test/api/v1/results?page=2

Change-Id: Ibe31c787643f27dbb06c4899e713b3c8e716e784
Signed-off-by: SerenaFeng <feng.xiaowei@zte.com.cn>

make website accessible via testresults.opnfv.org/test

Currently, testapi website can not be fully accessed through
testresults.opnfv.org/test, due to http://testresults.opnfv.org/test is
not a root url. In this patch leverage relative path to make it accessible

Change-Id: I56983d2221791d8a060039ec829278d31ecb5048
Signed-off-by: SerenaFeng <feng.xiaowei@zte.com.cn>

add filter based on begin&end time of start_date

filter of 'Start Date' & 'End Date' in Community Results page now works,
currently, only 20 records will be shown due to pagination is not
supported.
From server side, query from date to date is supported now, query as:
/api/v1/results?from=2016-11-01%2000:00:00&to=2017-06-01%2023:59:59

Change-Id: I482b117129dbae38fa5a2858a86442c80d87d19e
Signed-off-by: SerenaFeng <feng.xiaowei@zte.com.cn>

show community results

show latest 20 results in cummunity results page.
Because pagination is not supported, pagination related buttons
are forbiddened now

Change-Id: I3d94fc1b89845b6583dd40fe86d69407adfd2e6c
Signed-off-by: SerenaFeng <feng.xiaowei@zte.com.cn>

Merge "Change to 'catalog_description' in Catalogue page"

Merge "substitute with testapi img"

substitute with testapi img

delete useless openstack and refstack images
add testapi-logo.png. Currently it is a free one with signature
finally we will substitute it with an official one.

Change-Id: I6c1ccaa21fab311c5858351e58bd7c8d9392a75a
Signed-off-by: SerenaFeng <feng.xiaowei@zte.com.cn>

Change to 'catalog_description' in Catalogue page

JIRA: RELENG-231

Change-Id: Id0b770575c0d91a58b3503f8580bd658337b2cd0
Signed-off-by: chenjiankun <chenjiankun1@huawei.com>