Merge "Add Euphrates pages for reporting"

Add Euphrates pages for reporting

Change-Id: Iee4c54801d839be949495360141d4ae9353e5ecc
Signed-off-by: Morgan Richomme <morgan.richomme@orange.com>

Bug Fix: Using library for urlencode

Changes to method call _set_query

Change-Id: I95837df57cc98c21ff5d95d9753269490c025dd3
Signed-off-by: utkarshrai98 <utkarshrai98@gmail.com>

Merge "testing for raise in config.py"

leverage LFID authentication to pod creation

only valid linux foundation user is allowed to create the new pod
add owner field in pods to track the pod creator

Change-Id: Icada07152069f7c826bfa6122cb86db8c4e3bf68
Signed-off-by: SerenaFeng <feng.xiaowei@zte.com.cn>

leverage token_check only when posting results

In this patch begin to consider the LFID authentication,
token check only effects results, the permission of other
resources(pods/projects...) will be checked by LFID.

Change-Id: I20f6f221e3bd75ebf06dcd91012898b913f1d0be
Signed-off-by: SerenaFeng <feng.xiaowei@zte.com.cn>

testing for raise in config.py

Change-Id: I3b4f21307af55c8f32332502ddcb9315074b7202
Signed-off-by: utkarshrai98 <utkarshrai98@gmail.com>
Testing for the raise in test_config.py

Change-Id: Iea7ae53b5eac51d3e3eaf9f23d6e8cd79919f103
Signed-off-by: utkarshrai98 <utkarshrai98@gmail.com>

Merge "add case-insensitive for find pods query"

Merge "update Readme.rst to be consistent with current implementation"

Merge "Fix the error in the podscontroller."

Handle error in front-end

Handle the error and show appropriate message,
without showing the entire error to the users

Change-Id: Ib5213190efc1e87d56a7329a4572b525a5e16a12
Signed-off-by: thuva4 <tharma.thuva@gmail.com>

Fix the error in the podscontroller.

remove the unnecessary "$rootscope" in the controller's parameters.

Change-Id: Ia048af9e146e871003307af27faca24a5ee225ca
Signed-off-by: thuva4 <tharma.thuva@gmail.com>

add case-insensitive for find pods query

Now user can't create the pods with the same name.
Just like "Demo" , "deMo" and "demo"

Add unit test for case-insensitive query

Change-Id: Ifddc7b70a38d8504e5fe105fa5cc1a77bf0e39a9
Signed-off-by: thuva4 <tharma.thuva@gmail.com>

Change nginx configuration

Since landing page have changed from reporting2 to testing,
the nginx configuration need some adoption.

If the pre url change again, we need to config the base_url when start
our docker container. For example:
    docker run -itd -p 8084:8000 -e SERVER_URL testresults.opnfv.org/xxx/api opnfv/reporting:latest

Change-Id: If3c9f9af76fcfc8047b5b9559fcc8bd45740d4d2
Signed-off-by: chenjiankun <chenjiankun1@huawei.com>

Merge "Updating reporting url and fixed a bug"

Merge "Remove VNF catalogue from releng It has been transfered to sample vnf repo [1]"

Remove VNF catalogue from releng
It has been transfered to sample vnf repo [1]

[1]: https://git.opnfv.org/samplevnf/tree/VNF_Catalogue

Change-Id: I418151bd24517efeb66fc0ae76cb9e091bd130f6
Signed-off-by: Morgan Richomme <morgan.richomme@orange.com>

Updating reporting url and fixed a bug

Changing the url of the reporting to the original one.

Change-Id: I2973a4b7d28cbdd725a4764dffbf777c3fc2e937
Signed-off-by: Sakala Venkata Krishna Rohit <rohitsakala@gmail.com>

Add bottlenecks to reporting

very basic approach based on 1 case posca_factor_ping
Give a feedback on the CI activity of bottlenecks

Change-Id: Iaa84abac6b00ba48a771250433a9f9a068de453f
Signed-off-by: Morgan Richomme <morgan.richomme@orange.com>

update Readme.rst to be consistent with current implementation

Change-Id: Ie8abeca5901cce635f54f0c01496a7181287d0cd
Signed-off-by: SerenaFeng <feng.xiaowei@zte.com.cn>

hide cas ticket from web portal

In the previous implementation, when login the url will shown as:
http://localhost:8000/?ticket=ST-5WzYs6SD2A#/
this patch aims to hide the ticket mechanism.

1) add /api/v1/auth/signin_return to process login verify
2) refactor code, leverage SignBaseHanlder() to manage casclient

Change-Id: I62e23eb69ee52304c30753e861b4f0a4e0d45541
Signed-off-by: SerenaFeng <feng.xiaowei@zte.com.cn>

Merge "Refactored docker watchdog code"

Merge "hide create_pod function from anonymous user"

bugfix: TestAPI start failed due to config.ini not found

not specifying abspath, so that the config.ini is installed under
/usr/local/etc/opnfv_testapi/config.ini

Change-Id: If9f4d1ab2d6a67a4aa5b5d481f46e9eddb4a2cbb
Signed-off-by: SerenaFeng <feng.xiaowei@zte.com.cn>

Merge "bugfix: leverage data_files to stop hacking setup.py"

bugfix: container start failed due to config_file set to Nonetype

Traceback (most recent call last):
  File "/usr/local/bin/opnfv-testapi", line 6, in <module>
    from opnfv_testapi.cmd.server import main
  File "/usr/local/lib/python2.7/dist-packages/opnfv_testapi/cmd/server.py", line 34, in <module>
    from opnfv_testapi.common.config import CONF
  File "/usr/local/lib/python2.7/dist-packages/opnfv_testapi/common/config.py", line 67, in <module>
    CONF = Config()
  File "/usr/local/lib/python2.7/dist-packages/opnfv_testapi/common/config.py", line 21, in __init__
    self._parse()
  File "/usr/local/lib/python2.7/dist-packages/opnfv_testapi/common/config.py", line 29, in _parse
    if not os.path.exists(self.config_file):
  File "/usr/lib/python2.7/genericpath.py", line 18, in exists
    os.stat(path)
TypeError: coercing to Unicode: need string or buffer, NoneType found

Change-Id: Ifa26b5b52e7f1c19a773b02ecc1c45b59b5dc09b
Signed-off-by: SerenaFeng <feng.xiaowei@zte.com.cn>

Merge "improve: discard venv support for official product"

Add 2 files forgotten in previous commit for vsperf integration

Change-Id: Ibfd36814ac09d16ba4b3d365e04bf3b39a1ef7db
Signed-off-by: Morgan Richomme <morgan.richomme@orange.com>

Merge "Add vsperf in reporting"

Refactored docker watchdog code

Removed start_containers fix as it was redundant. Checking jenkins
job status for each module separately as deployment of one module
doesn't depend on other module.

Change-Id: I8ce34b9b7458ac56c9b866b5add539ad304095ed
Signed-off-by: Sakala Venkata Krishna Rohit <rohitsakala@gmail.com>

bugfix: leverage data_files to stop hacking setup.py

1) leverage data_files to distribute ui related files, and dispatch
them under /usr/local/share/opnfv_testapi
2) delete hacking coding, no more extra processes
3) utilize MANIFEST.in to include 3rd_party when producing a source distribution

Change-Id: Idb83a02be11f6b24610191e9f85e0db80d92e972
Signed-off-by: SerenaFeng <feng.xiaowei@zte.com.cn>

hide create_pod function from anonymous user

Querying pods is open to everybody
But only login users are allowed to create the new pod

Change-Id: I1c722580c2c51a8a8b0f84f1ffac451dff20b086
Signed-off-by: SerenaFeng <feng.xiaowei@zte.com.cn>

improve: discard venv support for official product

virtual env is only to facilitate the development, not be used
in official product, thus delete the support, let the developer
manage their own development env.

Change-Id: I33af882ab257e88b1e7a316d1d78197d6279933d
Signed-off-by: SerenaFeng <feng.xiaowei@zte.com.cn>

Add vsperf in reporting

fix some pep8 errors in other projects

Change-Id: Iea68b0d495f7fbe892ec866fb70b8354ad9ff3c2
Signed-off-by: Morgan Richomme <morgan.richomme@orange.com>

clarify obsoleted test configuration files

delete noparam.ini/nosection.ini/notboolean.ini/notint.ini/normal.ini
substitute normal.ini with etc/config.ini

Change-Id: I7e2fa331736a2f9bf807814416a3118be5f613e5
Signed-off-by: SerenaFeng <feng.xiaowei@zte.com.cn>

Merge "leverage LFID as Authentication"

Merge "Add watchdog into testresults server to restart docker containers."

Merge "bug fix: reporting Tempest"

Merge "Added the validation for name field in create pod function"

bug fix: reporting Tempest

not updated since Colorado and data model changed

 - minor fixes to match data model
 - pep8/pylint correction

Change-Id: I3a0a9ea689d25b3cfff35cb1ec39329981627bc6
Signed-off-by: Morgan Richomme <morgan.richomme@orange.com>

leverage LFID as Authentication

delete openid authentication
add LFID authentication

Change-Id: Iead144b5130bce51448024e65092fdea3bb2f07a
Signed-off-by: SerenaFeng <feng.xiaowei@zte.com.cn>

Added the validation for name field in create pod function

Change-Id: I18a072c7b2677794a64693135904cf97eb7b3349
Signed-off-by: thuva4 <tharma.thuva@gmail.com>

Add watchdog into testresults server to restart docker containers.

Unexpected crashing of docker containers were occuring. So, a cron script
is to be run in regular intervals which will check for status of the
deployments and restart docker if necessary. Docker restart is seen
as a solution to solve majority of crashes.

Suggest if there is a better approach.

Change-Id: I40d56180350844b4a0f766e1b10a9fabfa02d3be
Signed-off-by: Sakala Venkata Krishna Rohit <rohitsakala@gmail.com>

Merge "bug fix for qtip reporting"

Merge "leverage setup.py directly to install TestAPI"

bug fix for qtip reporting

 - fix right path (version duplicated in path)
 - fix template for nav links in qtip reporting page

Change-Id: I7e14bea3feb5e6fad694e2837b3048b9cd8d5825
Signed-off-by: Morgan Richomme <morgan.richomme@orange.com>

Merge "update scenario name"

Merge "update installer under scenario"

Merge "simplify unit tests implementation of update scenario"

Merge "update versions under scenario"

Split HA and NOHA scenarios into 2 tables in reporting

the goal is to vizualize more quickly the HA and NOHA scenario
Note that if no scenario is available, the table title is displayed

Change-Id: Ibdade30aadf40fe4f7b9bfe547d23c186cb3e1df
Signed-off-by: Morgan Richomme <morgan.richomme@orange.com>

leverage setup.py directly to install TestAPI

1. delete additional script install.sh
2. using 'python setup.py install' directly to install
TestAPI, as traditional python project do

Change-Id: Ifcdee7b2bae2553f523a722bff794c40d20f81cc
Signed-off-by: SerenaFeng <feng.xiaowei@zte.com.cn>

Merge "bug fix: installation of node, bower and grunt for reporting docker"

update scenario name

url PUT /api/v1/scenarios/<scenario_name>
if new_name already exist, return Forbidden
if new_name == name, return Forbidden

Change-Id: If3b82b3df4a763d60dad110caca2659c5f39ab50
Signed-off-by: SerenaFeng <feng.xiaowei@zte.com.cn>

update installer under scenario

1. post, add one or more new installers
2. update, replace existed installers as a totality
3. delete, delete one or more installers by name
4. in post&update, if schema is not consistent with ScenarioInstaller model,
BadRequest will be raised(only extra keys will be detected currently)
5. in post, if installer already exist, return Conflict with already exist
message
6. in update, if a installer appears more than once, also return Conflict
with already exist message

Change-Id: I830dba3bcf5f1a9d1c93513b4aae59009f69dc8f
Signed-off-by: SerenaFeng <feng.xiaowei@zte.com.cn>

simplify unit tests implementation of update scenario

1. delete useless input arguments
2. update on and assert with self.req_d directly
   delete intermediate variable 'scenario'

Change-Id: I3eda1df4893c890bb23ccf05b45ce2de5fa9dd93
Signed-off-by: SerenaFeng <feng.xiaowei@zte.com.cn>

update versions under scenario

1. post, add one or more new versions
2. update, replace existed version as a totality
3. delete, delete one or more versions by name
4. in post&update, if schema is not consistent with ScenarioVersion model,
BadRequest will be raised(only extra keys will be detected currently)
5. in post, if project already exist, return Conflict with already exist
message
6. in update, if a version appears more than once, also return Conflict
with already exist message
7. add update with conflict unittest for projects

Change-Id: I0d2c8a5567f3abce7b0313a64e18303af02cc002
Signed-off-by: SerenaFeng <feng.xiaowei@zte.com.cn>

bugfix: fail to generate APIs document patch

Change-Id: Iac5bb851514f0f688fcb72deb5f07488bc071225
Signed-off-by: SerenaFeng <feng.xiaowei@zte.com.cn>

bugfix: fail to generate APIs document

Change-Id: I13c91fb34e190cd62400eccec6b755419aad89d1
Signed-off-by: SerenaFeng <feng.xiaowei@zte.com.cn>

bug fix: installation of node, bower and grunt for reporting docker

 - change node installation process
 - clean setup (no need of pbr)

Change-Id: I9015486e3892e7c949bad5140cc4180ec9f07aa7
Signed-off-by: Morgan Richomme <morgan.richomme@orange.com>

bugfix: malfunction of scenario equal check

1. bugfix equal check with[] will return list[false, true],
   and always True in next step check
2. in assert_res() leverage '==' will never assert even if
   they are not equal

Change-Id: I683e3489d45b98b508f8ab8b6ef268ca9a1ebd5f
Signed-off-by: SerenaFeng <feng.xiaowei@zte.com.cn>

Merge "Landing page adoption"

Merge "bugfix: OperationFailure: the limit must be positive"

Merge "change scenario owner"

Merge "update projects in scenario"

Merge "in swagger operation parameter supports array type"

Merge "update customs in scenario"

bugfix: OperationFailure: the limit must be positive

in cursor.aggregate(), set limit=0 is not allowed, in this patch,
if no records to be listed, return empty list directly, no more
aggregate()

JIRA: RELENG-293

Change-Id: I7317892875da9c0f785ba010b55715032dee31ce
Signed-off-by: SerenaFeng <feng.xiaowei@zte.com.cn>

change scenario owner

1 bugfix owner must be explicit in ScenarioVersion model
2 change owner of scenario
3. usage: PUT /api/v1/scenarios/<scenario_name>/owner? \
                installer=<installer_name>& \
                version=<version_name>
  body: new owner

Change-Id: I261468cd8445030b61e37e0f804b699d6205bdb0
Signed-off-by: SerenaFeng <feng.xiaowei@zte.com.cn>

update projects in scenario

1. post, add one or more new projects
2. update, replace existed projects wholly
3. delete, delete one or more projects by name
4. in post&update, if schema is not consistent with ScenarioProject model,
BadRequest will be raised(only extra keys will be detected currently)
5. in post, if project already exist, return Conflict with already exist
message

Change-Id: Iead585f787a4acc61abce6c9d38a036739b498d6
Signed-off-by: SerenaFeng <feng.xiaowei@zte.com.cn>

Landing page adoption

Since testapi have done some changes on scenarios api,
so landing page should do some adoption.

Change-Id: Ib5d1df03e2c50c7d6c038200d97f2057b90e48af
Signed-off-by: chenjiankun <chenjiankun1@huawei.com>

in swagger operation parameter supports array type

it will be used in scenario update process later

Change-Id: Ic44023169f1c0da0946e5e60339ce58076fc8807
Signed-off-by: SerenaFeng <feng.xiaowei@zte.com.cn>

update customs in scenario

1) post to add one or multiple test cases
2) update to substitute all the test cases
3) delete with body to delete one or multiple test cases
4) to facilitate the process and response body usually useless,
   if update success all updates(scores/trust_indicators/customs),
   return 200 with no response body

Change-Id: I5148f172989fa8e0e70ffed92ee383c0520dbb41
Signed-off-by: SerenaFeng <feng.xiaowei@zte.com.cn>

Merge "bugfix: testapi is killed because of oom_kill"

Merge "impl update trust_indicator in scenario"

impl update trust_indicator in scenario

Change-Id: I1afe38412926778bc84d178dbbfc3fe0cde15f69
Signed-off-by: SerenaFeng <feng.xiaowei@zte.com.cn>

Merge "update scenario scores"

Merge "delete obsolete scenario update code"

bugfix: testapi is killed because of oom_kill

if page is not provided, return page 1 to avoid large memory consume,
further more to kill testapi:

Out of memory: Kill process 30842 (opnfv-testapi) score 519 or sacrifice child
Killed process 30842 (opnfv-testapi) total-vm:4739716kB, anon-rss:3974612kB, file-rss:0kB

JIRA: RELENG-291

Change-Id: Id0e144c030aee390cc41cff8a48e3c997de4ad84
Signed-off-by: SerenaFeng <feng.xiaowei@zte.com.cn>

Merge "Bug fix: generate fuel reporting page when no aarch64 available"

update scenario scores

update score url:
POST /api/v1/scenarios/<scenario_name>/scores? \
                installer=<installer_name>& \
                version=<version_name>& \
                project=<project_name>
add new score record interface
add unit test
add swagger specification

Change-Id: Ib7bb31f303a9a9402325476bfdadb58aa0df560e
Signed-off-by: SerenaFeng <feng.xiaowei@zte.com.cn>

delete obsolete scenario update code

1) update scenario will be subsitituted with new methods,
in this patch delete the obsolete code first to make clean room
2) test_queryCombination() will fail randomly, in this patch disable
   it first, reopen when problem solved

Change-Id: I1939876465934ea09894255712057a78f120be71
Signed-off-by: SerenaFeng <feng.xiaowei@zte.com.cn>

Bug fix: generate fuel reporting page when no aarch64 available

In fuel we may deal with x86 or aarch64 architecture
We generate dedicated reporting page
- fuel@x86
- fuel@aarch64

However when there is no results for one of the architecture
the test on the number of architecture lead to a bug

Change-Id: I9906bd6078c8493587dc667eb23399a1e8311e77
Signed-off-by: Morgan Richomme <morgan.richomme@orange.com>

Add daisy to reporting

Change-Id: I5fd940b8c1be1c327cfcd481c27049f94ae2f175
Signed-off-by: Morgan Richomme <morgan.richomme@orange.com>

Merge "Initiate packetization of Testing reporting"

Merge "add Pods page in webportal"

Initiate packetization of Testing reporting

Testing reporting provides
- static reporting pages [1] (jinja2)
- landing pages including test case catalogue [2] (angular)

It consumes the Test API to build web pages providing status for
the testing projects (so far functest, yardstick, storperf and
qtip).

Dockerization has been initiated [3]. The goal is to replace the
static page hosted on testresults.opnfv.org by a docker regenerated
and redeployed when reporting code is changed

But the docker and more generally the testing reporting directory
must be refactored to
- manage dependencies properly
- leverage tox (py27, docs, pylint, pep8)

This patch
- setups tox (py27, pep8, pylint, docs)
- integrate the requirement management
- fix pep8 errors
- introduce 1 dummy unit test

This patch does not
- fix pylint errors
- create any doc

[1]: http://testresults.opnfv.org/reporting2/display/index.html
[2]: http://testresults.opnfv.org/reporting2/reporting/index.html
[3]: https://gerrit.opnfv.org/gerrit/#/c/36735/

Change-Id: I4613de7ca7036d6c6bbb8f58ade492b1d673599b
Signed-off-by: Morgan Richomme <morgan.richomme@orange.com>

add Pods page in webportal

delete OPNFV Powered Guidelines page
add Pods page with create/list operations

Change-Id: Ib9fd2834bd9d54ee33600458a90e3aac76382589
Signed-off-by: SerenaFeng <feng.xiaowei@zte.com.cn>

merge swagger_base_url with ui_url

TestAPI used to have only one webpage, which is swagger_ui,
now a new one webportal is added, and the base url is the same
(http://testresults.opnfv.org/test)for them both.
This patch aim to unify the urls.

Change-Id: I15295975fb05f7e8c8d413e12b2b5c0784f0799a
Signed-off-by: SerenaFeng <feng.xiaowei@zte.com.cn>

delete obsolete run_test.sh

after switching to tox, run_test.sh is not used now

Change-Id: I66d40d6df47652b956f85f022843b60886ce41a2
Signed-off-by: SerenaFeng <feng.xiaowei@zte.com.cn>

query date from oldest to newest

Change-Id: I3d0345bb85967f48617c485bbee1dfe6fa04a644
Signed-off-by: SerenaFeng <feng.xiaowei@zte.com.cn>

separate db methods from handler.py

db methods are mingled in handler, which is not well structured

Change-Id: I639679d3fc05a0b6528158186b8bf89e0cd10596
Signed-off-by: SerenaFeng <feng.xiaowei@zte.com.cn>

Merge "decouple the mutual-dependence of config.py and server.py"

decouple the mutual-dependence of config.py and server.py

Currently server.py relies on CONF while starting the service, and
config.py's config_fie is set in server.py, which is wrongly bi-depended
this patch aims to let Config parse the sys.argv personally,
just as oslo.config do, so that decouple the mutual-dependency

Change-Id: I46887d122a98d478caebe9eeb7ab038941ce1f6b
Signed-off-by: SerenaFeng <feng.xiaowei@zte.com.cn>

modify url to relative path to fit with testresults.opnfv.org/test

Change-Id: Ia600fe310404a1ba45e9571d611eedcdc669dbc7
Signed-off-by: grakiss <grakiss.wanglei@huawei.com>

role based access control and result upload

1. add role for user
2. user can upload test results

Change-Id: I1c5370be7818edb0394f05e8b81f975deb98b286
Signed-off-by: grakiss <grakiss.wanglei@huawei.com>

Merge "bugfix: pagination raise exception when no records returned"

Merge "bugfix: query doesn't work well with period=1"

Merge "bugfix: mix order of Arno results"

bugfix: pagination raise exception when no records returned

if no records returned, it will raise 'Request page > total_pages'
error. this patch is submitted to fix this

JIRA: RELENG-281

Change-Id: I447247c55c64674d44d21d6f4ac8bb3ef725cfb0
Signed-off-by: SerenaFeng <feng.xiaowei@zte.com.cn>