Merge "Update table headers in the reporting page"

Change criteria 'SUCCESS' to 'PASS' in yardstick reporting

To keep consistent with other testing project,
yardstick should change criteria value from 'SUCCESS' to 'PASS'

Change-Id: I8d8779927a74749e7c43df4e55e1888c49cbbbaf
Signed-off-by: chenjiankun <chenjiankun1@huawei.com>

bugfix: trend graph not show in fuel x86 and aarch64

The trend tool will read installer field in scenario_history.txt
But now this field is fuel not fuel@x86 or fuel@aarch64.
So I change fuel -> fuel@x86 & fuel@aarch64.

Change-Id: I8e97e57febd559f65be559b16bceee5cf8268926
Signed-off-by: chenjiankun <chenjiankun1@huawei.com>

Merge "Add fuel@x86 and fuel@arm support"

Add fuel@x86 and fuel@arm support

Since scenario data do not have a field named architecture,
So I choose pod_name for now.
For example:
    pod_name: arm-pod5
I assume that it is based arm architecture

Change-Id: I92159a5e08b1ed80701494483fd9922dbd459193
Signed-off-by: chenjiankun <chenjiankun1@huawei.com>

put htmlize directory under jjb/releng

centralize jjb related scripts

Change-Id: I4abeb06f17b48b8e7ac15803db0f3ce7eb0c1b93
Signed-off-by: SerenaFeng <feng.xiaowei@zte.com.cn>

Change score calculation for functest reporting

the goal is not to penalize scenario with few iteration due to
CI pipeline constraints
until now the top score was calculated on the base on 4 iterations, it means
whatever the number of iterations, we always consider the possible top score
based on at least 4 iterations

each case can get
- 3 points (last 4 iterations PASS)
- 2 points (more than 1 PASS over the last 10 days but 1 FAIL of the last 4)
- 1 point (at least 1 PASS over the last 10 days)
- no point  (never work)

so if we consider a scenario with 10 cases, the top score is
30 = 10*3 (max points)

the coefficient to calculate the top score is not the number of iterations

- 1 iteration => possible  top score 10
- 2 iterations  => top score 20
- 3 iterations => top score 20
- 4 or more iterations => top score 30

previously top score was systematically 30

https://wiki.opnfv.org/plugins/servlet/mobile#content/view/6828617

Change-Id: I01102bc00766b7f5b58e73befa7d5328fcc895cc
Signed-off-by: Morgan Richomme <morgan.richomme@orange.com>

Update table headers in the reporting page

Change-Id: I19916f1e4dd04297cc7d73e93a12767d335c0d99
Signed-off-by: Yujun Zhang <zhang.yujunz@zte.com.cn>

Fix status reporting page

- use data in last 10 days instead of 1 day
- hide installers without any data
- remove redundant qtip reporting

Change-Id: If73a439572b6a1cf09c7d34f643fb14be82196ca
Signed-off-by: Yujun Zhang <zhang.yujunz@zte.com.cn>

Merge "Fix Bottlenecks status page cann't be shown."

Change Euphrates image

minor pylint fix in functest/reporting-status

Change-Id: Ibfd4f0da1475c34c40a3d9e00530f8f15eb3c7dc
Signed-off-by: Morgan Richomme <morgan.richomme@orange.com>

Fix Bottlenecks status page cann't be shown.

Change-Id: Ia1ad4c0654ad2dea7fdb61b81725af9aaafc4750
Signed-off-by: liyin <liyin11@huawei.com>

reporting adoption for Euphrates

Danube -> Euphrates in euphrates.html
add euphrates dir
fix CONFIG_REPORTING_YAML value
fix import error in scenario.py

Change-Id: Ic0457bf8d1c67bd21ef6a31564792eb98cfca9ad
Signed-off-by: chenjiankun <chenjiankun1@huawei.com>

Merge "cloudify_ims reporting fixes"

cloudify_ims reporting fixes

+ minor fixes

 * unknown => real test case names
 * pylint corrections

Change-Id: I75446e4006d41fe1bb25106420910025afa01489
Signed-off-by: Morgan Richomme <morgan.richomme@orange.com>

Merge "Bugfix: Change http_pass to proxy_pass"

Merge "bugfix: autoupdate failed due to mingle with watchdog"

refactor one click deployment in testapi

substitue docker-compose.template with string description,
so that user can wget deploy.py and execute directly.

Change-Id: I9703a1c8dfbdc46470561d54c6663e3728540162
Signed-off-by: SerenaFeng <feng.xiaowei@zte.com.cn>

bugfix: autoupdate failed due to mingle with watchdog

1. In the original design, if the auto-job starts soon after
the watchdog starts, the auto update might be mingled with
connectivity check, which may lead to update failure. so instead,
the connectivity is checked first, if failed and module is not in deploying,
restart module.
2. only automate-docker-deploy job will impact the container status during
auto-job, so substitue auto-job status check with automate-docker-deploy's
3. the watchdog is not only for testapi, but also for reporting, and
all docker container server deployed in testresults.opnfv.org, so move it under
utils/test/opts, which is leveraged to store tool-sets employed for testing tools.

Change-Id: I766f3a534a3d510ce7509d4e742150150ccd8f54
Signed-off-by: SerenaFeng <feng.xiaowei@zte.com.cn>

add one click deployment of testapi and reporting

leverage docker compose to deploy testresults set
testapi/reporting/mongo
usage:
python one_click_deploy.sh -tp 8082 -rp 8084 -tl http://host_ip:8082

Change-Id: I8dfb868637749b82ec86e58220376b03ad50664d
Signed-off-by: SerenaFeng <feng.xiaowei@zte.com.cn>

Bugfix: Change http_pass to proxy_pass

http_pass is wrong for nginx, we need to change it to proxy_pass

Change-Id: Ib679b36a4a139c02647564719e1cfc49a9f376a2
Signed-off-by: chenjiankun <chenjiankun1@huawei.com>

Merge "Add Euphrates pages for reporting"

Add Euphrates pages for reporting

Change-Id: Iee4c54801d839be949495360141d4ae9353e5ecc
Signed-off-by: Morgan Richomme <morgan.richomme@orange.com>

Bug Fix: Using library for urlencode

Changes to method call _set_query

Change-Id: I95837df57cc98c21ff5d95d9753269490c025dd3
Signed-off-by: utkarshrai98 <utkarshrai98@gmail.com>

Merge "testing for raise in config.py"

leverage LFID authentication to pod creation

only valid linux foundation user is allowed to create the new pod
add owner field in pods to track the pod creator

Change-Id: Icada07152069f7c826bfa6122cb86db8c4e3bf68
Signed-off-by: SerenaFeng <feng.xiaowei@zte.com.cn>

leverage token_check only when posting results

In this patch begin to consider the LFID authentication,
token check only effects results, the permission of other
resources(pods/projects...) will be checked by LFID.

Change-Id: I20f6f221e3bd75ebf06dcd91012898b913f1d0be
Signed-off-by: SerenaFeng <feng.xiaowei@zte.com.cn>

testing for raise in config.py

Change-Id: I3b4f21307af55c8f32332502ddcb9315074b7202
Signed-off-by: utkarshrai98 <utkarshrai98@gmail.com>
Testing for the raise in test_config.py

Change-Id: Iea7ae53b5eac51d3e3eaf9f23d6e8cd79919f103
Signed-off-by: utkarshrai98 <utkarshrai98@gmail.com>

Merge "add case-insensitive for find pods query"

Merge "update Readme.rst to be consistent with current implementation"

Merge "Fix the error in the podscontroller."

Handle error in front-end

Handle the error and show appropriate message,
without showing the entire error to the users

Change-Id: Ib5213190efc1e87d56a7329a4572b525a5e16a12
Signed-off-by: thuva4 <tharma.thuva@gmail.com>

Fix the error in the podscontroller.

remove the unnecessary "$rootscope" in the controller's parameters.

Change-Id: Ia048af9e146e871003307af27faca24a5ee225ca
Signed-off-by: thuva4 <tharma.thuva@gmail.com>

add case-insensitive for find pods query

Now user can't create the pods with the same name.
Just like "Demo" , "deMo" and "demo"

Add unit test for case-insensitive query

Change-Id: Ifddc7b70a38d8504e5fe105fa5cc1a77bf0e39a9
Signed-off-by: thuva4 <tharma.thuva@gmail.com>

Change nginx configuration

Since landing page have changed from reporting2 to testing,
the nginx configuration need some adoption.

If the pre url change again, we need to config the base_url when start
our docker container. For example:
    docker run -itd -p 8084:8000 -e SERVER_URL testresults.opnfv.org/xxx/api opnfv/reporting:latest

Change-Id: If3c9f9af76fcfc8047b5b9559fcc8bd45740d4d2
Signed-off-by: chenjiankun <chenjiankun1@huawei.com>

Merge "Updating reporting url and fixed a bug"

Merge "Remove VNF catalogue from releng It has been transfered to sample vnf repo [1]"

Remove VNF catalogue from releng
It has been transfered to sample vnf repo [1]

[1]: https://git.opnfv.org/samplevnf/tree/VNF_Catalogue

Change-Id: I418151bd24517efeb66fc0ae76cb9e091bd130f6
Signed-off-by: Morgan Richomme <morgan.richomme@orange.com>

Updating reporting url and fixed a bug

Changing the url of the reporting to the original one.

Change-Id: I2973a4b7d28cbdd725a4764dffbf777c3fc2e937
Signed-off-by: Sakala Venkata Krishna Rohit <rohitsakala@gmail.com>

Add bottlenecks to reporting

very basic approach based on 1 case posca_factor_ping
Give a feedback on the CI activity of bottlenecks

Change-Id: Iaa84abac6b00ba48a771250433a9f9a068de453f
Signed-off-by: Morgan Richomme <morgan.richomme@orange.com>

update Readme.rst to be consistent with current implementation

Change-Id: Ie8abeca5901cce635f54f0c01496a7181287d0cd
Signed-off-by: SerenaFeng <feng.xiaowei@zte.com.cn>

hide cas ticket from web portal

In the previous implementation, when login the url will shown as:
http://localhost:8000/?ticket=ST-5WzYs6SD2A#/
this patch aims to hide the ticket mechanism.

1) add /api/v1/auth/signin_return to process login verify
2) refactor code, leverage SignBaseHanlder() to manage casclient

Change-Id: I62e23eb69ee52304c30753e861b4f0a4e0d45541
Signed-off-by: SerenaFeng <feng.xiaowei@zte.com.cn>

Merge "Refactored docker watchdog code"

Merge "hide create_pod function from anonymous user"

bugfix: TestAPI start failed due to config.ini not found

not specifying abspath, so that the config.ini is installed under
/usr/local/etc/opnfv_testapi/config.ini

Change-Id: If9f4d1ab2d6a67a4aa5b5d481f46e9eddb4a2cbb
Signed-off-by: SerenaFeng <feng.xiaowei@zte.com.cn>

Merge "bugfix: leverage data_files to stop hacking setup.py"

bugfix: container start failed due to config_file set to Nonetype

Traceback (most recent call last):
  File "/usr/local/bin/opnfv-testapi", line 6, in <module>
    from opnfv_testapi.cmd.server import main
  File "/usr/local/lib/python2.7/dist-packages/opnfv_testapi/cmd/server.py", line 34, in <module>
    from opnfv_testapi.common.config import CONF
  File "/usr/local/lib/python2.7/dist-packages/opnfv_testapi/common/config.py", line 67, in <module>
    CONF = Config()
  File "/usr/local/lib/python2.7/dist-packages/opnfv_testapi/common/config.py", line 21, in __init__
    self._parse()
  File "/usr/local/lib/python2.7/dist-packages/opnfv_testapi/common/config.py", line 29, in _parse
    if not os.path.exists(self.config_file):
  File "/usr/lib/python2.7/genericpath.py", line 18, in exists
    os.stat(path)
TypeError: coercing to Unicode: need string or buffer, NoneType found

Change-Id: Ifa26b5b52e7f1c19a773b02ecc1c45b59b5dc09b
Signed-off-by: SerenaFeng <feng.xiaowei@zte.com.cn>

Merge "improve: discard venv support for official product"

Add 2 files forgotten in previous commit for vsperf integration

Change-Id: Ibfd36814ac09d16ba4b3d365e04bf3b39a1ef7db
Signed-off-by: Morgan Richomme <morgan.richomme@orange.com>

Merge "Add vsperf in reporting"

Refactored docker watchdog code

Removed start_containers fix as it was redundant. Checking jenkins
job status for each module separately as deployment of one module
doesn't depend on other module.

Change-Id: I8ce34b9b7458ac56c9b866b5add539ad304095ed
Signed-off-by: Sakala Venkata Krishna Rohit <rohitsakala@gmail.com>

bugfix: leverage data_files to stop hacking setup.py

1) leverage data_files to distribute ui related files, and dispatch
them under /usr/local/share/opnfv_testapi
2) delete hacking coding, no more extra processes
3) utilize MANIFEST.in to include 3rd_party when producing a source distribution

Change-Id: Idb83a02be11f6b24610191e9f85e0db80d92e972
Signed-off-by: SerenaFeng <feng.xiaowei@zte.com.cn>

hide create_pod function from anonymous user

Querying pods is open to everybody
But only login users are allowed to create the new pod

Change-Id: I1c722580c2c51a8a8b0f84f1ffac451dff20b086
Signed-off-by: SerenaFeng <feng.xiaowei@zte.com.cn>

improve: discard venv support for official product

virtual env is only to facilitate the development, not be used
in official product, thus delete the support, let the developer
manage their own development env.

Change-Id: I33af882ab257e88b1e7a316d1d78197d6279933d
Signed-off-by: SerenaFeng <feng.xiaowei@zte.com.cn>

Add vsperf in reporting

fix some pep8 errors in other projects

Change-Id: Iea68b0d495f7fbe892ec866fb70b8354ad9ff3c2
Signed-off-by: Morgan Richomme <morgan.richomme@orange.com>

clarify obsoleted test configuration files

delete noparam.ini/nosection.ini/notboolean.ini/notint.ini/normal.ini
substitute normal.ini with etc/config.ini

Change-Id: I7e2fa331736a2f9bf807814416a3118be5f613e5
Signed-off-by: SerenaFeng <feng.xiaowei@zte.com.cn>

Merge "leverage LFID as Authentication"

Merge "Add watchdog into testresults server to restart docker containers."

Merge "bug fix: reporting Tempest"

Merge "Added the validation for name field in create pod function"

bug fix: reporting Tempest

not updated since Colorado and data model changed

 - minor fixes to match data model
 - pep8/pylint correction

Change-Id: I3a0a9ea689d25b3cfff35cb1ec39329981627bc6
Signed-off-by: Morgan Richomme <morgan.richomme@orange.com>

leverage LFID as Authentication

delete openid authentication
add LFID authentication

Change-Id: Iead144b5130bce51448024e65092fdea3bb2f07a
Signed-off-by: SerenaFeng <feng.xiaowei@zte.com.cn>

Added the validation for name field in create pod function

Change-Id: I18a072c7b2677794a64693135904cf97eb7b3349
Signed-off-by: thuva4 <tharma.thuva@gmail.com>

Add watchdog into testresults server to restart docker containers.

Unexpected crashing of docker containers were occuring. So, a cron script
is to be run in regular intervals which will check for status of the
deployments and restart docker if necessary. Docker restart is seen
as a solution to solve majority of crashes.

Suggest if there is a better approach.

Change-Id: I40d56180350844b4a0f766e1b10a9fabfa02d3be
Signed-off-by: Sakala Venkata Krishna Rohit <rohitsakala@gmail.com>

Merge "bug fix for qtip reporting"

Merge "leverage setup.py directly to install TestAPI"

bug fix for qtip reporting

 - fix right path (version duplicated in path)
 - fix template for nav links in qtip reporting page

Change-Id: I7e14bea3feb5e6fad694e2837b3048b9cd8d5825
Signed-off-by: Morgan Richomme <morgan.richomme@orange.com>

Merge "update scenario name"

Merge "update installer under scenario"

Merge "simplify unit tests implementation of update scenario"

Merge "update versions under scenario"

Split HA and NOHA scenarios into 2 tables in reporting

the goal is to vizualize more quickly the HA and NOHA scenario
Note that if no scenario is available, the table title is displayed

Change-Id: Ibdade30aadf40fe4f7b9bfe547d23c186cb3e1df
Signed-off-by: Morgan Richomme <morgan.richomme@orange.com>

leverage setup.py directly to install TestAPI

1. delete additional script install.sh
2. using 'python setup.py install' directly to install
TestAPI, as traditional python project do

Change-Id: Ifcdee7b2bae2553f523a722bff794c40d20f81cc
Signed-off-by: SerenaFeng <feng.xiaowei@zte.com.cn>

Merge "bug fix: installation of node, bower and grunt for reporting docker"

update scenario name

url PUT /api/v1/scenarios/<scenario_name>
if new_name already exist, return Forbidden
if new_name == name, return Forbidden

Change-Id: If3b82b3df4a763d60dad110caca2659c5f39ab50
Signed-off-by: SerenaFeng <feng.xiaowei@zte.com.cn>

update installer under scenario

1. post, add one or more new installers
2. update, replace existed installers as a totality
3. delete, delete one or more installers by name
4. in post&update, if schema is not consistent with ScenarioInstaller model,
BadRequest will be raised(only extra keys will be detected currently)
5. in post, if installer already exist, return Conflict with already exist
message
6. in update, if a installer appears more than once, also return Conflict
with already exist message

Change-Id: I830dba3bcf5f1a9d1c93513b4aae59009f69dc8f
Signed-off-by: SerenaFeng <feng.xiaowei@zte.com.cn>

simplify unit tests implementation of update scenario

1. delete useless input arguments
2. update on and assert with self.req_d directly
   delete intermediate variable 'scenario'

Change-Id: I3eda1df4893c890bb23ccf05b45ce2de5fa9dd93
Signed-off-by: SerenaFeng <feng.xiaowei@zte.com.cn>

update versions under scenario

1. post, add one or more new versions
2. update, replace existed version as a totality
3. delete, delete one or more versions by name
4. in post&update, if schema is not consistent with ScenarioVersion model,
BadRequest will be raised(only extra keys will be detected currently)
5. in post, if project already exist, return Conflict with already exist
message
6. in update, if a version appears more than once, also return Conflict
with already exist message
7. add update with conflict unittest for projects

Change-Id: I0d2c8a5567f3abce7b0313a64e18303af02cc002
Signed-off-by: SerenaFeng <feng.xiaowei@zte.com.cn>

bugfix: fail to generate APIs document patch

Change-Id: Iac5bb851514f0f688fcb72deb5f07488bc071225
Signed-off-by: SerenaFeng <feng.xiaowei@zte.com.cn>

bugfix: fail to generate APIs document

Change-Id: I13c91fb34e190cd62400eccec6b755419aad89d1
Signed-off-by: SerenaFeng <feng.xiaowei@zte.com.cn>

bug fix: installation of node, bower and grunt for reporting docker

 - change node installation process
 - clean setup (no need of pbr)

Change-Id: I9015486e3892e7c949bad5140cc4180ec9f07aa7
Signed-off-by: Morgan Richomme <morgan.richomme@orange.com>

bugfix: malfunction of scenario equal check

1. bugfix equal check with[] will return list[false, true],
   and always True in next step check
2. in assert_res() leverage '==' will never assert even if
   they are not equal

Change-Id: I683e3489d45b98b508f8ab8b6ef268ca9a1ebd5f
Signed-off-by: SerenaFeng <feng.xiaowei@zte.com.cn>

Merge "Landing page adoption"

Merge "bugfix: OperationFailure: the limit must be positive"

Merge "change scenario owner"

Merge "update projects in scenario"

Merge "in swagger operation parameter supports array type"

Merge "update customs in scenario"

bugfix: OperationFailure: the limit must be positive

in cursor.aggregate(), set limit=0 is not allowed, in this patch,
if no records to be listed, return empty list directly, no more
aggregate()

JIRA: RELENG-293

Change-Id: I7317892875da9c0f785ba010b55715032dee31ce
Signed-off-by: SerenaFeng <feng.xiaowei@zte.com.cn>

change scenario owner

1 bugfix owner must be explicit in ScenarioVersion model
2 change owner of scenario
3. usage: PUT /api/v1/scenarios/<scenario_name>/owner? \
                installer=<installer_name>& \
                version=<version_name>
  body: new owner

Change-Id: I261468cd8445030b61e37e0f804b699d6205bdb0
Signed-off-by: SerenaFeng <feng.xiaowei@zte.com.cn>

update projects in scenario

1. post, add one or more new projects
2. update, replace existed projects wholly
3. delete, delete one or more projects by name
4. in post&update, if schema is not consistent with ScenarioProject model,
BadRequest will be raised(only extra keys will be detected currently)
5. in post, if project already exist, return Conflict with already exist
message

Change-Id: Iead585f787a4acc61abce6c9d38a036739b498d6
Signed-off-by: SerenaFeng <feng.xiaowei@zte.com.cn>

Landing page adoption

Since testapi have done some changes on scenarios api,
so landing page should do some adoption.

Change-Id: Ib5d1df03e2c50c7d6c038200d97f2057b90e48af
Signed-off-by: chenjiankun <chenjiankun1@huawei.com>

in swagger operation parameter supports array type

it will be used in scenario update process later

Change-Id: Ic44023169f1c0da0946e5e60339ce58076fc8807
Signed-off-by: SerenaFeng <feng.xiaowei@zte.com.cn>

update customs in scenario

1) post to add one or multiple test cases
2) update to substitute all the test cases
3) delete with body to delete one or multiple test cases
4) to facilitate the process and response body usually useless,
   if update success all updates(scores/trust_indicators/customs),
   return 200 with no response body

Change-Id: I5148f172989fa8e0e70ffed92ee383c0520dbb41
Signed-off-by: SerenaFeng <feng.xiaowei@zte.com.cn>

Merge "bugfix: testapi is killed because of oom_kill"

Merge "impl update trust_indicator in scenario"

impl update trust_indicator in scenario

Change-Id: I1afe38412926778bc84d178dbbfc3fe0cde15f69
Signed-off-by: SerenaFeng <feng.xiaowei@zte.com.cn>

Merge "update scenario scores"

Merge "delete obsolete scenario update code"

bugfix: testapi is killed because of oom_kill

if page is not provided, return page 1 to avoid large memory consume,
further more to kill testapi:

Out of memory: Kill process 30842 (opnfv-testapi) score 519 or sacrifice child
Killed process 30842 (opnfv-testapi) total-vm:4739716kB, anon-rss:3974612kB, file-rss:0kB

JIRA: RELENG-291

Change-Id: Id0e144c030aee390cc41cff8a48e3c997de4ad84
Signed-off-by: SerenaFeng <feng.xiaowei@zte.com.cn>