Merge "bugfix: pagination raise exception when no records returned"
[releng.git] / utils / test / testapi / opnfv_testapi / resources / handlers.py
1 ##############################################################################
2 # Copyright (c) 2015 Orange
3 # guyrodrigue.koffi@orange.com / koffirodrigue@gmail.com
4 # All rights reserved. This program and the accompanying materials
5 # are made available under the terms of the Apache License, Version 2.0
6 # which accompanies this distribution, and is available at
7 # http://www.apache.org/licenses/LICENSE-2.0
8 # feng.xiaowei@zte.com.cn refactor db.pod to db.pods         5-19-2016
9 # feng.xiaowei@zte.com.cn refactor test_project to project   5-19-2016
10 # feng.xiaowei@zte.com.cn refactor response body             5-19-2016
11 # feng.xiaowei@zte.com.cn refactor pod/project response info 5-19-2016
12 # feng.xiaowei@zte.com.cn refactor testcase related handler  5-20-2016
13 # feng.xiaowei@zte.com.cn refactor result related handler    5-23-2016
14 # feng.xiaowei@zte.com.cn refactor dashboard related handler 5-24-2016
15 # feng.xiaowei@zte.com.cn add methods to GenericApiHandler   5-26-2016
16 # feng.xiaowei@zte.com.cn remove PodHandler                  5-26-2016
17 # feng.xiaowei@zte.com.cn remove ProjectHandler              5-26-2016
18 # feng.xiaowei@zte.com.cn remove TestcaseHandler             5-27-2016
19 # feng.xiaowei@zte.com.cn remove ResultHandler               5-29-2016
20 # feng.xiaowei@zte.com.cn remove DashboardHandler            5-30-2016
21 ##############################################################################
22
23 from datetime import datetime
24 import json
25
26 from tornado import gen
27 from tornado import web
28
29 from opnfv_testapi.common import check
30 from opnfv_testapi.common import message
31 from opnfv_testapi.common import raises
32 from opnfv_testapi.resources import models
33 from opnfv_testapi.tornado_swagger import swagger
34
35 DEFAULT_REPRESENTATION = "application/json"
36
37
38 class GenericApiHandler(web.RequestHandler):
39     def __init__(self, application, request, **kwargs):
40         super(GenericApiHandler, self).__init__(application, request, **kwargs)
41         self.db = self.settings["db"]
42         self.json_args = None
43         self.table = None
44         self.table_cls = None
45         self.db_projects = 'projects'
46         self.db_pods = 'pods'
47         self.db_testcases = 'testcases'
48         self.db_results = 'results'
49         self.db_scenarios = 'scenarios'
50         self.auth = self.settings["auth"]
51
52     def prepare(self):
53         if self.request.method != "GET" and self.request.method != "DELETE":
54             if self.request.headers.get("Content-Type") is not None:
55                 if self.request.headers["Content-Type"].startswith(
56                         DEFAULT_REPRESENTATION):
57                     try:
58                         self.json_args = json.loads(self.request.body)
59                     except (ValueError, KeyError, TypeError) as error:
60                         raises.BadRequest(message.bad_format(str(error)))
61
62     def finish_request(self, json_object=None):
63         if json_object:
64             self.write(json.dumps(json_object))
65         self.set_header("Content-Type", DEFAULT_REPRESENTATION)
66         self.finish()
67
68     def _create_response(self, resource):
69         href = self.request.full_url() + '/' + str(resource)
70         return models.CreateResponse(href=href).format()
71
72     def format_data(self, data):
73         cls_data = self.table_cls.from_dict(data)
74         return cls_data.format_http()
75
76     @check.authenticate
77     @check.no_body
78     @check.miss_fields
79     @check.carriers_exist
80     @check.new_not_exists
81     def _create(self, **kwargs):
82         """
83         :param miss_checks: [miss1, miss2]
84         :param db_checks: [(table, exist, query, error)]
85         """
86         data = self.table_cls.from_dict(self.json_args)
87         for k, v in kwargs.iteritems():
88             if k != 'query':
89                 data.__setattr__(k, v)
90
91         if self.table != 'results':
92             data.creation_date = datetime.now()
93         _id = yield self._eval_db(self.table, 'insert', data.format(),
94                                   check_keys=False)
95         if 'name' in self.json_args:
96             resource = data.name
97         else:
98             resource = _id
99         self.finish_request(self._create_response(resource))
100
101     @web.asynchronous
102     @gen.coroutine
103     def _list(self, query=None, res_op=None, *args, **kwargs):
104         sort = kwargs.get('sort')
105         page = kwargs.get('page', 0)
106         last = kwargs.get('last', 0)
107         per_page = kwargs.get('per_page', 0)
108         if query is None:
109             query = {}
110
111         total_pages = 0
112         if page > 0:
113             cursor = self._eval_db(self.table, 'find', query)
114             records_count = yield cursor.count()
115             total_pages = self._calc_total_pages(records_count,
116                                                  last,
117                                                  page,
118                                                  per_page)
119         pipelines = self._set_pipelines(query, sort, last, page, per_page)
120         cursor = self._eval_db(self.table,
121                                'aggregate',
122                                pipelines,
123                                allowDiskUse=True)
124         data = list()
125         while (yield cursor.fetch_next):
126             data.append(self.format_data(cursor.next_object()))
127         if res_op is None:
128             res = {self.table: data}
129         else:
130             res = res_op(data, *args)
131         if page > 0:
132             res.update({
133                 'pagination': {
134                     'current_page': kwargs.get('page'),
135                     'total_pages': total_pages
136                 }
137             })
138         self.finish_request(res)
139
140     @staticmethod
141     def _calc_total_pages(records_count, last, page, per_page):
142         records_nr = records_count
143         if (records_count > last) and (last > 0):
144             records_nr = last
145
146         total_pages, remainder = divmod(records_nr, per_page)
147         if remainder > 0:
148             total_pages += 1
149         if page > 1 and page > total_pages:
150             raises.BadRequest(
151                 'Request page > total_pages [{}]'.format(total_pages))
152         return total_pages
153
154     @staticmethod
155     def _set_pipelines(query, sort, last, page, per_page):
156         pipelines = list()
157         if query:
158             pipelines.append({'$match': query})
159         if sort:
160             pipelines.append({'$sort': sort})
161
162         if page > 0:
163             pipelines.append({'$skip': (page - 1) * per_page})
164             pipelines.append({'$limit': per_page})
165         elif last > 0:
166             pipelines.append({'$limit': last})
167
168         return pipelines
169
170     @web.asynchronous
171     @gen.coroutine
172     @check.not_exist
173     def _get_one(self, data, query=None):
174         self.finish_request(self.format_data(data))
175
176     @check.authenticate
177     @check.not_exist
178     def _delete(self, data, query=None):
179         yield self._eval_db(self.table, 'remove', query)
180         self.finish_request()
181
182     @check.authenticate
183     @check.no_body
184     @check.not_exist
185     @check.updated_one_not_exist
186     def _update(self, data, query=None, **kwargs):
187         data = self.table_cls.from_dict(data)
188         update_req = self._update_requests(data)
189         yield self._eval_db(self.table, 'update', query, update_req,
190                             check_keys=False)
191         update_req['_id'] = str(data._id)
192         self.finish_request(update_req)
193
194     def _update_requests(self, data):
195         request = dict()
196         for k, v in self.json_args.iteritems():
197             request = self._update_request(request, k, v,
198                                            data.__getattribute__(k))
199         if not request:
200             raises.Forbidden(message.no_update())
201
202         edit_request = data.format()
203         edit_request.update(request)
204         return edit_request
205
206     @staticmethod
207     def _update_request(edit_request, key, new_value, old_value):
208         """
209         This function serves to prepare the elements in the update request.
210         We try to avoid replace the exact values in the db
211         edit_request should be a dict in which we add an entry (key) after
212         comparing values
213         """
214         if not (new_value is None):
215             if new_value != old_value:
216                 edit_request[key] = new_value
217
218         return edit_request
219
220     def _update_query(self, keys, data):
221         query = dict()
222         equal = True
223         for key in keys:
224             new = self.json_args.get(key)
225             old = data.get(key)
226             if new is None:
227                 new = old
228             elif new != old:
229                 equal = False
230             query[key] = new
231         return query if not equal else dict()
232
233     def _eval_db(self, table, method, *args, **kwargs):
234         exec_collection = self.db.__getattr__(table)
235         return exec_collection.__getattribute__(method)(*args, **kwargs)
236
237     def _eval_db_find_one(self, query, table=None):
238         if table is None:
239             table = self.table
240         return self._eval_db(table, 'find_one', query)
241
242     def db_save(self, collection, data):
243         self._eval_db(collection, 'insert', data, check_keys=False)
244
245     def db_find_one(self, query, collection=None):
246         if not collection:
247             collection = self.table
248         return self._eval_db(collection, 'find_one', query)
249
250
251 class VersionHandler(GenericApiHandler):
252     @swagger.operation(nickname='listAllVersions')
253     def get(self):
254         """
255             @description: list all supported versions
256             @rtype: L{Versions}
257         """
258         versions = [{'version': 'v1.0', 'description': 'basics'}]
259         self.finish_request({'versions': versions})