yardstick: Create a separate docker build job for yardstick
[releng.git] / utils / opnfv-artifacts.py
1 #!/usr/bin/python
2 # SPDX-license-identifier: Apache-2.0
3 ##############################################################################
4 # Copyright (c) 2016 The Linux Foundation and others
5 #
6 # Licensed under the Apache License, Version 2.0 (the "License");
7 # you may not use this file except in compliance with the License.
8 # You may obtain a copy of the License at
9 #  http://www.apache.org/licenses/LICENSE-2.0
10 #
11 # Unless required by applicable law or agreed to in writing, software
12 # distributed under the License is distributed on an "AS IS" BASIS,
13 # WITHOUT WARRANTIES OR CONDITIONS OF ANY KIND, either express or implied.
14 # See the License for the specific language governing permissions and
15 # limitations under the License.
16 ##############################################################################
17
18 """
19 Generate JSON listing of OPNFV Artifacts
20
21 This produces a slimmed down version of metadata provided by Google
22 Storage for each artifact. Also excludes a large number of uninteresting
23 files.
24 """
25
26 from apiclient import discovery
27 from apiclient.errors import HttpError
28
29 import argparse
30 import json
31 import os
32 import sys
33
34 api = {
35   'projects': {},
36   'docs': {},
37   'releases': {},
38 }
39
40 releases = [
41   'arno.2015.1.0',
42   'arno.2015.2.0',
43   'brahmaputra.1.0',
44 ]
45
46 # List of file extensions to filter out
47 ignore_extensions = [
48   '.buildinfo',
49   '.woff',
50   '.ttf',
51   '.svg',
52   '.eot',
53   '.pickle',
54   '.doctree',
55   '.js',
56   '.png',
57   '.css',
58   '.gif',
59   '.jpeg',
60   '.jpg',
61   '.bmp',
62 ]
63
64
65 parser = argparse.ArgumentParser(
66              description='OPNFV Artifacts JSON Generator')
67
68 parser.add_argument(
69         '-k',
70         dest='key',
71         default='',
72         help='API Key for Google Cloud Storage')
73
74 parser.add_argument(
75         '-p',
76         default=None,
77         dest='pretty',
78         action='store_const',
79         const=2,
80         help='pretty print the output')
81
82 # Parse and assign arguments
83 args = parser.parse_args()
84 key = args.key
85 pretty_print = args.pretty
86
87
88 def output(item, indent=2):
89     print(json.dumps(item, sort_keys=True, indent=indent))
90
91
92 def has_gerrit_review(dir_list):
93     """
94     If a directory contains an integer, it is assumed to be a gerrit
95     review number
96     """
97     for d in dir_list:
98         if d.isdigit():
99             return int(d)
100     return False
101
102
103 def has_release(dir_list):
104     """
105     Checks if any directory contains a release name
106     """
107     for d in dir_list:
108         if d in releases:
109             return d
110     return False
111
112
113 def has_documentation(dir_list):
114     """
115     Checks for a directory specifically named 'docs'
116     """
117     for d in dir_list:
118         if d == 'docs':
119             return True
120     return False
121
122
123 # Rename this or modify how gerrit review are handled
124 def has_logs(gerrit_review):
125     """
126     If a gerrit review exists, create a link to the review
127     """
128     if gerrit_review:
129         return "https://gerrit.opnfv.org/gerrit/#/c/%s" % gerrit_review
130     return False
131
132
133 def has_md5hash(item):
134     """
135     If a file has an md5hash available, grab it
136     """
137     if 'md5Hash' in item:
138         return item['md5Hash']
139     return False
140
141
142 def has_ignorable_extension(filename):
143     for extension in ignore_extensions:
144         if filename.lower().endswith(extension):
145             return True
146     return False
147
148
149 def get_results(key):
150     """
151     Pull down all metadata from artifacts.opnfv.org
152     and store it in projects as:
153     { 'PROJECT': [file ...], }
154     """
155     storage = discovery.build('storage', 'v1', developerKey=key)
156     files = storage.objects().list(bucket='artifacts.opnfv.org',
157                                    fields='nextPageToken,'
158                                           'items('
159                                               'name,'
160                                               'mediaLink,'
161                                               'md5Hash,'
162                                               'updated,'
163                                               'contentType,'
164                                               'size'
165                                           ')')
166     while (files is not None):
167         sites = files.execute()
168
169         for site in sites['items']:
170             # Filter out unneeded files (js, images, css, buildinfo, etc)
171             if has_ignorable_extension(site['name']):
172                 continue
173
174             # Split /foo/bar/ into ['foo', 'bar'] and remove any extra
175             # slashes (ex. /foo//bar/)
176             site_split = filter(None, site['name'].split('/'))
177
178             # Don't do anything if we aren't given files multiple
179             # directories deep
180             if len(site_split) < 2:
181                 continue
182
183             project = site_split[0]
184             name = '/'.join(site_split[1:])
185             proxy = "http://build.opnfv.org/artifacts.opnfv.org/%s" % site['name']
186             if name.endswith('.html'):
187                 href = "http://artifacts.opnfv.org/%s" % site['name']
188                 href_type = 'view'
189             else:
190                 href = site['mediaLink']
191                 href_type = 'download'
192             md5 = has_md5hash(site)
193
194             gerrit = has_gerrit_review(site_split)
195             logs = False  # has_logs(gerrit)
196             documentation = has_documentation(site_split)
197             release = has_release(site_split)
198
199             category = 'project'
200             if gerrit:
201                 category = 'gerrit'
202             elif release:
203                 category = 'release'
204             elif logs:
205                 category = 'logs'
206
207             metadata = {
208                 'category': category,
209                 'gerritreview': gerrit,
210                 'release': release,
211                 'name': name,
212                 'size': site['size'],
213                 'time': site['updated'],
214                 'contentType': site['contentType'],
215                 'href': href,
216                 'href_type': href_type,
217                 'proxy_href': proxy,
218                 'md5hash': md5,
219             }
220
221             if project in releases:
222                 if project not in api['releases']:
223                     api['releases'][project] = [metadata]
224                 else:
225                     api['releases'][project].append(metadata)
226             else:
227                 if project not in api['projects']:
228                     api['projects'][project] = [metadata]
229                 else:
230                     api['projects'][project].append(metadata)
231
232         files = storage.objects().list_next(files, sites)
233
234     return api
235
236
237 # Fail if there is an invalid response from GCE
238 try:
239     js = get_results(key)
240 except HttpError as e:
241     print >> sys.stderr, e
242     exit(1)
243
244 output(js, indent=pretty_print)