utils/opnfv-artifacts.py

   1 #!/usr/bin/python
   2 # SPDX-license-identifier: Apache-2.0
   3 ##############################################################################
   4 # Copyright (c) 2016 The Linux Foundation and others
   5 #
   6 # Licensed under the Apache License, Version 2.0 (the "License");
   7 # you may not use this file except in compliance with the License.
   8 # You may obtain a copy of the License at
   9 #  http://www.apache.org/licenses/LICENSE-2.0
  10 #
  11 # Unless required by applicable law or agreed to in writing, software
  12 # distributed under the License is distributed on an "AS IS" BASIS,
  13 # WITHOUT WARRANTIES OR CONDITIONS OF ANY KIND, either express or implied.
  14 # See the License for the specific language governing permissions and
  15 # limitations under the License.
  16 ##############################################################################
  17
  18 """
  19 Generate JSON listing of OPNFV Artifacts
  20
  21 This produces a slimmed down version of metadata provided by Google
  22 Storage for each artifact. Also excludes a large number of uninteresting
  23 files.
  24 """
  25
  26 from apiclient import discovery
  27 from apiclient.errors import HttpError
  28
  29 import argparse
  30 import json
  31 import os
  32 import sys
  33
  34 api = {
  35   'projects': {},
  36   'docs': {},
  37   'releases': {},
  38 }
  39
  40 releases = [
  41   'arno.2015.1.0',
  42   'arno.2015.2.0',
  43   'brahmaputra.1.0',
  44 ]
  45
  46 # List of file extensions to filter out
  47 ignore_extensions = [
  48   '.buildinfo',
  49   '.woff',
  50   '.ttf',
  51   '.svg',
  52   '.eot',
  53   '.pickle',
  54   '.doctree',
  55   '.js',
  56   '.png',
  57   '.css',
  58   '.gif',
  59   '.jpeg',
  60   '.jpg',
  61   '.bmp',
  62 ]
  63
  64
  65 parser = argparse.ArgumentParser(
  66              description='OPNFV Artifacts JSON Generator')
  67
  68 parser.add_argument(
  69         '-k',
  70         dest='key',
  71         default='',
  72         help='API Key for Google Cloud Storage')
  73
  74 parser.add_argument(
  75         '-p',
  76         default=None,
  77         dest='pretty',
  78         action='store_const',
  79         const=2,
  80         help='pretty print the output')
  81
  82 # Parse and assign arguments
  83 args = parser.parse_args()
  84 key = args.key
  85 pretty_print = args.pretty
  86
  87
  88 def output(item, indent=2):
  89     print(json.dumps(item, sort_keys=True, indent=indent))
  90
  91
  92 def has_gerrit_review(dir_list):
  93     """
  94     If a directory contains an integer, it is assumed to be a gerrit
  95     review number
  96     """
  97     for d in dir_list:
  98         if d.isdigit():
  99             return int(d)
 100     return False
 101
 102
 103 def has_release(dir_list):
 104     """
 105     Checks if any directory contains a release name
 106     """
 107     for d in dir_list:
 108         if d in releases:
 109             return d
 110     return False
 111
 112
 113 def has_documentation(dir_list):
 114     """
 115     Checks for a directory specifically named 'docs'
 116     """
 117     for d in dir_list:
 118         if d == 'docs':
 119             return True
 120     return False
 121
 122
 123 # Rename this or modify how gerrit review are handled
 124 def has_logs(gerrit_review):
 125     """
 126     If a gerrit review exists, create a link to the review
 127     """
 128     if gerrit_review:
 129         return "https://gerrit.opnfv.org/gerrit/#/c/%s" % gerrit_review
 130     return False
 131
 132
 133
 134 def has_ignorable_extension(filename):
 135     for extension in ignore_extensions:
 136         if filename.lower().endswith(extension):
 137             return True
 138     return False
 139
 140
 141 def get_results(key):
 142     """
 143     Pull down all metadata from artifacts.opnfv.org
 144     and store it in projects as:
 145     { 'PROJECT': [file ...], }
 146     """
 147     storage = discovery.build('storage', 'v1', developerKey=key)
 148     files = storage.objects().list(bucket='artifacts.opnfv.org',
 149                                    fields='nextPageToken,'
 150                                           'items('
 151                                               'name,'
 152                                               'mediaLink,'
 153                                               'updated,'
 154                                               'contentType,'
 155                                               'size'
 156                                           ')')
 157     while (files is not None):
 158         sites = files.execute()
 159
 160         for site in sites['items']:
 161             # Filter out unneeded files (js, images, css, buildinfo, etc)
 162             if has_ignorable_extension(site['name']):
 163                 continue
 164
 165             # Split /foo/bar/ into ['foo', 'bar'] and remove any extra
 166             # slashes (ex. /foo//bar/)
 167             site_split = filter(None, site['name'].split('/'))
 168
 169             # Don't do anything if we aren't given files multiple
 170             # directories deep
 171             if len(site_split) < 2:
 172                 continue
 173
 174             project = site_split[0]
 175             name = '/'.join(site_split[1:])
 176             proxy = "http://build.opnfv.org/artifacts.opnfv.org/%s" % site['name']
 177             if name.endswith('.html'):
 178                 href = "http://artifacts.opnfv.org/%s" % site['name']
 179                 href_type = 'view'
 180             else:
 181                 href = site['mediaLink']
 182                 href_type = 'download'
 183
 184             gerrit = has_gerrit_review(site_split)
 185             logs = False  # has_logs(gerrit)
 186             documentation = has_documentation(site_split)
 187             release = has_release(site_split)
 188
 189             category = 'project'
 190             if gerrit:
 191                 category = 'gerrit'
 192             elif release:
 193                 category = 'release'
 194             elif logs:
 195                 category = 'logs'
 196
 197             metadata = {
 198                 'category': category,
 199                 'gerritreview': gerrit,
 200                 'release': release,
 201                 'name': name,
 202                 'size': site['size'],
 203                 'time': site['updated'],
 204                 'contentType': site['contentType'],
 205                 'href': href,
 206                 'href_type': href_type,
 207                 'proxy_href': proxy,
 208             }
 209
 210             if project in releases:
 211                 if project not in api['releases']:
 212                     api['releases'][project] = [metadata]
 213                 else:
 214                     api['releases'][project].append(metadata)
 215             else:
 216                 if project not in api['projects']:
 217                     api['projects'][project] = [metadata]
 218                 else:
 219                     api['projects'][project].append(metadata)
 220
 221         files = storage.objects().list_next(files, sites)
 222
 223     return api
 224
 225
 226 # Fail if there is an invalid response from GCE
 227 try:
 228     js = get_results(key)
 229 except HttpError as e:
 230     print >> sys.stderr, e
 231     exit(1)
 232
 233 output(js, indent=pretty_print)