build/cache.sh

   1 #!/bin/sh
   2 ##############################################################################
   3 # Copyright (c) 2016 Red Hat Inc.
   4 # Dan Radez <dradez@redhat.com>
   5 # All rights reserved. This program and the accompanying materials
   6 # are made available under the terms of the Apache License, Version 2.0
   7 # which accompanies this distribution, and is available at
   8 # http://www.apache.org/licenses/LICENSE-2.0
   9 ##############################################################################
  10
  11 CACHE_DIR="$(pwd)/cache"
  12
  13 # Make sure the cache dir exists
  14 function cache_dir {
  15     if [ ! -d $CACHE_DIR/ ]; then mkdir $CACHE_DIR/; fi
  16     if [ ! -f $CACHE_DIR/.cache ]; then touch $CACHE_DIR/.cache; fi
  17     echo "Cache Dir: $CACHE_DIR"
  18 }
  19
  20 function cache_git_tar {
  21     echo "cache_git_tar git ls-remote"
  22 }
  23
  24 # $1 = download url
  25 # $2 = filename to write to
  26 function curl_file {
  27     echo "Downloading $1"
  28     echo "Cache download location: $CACHE_DIR/$2"
  29     until curl -C- -L -o $CACHE_DIR/$2 $1  || (( count++ >= 20 )); do
  30         echo -n '' #do nothing, we just want to loop
  31     done
  32     sed -i "/$2/d" $CACHE_DIR/.cache
  33     echo "$(md5sum $CACHE_DIR/$2) $2" >> $CACHE_DIR/.cache
  34 }
  35
  36 # $1 =  download url
  37 function populate_cache {
  38     local my_md5
  39     cache_dir
  40
  41     # get the file name
  42     filename="${1##*/}"
  43
  44     # check if the cache file exists
  45     # and if it has an md5 compare that
  46     echo "Checking cache file exists: ${filename}"
  47     if [ ! -f $CACHE_DIR/${filename} ]; then
  48         echo "Cache file: ${CACHE_DIR}/${filename} missing...will download..."
  49         curl_file $1 $filename
  50     else
  51         echo "Cache file exists...comparing MD5 checksum"
  52         remote_md5="$(curl -sf -L ${1}.md5 | awk {'print $1'})"
  53         if [ -z "$remote_md5" ]; then
  54             echo "Got empty MD5 from remote for $filename, skipping MD5 check"
  55             curl_file $1 $filename
  56         else
  57             my_md5=$(grep ${filename} $CACHE_DIR/.cache | awk {'print $1'})
  58             if [ "$remote_md5" != "$my_md5" ]; then
  59                 echo "MD5 mismatch: Remote MD5 is ${remote_md5}, Cache file MD5 is ${my_md5}"
  60                 echo "Downloading $filename"
  61                 curl_file $1 $filename
  62             else
  63               echo "Will use cache for ${filename}"
  64             fi
  65         fi
  66     fi
  67 }
  68
  69 # $1 = filename to get from cache
  70 function get_cached_file {
  71   cp -f $CACHE_DIR/$1 .
  72 }