Fixes missing image for nosdn deployments
[apex.git] / ci / build.sh
1 #!/bin/bash
2 set -e
3 ##############################################################################
4 # Copyright (c) 2015 Ericsson AB and others.
5 # stefan.k.berg@ericsson.com
6 # jonas.bjurel@ericsson.com
7 # dradez@redhat.com
8 # All rights reserved. This program and the accompanying materials
9 # are made available under the terms of the Apache License, Version 2.0
10 # which accompanies this distribution, and is available at
11 # http://www.apache.org/licenses/LICENSE-2.0
12 ##############################################################################
13
14 trap 'echo "Exiting ..."; \
15 if [ -f ${LOCK_FILE} ]; then \
16    if [ $(cat ${LOCK_FILE}) -eq $$ ]; then \
17       rm -f ${LOCK_FILE}; \
18    fi; \
19 fi;' EXIT
20
21 ############################################################################
22 # BEGIN of usage description
23 #
24 usage ()
25 {
26 cat << EOF
27 $0 Builds the Apex OPNFV Deployment Toolchain
28
29 usage: $0 [-s spec-file] [-c cache-URI] [-l log-file] [-f Flags] build-directory
30
31 OPTIONS:
32   -s spec-file ($BUILD_SPEC), define the build-spec file, default ../build/config.mk
33   -c cache base URI ($BUILD_CACHE_URI), specifies the base URI to a build cache to be used/updated - the name is automatically generated from the md5sum of the spec-file, http://, ftp://, file://[absolute path] suported.
34
35   -l log-file ($BUILD_LOG), specifies the output log-file (stdout and stderr), if not specified logs are output to console as normal
36   -v version tag to be applied to the build result
37   -r alternative remote access method script/program. curl is default.
38   -t run small build-script unit test.
39   -T run large build-script unit test.
40   -f build flags ($BUILD_FLAGS):
41      o s: Do nothing, succeed
42      o f: Do nothing, fail
43      o t: run build unit tests
44      o M: Use master branch code
45      o i: run interactive (-t flag to docker run)
46      o P: Populate a new local cache and push it to the (-c cache-URI) cache artifactory if -c option is present, currently file://, http:// and ftp:// are supported
47      o d: Detatch - NOT YET SUPPORTED
48
49   build-directory ($BUILD_DIR), specifies the directory for the output artifacts (.iso file).
50
51   -h help, prints this help text
52
53 Description:
54 build.sh builds opnfv .iso artifact.
55 To reduce build time it uses build cache on a local or remote location. The cache is rebuilt and uploaded if either of the below conditions are met:
56 1) The P(opulate) flag is set and the -c cache-base-URI is provided, if -c is not provided the cache will stay local.
57 2) If the cache is invalidated by one of the following conditions:
58    - The config spec md5sum does not compare to the md5sum for the spec which the cache was built.
59    - The git Commit-Id on the remote repos/HEAD defined in the spec file does not correspont with the Commit-Id for what the cache was built with.
60 3) A valid cache does not exist on the specified -c cache-base-URI.
61
62 The cache URI object name is apex_cache-"md5sum(spec file)"
63
64 Logging by default to console, but can be directed elsewhere with the -l option in which case both stdout and stderr is redirected to that destination.
65
66 Built in unit testing of components is enabled by adding the t(est) flag.
67
68 Return codes:
69  - 0 Success!
70  - 1-99 Unspecified build error
71  - 100-199 Build system internal error (not build it self)
72    o 101 Build system instance busy
73  - 200 Build failure
74
75 Examples:
76 build -c http://opnfv.org/artifactory/apex/cache -d ~/jenkins/genesis/apex/ci/output -f ti
77 NOTE: At current the build scope is set to the git root of the repository, -d destination locations outside that scope will not work
78 EOF
79 }
80 #
81 # END of usage description
82 ############################################################################
83
84 ############################################################################
85 # BEGIN of variables to customize
86 #
87 BUILD_BASE=$(readlink -e ../build/)
88 RESULT_DIR="${BUILD_BASE}/release"
89 BUILD_SPEC="${BUILD_BASE}/config.mk"
90 CACHE_DIR="cache"
91 LOCAL_CACHE_ARCH_NAME="apex-cache"
92 REMOTE_CACHE_ARCH_NAME="apex_cache-$(md5sum ${BUILD_SPEC}| cut -f1 -d " ")"
93 REMOTE_ACCESS_METHD=curl
94 INCLUDE_DIR=../include
95 #
96 # END of variables to customize
97 ############################################################################
98
99 ############################################################################
100 # BEGIN of script assigned variables
101 #
102 SCRIPT_DIR=$( cd "$( dirname "${BASH_SOURCE[0]}" )" && pwd )
103 LOCK_FILE="${SCRIPT_DIR}/.build.lck"
104 CACHE_TMP="${SCRIPT_DIR}/tmp"
105 TEST_SUCCEED=0
106 TEST_FAIL=0
107 UNIT_TEST=0
108 USE_MASTER=0
109 UPDATE_CACHE=0
110 POPULATE_CACHE=0
111 RECURSIV=0
112 DETACH=0
113 DEBUG=0
114 INTEGRATION_TEST=0
115 FULL_INTEGRATION_TEST=0
116 INTERACTIVE=0
117 BUILD_CACHE_URI=
118 BUILD_SPEC=
119 BUILD_DIR=
120 BUILD_LOG=
121 BUILD_VERSION=
122 MAKE_ARGS=
123 #
124 # END of script assigned variables
125 ############################################################################
126
127 ############################################################################
128 # BEGIN of include pragmas
129 #
130 source ${INCLUDE_DIR}/build.sh.debug
131 #
132 # END of include
133 ############################################################################
134
135 ############################################################################
136 # BEGIN of main
137 #
138 while getopts "s:c:d:v:f:l:r:RtTh" OPTION
139 do
140     case $OPTION in
141         h)
142             usage
143             rc=0
144             exit $rc
145             ;;
146
147         s)
148             BUILD_SPEC=${OPTARG}
149             ;;
150
151         c)
152             BUILD_CACHE_URI=${OPTARG}
153             ;;
154
155         d)
156             BUILD_DIR=${OPTARG}
157             ;;
158
159         l)
160             BUILD_LOG=${OPTARG}
161             ;;
162
163         v)
164             BUILD_VERSION=${OPTARG}
165             ;;
166
167         f)
168             BUILD_FLAGS=${OPTARG}
169             ;;
170
171         r)  REMOTE_ACCESS_METHD=${OPTARG}
172             ;;
173
174         R)
175             RECURSIVE=1
176             ;;
177
178         t)
179             INTEGRATION_TEST=1
180             ;;
181
182         T)
183             INTEGRATION_TEST=1
184             FULL_INTEGRATION_TEST=1
185             ;;
186
187         *)
188             echo "${OPTION} is not a valid argument"
189             rc=100
190             exit $rc
191             ;;
192     esac
193 done
194
195 if [ -z $BUILD_DIR ]; then
196     BUILD_DIR=$(echo $@ | cut -d ' ' -f ${OPTIND})
197 fi
198
199 for ((i=0; i<${#BUILD_FLAGS};i++)); do
200     case ${BUILD_FLAGS:$i:1} in
201         s)
202             rc=0
203             exit $rc
204             ;;
205
206         f)
207             rc=1
208             exit $rc
209             ;;
210
211         t)
212             UNIT_TEST=1
213             ;;
214
215         M)
216             USE_MASTER=1
217             ;;
218
219         i)
220             INTERACTIVE=1
221             ;;
222
223         P)
224             POPULATE_CACHE=1
225             ;;
226
227         d)
228             DETACH=1
229             echo "Detach is not yet supported - exiting ...."
230             rc=100
231             exit $rc
232             ;;
233
234         D)
235             DEBUG=1
236             ;;
237
238         *)
239             echo "${BUILD_FLAGS:$i:1} is not a valid build flag - exiting ...."
240             rc=100
241             exit $rc
242             ;;
243     esac
244 done
245
246 shift $((OPTIND-1))
247
248 if [ ${INTEGRATION_TEST} -eq 1 ]; then
249     integration-test
250     rc=0
251     exit $rc
252 fi
253
254 if [ ! -f ${BUILD_SPEC} ]; then
255     echo "spec file does not exist: $BUILD_SPEC - exiting ...."
256     rc=100
257     exit $rc
258 fi
259
260 if [ -z ${BUILD_DIR} ]; then
261     echo "Missing build directory - exiting ...."
262     rc=100
263     exit $rc
264 fi
265
266 if [ ! -z ${BUILD_LOG} ]; then
267     if [[ ${RECURSIVE} -ne 1 ]]; then
268         set +e
269         eval $0 -R $@ > ${BUILD_LOG} 2>&1
270         rc=$?
271         set -e
272         if [ $rc -ne 0]; then
273             exit $rc
274         fi
275     fi
276 fi
277
278 if [ ${TEST_SUCCEED} -eq 1 ]; then
279     sleep 1
280     rc=0
281     exit $rc
282 fi
283
284 if [ ${TEST_FAIL} -eq 1 ]; then
285     sleep 1
286     rc=1
287     exit $rc
288 fi
289
290 if [ -e ${LOCK_FILE} ]; then
291     echo "A build job is already running, exiting....."
292     rc=101
293     exit $rc
294 fi
295
296 echo $$ > ${LOCK_FILE}
297
298 if [ ! -z ${BUILD_CACHE_URI} ]; then
299     if [ ${POPULATE_CACHE} -ne 1 ]; then
300         rm -rf ${CACHE_TMP}/cache
301         mkdir -p ${CACHE_TMP}/cache
302         echo "Downloading cach file ${BUILD_CACHE_URI}/${REMOTE_CACHE_ARCH_NAME} ..."
303         set +e
304         ${REMOTE_ACCESS_METHD} -o ${CACHE_TMP}/cache/${LOCAL_CACHE_ARCH_NAME}.tgz ${BUILD_CACHE_URI}/${REMOTE_CACHE_ARCH_NAME}.tgz
305         rc=$?
306         set -e
307         if [ $rc -ne 0 ]; then
308                 echo "Remote cache does not exist, or is not accessible - a new cache will be built ..."
309                 POPULATE_CACHE=1
310         else
311             echo "Unpacking cache file ..."
312             tar --atime-preserve -C ${CACHE_TMP}/cache -xvf ${CACHE_TMP}/cache/${LOCAL_CACHE_ARCH_NAME}.tgz
313             cp ${CACHE_TMP}/cache/cache/.versions ${BUILD_BASE}/.
314             set +e
315             make -C ${BUILD_BASE} validate-cache;
316             rc=$?
317             set -e
318
319             if [ $rc -ne 0 ]; then
320                 echo "Cache invalid - a new cache will be built "
321                 POPULATE_CACHE=1
322             else
323                 cp -rf ${CACHE_TMP}/cache/cache/. ${BUILD_BASE}
324             fi
325             rm -rf ${CACHE_TMP}/cache
326         fi
327     fi
328 fi
329
330 if [ ${POPULATE_CACHE} -eq 1 ]; then
331     if [ ${DEBUG} -eq 0 ]; then
332         set +e
333         cd ${BUILD_BASE} && make clean
334         rc=$?
335         set -e
336         if [ $rc -ne 0 ]; then
337             echo "Build - make clean failed, exiting ..."
338             rc=100
339             exit $rc
340         fi
341     fi
342 fi
343
344 if [ ! -z ${BUILD_VERSION} ]; then
345     MAKE_ARGS+="REVSTATE=${BUILD_VERSION} "
346 fi
347
348 if [ ${UNIT_TEST} -eq 1 ]; then
349     MAKE_ARGS+="UNIT_TEST=TRUE "
350 else
351     MAKE_ARGS+="UNIT_TEST=FALSE "
352 fi
353
354 if [ ${USE_MASTER} -eq 1 ]; then
355     MAKE_ARGS+="USE_MASTER=-master "
356 fi
357
358 if [ ${INTERACTIVE} -eq 1 ]; then
359     MAKE_ARGS+="INTERACTIVE=TRUE "
360 else
361     MAKE_ARGS+="INTERACTIVE=FALSE "
362 fi
363
364 MAKE_ARGS+=all
365
366 if [ ${DEBUG} -eq 0 ]; then
367     set +e
368     cd ${BUILD_BASE} && make ${MAKE_ARGS}
369     rc=$?
370     set -e
371     if [ $rc -gt 0 ]; then
372         echo "Build: make all failed, exiting ..."
373         rc=200
374         exit $rc
375     fi
376 else
377 debug_make
378 fi
379 set +e
380 make -C ${BUILD_BASE} prepare-cache
381 rc=$?
382 set -e
383
384 if [ $rc -gt 0 ]; then
385     echo "Build: make prepare-cache failed - exiting ..."
386     rc=100
387     exit $rc
388 fi
389 echo "Linking built OPNFV .iso file to target directory ${BUILD_DIR} ..."
390 rm -rf ${BUILD_DIR}
391 mkdir -p ${BUILD_DIR}
392 ln -s ${BUILD_BASE}/.versions ${BUILD_DIR}
393 ln -s ${RESULT_DIR}/*.iso* ${BUILD_DIR}
394 echo "Linking built OPNFV .rpm files to target directory ${BUILD_DIR} ..."
395 ln -s ${BUILD_BASE}/*.rpm ${BUILD_DIR}
396 ln -s ${BUILD_BASE}/noarch/*.rpm ${BUILD_DIR}
397
398 if [ $POPULATE_CACHE -eq 1 ]; then
399     if [ ! -z ${BUILD_CACHE_URI} ]; then
400         echo "Building cache ..."
401         tar --atime-preserve --dereference -C ${BUILD_BASE} -caf ${BUILD_BASE}/${LOCAL_CACHE_ARCH_NAME}.tgz ${CACHE_DIR}
402         echo "Uploading cache ${BUILD_CACHE_URI}/${REMOTE_CACHE_ARCH_NAME}"
403         ${REMOTE_ACCESS_METHD} -T ${BUILD_BASE}/${LOCAL_CACHE_ARCH_NAME}.tgz ${BUILD_CACHE_URI}/${REMOTE_CACHE_ARCH_NAME}.tgz
404         rm ${BUILD_BASE}/${LOCAL_CACHE_ARCH_NAME}.tgz
405     fi
406 fi
407 echo "Success!!!"
408 exit 0
409 #
410 # END of main
411 ############################################################################