Uplift to Fuel 10.0/Newton
[fuel.git] / build / Makefile
1 ##############################################################################
2 # Copyright (c) 2015 Ericsson AB and others.
3 # stefan.k.berg@ericsson.com
4 # jonas.bjurel@ericsson.com
5 # All rights reserved. This program and the accompanying materials
6 # are made available under the terms of the Apache License, Version 2.0
7 # which accompanies this distribution, and is available at
8 # http://www.apache.org/licenses/LICENSE-2.0
9 ##############################################################################
10
11 SHELL = /bin/bash
12
13 # This file will be created if needed by runcontext to contain proxy
14 # settings.
15 -include environment.mk
16
17 ############################################################################
18 # BEGIN of variables to customize
19 #
20 #Input args
21 export MOSVERSION = 10.0
22 export ISOSRC = file:$(shell pwd)/fuel-$(MOSVERSION).iso
23 export ISOCACHE = $(shell pwd)/$(shell basename $(ISOSRC))
24 export PRODNO ?= "OPNFV_FUEL"
25 export REVSTATE = "P0000"
26 export USER ?= $(shell whoami)
27 export BUILD_DATE = $(shell date --utc +%Y-%m-%d:%H:%M)
28 export OPNFV_GIT_SHA ?= $(shell git rev-parse HEAD)
29 # Store in /etc/fuel_build_id on fuel master
30 export BUILD_ID := $(PRODNO)_$(BUILD_DATE)_$(OPNFV_GIT_SHA)
31
32 ifdef BUILD_FUEL_PLUGINS
33 $(warning Overriding plugin build selection to $(BUILD_FUEL_PLUGINS))
34 export NEWISO = $(shell pwd)/release/unofficial-opnfv-${REVSTATE}.iso
35 else
36 export NEWISO = $(shell pwd)/release/opnfv-${REVSTATE}.iso
37 endif
38
39 # Note! Invoke with "make REVSTATE=RXXXX all" to make release build!
40 # Invoke with ICOCACHE=/full/path/to/iso if cached ISO is in non-standard location.
41
42 # Build variables
43 export BUILD_BASE := $(shell pwd)
44 export DEB_DEST := $(BUILD_BASE)/release/packages/ubuntu/pool/main
45 export UDEB_DEST := $(BUILD_BASE)/release/packages/ubuntu/pool/debian-installer
46 export PUPPET_DEST := $(BUILD_BASE)/release/puppet/modules
47 export VERSION_FILE := $(BUILD_BASE)/.versions
48 export DOCKERIMG = opnfv.org/ubuntu-builder:14.04
49 export TOPDIR := $(shell pwd)
50 export REPOINFO  := $(BUILD_BASE)/repo_info.sh
51
52 # Use snapshots
53 # Use nearby repositories
54 export MIRROR_UBUNTU_URL := $(shell ./f_isoroot/f_repobuild/select_ubuntu_repo.sh --url)
55 export MIRROR_UBUNTU := $(shell echo "$(MIRROR_UBUNTU_URL)" | cut -d'/' -f3 )
56 export MIRROR_UBUNTU_ROOT := $(shell echo -n '/' ; echo "$(MIRROR_UBUNTU_URL)" | cut -d'/' -f4-)
57
58 export LATEST_MIRROR_ID_URL := http://$(shell ./select_closest_fuel_mirror.py)
59
60 # Short circuiting normal package selection as this seems currently broken, see
61 # hard coding in config.mk
62 # export MIRROR_MOS_UBUNTU ?= $(shell echo "$(LATEST_MIRROR_ID_URL)" | cut -d'/' -f3)
63 # export LATEST_TARGET_UBUNTU := $(shell curl -sSf "$(MIRROR_MOS_UBUNTU)/mos-repos/ubuntu/$(MOSVERSION).target.txt" | head -1)
64 # export LATEST_TARGET_UBUNTU := snapshots/9.0-2016-06-23-164100-copy
65 # export MIRROR_MOS_UBUNTU_ROOT := /mos-repos/ubuntu/$(LATEST_TARGET_UBUNTU)
66 # export LATEST_TARGET_CENTOS := $(shell curl -sSf "$(LATEST_MIRROR_ID_URL)/mos-repos/centos/mos$(MOSVERSION)-centos7/os.target.txt" | head -1)
67 # export MIRROR_FUEL := "$(LATEST_MIRROR_ID_URL)/mos-repos/centos/mos$(MOSVERSION)-centos7/$(LATEST_TARGET_CENTOS)/x86_64"
68
69 # uncomment and use: make print-VARIABLE
70 #print-%  : ; @echo $* = $($*)
71
72 #Build subclasses
73
74 SUBDIRS := f_isoroot
75
76 # f_example is only an example of how to generate a .deb package and
77 # should not be enabled in official builds.
78 #SUBDIRS += f_example
79
80 ORIGDIR := $(TOPDIR)/origiso
81 #
82 # END of variables to customize
83 #############################################################################
84
85 FUEL_MAIN_DIR := /tmp/fuel-main
86
87 SUBCLEAN = $(addsuffix .clean,$(SUBDIRS))
88
89 .PHONY: all
90 all:
91         @docker version >/dev/null 2>&1 || (echo 'No Docker installation available'; exit 1)
92         @make -C docker
93         @lsb_release -a | grep Ubuntu > /dev/null 2>&1 || (echo 'Ubuntu is the only supported Linux distribution for this build system'; exit 1)
94         @KERNEL_VER=$$(uname -r); \
95         KERNEL_ARRAY=($${KERNEL_VER//./ }); \
96         if [ $${KERNEL_ARRAY[0]} -lt 3  ] || [[ $${KERNEL_ARRAY[0]} -eq 3 && $${KERNEL_ARRAY[1]} -lt 19  ]] ; then (echo 'Kernel version must be 3.19 or newer'; exit 1) ; fi
97         @docker/runcontext $(DOCKERIMG) wget -q www.google.com -O /dev/null || (echo 'No docker network connectivity or name server - check your network- and docker settings'; exit 1)
98         @docker/runcontext $(DOCKERIMG) $(MAKE) $(MAKEFLAGS) iso
99
100
101 ############################################################################
102 # BEGIN of Include definitions
103 #
104 include config.mk
105 include cache.mk
106 #
107 # END Include definitions
108 #############################################################################
109
110 $(ISOCACHE):
111         # Clone Fuel to non-persistent location and build
112         sudo rm -rf $(FUEL_MAIN_DIR)
113         $(MAKE) -C f_repos -f Makefile release
114         git clone $(FUEL_MAIN_REPO) $(FUEL_MAIN_DIR)
115         # Save upstream ref, checkout OPNFV tag (upstream ref + patches)
116         @echo "fuel" `git -C $(FUEL_MAIN_DIR) \
117                 rev-parse $(F_OPNFV_TAG)-root` >> $(VERSION_FILE)
118         git -C $(FUEL_MAIN_DIR) checkout $(F_OPNFV_TAG)
119         # Remove Docker optimizations, otherwise multistrap will fail during
120         # Fuel build.
121         sudo rm -f /etc/apt/apt.conf.d/docker*
122         #
123         # Need to replace the old Docker v. 1.5.0 with a later version to be
124         # able to access the Docker remote repository!
125         sudo apt-get install apt-transport-https ca-certificates -y
126         sudo apt-key adv --keyserver hkp://p80.pool.sks-keyservers.net:80 --recv-keys 58118E89F3A912897C070ADBF76221572C52609D
127         echo "deb https://apt.dockerproject.org/repo ubuntu-trusty main" | sudo tee /etc/apt/sources.list.d/docker.list
128         sudo apt-get update -y
129         sudo apt-get install docker-engine -y
130         sudo sh -c 'echo DOCKER_OPTS=\"--bip 172.45.0.1/24\" > /etc/default/docker'
131         sudo service docker stop || exit 0
132         sudo service docker start
133
134         cd $(FUEL_MAIN_DIR) && ./prepare-build-env.sh
135         # Verify that Docker is alive
136         sudo docker info
137         # fuel-main Makefiles do not like `make -C`
138         cd $(FUEL_MAIN_DIR) && make repos
139         cp f_repos/.cachefuelinfo gitinfo_fuel.txt
140
141         # Repeat build up to three times
142         sudo -E ./fuel_build_loop
143         cp $(FUEL_MAIN_DIR)/build/artifacts/fuel*.iso .
144         # Store artifact in cache straight away if caching is enabled
145         # (no .cacheid will be present unless this is a cached build)
146         test -f .cacheid && $(MAKE) -f Makefile put-cache || exit 0
147
148 .PHONY: mount-origiso umount-origiso
149 mount-origiso: $(ISOCACHE)
150         @echo "Mounting original ISO in $(ORIGDIR)"
151         @mkdir -p $(ORIGDIR)
152         @fuseiso $(ISOCACHE) $(ORIGDIR)
153
154 umount-origiso:
155         @echo "Unmounting original ISO from $(ORIGDIR)"
156         @fusermount -u $(ORIGDIR)
157         @rmdir $(ORIGDIR)
158
159 .PHONY: $(SUBDIRS)
160 $(SUBDIRS):
161         @mkdir -p release/packages/ubuntu/pool/main release/packages/ubuntu/pool/debian-installer release/puppet/modules release/isoroot
162         $(MAKE) -C $@ -f Makefile release
163
164 .PHONY: patch-packages
165 patch-packages:
166         ORIGISO=$(ISOCACHE) REVSTATE=$(REVSTATE) $(MAKE) -C $@ -f Makefile release
167
168 .PHONY: clean $(SUBCLEAN)
169 clean:  $(SUBCLEAN)
170         $(MAKE) -C f_repos -f Makefile clean
171         $(MAKE) -C patch-packages -f Makefile clean
172         @rm -f *.iso
173         @rm -Rf release
174         @rm -Rf newiso
175         @rm -Rf .versions
176         @rm -f $(NEWISO)
177         @rm -f $(BUILD_BASE)/gitinfo_*.txt
178
179 .PHONY: deepclean
180 deepclean: clean clean-cache
181         $(MAKE) -C f_repos -f Makefile deepclean
182         $(MAKE) -C docker clean
183         docker rmi opnfv.org/ubuntu-builder:14.04 &>/dev/null || exit 0
184         docker rmi opnfv.org/ubuntu-builder:latest &>/dev/null || exit 0
185         docker rmi ubuntu:14.04 &>/dev/null || exit 0
186         @if docker images | grep -q "ubuntu *14.04"; then \
187                 echo "Error: ubuntu:14.04 still present!"; \
188                 exit 1; \
189         fi
190         @if docker images | grep -q "opnfv.org/ubuntu-builder"; then \
191                 echo "Error: opnfv.org/ubuntu-builder still present!"; \
192                 exit 1; \
193         fi
194
195 $(SUBCLEAN): %.clean:
196         $(MAKE) -C $* -f Makefile clean
197
198 .PHONY: setup-env
199 setup-env:
200         @if [ -f environment.mk ]; then \
201                 sudo bash -c "cat environment.mk >> /etc/environment"; \
202         fi
203
204 # Todo: Make things smarter - we shouldn't need to clean everything
205 # betwen make invocations.
206 .PHONY: iso
207 iso:    setup-env $(ISOCACHE) $(SUBDIRS) patch-packages
208         $(REPOINFO) . > gitinfo_main.txt
209         install/install.sh iso $(ISOCACHE) $(NEWISO) $(PRODNO) $(REVSTATE)
210         @printf "\n\nProduct ISO is $(NEWISO)\n\n"
211
212 # Start a bash shell in docker for Makefile debugging
213 .PHONY: debug
214 debug:
215         @docker version >/dev/null 2>&1 || (echo 'No Docker installation available'; exit 1)
216         @make -C docker
217         docker/runcontext $(DOCKERIMG) debug
218
219 #############################################################################
220 # Cache operations - only used when building through ci/build.sh
221 #############################################################################
222
223 # Create a unique hash to be used for getting and putting cache, based on:
224 #   - The commit ID of the full Fuel repo structure
225 #   - The contents of all local Fuel patches
226 #   - Makefile, config and sensitive build scripts fingerprints
227 # NOTE: Patching is deterministic, so we can fingerprint (submodule root commit
228 #       info + OPNFV patches) at once, after patches-import.
229 # NOTE: When git submodule remote tracking is active, `git submodule status`
230 #       will point to the latest commits (remote/branch/HEAD) + OPNFV patches.
231 .cacheid:
232         $(MAKE) -C f_repos -f Makefile get-cache release
233         git submodule status | cut -c2-41 > .cachedata
234         sha1sum fuel_build_loop >> .cachedata
235         sha1sum config.mk >> .cachedata
236         sha1sum Makefile >> .cachedata
237         $(CACHETOOL) getbiweek >> .cachedata
238         cat .cachedata | $(CACHETOOL) getid > .cacheid
239
240 # Clean local data related to caching - called prior to ordinary build
241 .PHONY: clean-cache
242 clean-cache: $(SUBCLEANCACHE)
243         $(MAKE) -C f_repos -f Makefile clean-cache
244         rm -f .cachedata .cacheid
245
246 # Try to download cache - called prior to ordinary build
247 .PHONY: get-cache
248 get-cache: .cacheid
249         @if $(CACHETOOL) check $(shell cat .cacheid); then \
250                  $(CACHETOOL) get $(shell cat .cacheid) | tar xf -;\
251         else \
252                 exit 0;\
253         fi
254
255 # Store cache if not already stored - called after ordinary build
256 .PHONY: put-cache
257 put-cache: .cacheid
258         @tar cf - fuel*.iso gitinfo_fuel.txt | $(CACHETOOL) put $(shell cat .cacheid)