build/Makefile

   1 ##############################################################################
   2 # Copyright (c) 2015 Ericsson AB and others.
   3 # stefan.k.berg@ericsson.com
   4 # jonas.bjurel@ericsson.com
   5 # All rights reserved. This program and the accompanying materials
   6 # are made available under the terms of the Apache License, Version 2.0
   7 # which accompanies this distribution, and is available at
   8 # http://www.apache.org/licenses/LICENSE-2.0
   9 ##############################################################################
  10
  11 SHELL = /bin/bash
  12
  13 # This file will be created if needed by runcontext to contain proxy
  14 # settings.
  15 -include environment.mk
  16
  17 ############################################################################
  18 # BEGIN of variables to customize
  19 #
  20 #Input args
  21 export ISOSRC = file:$(shell pwd)/fuel-7.0.iso
  22 export ISOCACHE = $(shell pwd)/$(shell basename $(ISOSRC))
  23 export PRODNO = "OPNFV_FUEL"
  24 export REVSTATE = "P0000"
  25
  26 ifdef BUILD_FUEL_PLUGINS
  27 $(warning Overriding plugin build selection to $(BUILD_FUEL_PLUGINS))
  28 export NEWISO = $(shell pwd)/release/unofficial-opnfv-${REVSTATE}.iso
  29 else
  30 export NEWISO = $(shell pwd)/release/opnfv-${REVSTATE}.iso
  31 endif
  32
  33 # Note! Invoke with "make REVSTATE=RXXXX all" to make release build!
  34 # Invoke with ICOCACHE=/full/path/to/iso if cached ISO is in non-standard location.
  35
  36 # Build variables
  37 export BUILD_BASE := $(shell pwd)
  38 export DEB_DEST := $(BUILD_BASE)/release/packages/ubuntu/pool/main
  39 export UDEB_DEST := $(BUILD_BASE)/release/packages/ubuntu/pool/debian-installer
  40 export PUPPET_DEST := $(BUILD_BASE)/release/puppet/modules
  41 export VERSION_FILE := $(BUILD_BASE)/.versions
  42 export DOCKERIMG = opnfv.org/ubuntu-builder:14.04
  43 export TOPDIR := $(shell pwd)
  44 export REPOINFO  := $(BUILD_BASE)/repo_info.sh
  45
  46 # Use snapshots
  47 # Use nearby repositories
  48 export MIRROR_UBUNTU_URL := $(shell ./f_isoroot/f_repobuild/select_ubuntu_repo.sh --url)
  49 export MIRROR_UBUNTU := $(shell echo "$(MIRROR_UBUNTU_URL)" | cut -d'/' -f3 )
  50 export MIRROR_UBUNTU_ROOT := $(shell echo -n '/' ; echo "$(MIRROR_UBUNTU_URL)" | cut -d'/' -f4-)
  51
  52 export LATEST_MIRROR_ID_URL := http://$(shell ./select_closest_fuel_mirror.py)
  53
  54 export MIRROR_MOS_UBUNTU := $(shell echo "$(LATEST_MIRROR_ID_URL)" | cut -d'/' -f3)
  55 export LATEST_TARGET_UBUNTU := $(shell curl -sSf "$(MIRROR_MOS_UBUNTU)/mos-repos/ubuntu/8.0.target.txt" | head -1)
  56 export MIRROR_MOS_UBUNTU_ROOT := "/mos-repos/ubuntu/$(LATEST_TARGET_UBUNTU)"
  57
  58 export LATEST_TARGET_CENTOS := $(shell curl -sSf "$(LATEST_MIRROR_ID_URL)/mos-repos/centos/mos8.0-centos7-fuel/os.target.txt" | head -1)
  59 export MIRROR_FUEL := "$(LATEST_MIRROR_ID_URL)/mos-repos/centos/mos8.0-centos7-fuel/$(LATEST_TARGET_CENTOS)/x86_64"
  60
  61 # uncomment and use: make print-VARIABLE
  62 #print-%  : ; @echo $* = $($*)
  63
  64 #Build subclasses
  65
  66 SUBDIRS := f_isoroot
  67
  68 # f_example is only an example of how to generate a .deb package and
  69 # should not be enabled in official builds.
  70 #SUBDIRS += f_example
  71
  72 ORIGDIR := $(TOPDIR)/origiso
  73 #
  74 # END of variables to customize
  75 #############################################################################
  76
  77 SUBCLEAN = $(addsuffix .clean,$(SUBDIRS))
  78
  79 .PHONY: all
  80 all:
  81         @docker version >/dev/null 2>&1 || (echo 'No Docker installation available'; exit 1)
  82         @make -C docker
  83         @docker/runcontext $(DOCKERIMG) $(MAKE) $(MAKEFLAGS) iso
  84
  85
  86 ############################################################################
  87 # BEGIN of Include definitions
  88 #
  89 include config.mk
  90 include cache.mk
  91 #
  92 # END Include definitions
  93 #############################################################################
  94
  95 $(ISOCACHE):
  96         # Clone Fuel to non-persistent location and build
  97         if [ ! -d /tmp/fuel-main ]; then \
  98                 cd /tmp && git clone $(FUEL_MAIN_REPO); \
  99         fi
 100         cd /tmp/fuel-main && git checkout $(FUEL_MAIN_TAG)
 101         @echo "fuel" `git -C /tmp/fuel-main show | grep commit | head -1 | cut -d " " -f2` >> $(VERSION_FILE)
 102         # Setup cgroups for docker-in-docker
 103         sudo /root/enable_dockerx2
 104         # Patch for adding dosfstools, as Fuel 6.1 is running mkfs.vfat
 105         cd /tmp/fuel-main && patch -f -p0 < $(TOPDIR)/fuel-main_5.patch
 106         # Patch for using the Czech Fuel mirror
 107         # cd /tmp/fuel-main && patch -p0 < $(TOPDIR)/fuel-main_7.patch
 108         # Remove Docker optimizations, otherwise multistrap will fail during
 109         # Fuel build.
 110         sudo rm -f /etc/apt/apt.conf.d/docker*
 111         #
 112         # Need to replace the old Docker v. 1.5.0 with a later version to be
 113         # able to access the Docker remote repository!
 114         cd /tmp/fuel-main && patch -f -p0 < $(TOPDIR)/fuel-main_docker_version.patch
 115         # cd /tmp/fuel-main && patch -f -p0 < $(TOPDIR)/fuel-main_docker_dns.patch
 116         #
 117         cd /tmp/fuel-main && ./prepare-build-env.sh
 118         # Verify that Docker is alive
 119         sudo docker info
 120         cd /tmp/fuel-main && make repos
 121         $(REPOINFO) -r /tmp/fuel-main > gitinfo_fuel.txt
 122         # Repeat build up to ten times
 123         sudo ./fuel_build_loop
 124         cp /tmp/fuel-main/build/artifacts/fuel*.iso .
 125         # Store artifact in cache straight away if caching is enabled
 126         # (no .cacheid will be present unless this is a cached build)
 127         test -f .cacheid && $(MAKE) -f Makefile put-cache || exit 0
 128
 129 .PHONY: mount-origiso umount-origiso
 130 mount-origiso: $(ISOCACHE)
 131         @echo "Mounting original ISO in $(ORIGDIR)"
 132         @mkdir -p $(ORIGDIR)
 133         @fuseiso $(ISOCACHE) $(ORIGDIR)
 134
 135 umount-origiso:
 136         @echo "Unmounting original ISO from $(ORIGDIR)"
 137         @fusermount -u $(ORIGDIR)
 138         @rmdir $(ORIGDIR)
 139
 140 .PHONY: $(SUBDIRS)
 141 $(SUBDIRS):
 142         @mkdir -p release/packages/ubuntu/pool/main release/packages/ubuntu/pool/debian-installer release/puppet/modules release/isoroot
 143         $(MAKE) -C $@ -f Makefile release
 144
 145 .PHONY: patch-packages
 146 patch-packages:
 147         ORIGISO=$(ISOCACHE) REVSTATE=$(REVSTATE) $(MAKE) -C $@ -f Makefile release
 148
 149 .PHONY: clean $(SUBCLEAN)
 150 clean:  $(SUBCLEAN)
 151         $(MAKE) -C patch-packages -f Makefile clean
 152         @rm -f *.iso
 153         @rm -Rf release
 154         @rm -Rf newiso
 155         @rm -Rf .versions
 156         @rm -f $(NEWISO)
 157         @rm -f $(BUILD_BASE)/gitinfo_*.txt
 158
 159 .PHONY: deepclean
 160 deepclean: clean clean-cache
 161         make -C docker clean
 162         docker rmi opnfv.org/ubuntu-builder:14.04 &>/dev/null || exit 0
 163         docker rmi opnfv.org/ubuntu-builder:latest &>/dev/null || exit 0
 164         docker rmi ubuntu:14.04 &>/dev/null || exit 0
 165         @if docker images | grep -q "ubuntu *14.04"; then \
 166                 echo "Error: ubuntu:14.04 still present!"; \
 167                 exit 1; \
 168         fi
 169         @if docker images | grep -q "opnfv.org/ubuntu-builder"; then \
 170                 echo "Error: opnfv.org/ubuntu-builder still present!"; \
 171                 exit 1; \
 172         fi
 173
 174 $(SUBCLEAN): %.clean:
 175         $(MAKE) -C $* -f Makefile clean
 176
 177 .PHONY: setup-env
 178 setup-env:
 179         @if [ -f environment.mk ]; then \
 180                 sudo bash -c "cat environment.mk >> /etc/environment"; \
 181         fi
 182
 183 # Todo: Make things smarter - we shouldn't need to clean everything
 184 # betwen make invocations.
 185 .PHONY: iso
 186 iso:    setup-env $(ISOCACHE) $(SUBDIRS) patch-packages
 187         $(REPOINFO) . > gitinfo_main.txt
 188         install/install.sh iso $(ISOCACHE) $(NEWISO) $(PRODNO) $(REVSTATE)
 189         @printf "\n\nProduct ISO is $(NEWISO)\n\n"
 190
 191 # Start a bash shell in docker for Makefile debugging
 192 .PHONY: debug
 193 debug:
 194         @docker version >/dev/null 2>&1 || (echo 'No Docker installation available'; exit 1)
 195         @make -C docker
 196         docker/runcontext $(DOCKERIMG) debug
 197
 198 #############################################################################
 199 # Cache operations - only used when building through ci/build.sh
 200 #############################################################################
 201
 202 # Create a unique hash to be used for getting and putting cache, based on:
 203 #   - The commit ID of the full Fuel repo structre
 204 #   - The contents of all local Fuel patches
 205 .cacheid:
 206         cd /tmp && git clone $(FUEL_MAIN_REPO)
 207         cd /tmp/fuel-main && git checkout $(FUEL_MAIN_TAG)
 208         cd /tmp/fuel-main && make repos
 209         $(REPOINFO) -r /tmp/fuel-main > .cachedata
 210         sha1sum *.patch >> .cachedata
 211         sha1sum fuel_build_loop >> .cachedata
 212         sha1sum config.mk >> .cachedata
 213         sha1sum Makefile >> .cachedata
 214         $(CACHETOOL) getbiweek >> .cachedata
 215         cat .cachedata | $(CACHETOOL) getid > .cacheid
 216         # Not removing fuel-main as it is re-used in build
 217
 218 # Clean local data related to caching - called prior to ordinary build
 219 .PHONY: clean-cache
 220 clean-cache: $(SUBCLEANCACHE)
 221         rm -f .cachedata .cacheid
 222
 223 # Try to download cache - called prior to ordinary build
 224 .PHONY: get-cache
 225 get-cache: .cacheid
 226         @if $(CACHETOOL) check $(shell cat .cacheid); then \
 227                  $(CACHETOOL) get $(shell cat .cacheid) | tar xf -;\
 228         else \
 229                 exit 0;\
 230         fi
 231
 232 # Store cache if not already stored - called after ordinary build
 233 .PHONY: put-cache
 234 put-cache: .cacheid
 235         @tar cf - fuel*.iso gitinfo_fuel.txt | $(CACHETOOL) put $(shell cat .cacheid)