Merge "Update cirros image"
[fuel.git] / build / Makefile
index fdfb239..fadb8a8 100644 (file)
@@ -21,9 +21,13 @@ SHELL = /bin/bash
 export MOSVERSION = 9.0
 export ISOSRC = file:$(shell pwd)/fuel-$(MOSVERSION).iso
 export ISOCACHE = $(shell pwd)/$(shell basename $(ISOSRC))
-export PRODNO = "OPNFV_FUEL"
+export PRODNO ?= "OPNFV_FUEL"
 export REVSTATE = "P0000"
 export USER ?= $(shell whoami)
+export BUILD_DATE = $(shell date --utc +%Y-%m-%d:%H:%M)
+export OPNFV_GIT_SHA ?= $(shell git rev-parse HEAD)
+# Store in /etc/fuel_build_id on fuel master
+export BUILD_ID := $(PRODNO)_$(BUILD_DATE)_$(OPNFV_GIT_SHA)
 
 ifdef BUILD_FUEL_PLUGINS
 $(warning Overriding plugin build selection to $(BUILD_FUEL_PLUGINS))
@@ -53,8 +57,10 @@ export MIRROR_UBUNTU_ROOT := $(shell echo -n '/' ; echo "$(MIRROR_UBUNTU_URL)" |
 
 export LATEST_MIRROR_ID_URL := http://$(shell ./select_closest_fuel_mirror.py)
 
-export MIRROR_MOS_UBUNTU := $(shell echo "$(LATEST_MIRROR_ID_URL)" | cut -d'/' -f3)
-export LATEST_TARGET_UBUNTU := $(shell curl -sSf "$(MIRROR_MOS_UBUNTU)/mos-repos/ubuntu/$(MOSVERSION).target.txt" | head -1)
+export MIRROR_MOS_UBUNTU ?= $(shell echo "$(LATEST_MIRROR_ID_URL)" | cut -d'/' -f3)
+#export LATEST_TARGET_UBUNTU := $(shell curl -sSf "$(MIRROR_MOS_UBUNTU)/mos-repos/ubuntu/$(MOSVERSION).target.txt" | head -1)
+# Fuel 9.0
+export LATEST_TARGET_UBUNTU := snapshots/9.0-2016-06-23-164100-copy
 export MIRROR_MOS_UBUNTU_ROOT := /mos-repos/ubuntu/$(LATEST_TARGET_UBUNTU)
 
 export LATEST_TARGET_CENTOS := $(shell curl -sSf "$(LATEST_MIRROR_ID_URL)/mos-repos/centos/mos$(MOSVERSION)-centos7/os.target.txt" | head -1)
@@ -76,6 +82,8 @@ ORIGDIR := $(TOPDIR)/origiso
 # END of variables to customize
 #############################################################################
 
+FUEL_MAIN_DIR := /tmp/fuel-main
+
 SUBCLEAN = $(addsuffix .clean,$(SUBDIRS))
 
 .PHONY: all
@@ -101,13 +109,13 @@ include cache.mk
 
 $(ISOCACHE):
        # Clone Fuel to non-persistent location and build
-       if [ ! -d /tmp/fuel-main ]; then \
-               cd /tmp && git clone $(FUEL_MAIN_REPO); \
-       fi
-       cd /tmp/fuel-main && git checkout $(FUEL_MAIN_TAG)
-       @echo "fuel" `git -C /tmp/fuel-main show | grep commit | head -1 | cut -d " " -f2` >> $(VERSION_FILE)
-       # Patch for using the Czech Fuel mirror
-       cd /tmp/fuel-main && patch -p0 < $(TOPDIR)/repo-mirror-cz.patch
+       sudo rm -rf $(FUEL_MAIN_DIR)
+       $(MAKE) -C f_repos -f Makefile release
+       git clone $(FUEL_MAIN_REPO) $(FUEL_MAIN_DIR)
+       # Save upstream ref, checkout OPNFV tag (upstream ref + patches)
+       @echo "fuel" `git -C $(FUEL_MAIN_DIR) \
+               rev-parse $(F_OPNFV_TAG)-root` >> $(VERSION_FILE)
+       git -C $(FUEL_MAIN_DIR) checkout $(F_OPNFV_TAG)
        # Remove Docker optimizations, otherwise multistrap will fail during
        # Fuel build.
        sudo rm -f /etc/apt/apt.conf.d/docker*
@@ -123,24 +131,16 @@ $(ISOCACHE):
        sudo service docker stop || exit 0
        sudo service docker start
 
-       cd /tmp/fuel-main && ./prepare-build-env.sh
+       cd $(FUEL_MAIN_DIR) && ./prepare-build-env.sh
        # Verify that Docker is alive
        sudo docker info
-       cd /tmp/fuel-main && make repos
-       $(REPOINFO) -r /tmp/fuel-main > gitinfo_fuel.txt
-       # OPNFV patches at Fuel build time
-       # Need to be commited in order for them to be considered by the Fuel
-       # build system
-       cd /tmp/fuel-main/iso && git config user.name "Fuel OPNFV"
-       cd /tmp/fuel-main/iso && git config user.email "fuel@opnfv.org"
-       cd /tmp/fuel-main/iso && patch -p0 < $(TOPDIR)/bootstrap_admin_node.sh.patch
-       cd /tmp/fuel-main/iso && git add -u bootstrap_admin_node.sh
-       cd /tmp/fuel-main/iso/isolinux && patch -p0 <  $(TOPDIR)/isolinux.cfg.patch
-       cd /tmp/fuel-main/iso/isolinux && git add -u isolinux.cfg
-       cd /tmp/fuel-main/iso && git commit -m "Added OPNFV patches"
+       # fuel-main Makefiles do not like `make -C`
+       cd $(FUEL_MAIN_DIR) && make repos
+       cp f_repos/.cachefuelinfo gitinfo_fuel.txt
+
        # Repeat build up to three times
        sudo -E ./fuel_build_loop
-       cp /tmp/fuel-main/build/artifacts/fuel*.iso .
+       cp $(FUEL_MAIN_DIR)/build/artifacts/fuel*.iso .
        # Store artifact in cache straight away if caching is enabled
        # (no .cacheid will be present unless this is a cached build)
        test -f .cacheid && $(MAKE) -f Makefile put-cache || exit 0
@@ -167,6 +167,7 @@ patch-packages:
 
 .PHONY: clean $(SUBCLEAN)
 clean:  $(SUBCLEAN)
+       $(MAKE) -C f_repos -f Makefile clean
        $(MAKE) -C patch-packages -f Makefile clean
        @rm -f *.iso
        @rm -Rf release
@@ -177,7 +178,8 @@ clean:  $(SUBCLEAN)
 
 .PHONY: deepclean
 deepclean: clean clean-cache
-       make -C docker clean
+       $(MAKE) -C f_repos -f Makefile deepclean
+       $(MAKE) -C docker clean
        docker rmi opnfv.org/ubuntu-builder:14.04 &>/dev/null || exit 0
        docker rmi opnfv.org/ubuntu-builder:latest &>/dev/null || exit 0
        docker rmi ubuntu:14.04 &>/dev/null || exit 0
@@ -219,24 +221,26 @@ debug:
 #############################################################################
 
 # Create a unique hash to be used for getting and putting cache, based on:
-#   - The commit ID of the full Fuel repo structre
+#   - The commit ID of the full Fuel repo structure
 #   - The contents of all local Fuel patches
+#   - Makefile, config and sensitive build scripts fingerprints
+# NOTE: Patching is deterministic, so we can fingerprint (submodule root commit
+#       info + OPNFV patches) at once, after patches-import.
+# NOTE: When git submodule remote tracking is active, `git submodule status`
+#       will point to the latest commits (remote/branch/HEAD) + OPNFV patches.
 .cacheid:
-       cd /tmp && git clone $(FUEL_MAIN_REPO)
-       cd /tmp/fuel-main && git checkout $(FUEL_MAIN_TAG)
-       cd /tmp/fuel-main && make repos
-       $(REPOINFO) -r /tmp/fuel-main > .cachedata
-       sha1sum *.patch >> .cachedata
+       $(MAKE) -C f_repos -f Makefile get-cache release
+       git submodule status | cut -c2-41 > .cachedata
        sha1sum fuel_build_loop >> .cachedata
        sha1sum config.mk >> .cachedata
        sha1sum Makefile >> .cachedata
        $(CACHETOOL) getbiweek >> .cachedata
        cat .cachedata | $(CACHETOOL) getid > .cacheid
-       # Not removing fuel-main as it is re-used in build
 
 # Clean local data related to caching - called prior to ordinary build
 .PHONY: clean-cache
 clean-cache: $(SUBCLEANCACHE)
+       $(MAKE) -C f_repos -f Makefile clean-cache
        rm -f .cachedata .cacheid
 
 # Try to download cache - called prior to ordinary build