Preparing the experimental branch for improved Danube CI/CD experiments

Fast forwarded to commit:cf93e6ee11c96de090b04196cc96b4a6b0948928

Change-Id: I13d10d870e8ffc7317ab03f8810592d5b2205875
Signed-off-by: Jonas Bjurel <jonas.bjurel@ericsson.com>

Cleaning up the experimental branch

Should not be used any more!

Change-Id: I38fd1ea34aaa12c5d7d060bca47d1866bc97d185
Signed-off-by: Stefan K. Berg <stefan.k.berg@ericsson.com>

Autodeployment adaptation to Fuel 7

Change-Id: I5071b8d65828ab13a6b1a08b907289068104b27e
Signed-off-by: Szilard Cserey <szilard.cserey@ericsson.com>

Removed bind mount of .ssh in runcontext

Previously the .ssh directory of the invoking user was bind mounted
into the build container. This behavior is now removed. The ssh keys
in the user's .ssh is however *copied* into the container if, and only
if, the RSYNC_CONNECT_PROG environment variable has been set as this
indicates the need to tunnel rsync traffic over (presumably) ssh. In
this case the keys may actually be needed.

In both cases the .ssh/config file will be updated with the
   StrictHostKeyChecking=no
option to prevent failure due to the ssh confirmation dialogue.

Change-Id: Ic2ecc9d7a9abfa796bdfa6aaa8cde0dcb632d76e
Signed-off-by: Stefan K. Berg <stefan.k.berg@ericsson.com>
(cherry picked from commit bae859e2a47befeb3c6a97988dc778daf66e37bd)

Support for building Fuel behind a http proxy

The build system is now able to work also behind a traditional web
proxy setup if the http_proxy, https_proxy and (if needed) no_proxy
environment variables has been set prior to invoking make.

This is a joint work by Gillian Dunne <gillian.dunne@intel.com> and
Stefan Berg <stefan.k.berg@ericsson.com>.

Verification so far has been with a mock setup, placing the build
machine behind a Squid proxy and blocking outgoing traffic not going
through the proxy by firewall rules. The following environment
variables was set in the host for these tests:

RSYNC_PROXY=10.0.0.1:8888
http_proxy=http://10.0.0.1:8888
https_proxy=http://10.0.0.1:8888
no_proxy=localhost,127.0.0.1,.consultron.com,.sock

*** IMPORTANT NOTE ABOUT THE HOST PROXY SETTINGS ***

The build system will make use the following proxy environment
variables:

http_proxy:
https_proxy
no_proxy
RSYNC_PROXY
RSYNC_CONNECT_PROG

During the build phase, a local Ubuntu package repository is fetched
from upstream in order to be added to the OPNFV Fuel ISO and for parts
of this process rsync is used.

This will require that either RSYNC_PROXY is set according to the
format "<proxy host>:<proxy port>" and that the proxy indicated indeed
allows rsync traffic *or* that RSYNC_CONNECT_PROG is set to use an
alternative transport. For a detailed explanation of these settings,
see the rsync manual page.

*** IMPORTANT NOTE ABOUT THE HOST DOCKER DAEMON SETTINGS ***

The Docker daemon on the host must be configured to use the http proxy
for it to be able to pull the base Ubuntu 14.04 image from the Docker
registry before invoking make! In Ubuntu this is done by adding a line
like:

export http_proxy="http://10.0.0.1:8888/"

to /etc/default/docker and restarting the Docker daemon.

Change-Id: Ieed2269af295d90a4b33d834f723889bdf9c7dc6
Signed-off-by: Stefan K. Berg <stefan.k.berg@ericsson.com>
(cherry picked from commit 0635291a88dd006e15224169524a7fc761ad47ab)

Merge "Disabling the ODL plugin waiting for Fuel 7 uplift" into experimental

Merge "Updating address of Fuel repositories" into experimental

Merge "Fuel 7.0 rebase" into experimental

Disabling the ODL plugin waiting for Fuel 7 uplift

Change-Id: Ica4dfa6f1ab221bce62fdff0c9c065b4a93d76b5
Signed-off-by: Stefan K. Berg <stefan.k.berg@ericsson.com>

Updating address of Fuel repositories

Change-Id: I2b1e328923390075854a08ee5d3942e4286a9073
Signed-off-by: Stefan K. Berg <stefan.k.berg@ericsson.com>

Fuel 7.0 rebase

Initial change for the Fuel 7.0 rebase.

Change-Id: Ifbe1db9c892a94e64abbcfaaf1c98abce0c03dd4
Signed-off-by: Stefan K. Berg <stefan.k.berg@ericsson.com>

EXPERIMENTAL; DO NOT MERGE! Fuel 7.0 rebase

This is work in progress, do not merge but feel free to experiment
with this commit changeset as a base.

Change-Id: Ifbe1db9c892a94e64abbcfaaf1c98abce0c03dd4
Signed-off-by: Stefan K. Berg <stefan.k.berg@ericsson.com>

Copy gitinfo.txt to the root of the Fuel master

The gitinfo.txt file contains the SHA1 of all upstream repos
used during the build of the install ISO (including the OPNFV
Fuel repo as well). Move these to the root directory of the
nstalled Fuel master as well for easy reference.

Change-Id: I23caadc23c69744a980027ef24d974f11efc37bd
Signed-off-by: Stefan K. Berg <stefan.k.berg@ericsson.com>

Improved caching functionality and tracability

In order to enable the caching of more build artifacts than the Fuel
iso during CI builds, the caching functionality and the CI build
frontend "build.sh" has been rewritten.

The build.sh script will now rely on the "make cache" functionality of
the top Makefile to make sure that the build is using cache handling.

The underlying cache logic is implemented in "cache.mk" for the top
makefile and those recursive levels that do not produce cachable
artifacts themselves in that they are only calling the SUBDIRS of
their lower level (like f_isoroot).

All "leaf" Makefiles will however need to implement three cache
targets in their top Makefile (for visibility):

clean-cache:
        Clean all files relating to the handling of caches.
get-cache:
        Attempt to fetch a cached artifact using a SHA1 key.
put-cache:
        Store a built artifact into the cache.

They can just implement a simple "no-op" functionality for thes
targets if they do not have any use of the caching functionality.

If they are to use the caching functionality, they must make sure to
implement a logic that produces a SHA1 hash based on the source of the
data they are to cache - for upstream repos one suggestion is to use
the commit ID of the used upstream HEAD. For examples, see the top
Makefile that implements this logic for the Fuel ISO build, taking
into consideration the commit IDs of all the upstream repositories
used.

To improve tracability, the root directory of the ISO will contain the
file gitinfo.txt, which is meant to detail the upstream repo and
commit ID used for all upstream dependencies of a build. If you are
adding additional upstream dependencies, make sure to use the
repo_info.sh tool to add this data.

The cache tool cache.sh has no notion of the cache data it is storing
- from the tools perspective, cache data is just a binary blob piped
in or out of the tool.

This blob is stored by the cache tool at the cache location as
<SHA1>.blob, together with an associated meta file <SHA1>.meta.

The cache meta file currently holds just one line:

    Expires: <epoch time>

This file is expected to be used to iterate through the cache objects
and retire those who's expiry date has passed. Currently objects will
always have an expiry date of two weeks into the future, but down the
road the "cache put" functionality may be amended with an optional
"age" argument that can set a different expiration time.

New tools in this commit:

  cache.sh - the cache logic
  repo_info.sh - the (optionally recursive) repo information logger

Change-Id: I8a40546c21febeecc9de6d82c0ceb6bc60b04205
Signed-off-by: Stefan K. Berg <stefan.k.berg@ericsson.com>

Updated logic for selecting Ubuntu repo for mirroring

A slight improvement to Michal Skalski's original concept just
to filter out repos where updates are in progress (which would
leave us hanging).

Change-Id: Id641b3aa82b991c23b5742d1f64ff79cfbbd708c
Signed-off-by: Stefan K. Berg <stefan.k.berg@ericsson.com>

Temporary fix for forcing cache rebuild

The caching functionality will be greatly improved for the next
release - this is a quick fix for having the possiblility to
invalidate the cache forcefully when needed.

Change-Id: I4d83907255105fb454af6fb426193acc744fdba9
Signed-off-by: Stefan K. Berg <stefan.k.berg@ericsson.com>

Merge "Rebased patch due to upstream changes"

Rebased patch due to upstream changes

Change-Id: I63e39ff3d08bcfb80b83bb0c42082deb680ad727
Signed-off-by: Stefan K. Berg <stefan.k.berg@ericsson.com>

CAN MERGE
VERIFIED
Description: Improved handling of docker clean-up
JIRA: FUEL-71

Change-Id: I565f77e227da2dcbaecd86582ab6890508726607
Signed-off-by: Jonas Bjurel <jonas.bjurel@ericsson.com>

Modifications due to upstream changes

Removed a patch which is now incorporated upstream.
Added debmirror as a requirement for the build Docker
container.

Change-Id: I92fa8571019ece9bac41bec2baa3629d286a3a51
Signed-off-by: Stefan K. Berg <stefan.k.berg@ericsson.com>

Add AMT adapter

This adapter allow fuel deploy over Intel AMT/vPro system.
Please note that the adapter use amttool to interact with
target system, which imply that it only support up to
vPro v7.

Change-Id: I75f0882ea914b57d7d62338ed803a45104bc2d4e
Signed-off-by: Liyi Meng <liyi.meng@ericsson.com>

Move of genesis/fuel master branch: commit 563547b4a9f44090f32c0e17d040114854563760
Note: other installers and /common are removed

Change-Id: Ie5a2b0b7f3e7fa2eda191710c98456eeec17ed61
Signed-off-by: Jonas Bjurel <jonas.bjurel@ericsson.com>

Modified INFO
Added Licence.rst

Change-Id: I610e75eccd44adff177122dd8e3a93a44e83d28e
Signed-off-by: Jonas Bjurel <jonas.bjurel@ericsson.com>

Adding .gitreview INFO and License

Change-Id: I31333946c4095c3e96f541f3fcc62cdeabd17a77
Signed-off-by: Aric Gardner <agardner@linuxfoundation.org>

Initial empty repository