Use mirrors snapshots

Add logic to fetch information about last suitable snapshot which can be
used to download ubuntu packages. This is for example use to build
community ISO [1]. This should help in case of snapshot switch [2].

[1]
https://github.com/fuel-infra/jenkins-jobs/blob/master/servers/fuel-ci/8.0/builders/community.all.sh#L36-L40
[2] https://bugs.launchpad.net/fuel/+bug/1493390/comments/9

Change-Id: Id5a8d41278561473ea4844631bfefa0049e64dbc
Signed-off-by: Michal Skalski <mskalski@mirantis.com>
(cherry picked from commit 394c79fe428faa9c50ed1db6d750b363b44130b9)

Turn on fuelmenu by default, turn off biosdevname

Added experimental Fuel build loop, rebuilding up to ten times
while keeping the package cache, in the hope that all packages
will be able to download. Added snapshot support into this script
as well.

Changed naming of OPNFV iso label to OPNFV_FUEL_<id>, made changes
in ks.cfg and isolinux.cfg to look for this name at install.

Change-Id: Ic28a3af769cfc90416d7d988afd6f07eadcef4f1
Signed-off-by: Stefan K. Berg <stefan.k.berg@ericsson.com>
(cherry picked from commit 35697966da656585c43e2a2342a135ada65703cb)

Small updates to build-requirements for docker stuff.
fixed whitespace x2
Change-Id: Ie9d52f820400df10d88ade035f2900aecab0c66d
JIRA:0
Signed-off-by: Daniel Smith <daniel.smith@ericsson.com>
(cherry picked from commit 5efee382a2457f32e6202214247d76098b8bb45b)

Correction of cache handling for ISO build

The cache id was not generated considering config.mk nor
Makefile.

Change-Id: I29ae0d60b89d4653cb38cffe83f666c5056daf63
Signed-off-by: Stefan K. Berg <stefan.k.berg@ericsson.com>
(cherry picked from commit dc8eec07243d65c99be15bda2c112c35caa48c54)

Ignoring pyc and eclipse files

Change-Id: I6883c45b805ba52ed485c634300c86652c9cb9e0
(cherry picked from commit 516e97efb5a47e6e2b88f1b237f3f9e1c6465832)

Fix to allow more physical nodes defined in DHA than node definitions in dea
NOT VERIFIED
DO NOT MERGE

Change-Id: Id5b6029d11bfcd394e6f84a7b73b8a17820561cf
Signed-off-by: Jonas Bjurel <jonas.bjurel@ericsson.com>

add map for onos virtual deployment

Change-Id: I331a9936156730e58846007f154e6eadaeedd5ba
(cherry picked from commit 9f1fe75c7208183d84cc4600670e7e0b2e58abd2)

Scenario uplift to Fuel8
- Re arranged node-roles according to Fuel8 requirements
  o There must be at least 3 CephOSD nodes
  o Ceph-OSD cannot be co-located with Mongo
  o Mongo cann not run on compute

Change-Id: I55b99bb4e5779170b31a56025d36b9b55a1a4da2
Signed-off-by: Jonas Bjurel <jonas.bjurel@ericsson.com>
(cherry picked from commit 0068505bab4bb8960594d4865a61fd3661bbe981)

Fixed DNS and NTP serves for default virtual lab definitions

Change-Id: I47a5e2b3bc0e74c44256c6733e331b89889cf9c7
Signed-off-by: Jonas Bjurel <jonas.bjurel@ericsson.com>
(cherry picked from commit 218381cdc6073510d7ee280c1a5f54e56b25b051)

Temporary fix for ONOS deployment scenario.

- Although ONOS supports L3, this patch doesnt let the L3 capabilities
  of ONOS loose - this is due to OPNFV Pharos lab incompatibilities
  with ONOS. Hope to have a fix soon
- Also provides a template for scenario short names

Change-Id: Ie86bcdc23492ee0fd7a19c11eecfca07afb64df3
Signed-off-by: Jonas Bjurel <jonas.bjurel@ericsson.com>
(cherry picked from commit bc8d77ae064f1e6ed910edaf37a0c27beed33026)

Integration of vsperf plugin

VERIFIED
READY TO MERGE

Change-Id: Ia3b01c0de1081ce24e4db361ba6e77475e8ea291
Signed-off-by: Jonas Bjurel <jonas.bjurel@ericsson.com>
(cherry picked from commit bb22abb222dd0add134a4f911042422594e6f47b)

Adding fuel-bgpvpn-plugin and Scenario

To use the bgpvpn fuel plugin configs where added
and a first scenario using it is added

Change-Id: Id3c65abe39e1945f6a451c523732a513b01db696
(cherry picked from commit 76aa5bd1daf9568ab91f7586b0627062ffb26fb0)

Removing CPU specification from Templates

Not all the flags are supported by
every machine. This patch removes
the specification of cpu and
lets libvirt decide what cpu
model is used.

Change-Id: I1f183560e47d58abcfe496838a815d3f3594ee1b
(cherry picked from commit a732cb72ef59f11a0de1df4cbcb2630fa88afd8d)

Align scenario short names between installers

The fields in scenario short name is agreed between joid and fuel
as below.

    os-[controller]-[feature]-[mode](-[optionalparameter])

Change-Id: I3729e660c10429df0e2d8cf25e4b5a66128afa7e
Signed-off-by: Fatih Degirmenci <fatih.degirmenci@ericsson.com>
(cherry picked from commit 239f910e2a5999ad21c995bcf85441006b69a577)

VLAN Segmentation scenarios needed for virtual traffic classifier

Change-Id: I2a42cff6f128bc0faca40bd6576c52282e66c0f4
Signed-off-by: Jonas Bjurel <jonas.bjurel@ericsson.com>
(cherry picked from commit 9e2b5ea04932ad255882d1e707fb2b7eae5afcf9)

Fix build failure in fuel base & qemu

Change-Id: I4a6cc047011547402641619a5683af3d24c057ee
Signed-off-by: Ruijing Guo <ruijing.guo@intel.com>

Deploy Scenario bug-fixes
- Fixed HA defenition for ODL-L2 and ODL-L3 in scenario.yaml

Change-Id: I60cbac779b2faa34f0bf96159839826e157295fe
Signed-off-by: Jonas Bjurel <jonas.bjurel@ericsson.com>
(cherry picked from commit 6f63a544ae61980bd209b4f6c1f0f14cbc2efab5)

Added a few more deply.sh arguments needed by Jenkins

Added arguments:
  -B  PXE Bridge for booting of Fuel master
  -f  Deploy on existing Fuel master
  -F  Do only create a Fuel master
  -H  NO Health check
  -S Storage dir for VM images

Added checks for URI formats

Change-Id: I1f5138a2058e7b3274e9acf4bbbba243a427fb96
Signed-off-by: Jonas Bjurel <jonas.bjurel@ericsson.com>
(cherry picked from commit 7f6ef57c0028e4551137ab22d8e7e3eef53ac487)

Small fixes to the deployment scenario framework:

- Added deploy.sh -d option for dryrun. With -d + all the other mandatory
  arguments, deploy.sh produces ci/config/dea.yaml and /ci/config/dha.yaml
  with out actually deploying the stack.
- Bugfix to exit with rc <> 0 if deployment fails.
- Don't delete the programatically constructed dea.yaml or dha.yaml
  under fuel/ci/config after deploy has finished.
  dea.yaml and dha.yaml are needed functest, therefore these files
  must not be deleted after deployment has finished. They will reside
  in fuel/ci/config/.
- Dont merge the dha-override section in deployment scenarios with the final
  dha.yaml unless the deployment is virtual. There is no way you can
  programatically override physicall resources, wireing, ipmi set-up, etc. -
  while you can for virtual environments.

VERIFIED
READY TO MERGE

Change-Id: If4dedc472e07ed60071ee34c73db29f3b9c45252
Signed-off-by: Jonas Bjurel <jonas.bjurel@ericsson.com>
(cherry picked from commit c6a9f766792032a4cc84bc801e15b05a29f09e8e)

ONOS scenario according to wanted config file structure

Replaces:
- https://gerrit.opnfv.org/gerrit/#/c/5999/
- https://gerrit.opnfv.org/gerrit/#/c/6003/

Description:
- Onos scenarios updated with needed dea and dha overrides, no scenario
  specific information in other config files such dha, dea_base, dea_pod
  override, etc.
- Added a virtual POD for Huawei-china specific needs, i.e. DNS and NTP.
- Small fix in deploy-conf.py

Change-Id: I85fe2fc4e9ec5fe0bc98ae7b399f2e49af6450f9
Signed-off-by: Jonas Bjurel <jonas.bjurel@ericsson.com>
(cherry picked from commit 283bf98d087afd9073632340800e745f5a8d8de2)

A simple method to separate configuration for base fuel, plugins, PODs
and deployment/test scenarios

READY TO MERGE!

Replaces: https://gerrit.opnfv.org/gerrit/#/c/3995/

Abstract
--------
This deployment framework relies on a configuration structure,
providing base installer configuration, per POD specific configuration,
plugin configuration, and deployment scenario configuration.
- The base installer configuration resembles the least common denominator
  of all HW/POD environment and deployment scenarios (These configurations
  are normally carried by the the installer projects in this case (fuel@OPNFV).
- Per POD specific configuration specifies POD unique parameters, the POD
  parameter possible to alter is governed by the Fuel@OPNFV project.
- Plugin configuration - providing configuration of a specific plugin.
  these configurations maintain there own namespace and are normally maintained
  by collaborative projects building Fuel@OPNFV plugins
- Deployment scenario configuration - provides a high level, POD/HW environment
  independent scenario configuration for a specific deployment. It defines what
  features/plugins that shall be deployed - as well needed overrides of the
  plugin config as well as the base installer-, POD/HW environment-
  configurations. Objects allowed to override
  is governed by the Fuel@OPNFV project.

Executing a deployment
----------------------
deploy.sh must be executed locally at the target lab/pod/jumpserver
A lab configuration structure must be provided - see the section below.
It is straight forward to execute a deployment task - as an example:
sudo deploy.sh -b file:///home/jenkins/config -l ericsson-1 -p pod-2
-s os_odl-l2_no-ha -i file:///home/jenkins/MyIso.iso

-b and -i arguments should be expressed in URI style. The resources can thus be
local or remote.

Feedback
--------
Please give feed-back before I'm going to far on a wrong tangent

Implemented scenarios so far:
-----------------------------
- os_ha
- os_no-ha
- os_odl-l3_ha
- os_odl-l3_no-ha
- os_odl-l2_ha
- os_odl-l2_no-ha
- os_onos_ha
- os_onos_no-ha
- os_kvm_ha
- os_kvm_no-ha
- os_ovs_ha
- os_ovs_no-ha
- os_kvm_ovs_ha
- os_kvm_ovs_no-ha

VERIFIED
READY TO MERGE

JIRA: FUEL-35

Change-Id: I94a9b477d8ed4ee8057c16d8f20fe543f7ecc20d
Signed-off-by: Jonas Bjurel <jonas.bjurel@ericsson.com>
(cherry picked from commit 7fd2619e0df370fa832eeff00790bcaa52dc4ffc)

updates to use new doc toolchain

Change-Id: Ic743125195c158dfb6b09b7f101f71cc71e66c2b
Signed-off-by: Ryota MIBU <r-mibu@cq.jp.nec.com>

Fix noha virtual deployment templates for Erisson blade

This change also move the noha templates into new directory structure
which is proposed as a separate change with change-id
I1ba1f1a7dd3951f4ce403ad2efde6a76130d533e

Change-Id: I0bae0c90ae99c8eea1bc43295e727962709ecbe0
Signed-off-by: Fatih Degirmenci <fatih.degirmenci@ericsson.com>

Update OVS Plugin

1. fix issue in https://gerrit.opnfv.org/gerrit/#/c/5179/
2. no change for OVS without DPDK
3. add OVS with DPDK packages
4. add DPPD
5. TODO: netvirt + OVS with DPDK

Change-Id: I153a95426d388d58933799e183d7b7316062e525
Signed-off-by: Ruijing Guo <ruijing.guo@intel.com>

upload onosfw plugin makefile

Change-Id: I70f81d0ad66d559a672ca037021b4256b18a202d

Added Fuel plug-in builder for OVSNFV

JIRA FUEL-36

Change-Id: I354919bbed08dc2a449fa49334ca26d05e057676
Signed-off-by: Jonas Bjurel <jonas.bjurel@ericsson.com>

Merge "Update OVS Plugin"

Update OVS Plugin

1. no change for OVS without DPDK
2. add OVS with DPDK packages
3. add DPPD
4. TODO: netvirt + OVS with DPDK

Change-Id: I5e1e0c14bea0a2c3284d572cc2ab333486d119d1
Signed-off-by: Ruijing Guo <ruijing.guo@intel.com>

Update KVM/QEMU

1. fix KVM/QEMU boot issue

Change-Id: I967e79e5a8eb6f349ad4feb61fa9701901e2913d
Signed-off-by: Ruijing Guo <ruijing.guo@intel.com>

Merge "Revert "Fix for the default virtaul enviroment template.""

Revert "Fix for the default virtaul enviroment template."

We need to revert this in order to be able to run virtual
deployments on Intel machine. The issue on Ericsson machine
needs to be looked into after the vacation period.

This reverts commit 6ffd176509318935eae6dd554a5fb70c255c6db3.

Change-Id: Ia0d33bee15f127016c3fda778b4327b5877f79f0

Remove extra controller from Ericsson POD2 DEA

Change-Id: I824e781f24a918fe724f3eb7194005cbf5962b5b
Signed-off-by: Fatih Degirmenci <fatih.degirmenci@ericsson.com>

Fix for the default virtaul enviroment template.

Im not sure who / how this value was changed, but when you are doing a virtual "AUTOMATED" installation, then the value needs to remain as the FUEL VM, since in a nested
environment, the idea is NOT to allow the VM's external access (only to the FUEL VM on the ADMIN network )...

If you need to have a different "virtualConfiguration", the create a new subdirectory and a alternate configuration rather than the working / default template for CI for FUEL Nested Setup

Change-Id: I6163307bac285d710a5a5c683798a3c20c609932
Signed-off-by: lmcdasm <lmcdasm@OPNFV-VNCSRV1.opnfvericsson.ca>
JIRA: 007

Move install_docker.sh to common place

1. copy install_docker.sh in qemu plugin to docker/ubuntu-builder
2. change docker build in ovs & qemu

Change-Id: I3c0143e5e1b10a1cf798592d8bc05a49a5d12d48
Signed-off-by: Ruijing Guo <ruijing.guo@intel.com>

Align all plugins with new method for cache id

The cache tool is now responsible for returning the commit
ID of a branch, tag or commit. This change was first
introduced in the bgpvpn plugin and now the rest of the
plugins with a need for this are also using the same method.

Without this, a plugin pointing to a commit ID on master
would fail to build once the head of master is updated to
point to a later commit...

Change-Id: I7c32d5b41871741717ae42c1334e8557f0b0bedd
Signed-off-by: Stefan K. Berg <stefan.k.berg@ericsson.com>

Created a template for installer configuration

Change-Id: Ia47d104773987f6517eac2a198994d63c9f8122c
Signed-off-by: Sofia Wallin <sofia.wallin@ericsson.com>

Rebased with latest upstream ONOSFW plugin

Change-Id: Iaa8f101380124aae3c91f75702a89ab784884072
Signed-off-by: Jonas Bjurel <jonas.bjurel@ericsson.com>

Replace ericsson-pod2 dha and dea files with the working versions

Change-Id: Ia071dd3c76a5d3fc5f8418e39f123850358a00a6
Signed-off-by: Fatih Degirmenci <fatih.degirmenci@ericsson.com>

Uplift of Docker versions

The Docker version 1.5.0 is no longer allowed to acces the
Docker remote image repository!

Switching to version 1.7.1 instead.

Change-Id: Id71cab4b26a02e98a3bb51f31caa394bcf25b7d9
Signed-off-by: Stefan K. Berg <stefan.k.berg@ericsson.com>

Fix for cache handling

Introduced a separate function "getcommitid" in the cache.sh
- a.k.a. $(CACHETOOL) - so that given a repo and a tag, branch
or commitid the corresponding commitid is returned.

The same principle should be used in all caching functions where
not a strict tag or head is specified (as git ls-remote will not
be able to figure out the commit id in those cases).

Change-Id: I3540dca7ab408c872eaabdc68d4058f9d6d7c45f
Signed-off-by: Stefan K. Berg <stefan.k.berg@ericsson.com>

Merge "Updated Installation Instruction for FUEL B-REL WP1 (FUEL 7.0 rebasing)"

Updated Installation Instruction for FUEL B-REL WP1 (FUEL 7.0 rebasing)

Updates include:
   -  MTU Fix (JIRA FUEL-84)
   -  Updates for FUEL config (admin pwd, HTTP proxy option)
   -  Updates for FUEL 7.0 UI Elements
   -  Tagged areas for updated when ODL is available in next WP
   -  Corrected typo
   -  Changed name installation-intruction
   -  Changed name build-instruction

JIRA: FUEL-84

replacing  change: https://gerrit.opnfv.org/gerrit/#/c/3449/

Change-Id: Ib855c67e7fbe93781a4252f43f2911d9c5fa0645
Signed-off-by: Sofia Wallin <sofia.wallin@ericsson.com>

Bugfix fuel-plugin-bgpvpn use wrong branch

This commit fixes the failing master build:
https://build.opnfv.org/ci/view/fuel/job/fuel-build-master/80/

Signed-off-by: jose.lausuch <jose.lausuch@ericsson.com>
On behalf of Nikolas Hermanns <nikolas.hermanns@ericsson.com>

Change-Id: Idd7c6cf00f9bc0792d70953d57f4c32f223d547d

Integration of ODL BGP-VPN plugin

READY TO MERGE
JIRA: FUEL-48

Change-Id: Idc44966f32caf8728580bac8bcc89981f7c987ba
Signed-off-by: Jonas Bjurel <jonas.bjurel@ericsson.com>

Update QEMU/KVM plugin

1. docker based build in qemu plugin
2. rebase to fuel 7.0
3. add kvm4nfv

Change-Id: I5aceeec5e5f88b936cea43fa07db36f65e332211
Signed-off-by: Ruijing Guo <ruijing.guo@intel.com>

Docker based build for ovs and rebase to Fuel 7.0

Change-Id: I05ccabdb329dff31a52b3cd6c1b60148bee8efe9
Signed-off-by: Ling Yu <ling.y.yu@intel.com>
Signed-off-by: Ruijing Guo <ruijing.guo@intel.com>

Add fuel templates for Ericsson Montreal Lab POD2

Change-Id: I45130cc7d3457ebafec1d9e31b95e03a10847c8f
Signed-off-by: Fatih Degirmenci <fatih.degirmenci@ericsson.com>

Add fuel templates for Ericsson Montreal Lab POD1

Change-Id: Icc2f63569fd39d517ae5d29ef47839c1b6c742ba
Signed-off-by: Jo¶rgen Karlsson <jorgen.w.karlsson@ericsson.com>

Merge "FIX for getting all types of error log messages from /var/log/puppet.log on nodes"

Merge "Refactor temporary directory creation"

FIX for getting all types of error log messages from /var/log/puppet.log on nodes

Change-Id: Id43e74fd3ebd1bd0c62e2aa963793d6b072e3fcc
Signed-off-by: Szilard Cserey <szilard.cserey@ericsson.com>

Merge "Reaping improvements for Fuel 7"

Reaping improvements for Fuel 7

In order to download the deployment information, the node id
must be explicitly specified.

The fuel setting commmand returns "ha_compact" as the mode for
a cluster, but Fuel does itself not understand this when changing
the settings - it needs to be named "ha".

Added shebang for reap.py and deploy.py.

Upped the default image sizes for the DHA template to match
Fuel 7.

Change-Id: I3ecacb83dc44454b90dedc98104658a16926dc1f
Signed-off-by: Stefan K. Berg <stefan.k.berg@ericsson.com>

Refactor temporary directory creation

Use Python's tempfile instead of forking a shell for mktemp.

Change-Id: Icba442ea08d4098d67fb51575da16e85d4363beb
Signed-off-by: Peter Barabas <peter.barabas@ericsson.com>

Change network config for LF-POD2 to match the current jumphost management interface.

Change-Id: Ia9b65ee67e7972a7def8c38a71f7fed212c68e60
Signed-off-by: jose.lausuch <jose.lausuch@ericsson.com>

Support for selecting which plugins to build

In order to cut the build time for unofficial builds, this change
supports setting the environment variable "BUILD_FUEL_PLUGINS" prior
to building.

Only the plugin targets from fuel/build/f_isoroot/Makefile that are
specified will then be built. In order to completely disable the
building of plugins, the environment variable is set to " ".

When using this functionality, the resulting iso file will be
prepended with the prefix "unofficial-" to clearly indiciate that
this is not a full build.

Change-Id: Ib0a914ed6577f54f31b056a752691316302081dc
Signed-off-by: Stefan K. Berg <stefan.k.berg@ericsson.com>

Moved the noha virtual templates

This will complete the restructuring of the Fuel repo.

Change-Id: If2029617dca872741d6108362a7315833ae62c4e
Signed-off-by: Stefan K. Berg <stefan.k.berg@ericsson.com>

Merge "Smaller non-HA virtual deployment template"

Remove doc configuration in order to use common config

Common doc generation configuration will be controlled from releng.

Change-Id: I4e79a9b7b620fd556eedafbfdc7b3eee223c98eb
Signed-off-by: Fatih Degirmenci <fatih.degirmenci@ericsson.com>

Enable new doc generation for fuel

The work to unify the doc generation for all OPNFV projects is currently
ongoing. This change adjusts docs directory structure for fuel project.

Trigger the fuel-verify build without cache.
verify: no-cache

Change-Id: Ie430b662c5b50d38efe0c8a1eb50aa8f01c85e85
Signed-off-by: Fatih Degirmenci <fatih.degirmenci@ericsson.com>

ONOSFW SDN support

Implements a plugin builder for the ONOSFW Fuel plugin.

TODO:
- Naildown upstream plug-in to a specific tag/commit-id

NOT VERIFIED
DO NOT MERGE
JIRA: FUEL-56

Change-Id: I7c1a60446593ec860fc87a51255242388044e254
Signed-off-by: Jonas Bjurel <jonas.bjurel@ericsson.com>

Plugin builder for OVS-NSH-DPDK

This plugin builder builds the OVS-NSH-DPDK plugin such
that it can be automatically deployed off-line (part of the .iso)

READY TO MERGE

Change-Id: Ied8e0a8d01baea932acc5eb3398cec48e44d5c04
Signed-off-by: Jonas Bjurel <jonas.bjurel@ericsson.com>

OPNFV qemu (KVM4NFV) plugin builder/installer.

This plugin builder builds the KVM4NFV plugin such that it can be automatically deployed off-line (part of the .iso)

READY TO MERGE
verify: no-cache
Change-Id: I1d4877c5fd83b4f4aee4432173edaf2a438406e3
Signed-off-by: Fuel@OPNFV <fuel@opnfv.org>

Download plugins dependencies using fuel-createmirror

Including dependencies directly in to plugin binary require maintain list
of direct links to specific versions of system packages, which often
become out of date. This change propose to create requirements-deb.txt file
in plugin build directories which will contain only names of deb packages
needed for successful deployments in offline environments. Based on the
content of these files the common list of dependencies will be created [1].
Defined system packages together with their dependencies will be downloaded
during process of creating partial mirror.

[1] https://docs.mirantis.com/openstack/fuel/fuel-7.0/operations.html#troubleshooting-partial-mirror

verify: no-cache
Change-Id: If40b040fcf062f78af6c453a791b02ebf10e7b85
Signed-off-by: Michal Skalski <mskalski@mirantis.com>

Restructcture of the directory layout

Restructure of the directory layout due to move of Fuel into it's own repo
JIRA: FUEL-85

Change-Id: I3647e1992a508f29dce06a5d6c790725c527f6f5
Signed-off-by: Jonas Bjurel <jonas.bjurel@ericsson.com>

Update of endpoint addresses

As https endpoints introduced in Fuel 7.0 has caused some
issues for the automated test setup, this reverts back to
the "non https" behavior as in 6.1 for both Horizon and
the endpoints, disabling https.

This is a *momentary* solution, we need to figure out how
to setup the testing infrastructure with secure endpoints
enabled!

Change-Id: Ida61c2fd0834861b26ab64afec87b2bfbd921e0e
Signed-off-by: Stefan K. Berg <stefan.k.berg@ericsson.com>

Smaller non-HA virtual deployment template

Change-Id: I8eb9ff059e45d4f72ba7b750ff17661e0f3bade3
Signed-off-by: Stefan K. Berg <stefan.k.berg@ericsson.com>

Distributed plug-in configuration templates

This change proposes a new handling of plugin configuration files:
- Each plugin is responsible to carry own configuration template files
- Each of the plugin build fragments are responsible to copy these configuration
  files to ..deploy/templates/plugins/.
- Later, some entity will be responsible to link rellevant configuration files
  from ..deploy/templates/plugins to ..<deploy_environment>/conf/plugins_conf,
  I.e. to respective/active deployment environment.
- The actual linking process is not in place yet, but it could for example be
  deploy.sh, a separate deploy prep script or similar performing the linking
  based on arguments, or a config file describing the wanted set-up.

Change-Id: Ia16a2c26bb1e1a51195be2382da502777d209a45
Signed-off-by: jonas.bjurel@ericsson.com <jonas.bjurel@ericsson.com>

Rebase of ks.cfg due to upstream changes

Change-Id: I27b88dbfddb6e16650096aa50d6edd560ea7547a
Signed-off-by: Stefan K. Berg <stefan.k.berg@ericsson.com>

Build OpenDaylight plugin for Fuel 7.0

Change-Id: Ifc529102b59d0aa3aa4b766cc592e7ee8c2eddc1

Updating address of Fuel repositories

Change-Id: I2b1e328923390075854a08ee5d3942e4286a9073
Signed-off-by: Stefan K. Berg <stefan.k.berg@ericsson.com>
Conflicts:
fuel/build/config.mk

Conflicts:
fuel/build/config.mk

Merge "Autodeployment adaptation to Fuel 7"

Merge "Disabling the ODL plugin waiting for Fuel 7 uplift"

Merge "Fuel 7.0 rebase"

Autodeployment adaptation to Fuel 7

Change-Id: I5071b8d65828ab13a6b1a08b907289068104b27e
Signed-off-by: Szilard Cserey <szilard.cserey@ericsson.com>
Conflicts:
fuel/deploy/templates/hardware_environment/conf/ericsson_montreal_lab/dea.yaml
fuel/deploy/templates/hardware_environment/conf/linux_foundation_lab/pod1/dea.yaml
fuel/deploy/templates/hardware_environment/conf/linux_foundation_lab/pod2/dea.yaml
fuel/deploy/templates/hardware_environment/conf/opnfv_box/dea.yaml
fuel/deploy/templates/virtual_environment/conf/dea.yaml

Disabling the ODL plugin waiting for Fuel 7 uplift

Change-Id: Ica4dfa6f1ab221bce62fdff0c9c065b4a93d76b5
Signed-off-by: Stefan K. Berg <stefan.k.berg@ericsson.com>

Fuel 7.0 rebase

Initial change for the Fuel 7.0 rebase.

Change-Id: Ifbe1db9c892a94e64abbcfaaf1c98abce0c03dd4
Signed-off-by: Stefan K. Berg <stefan.k.berg@ericsson.com>
Conflicts:
fuel/build/config.mk

EXPERIMENTAL; DO NOT MERGE! Fuel 7.0 rebase

This is work in progress, do not merge but feel free to experiment
with this commit changeset as a base.

Change-Id: Ifbe1db9c892a94e64abbcfaaf1c98abce0c03dd4
Signed-off-by: Stefan K. Berg <stefan.k.berg@ericsson.com>
Conflicts:
fuel/build/config.mk

FIX for NTP and for error log fetching from nodes

Change-Id: I2d56ccc97216676f5bf01b7ea1b35aaade9c33da
Signed-off-by: Szilard Cserey <szilard.cserey@ericsson.com>

Merge "FIX for ODL tzdata dependency issue suggested by Michal Skalski"

FIX for ODL tzdata dependency issue suggested by Michal Skalski

Change-Id: Ia2b5e69318788a2c8c1c061ce9cc14cd3c020397
Signed-off-by: Szilard Cserey <szilard.cserey@ericsson.com>

Add dependency checker tool

A simple script, check_dependencies.sh, has been put in the build
root. Given a file as argument, it will attempt to verify that all
URIs within said file are accessible. If not, an error message will be
presented and the script will exit with return code 1.

The script is added to the ODL plugin makefile, and used to verify the
Ubuntu and CentOS dependencies within.

Change-Id: I4bac9eb5e383629794f6f72baa5472f258e35bef
Signed-off-by: Stefan K. Berg <stefan.k.berg@ericsson.com>

Merge "Removed bind mount of .ssh in runcontext"

Removed bind mount of .ssh in runcontext

Previously the .ssh directory of the invoking user was bind mounted
into the build container. This behavior is now removed. The ssh keys
in the user's .ssh is however *copied* into the container if, and only
if, the RSYNC_CONNECT_PROG environment variable has been set as this
indicates the need to tunnel rsync traffic over (presumably) ssh. In
this case the keys may actually be needed.

In both cases the .ssh/config file will be updated with the
   StrictHostKeyChecking=no
option to prevent failure due to the ssh confirmation dialogue.

Change-Id: Ic2ecc9d7a9abfa796bdfa6aaa8cde0dcb632d76e
Signed-off-by: Stefan K. Berg <stefan.k.berg@ericsson.com>

minor fixes

fix for error log collecting feature

Change-Id: I4db2ac19421301e1745a3beed90f32df57d75f8d
Signed-off-by: Szilard Cserey <szilard.cserey@ericsson.com>

Merge "Plugin config + bugfix + refactoring"

Plugin config + bugfix + refactoring

ignoring external repo errors during plugin installation
refactoring import common
Install only those plugins which have a yaml config file located under plugins folder
collect puppet errors from all nodes

Change-Id: I8d5248cf31c4877a6d59bfcfe62b43daf4ad43ef
Signed-off-by: Szilard Cserey <szilard.cserey@ericsson.com>

Merge "Support for building Fuel behind a http proxy"

Support for building Fuel behind a http proxy

The build system is now able to work also behind a traditional web
proxy setup if the http_proxy, https_proxy and (if needed) no_proxy
environment variables has been set prior to invoking make.

This is a joint work by Gillian Dunne <gillian.dunne@intel.com> and
Stefan Berg <stefan.k.berg@ericsson.com>.

Verification so far has been with a mock setup, placing the build
machine behind a Squid proxy and blocking outgoing traffic not going
through the proxy by firewall rules. The following environment
variables was set in the host for these tests:

RSYNC_PROXY=10.0.0.1:8888
http_proxy=http://10.0.0.1:8888
https_proxy=http://10.0.0.1:8888
no_proxy=localhost,127.0.0.1,.consultron.com,.sock

*** IMPORTANT NOTE ABOUT THE HOST PROXY SETTINGS ***

The build system will make use the following proxy environment
variables:

http_proxy:
https_proxy
no_proxy
RSYNC_PROXY
RSYNC_CONNECT_PROG

During the build phase, a local Ubuntu package repository is fetched
from upstream in order to be added to the OPNFV Fuel ISO and for parts
of this process rsync is used.

This will require that either RSYNC_PROXY is set according to the
format "<proxy host>:<proxy port>" and that the proxy indicated indeed
allows rsync traffic *or* that RSYNC_CONNECT_PROG is set to use an
alternative transport. For a detailed explanation of these settings,
see the rsync manual page.

*** IMPORTANT NOTE ABOUT THE HOST DOCKER DAEMON SETTINGS ***

The Docker daemon on the host must be configured to use the http proxy
for it to be able to pull the base Ubuntu 14.04 image from the Docker
registry before invoking make! In Ubuntu this is done by adding a line
like:

export http_proxy="http://10.0.0.1:8888/"

to /etc/default/docker and restarting the Docker daemon.

Change-Id: Ieed2269af295d90a4b33d834f723889bdf9c7dc6
Signed-off-by: Stefan K. Berg <stefan.k.berg@ericsson.com>

Update addresses of fuel repositories

As described on this page [1] stackforge git namespace is deprecated.
Fuel together with associate projects (plugins etc.) is now moving to
openstack namespace.

[1] https://wiki.openstack.org/wiki/Stackforge_Namespace_Retirement

Change-Id: Id843e5512f27c9c106afbc2dc33a4fb322abb639

CAN MERGE
VERIFIED
Description: Update of a few information files
JIRA: IMPROVEMENT

Change-Id: I792d4d79b1fda048231819de9be73c3467f3625a
Signed-off-by: Jonas Bjurel <jonas.bjurel@ericsson.com>

Copy gitinfo.txt to the root of the Fuel master

The gitinfo.txt file contains the SHA1 of all upstream repos
used during the build of the install ISO (including the OPNFV
Fuel repo as well). Move these to the root directory of the
nstalled Fuel master as well for easy reference.

Change-Id: I23caadc23c69744a980027ef24d974f11efc37bd
Signed-off-by: Stefan K. Berg <stefan.k.berg@ericsson.com>

Improved caching functionality and tracability

In order to enable the caching of more build artifacts than the Fuel
iso during CI builds, the caching functionality and the CI build
frontend "build.sh" has been rewritten.

The build.sh script will now rely on the "make cache" functionality of
the top Makefile to make sure that the build is using cache handling.

The underlying cache logic is implemented in "cache.mk" for the top
makefile and those recursive levels that do not produce cachable
artifacts themselves in that they are only calling the SUBDIRS of
their lower level (like f_isoroot).

All "leaf" Makefiles will however need to implement three cache
targets in their top Makefile (for visibility):

clean-cache:
        Clean all files relating to the handling of caches.
get-cache:
        Attempt to fetch a cached artifact using a SHA1 key.
put-cache:
        Store a built artifact into the cache.

They can just implement a simple "no-op" functionality for thes
targets if they do not have any use of the caching functionality.

If they are to use the caching functionality, they must make sure to
implement a logic that produces a SHA1 hash based on the source of the
data they are to cache - for upstream repos one suggestion is to use
the commit ID of the used upstream HEAD. For examples, see the top
Makefile that implements this logic for the Fuel ISO build, taking
into consideration the commit IDs of all the upstream repositories
used.

To improve tracability, the root directory of the ISO will contain the
file gitinfo.txt, which is meant to detail the upstream repo and
commit ID used for all upstream dependencies of a build. If you are
adding additional upstream dependencies, make sure to use the
repo_info.sh tool to add this data.

The cache tool cache.sh has no notion of the cache data it is storing
- from the tools perspective, cache data is just a binary blob piped
in or out of the tool.

This blob is stored by the cache tool at the cache location as
<SHA1>.blob, together with an associated meta file <SHA1>.meta.

The cache meta file currently holds just one line:

    Expires: <epoch time>

This file is expected to be used to iterate through the cache objects
and retire those who's expiry date has passed. Currently objects will
always have an expiry date of two weeks into the future, but down the
road the "cache put" functionality may be amended with an optional
"age" argument that can set a different expiration time.

New tools in this commit:

  cache.sh - the cache logic
  repo_info.sh - the (optionally recursive) repo information logger

Change-Id: I8a40546c21febeecc9de6d82c0ceb6bc60b04205
Signed-off-by: Stefan K. Berg <stefan.k.berg@ericsson.com>

Updated logic for selecting Ubuntu repo for mirroring

A slight improvement to Michal Skalski's original concept just
to filter out repos where updates are in progress (which would
leave us hanging).

Change-Id: Id641b3aa82b991c23b5742d1f64ff79cfbbd708c
Signed-off-by: Stefan K. Berg <stefan.k.berg@ericsson.com>

Temporary fix for forcing cache rebuild

The caching functionality will be greatly improved for the next
release - this is a quick fix for having the possiblility to
invalidate the cache forcefully when needed.

Change-Id: I4d83907255105fb454af6fb426193acc744fdba9
Signed-off-by: Stefan K. Berg <stefan.k.berg@ericsson.com>

Merge "Rebased patch due to upstream changes"

Rebased patch due to upstream changes

Change-Id: I63e39ff3d08bcfb80b83bb0c42082deb680ad727
Signed-off-by: Stefan K. Berg <stefan.k.berg@ericsson.com>

CAN MERGE
VERIFIED
Description: Improved handling of docker clean-up
JIRA: FUEL-71

Change-Id: I565f77e227da2dcbaecd86582ab6890508726607
Signed-off-by: Jonas Bjurel <jonas.bjurel@ericsson.com>

Modifications due to upstream changes

Removed a patch which is now incorporated upstream.
Added debmirror as a requirement for the build Docker
container.

Change-Id: I92fa8571019ece9bac41bec2baa3629d286a3a51
Signed-off-by: Stefan K. Berg <stefan.k.berg@ericsson.com>

Add AMT adapter

This adapter allow fuel deploy over Intel AMT/vPro system.
Please note that the adapter use amttool to interact with
target system, which imply that it only support up to
vPro v7.

Change-Id: I75f0882ea914b57d7d62338ed803a45104bc2d4e
Signed-off-by: Liyi Meng <liyi.meng@ericsson.com>