Scenario for SFC

Pleas carefully review this patch, especially the ODL features

NOT VERIFIED
DO NOT MERGE

Change-Id: Ief3fa22d5fd03c17101aef4cbe7dcf88f5f14e8c
Signed-off-by: Jonas Bjurel <jonas.bjurel@ericsson.com>

Urgent fix for the BGP VPN HA scenario

Change-Id: I10d3a1a9bef918005e0756d209953fa5dcc21d6c
Signed-off-by: Jonas Bjurel <jonas.bjurel@ericsson.com>

Merge "Final documentation review for Brahmaputra release"

Final documentation review for Brahmaputra release

Issue of the Fuel documentation for Brahmaputra for final review as
proposed by Sofia and me. This patch will constantly be amended with
improvements, corrections, etc as we go. From time to time we will,
merge this patch to generate consolidated scraped results. But we will
re-issue a review patch with the same topic-branch and commit headline
until we have a taged Brahmaputra release.

To view/review the entire files from gerrit, click the settings icon almost
at the top right, and select "lines of context: entire file"

- Note: There is still unknowns highlighted by <TODO>
- Please comment on disposition, content, directory placing, etc.
- You can find the rendered versions of the Fuel@OPNFV specific docs
  from the CI-job for this patch. These include:
  - installation-instruction.rst
  - build-instruction.rst
  - release-notes.rst
- Scraped document composit rendering are placed - TBD. These include:
  - installerconfig.rst
  - postinstall.rst

Change-Id: I5e28141cf03d80e5da9c5e10f5e75a3a26994f38
Signed-off-by: Jonas Bjurel <jonas.bjurel@ericsson.com>

Merge "Applying ODL changes to BGPVPN scenario"

Merge "Build odl plugin with openjdk-8"

Applying ODL changes to BGPVPN scenario

Since module substitionion does not support arrays
the plugin attributes are added to the scenario file
and not taken from the plugin files.

In addition the bgpvpn plugin contains a fix
for the instable stable/liberty branch now.

Change-Id: I94ce93bbbe6596ff9417bdd8c11dc62cd2167c11

Build odl plugin with openjdk-8

Daniel Smith discover large resource consumption when SFC features are
enabled and openjdk-7 is used. Following his advice we want to add
option to use openjdk-8. Becuase this version is not offically available
in ubuntu 14.04, it needs to be included inside plugin. This can be
achieved by setting USE_JAVA8=true environment variable during plugin compilation

Change-Id: Id029a00cea24d264b3c121e6adc50581b9ae1c9a
Signed-off-by: Michal Skalski <mskalski@mirantis.com>

Rebased NFVOVS to the new plugin arch

Change-Id: I4eb093c2fe4208975d08ffc2477e8ff04b213afd
Signed-off-by: Jonas Bjurel <jonas.bjurel@ericsson.com>

Fix for blacklisting Ubuntu mirrors with "issues"

Change-Id: Id60f2625c2d84695b86b5b7bce3271babcefde12
Signed-off-by: Stefan Berg <sfb@consultron.com>

Modify README for B-release

Change-Id: Ib38336f6c96b073dadd1798eab3149ff268e21e2
Signed-off-by: Peter Barabas <peter.barabas@ericsson.com>

Fixed deployment timeout and OVSNFV plugin build

- Increase deployment timeout to 4h since some deplyments
  takes more than 3h (KVM)
- Fixed build interference between OVSNFV and OVS-NSH where the
  later removed the OVSNFV build result from release/opnfv.
  A propper fix for SR2 is to have f_isoroot/Makefile remove the release
  directory before build, and not have the plugins removing anythin in release

Change-Id: Ibca986554087d6a7f12ed8c7cc6fdd4919368ad2
Signed-off-by: Jonas Bjurel <jonas.bjurel@ericsson.com>

Fixed node assignment for KVM HA scenario

Change-Id: Iaffde56bb2ad691da2bdbacee38b8d60a289b8c9
Signed-off-by: Jonas Bjurel <jonas.bjurel@ericsson.com>

Fix for the KVM4NFV scenarios
- The qemu plugin has been rebased to the newer plugin framework vesion.
  The scenarios need to be rebased accordingly

VERIFIED
READY TO MERGE

Change-Id: I4d74d1e94b12763f33d7731d5899a724bedcb0ce
Signed-off-by: Jonas Bjurel <jonas.bjurel@ericsson.com>

Documentation according to new template provided by the Docs team

- The Config guide is not an atonomos document, but will be scraped into a
  bigger context.

- The post install guide is not an atonomos document, but will be scraped
  into a bigger context.

- Installation instructions is an atonomos document describing details on
  how to install Fuel@OPNFV

- Build instructions is an atonomos document describing how to build Fuel@OPNFV

- Release notes

- Agreed with the community that binary image files shall be in the repo,
  as much as I hate it.

DO NOT MERGE

JIRA: FUEL-38

Change-Id: I88a93e20ef2c67a2c973147a7a1e332e3da55674
Signed-off-by: Jonas Bjurel <jonas.bjurel@ericsson.com>

Put ubuntu mirror in predictable directory

Change-Id: I05cb8dfcf8d8b7cf256c6e6d900f1a90a2b2870e
Signed-off-by: Michal Skalski <mskalski@mirantis.com>

We need to preserve environment for sudo build

In order to preserve environment variables (esp commit ids)
for the Fuel build, the environment needs to be kept when
the build loop is run.

Change-Id: Ia044ea92853147280db0686ac857beda52ab50dc
Signed-off-by: Stefan K. Berg <stefan.k.berg@ericsson.com>

Enable use of Fuel library commit ids for mirror

If FUEL_MIRROR_COMMIT is set (indicating a pinning of all
Fuel repositories), use that one instead of FUEL_MAIN_TAG.

Change-Id: I4af82cf63f8e846d757a583836fce8bb78d93906
Signed-off-by: Stefan K. Berg <stefan.k.berg@ericsson.com>

URGENT Quick-fix for scenarios

Change-Id: I709d5868ebe038f908b43d930117060ba1936a61
Signed-off-by: Jonas Bjurel <jonas.bjurel@ericsson.com>

Merge "Added environment sanity checks for build."

Merge "Switching to using local package mirror for installation"

Merge "Increase Fuel disk size from 50 GB to 100 GB"

Switching to using local package mirror for installation

Change-Id: Ic2039bfd4fe23851197e92cce060397b54c891f0
Signed-off-by: Stefan K. Berg <stefan.k.berg@ericsson.com>

Don't download packages which are already on ISO

It is not necessary to create local mirrors with mos-ubuntu packages for
our purpose. These packages are already included on ISO, we only need
these from ubuntu upstream repositories.

Change-Id: I26d88019981b32e7fdb69a0a608a910bbe4d623a
Signed-off-by: Michal Skalski <mskalski@mirantis.com>

Added environment sanity checks for build.

Based on a discussion I and Stefan had today, better to check early on than
crash hours in to the build with vague information of the root-cause.

Added checks:
- Linus distro - must be Ubuntu
- Kernel version - must be 3.19 or later
- Docker network sanity check

Change-Id: Ie6758064ade4c58388368106d9bc556730d2bcec
Signed-off-by: Jonas Bjurel <jonas.bjurel@ericsson.com>

Increase Fuel disk size from 50 GB to 100 GB

Change-Id: I4a5471f9b910584d6af6620bf901d6308a425bb9
Signed-off-by: Peter Barabas <peter.barabas@ericsson.com>

Merge "Remove leftover from old plugin configurations"

Merge "Remove patching 'netmask' from isolinux.cfg"

Remove leftover from old plugin configurations

Change-Id: Id1008ffbbfa4f30b63997f77183cc802ee01fcd6

Correcting license and copyright terms throughout the repo

Please review this carefully!

Strategy:
1) No strict research on copyright/who did what (if you want it changed
   contact the Fuel team or Jonas Bjurel)
2) Licence statements will not be added to the following file types:
   - Patch files or orig files for patches
   - Config files generated by ordinary tools, like libvirt/visrsh
   - GIT dierctive file
   - Other auto-generated files

Change-Id: I48504c6f27925445dc44683a27a575bcab78d828
Signed-off-by: Jonas Bjurel <jonas.bjurel@ericsson.com>

Adding .gitignore part of previous commits but reverted due to gerrit issues

This patch should reassemble patches from Ryota, Nikolase, etc. which became
broken at the process of mass cherry-picking.

Change-Id: I9aa386c48ae7fadda1ebdf4b29bd88728d0a4b61
Signed-off-by: Jonas Bjurel <jonas.bjurel@ericsson.com>

Remove patching 'netmask' from isolinux.cfg

Change-Id: I7ba0c677b8a77b1239fcec4d0771af2b2cdddc01
Signed-off-by: Peter Barabas <peter.barabas@ericsson.com>

Merge "Properly clean up after SIGTERM (kill) and Ctrl-c"

Uplift scenario files to Liberty

Change-Id: I4d977caadc3858b315ff8f3d0eb063bcc443ace1

Uplift fuel-plugin-bgpvpn to fuel8.0

Change-Id: I69d86ea7d7ab794582a9cac05ceee544b35608fa

Properly clean up after SIGTERM (kill) and Ctrl-c

Change-Id: Ibcd9bdda9aaebfd96d32a3efbc7a53f5428b5c91
Signed-off-by: Peter Barabas <peter.barabas@ericsson.com>

Revert "Ignoring pyc and eclipse files"

This reverts commit 516e97efb5a47e6e2b88f1b237f3f9e1c6465832.

Change-Id: I19fb634db01f074495fd06508ab3d7c9ee084d0d

Revert "updates to use new doc toolchain"

This reverts commit 62beda30b7d5be6ee8171774c35282c0541a5dd4.

Change-Id: I4ff9700ec8b81659e9410f373c4decb5dca2f484

Properly handling ubuntu directory as a non top of repository

Change-Id: Ie7d921b3728df937dc719cd638fa7ae035fc9307
Signed-off-by: Michal Skalski <mskalski@mirantis.com>

Merge "Sync with upstream repository"

Sync with upstream repository

Revert to default Fuel partition schema which is now
based on percentage usage.

Change-Id: I04884dc0e33f8fc7198334db1cb1f7364669b22c
Signed-off-by: Michal Skalski <mskalski@mirantis.com>

updates to use new doc toolchain

Change-Id: Ic743125195c158dfb6b09b7f101f71cc71e66c2b
Signed-off-by: Ryota MIBU <r-mibu@cq.jp.nec.com>

Increase Fuel disk size

Change-Id: I386113113a7f3d754f66c2a359ef4a5d18176f47
Signed-off-by: Jonas Bjurel <jonas.bjurel@ericsson.com>

onos change scenario

Change-Id: Iaaa36203e826e1785489538f06ea1a25da373945

Fix KVM/QEMU bugs

1. fix kvm boot issue
2. fix qemu/libvirt compatability issue

Change-Id: I9de950ce971d5d51da1a5e3876fff805b5ce118d
Signed-off-by: David Chou <david.j.chou@intel.com>

Increase size of var partition on Fuel Master

Because we want to store local mirrors it could happen
that there will be no enough space on var partition to build
installation os image.

Also sync with upstream changes.

Change-Id: I95161453d72bdee2b6992955b0634d33c64f0b4e
Signed-off-by: Michal Skalski <mskalski@mirantis.com>

Rebasement of Fuel8 deployment configuration files and scenarios

Note:
- Lab configurations removed
- Most of the POD configuration files resides in the securedlab repo
- The securedlab repo is very restricive, cause it carries Lab internal
  secrets

TODO:
- Ericsson virt is not yet rebased
- Intel virt is not yet rebased
- LF-POD2 is not yet rebased
- Deployment scenarios for vsperf, NFVOVS, NFVKVM, ONOS, VSPERF, BGPVPN is not yet rebased

NOT VERIFIED
DO NOT MERGE

Change-Id: I59d96acb26c06abf60c254fae8ea2ced332e5884
Signed-off-by: Jonas Bjurel <jonas.bjurel@ericsson.com>

onos-config

Change-Id: I10af719aa70dd9fde333542f507033903a6224de

Create local mirrors for offline installation

- switch to fuel-mirror [1]
- plugin developers can create packages.yaml
  file with names of required packages
- use custom configuration for fuel-bootstrap
  which always point to local repositories
- delay process of bootstrap image creation until
  mirrors will be ready

[1] https://github.com/openstack/fuel-mirror

Change-Id: Ie4a47c8cc13d9ded8c6b5fe48cdcbfeb1f6277a4
Signed-off-by: Michal Skalski <mskalski@mirantis.com>

Rebase Fuel OVS & QEMU plugin to Fuel 8.0

Change-Id: I73a3e5e64d7987c773d3f543f6ad94cdf96d2bdb
Signed-off-by: Ruijing Guo <ruijing.guo@intel.com>

fuel-plugin-vsperf: Change repo for vswitchperf plugin

Change-Id: I694039c2762f17dfa4fdb642ad34e31aa7e2362a
Signed-off-by: Billy O'Mahony <billy.o.mahony@intel.com>

Merge "Support new plugin configuration schema"

Support new plugin configuration schema

In Fuel 8.0 it is possible to install many version of the same plugin.
Because of that there is additonal structurce in plugin configuration.
Assumption is that we only use one version of the plugin.

Change-Id: I50d5bc32dd6dab6fe2541748dd8404d887e336e0
Signed-off-by: Michal Skalski <mskalski@mirantis.com>

fuel-plugin-ovsnfv: Enable plugin after rebase

Change-Id: I08ae033e905cae9c2f7cd4f8cc66e8f78f1d54c4
Signed-off-by: Billy O'Mahony <billy.o.mahony@intel.com>

onosfw plugin for 8.0

Change-Id: I7804986242e9e2ac556a17b3475e7af48cec2756

New verified version of OpenDaylight

New autorelease version of ODL is available: daily-v201601270140
In this version problems with missing openflow tables seems to not
occur.

Change-Id: I95ce171b02ee5775f0e63f1e601d0c78edb4b178
Signed-off-by: Michal Skalski <mskalski@mirantis.com>

Rebase of ks.cfg due to upstream changes

Change-Id: I488851ded40e88180359d545259ec0631416d32d
Signed-off-by: Stefan K. Berg <stefan.k.berg@ericsson.com>

Merge "Fix wrong offset in environment array"

Fix wrong offset in environment array

Change-Id: Ifd01bc89c2c73801544310f567dd0458233b3290
Signed-off-by: Peter Barabas <peter.barabas@ericsson.com>

Merge "Revert "Fix build failure in fuel base & qemu""

Use Fuel 8 CLI compatible commands

Change-Id: Icd2feed7326772837c74f35688160d1eb0c25652
Signed-off-by: Peter Barabas <peter.barabas@ericsson.com>

Fix boot parameters for Fuel 8

Change-Id: I21a70728810571482ca2cc2264733dbca89058d6

Use e1000 network driver in virtual labs

In the past virtio network driver cause problems when vlan segmentation
was used [1][2]. E1000 driver looks like safer choice.

[1] https://bugs.launchpad.net/fuel/+bug/1433593
[2] https://bugs.launchpad.net/fuel/+bug/1463316

Change-Id: I0a573e640309ad3caf2d67166cdaeaf285a6e6be
Signed-off-by: Michal Skalski <mskalski@mirantis.com>

Merge "Sync with recent changes in fuel-main"

Sync with recent changes in fuel-main

Change-Id: Ife63c8c69e0e17150c198a7a75788a13b8df0d81
Signed-off-by: Michal Skalski <mskalski@mirantis.com>

Uplift deployment code for Fuel 8.0

Change-Id: If784cbd7371133bd35e95004a11e9802660ac332
Signed-off-by: Peter Barabas <peter.barabas@ericsson.com>

Turn predictable network interface names back on

Returning to the stock behaviour of Fuel 8.

Change-Id: I410253f89b28ece93a792937f9c1abccb8552311
Signed-off-by: Stefan K. Berg <stefan.k.berg@ericsson.com>

Cache as we go instead of in the end

In order to speed up the build process when building with the cache
enabled, cache immediately following the build of a sub artifact
instead of at the end.

Should the build fail, we don't need to rebuild those parts that
already were successful in the last build.

Change-Id: I23b59f7ba4a04272aea855cf451793158fe12241
Signed-off-by: Stefan K. Berg <stefan.k.berg@ericsson.com>

Merge "All plug-ins except those explicitly rebased are disabled"

All plug-ins except those explicitly rebased are disabled

Plugin providers need to enable plugins as they get rebased to Fuel8
and builds successfully

Change-Id: Iea0847a1fc0484cf0900912ab6e07bfa501bc479
Signed-off-by: Jonas Bjurel <jonas.bjurel@ericsson.com>

Break early in build if docker-in-docker fails

Change-Id: Ic5d8779f938133a958627170bd379198bec36342
Signed-off-by: Stefan K. Berg <stefan.k.berg@ericsson.com>

Start sshd daemon before fuelmenu

OPNFV deploy script require ssh connectivity to fuel master node to
discover if fuelmenu process is started.

Change-Id: Ib9aa61f98d15d0554b135f4c0c8887cd0a2d36ce
Signed-off-by: Michal Skalski <mskalski@mirantis.com>

OpenDaylight plugin for brahmaputra release

Include new version of fuel-plugin-opendaylight.
Changes in this version:

 - Support MOS 8.0.
 - Move ODL installation and configuration
   to main phase of deployment.
 - L3 traffic managed by ODL possible when vxlan
   tunneling is used.
 - Include snapshot of OpenDaylight Beryllium,
   stable version not available at this moment.
 - Get rid of hardcoded configuration related to specific ODL version.
   Now plugin is more elastic and should support a broader
   number of ODL versions.
 - odl_network_scheme function overrided standard network scheme
   so custom network templates are not required.
 - ODL is no longer patched to use br-floating bridge

JIRA: FUEL-58

Change-Id: Ie3542e285a064c37d1edb6751c4853a5e7594478
Signed-off-by: Michal Skalski <mskalski@mirantis.com>

Fix to allow more physical nodes defined in DHA than node definitions in dea
NOT VERIFIED
DO NOT MERGE

Change-Id: Id5b6029d11bfcd394e6f84a7b73b8a17820561cf
Signed-off-by: Jonas Bjurel <jonas.bjurel@ericsson.com>

Merge "Select closest Fuel mirror as measured by ping"

Added template for postinstall

Added template for postinstall as part of the configuration guide.

Change-Id: I212baa59b071fd785e70a9f018dc004ba79ec9fa
Signed-off-by: Sofia Wallin <sofia.wallin@ericsson.com>

add map for onos virtual deployment

Change-Id: I331a9936156730e58846007f154e6eadaeedd5ba

Select closest Fuel mirror as measured by ping

Select the (hopefully) geographically closest Fuel mirror to speed
up the build time.

Change-Id: I586d90ae58a9c22b1cf60df1bdb907c0e97486fa
Signed-off-by: Stefan K. Berg <stefan.k.berg@ericsson.com>

Merge "Store Fuel ISO in build cache as it is built"

Restore ISO file name to make CI functional again

An overzealous designer :) renamed the ISO output file, which
broke CI. This will put everything right again.

Change-Id: I25dca7ecfaa679872ee3d670b5df56333b3321c4
Signed-off-by: Stefan K. Berg <stefan.k.berg@ericsson.com>

Store Fuel ISO in build cache as it is built

Right not the build cache is populated after a full (successful)
build. As the Fuel ISO takes some time to build, this saves quite
some time in the cases where the ISO is built successfully but a
following plugin build fails.

Change-Id: Ic6be1f5b5d00b9436eb0f82911cf28b449d0a156
Signed-off-by: Stefan K. Berg <stefan.k.berg@ericsson.com>

Merge "Small updates to build-requirements for docker stuff. fixed whitespace x2 Change-Id: Ie9d52f820400df10d88ade035f2900aecab0c66d JIRA:0 Signed-off-by: Daniel Smith <daniel.smith@ericsson.com>"

Use mirrors snapshots

Add logic to fetch information about last suitable snapshot which can be
used to download ubuntu packages. This is for example use to build
community ISO [1]. This should help in case of snapshot switch [2].

[1]
https://github.com/fuel-infra/jenkins-jobs/blob/master/servers/fuel-ci/8.0/builders/community.all.sh#L36-L40
[2] https://bugs.launchpad.net/fuel/+bug/1493390/comments/9

Change-Id: Id5a8d41278561473ea4844631bfefa0049e64dbc
Signed-off-by: Michal Skalski <mskalski@mirantis.com>

Merge "Turn on fuelmenu by default, turn off biosdevname"

Turn on fuelmenu by default, turn off biosdevname

Added experimental Fuel build loop, rebuilding up to ten times
while keeping the package cache, in the hope that all packages
will be able to download. Added snapshot support into this script
as well.

Changed naming of OPNFV iso label to OPNFV_FUEL_<id>, made changes
in ks.cfg and isolinux.cfg to look for this name at install.

Change-Id: Ic28a3af769cfc90416d7d988afd6f07eadcef4f1
Signed-off-by: Stefan K. Berg <stefan.k.berg@ericsson.com>

Small updates to build-requirements for docker stuff.
fixed whitespace x2
Change-Id: Ie9d52f820400df10d88ade035f2900aecab0c66d
JIRA:0
Signed-off-by: Daniel Smith <daniel.smith@ericsson.com>

Fixed DNS and NTP serves for default virtual lab definitions

Change-Id: I47a5e2b3bc0e74c44256c6733e331b89889cf9c7
Signed-off-by: Jonas Bjurel <jonas.bjurel@ericsson.com>

Scenario uplift to Fuel8
- Re arranged node-roles according to Fuel8 requirements
  o There must be at least 3 CephOSD nodes
  o Ceph-OSD cannot be co-located with Mongo
  o Mongo cann not run on compute

Change-Id: I55b99bb4e5779170b31a56025d36b9b55a1a4da2
Signed-off-by: Jonas Bjurel <jonas.bjurel@ericsson.com>

Revert "Fix build failure in fuel base & qemu"

This reverts commit 0a35e64026402a672af343427bf591142babb6be.

Temporary fix for ONOS deployment scenario.

- Although ONOS supports L3, this patch doesnt let the L3 capabilities
  of ONOS loose - this is due to OPNFV Pharos lab incompatibilities
  with ONOS. Hope to have a fix soon
- Also provides a template for scenario short names

Change-Id: Ie86bcdc23492ee0fd7a19c11eecfca07afb64df3
Signed-off-by: Jonas Bjurel <jonas.bjurel@ericsson.com>

Correction of cache handling for ISO build

The cache id was not generated considering config.mk nor
Makefile.

Change-Id: I29ae0d60b89d4653cb38cffe83f666c5056daf63
Signed-off-by: Stefan K. Berg <stefan.k.berg@ericsson.com>

Merge "Fuel 8 uplift"

Fuel 8 uplift

Introducing Fuel 8 with associated changes:

Improvements in usage of cgroups - they are now bind mounted from
the host which solved a Docker-in-Docker problem.

The cache tool (cache.mk) has a new argument "getbiweek" which is
used by the top Makefile when building the Fuel ISO. This makes sure
that there's a fresh build every second week even if the cache is not
purged automatically based on its meta data. This is something we
should add everywhere (in a separate change set).

And obviously, Fuel is now building from stable/8.0 upstream.

NOTE! f_repobuild has been disabled for now, it throws an error
when run. Will be fixed separately.

Change-Id: I7e2ee737fd3bedc75f58539fbc3c5fd1fa08cfa1
Signed-off-by: Stefan K. Berg <stefan.k.berg@ericsson.com>

Adding fuel-bgpvpn-plugin and Scenario

To use the bgpvpn fuel plugin configs where added
and a first scenario using it is added

Change-Id: Id3c65abe39e1945f6a451c523732a513b01db696

Merge "Removing CPU specification from Templates"

Ignoring pyc and eclipse files

Change-Id: I6883c45b805ba52ed485c634300c86652c9cb9e0

Align scenario short names between installers

The fields in scenario short name is agreed between joid and fuel
as below.

    os-[controller]-[feature]-[mode](-[optionalparameter])

Change-Id: I3729e660c10429df0e2d8cf25e4b5a66128afa7e
Signed-off-by: Fatih Degirmenci <fatih.degirmenci@ericsson.com>

Merge "VLAN Segmentation scenarios needed for virtual traffic classifier"

Removing CPU specification from Templates

Not all the flags are supported by
every machine. This patch removes
the specification of cpu and
lets libvirt decide what cpu
model is used.

Change-Id: I1f183560e47d58abcfe496838a815d3f3594ee1b

f_ovsnfv-dpdk-pluginbuild: Update repo location

The code for fuel-plugin-ovsnfv has been moved to
the ovsnfv OPNFV project repository. This patch
updates the OPNFV fuel plugin builder to use this
location.

Change-Id: Ida1640ea6005aa1f4b31be145913556d6b05aa6e
Signed-off-by: Mark D. Gray <mark.d.gray@intel.com>