Configure the infra VMs over DHA

This commit enables the full configuration
of the VM(fuel/controller/compute)
defintion through the dha file.

Change-Id: I4e78334d1e5aec1e98667343390283587f0b3ea5

Merge "Revert "Enable merge of the versions struct of a plugin""

Revert "Enable merge of the versions struct of a plugin"

This reverts commit 0eabb596edefd6562a892f27f4e838d9d21c5243.

Change-Id: Ifc4cb5bd12bdf50f0dd903af66037a428aed0201

Merge "Fix network connection check issue"

Merge "Enable merge of the versions struct of a plugin"

Merge "Get user id without forking a shell."

Add no_deploy_environment option

For development reason it is useable to
have an option so that everything is done
except the deploy of the openstack
environment.

Change-Id: I1f1b7f9c89ee8c9ceea96353e25a51eee53b955c

Merge "Tell debconf not to be interactive"

Enable merge of the versions struct of a plugin

When the dic of a plugin is not fully merged
into the final dea file. When a list contains
dicts there is no merge. This commit
enables the versions list to be merged.

Change-Id: I20ff7bec74f8f71a8cd21010f44715953cd4616d

Get user id without forking a shell.

Change-Id: I6789b81186b7ede124a838a5b6668ba8326e0c0b
Signed-off-by: Peter Barabas <peter.barabas@ericsson.com>

Merge "Fix deploy.py return code"

Tell debconf not to be interactive

Change-Id: If3d937ba895cb06834a9f8b7382d1033aac9714f
Signed-off-by: Peter Barabas <peter.barabas@ericsson.com>

Merge "[BGPVPN] Correct BGPVPN plugin file"

Merge "Make number of cpus configurable in dha file"

Make number of cpus configurable in dha file

Some compones of openstack produce a lot of CPU load.
With this commit it is possible to
make more use of the Hypervisor where the virtual
nodes runs on.

Change-Id: Ide567dd0823c5526171c29073f2a36aa5f27d4b6

Merge "Minor updates of poc.tacker-up.sh - Building auto-adapting to python source changes - TACKER_ENDPOINT_TYPE env variable added to tackerc generation - Cosmetic cleanups"

[BGPVPN] Correct BGPVPN plugin file

The plugin config 0.0.2 has some
missleading statements. At some point
in time we should delete it and
only use this one here.

Change-Id: I6ceb2d2b7379ad691e4c7116ed7bc552deffc099

Fix deploy.py return code

Fixes https://jira.opnfv.org/browse/FUEL-100

Change-Id: Ic2e01372778720cde84d83738d8b2c85b005124a
Signed-off-by: Peter Barabas <peter.barabas@ericsson.com>

Minor updates of poc.tacker-up.sh
- Building auto-adapting to python source changes
- TACKER_ENDPOINT_TYPE env variable added to tackerc generation
- Cosmetic cleanups

Signed-off-by: Ferenc Cserepkei <ferenc.cserepkei@ericsson.com>

Changing raw to qcow2 for vFuel/Controller/Compute

A lot of diskspace is allocated although never used
this commit changes to thin provisioning
for the virtual enviroment.

Change-Id: Ia128143a3bae9f3d85a9e749319c2f5343c1df4e

Merge "Remove apparmor for vFuel"

Merge "Fix KVM launch issue"

Remove apparmor for vFuel

Not every CPU supports apparmor and
there is no real benefit when using it
only for fuel.

Change-Id: Ibb3221b85d8565f718df9b087aa324d0f606bdee

Add timeout option for deployment

Change-Id: I6f3f35680c9f90f99148865edf8ba905ecbb6c30
Signed-off-by: Peter Barabas <peter.barabas@ericsson.com>

Merge "Several orchestration fixes"

Several orchestration fixes

- Keystone uris
- Tacker service binding: Tacker listens on port 8808 in Fuel based deployment
- SQL database creation

Tacker server sources have been changed

Change-Id: I5dac018c373b99e927fc1b28ecfa0bcb7debed14
Signed-off-by: Ferenc Cserepkei <ferenc.cserepkei@ericsson.com>

Merge "docs: fix figure placement and old format"

Fix KVM launch issue

Change-Id: I3ad25407ca2a6874b4591c026350bddc05ab4c9d
Signed-off-by: Ruijing Guo <ruijing.guo@intel.com>

Merge "Final release notes for Fuel Brahmaputra SR0"

Final Fuel Brahmaputra SR0 documentation update

Change-Id: Iee51378f3689c32e82ce179885c2be1bb07ac2ae
Signed-off-by: Jonas Bjurel <jonas.bjurel@ericsson.com>

docs: fix figure placement and old format

This patch makes figures in the same place written in source rst files,
and also fixes old format of rst files and logo images.

Note: lisence headers should be added in another change with relevant
copyrights.

Signed-off-by: Ryota MIBU <r-mibu@cq.jp.nec.com>
Change-Id: Ibc5ca44031ef5946079bdf251935100f762a87b6

Final release notes for Fuel Brahmaputra SR0

Change-Id: Id5286c2a7e11eb29d7a7f187decfe475ae6acd6c
Signed-off-by: Jonas Bjurel <jonas.bjurel@ericsson.com>

Fix network connection check issue

Change-Id: Id42af08e9fe76db7f9d7dbae3b8b5bf60b079b14
Signed-off-by: Ruijing Guo <ruijing.guo@intel.com>

Correction of biweek caching logic

Change-Id: I7c7466da3d07587da322467e294cd0a793a3fc37
Signed-off-by: Stefan Berg <sfb@consultron.com>

Use official Beryllium release

Change-Id: Ie3889df286a47e3b27865fe5c246f8f5ba98e165

Fixing SFC post-install ssh permission errors

Change-Id: I07ae1a18ae29b2e89757e5b91576b26cb7b39884
Signed-off-by: Brady Johnson <brady.allen.johnson@ericsson.com>

Minor fix to SFC Tacker post-install script

- Dont try to install crudini via apt-get. It will be
  installed via wget and dpkg.
- patch set 2 : removed extra single quote
- patch set 3 : fixing ssh/scp permission errors by using sshpass

Change-Id: I3bfd59c44c4c1a5da6473b5f620b71e7c8e3680c
Signed-off-by: Brady Johnson <brady.allen.johnson@ericsson.com>

Moved tacker install script to prototypes directory

Change-Id: I2dc062a8b4ad7c7bc0782781565fd182d5993014
Signed-off-by: Jonas Bjurel <jonas.bjurel@ericsson.com>

Merge "Adding Tacker service with POC orchestration to OPNFV cluster"

Merge "Scenario for SFC"

Adding Tacker service with POC orchestration to OPNFV cluster

The SFC subproject has been developed Tacker service orchestration
for OPNFV+Apex. There was a hint that the same feature should exist
in OPNFV/Fuel too. Since We had not enough time and resource the
given implementation is proof-of-concept, a shell script based
deployment + orchestration is given. The script designed being
idempotent but lacks error handling. For Brahmaputra SR-1 a more
reliable fuel-plugin implementation will be given.
The script (poc.tacker-up.sh) is loosely integrated: the user
should transfer it to the primary controller, where the OpenDayLight
service is deoloyed and should execute the script manually. Note that
adding Tacker service to OPNFV assumes that the cluster has
fuel-plugin-ovs (with NSH support) and OpenDayLight SDN controller
(fuel-plugin-opendaylight with GBP anf SFC fearures enabled) plugins
enabled during  deployment.

Change-Id: Icb582c545e163816df14fa06411aa62d0c66cd5d
Signed-off-by: ferenc Cserepkei <ferenc.cserepkei@ericsson.com>

Build plugin with ODL Be RC3

There is no reason to stay with ODL Be RC1

Change-Id: I5aeef99a77d5f13e2977a2e96b0e5ba5f9ccd785
Signed-off-by: Michal Skalski <mskalski@mirantis.com>

Scenario for SFC

Pleas carefully review this patch, especially the ODL features

NOT VERIFIED
DO NOT MERGE

Change-Id: Ief3fa22d5fd03c17101aef4cbe7dcf88f5f14e8c
Signed-off-by: Jonas Bjurel <jonas.bjurel@ericsson.com>

Urgent fix for the BGP VPN HA scenario

Change-Id: I10d3a1a9bef918005e0756d209953fa5dcc21d6c
Signed-off-by: Jonas Bjurel <jonas.bjurel@ericsson.com>

Merge "Final documentation review for Brahmaputra release"

Final documentation review for Brahmaputra release

Issue of the Fuel documentation for Brahmaputra for final review as
proposed by Sofia and me. This patch will constantly be amended with
improvements, corrections, etc as we go. From time to time we will,
merge this patch to generate consolidated scraped results. But we will
re-issue a review patch with the same topic-branch and commit headline
until we have a taged Brahmaputra release.

To view/review the entire files from gerrit, click the settings icon almost
at the top right, and select "lines of context: entire file"

- Note: There is still unknowns highlighted by <TODO>
- Please comment on disposition, content, directory placing, etc.
- You can find the rendered versions of the Fuel@OPNFV specific docs
  from the CI-job for this patch. These include:
  - installation-instruction.rst
  - build-instruction.rst
  - release-notes.rst
- Scraped document composit rendering are placed - TBD. These include:
  - installerconfig.rst
  - postinstall.rst

Change-Id: I5e28141cf03d80e5da9c5e10f5e75a3a26994f38
Signed-off-by: Jonas Bjurel <jonas.bjurel@ericsson.com>

Merge "Applying ODL changes to BGPVPN scenario"

Merge "Build odl plugin with openjdk-8"

Applying ODL changes to BGPVPN scenario

Since module substitionion does not support arrays
the plugin attributes are added to the scenario file
and not taken from the plugin files.

In addition the bgpvpn plugin contains a fix
for the instable stable/liberty branch now.

Change-Id: I94ce93bbbe6596ff9417bdd8c11dc62cd2167c11

Build odl plugin with openjdk-8

Daniel Smith discover large resource consumption when SFC features are
enabled and openjdk-7 is used. Following his advice we want to add
option to use openjdk-8. Becuase this version is not offically available
in ubuntu 14.04, it needs to be included inside plugin. This can be
achieved by setting USE_JAVA8=true environment variable during plugin compilation

Change-Id: Id029a00cea24d264b3c121e6adc50581b9ae1c9a
Signed-off-by: Michal Skalski <mskalski@mirantis.com>

Rebased NFVOVS to the new plugin arch

Change-Id: I4eb093c2fe4208975d08ffc2477e8ff04b213afd
Signed-off-by: Jonas Bjurel <jonas.bjurel@ericsson.com>

Fix for blacklisting Ubuntu mirrors with "issues"

Change-Id: Id60f2625c2d84695b86b5b7bce3271babcefde12
Signed-off-by: Stefan Berg <sfb@consultron.com>

Modify README for B-release

Change-Id: Ib38336f6c96b073dadd1798eab3149ff268e21e2
Signed-off-by: Peter Barabas <peter.barabas@ericsson.com>

Fixed deployment timeout and OVSNFV plugin build

- Increase deployment timeout to 4h since some deplyments
  takes more than 3h (KVM)
- Fixed build interference between OVSNFV and OVS-NSH where the
  later removed the OVSNFV build result from release/opnfv.
  A propper fix for SR2 is to have f_isoroot/Makefile remove the release
  directory before build, and not have the plugins removing anythin in release

Change-Id: Ibca986554087d6a7f12ed8c7cc6fdd4919368ad2
Signed-off-by: Jonas Bjurel <jonas.bjurel@ericsson.com>

Fixed node assignment for KVM HA scenario

Change-Id: Iaffde56bb2ad691da2bdbacee38b8d60a289b8c9
Signed-off-by: Jonas Bjurel <jonas.bjurel@ericsson.com>

Fix for the KVM4NFV scenarios
- The qemu plugin has been rebased to the newer plugin framework vesion.
  The scenarios need to be rebased accordingly

VERIFIED
READY TO MERGE

Change-Id: I4d74d1e94b12763f33d7731d5899a724bedcb0ce
Signed-off-by: Jonas Bjurel <jonas.bjurel@ericsson.com>

Documentation according to new template provided by the Docs team

- The Config guide is not an atonomos document, but will be scraped into a
  bigger context.

- The post install guide is not an atonomos document, but will be scraped
  into a bigger context.

- Installation instructions is an atonomos document describing details on
  how to install Fuel@OPNFV

- Build instructions is an atonomos document describing how to build Fuel@OPNFV

- Release notes

- Agreed with the community that binary image files shall be in the repo,
  as much as I hate it.

DO NOT MERGE

JIRA: FUEL-38

Change-Id: I88a93e20ef2c67a2c973147a7a1e332e3da55674
Signed-off-by: Jonas Bjurel <jonas.bjurel@ericsson.com>

Put ubuntu mirror in predictable directory

Change-Id: I05cb8dfcf8d8b7cf256c6e6d900f1a90a2b2870e
Signed-off-by: Michal Skalski <mskalski@mirantis.com>

We need to preserve environment for sudo build

In order to preserve environment variables (esp commit ids)
for the Fuel build, the environment needs to be kept when
the build loop is run.

Change-Id: Ia044ea92853147280db0686ac857beda52ab50dc
Signed-off-by: Stefan K. Berg <stefan.k.berg@ericsson.com>

Enable use of Fuel library commit ids for mirror

If FUEL_MIRROR_COMMIT is set (indicating a pinning of all
Fuel repositories), use that one instead of FUEL_MAIN_TAG.

Change-Id: I4af82cf63f8e846d757a583836fce8bb78d93906
Signed-off-by: Stefan K. Berg <stefan.k.berg@ericsson.com>

URGENT Quick-fix for scenarios

Change-Id: I709d5868ebe038f908b43d930117060ba1936a61
Signed-off-by: Jonas Bjurel <jonas.bjurel@ericsson.com>

Merge "Added environment sanity checks for build."

Merge "Switching to using local package mirror for installation"

Merge "Increase Fuel disk size from 50 GB to 100 GB"

Switching to using local package mirror for installation

Change-Id: Ic2039bfd4fe23851197e92cce060397b54c891f0
Signed-off-by: Stefan K. Berg <stefan.k.berg@ericsson.com>

Don't download packages which are already on ISO

It is not necessary to create local mirrors with mos-ubuntu packages for
our purpose. These packages are already included on ISO, we only need
these from ubuntu upstream repositories.

Change-Id: I26d88019981b32e7fdb69a0a608a910bbe4d623a
Signed-off-by: Michal Skalski <mskalski@mirantis.com>

Added environment sanity checks for build.

Based on a discussion I and Stefan had today, better to check early on than
crash hours in to the build with vague information of the root-cause.

Added checks:
- Linus distro - must be Ubuntu
- Kernel version - must be 3.19 or later
- Docker network sanity check

Change-Id: Ie6758064ade4c58388368106d9bc556730d2bcec
Signed-off-by: Jonas Bjurel <jonas.bjurel@ericsson.com>

Increase Fuel disk size from 50 GB to 100 GB

Change-Id: I4a5471f9b910584d6af6620bf901d6308a425bb9
Signed-off-by: Peter Barabas <peter.barabas@ericsson.com>

Merge "Remove leftover from old plugin configurations"

Merge "Remove patching 'netmask' from isolinux.cfg"

Remove leftover from old plugin configurations

Change-Id: Id1008ffbbfa4f30b63997f77183cc802ee01fcd6

Correcting license and copyright terms throughout the repo

Please review this carefully!

Strategy:
1) No strict research on copyright/who did what (if you want it changed
   contact the Fuel team or Jonas Bjurel)
2) Licence statements will not be added to the following file types:
   - Patch files or orig files for patches
   - Config files generated by ordinary tools, like libvirt/visrsh
   - GIT dierctive file
   - Other auto-generated files

Change-Id: I48504c6f27925445dc44683a27a575bcab78d828
Signed-off-by: Jonas Bjurel <jonas.bjurel@ericsson.com>

Adding .gitignore part of previous commits but reverted due to gerrit issues

This patch should reassemble patches from Ryota, Nikolase, etc. which became
broken at the process of mass cherry-picking.

Change-Id: I9aa386c48ae7fadda1ebdf4b29bd88728d0a4b61
Signed-off-by: Jonas Bjurel <jonas.bjurel@ericsson.com>

Remove patching 'netmask' from isolinux.cfg

Change-Id: I7ba0c677b8a77b1239fcec4d0771af2b2cdddc01
Signed-off-by: Peter Barabas <peter.barabas@ericsson.com>

Merge "Properly clean up after SIGTERM (kill) and Ctrl-c"

Uplift scenario files to Liberty

Change-Id: I4d977caadc3858b315ff8f3d0eb063bcc443ace1

Uplift fuel-plugin-bgpvpn to fuel8.0

Change-Id: I69d86ea7d7ab794582a9cac05ceee544b35608fa

Properly clean up after SIGTERM (kill) and Ctrl-c

Change-Id: Ibcd9bdda9aaebfd96d32a3efbc7a53f5428b5c91
Signed-off-by: Peter Barabas <peter.barabas@ericsson.com>

Revert "Ignoring pyc and eclipse files"

This reverts commit 516e97efb5a47e6e2b88f1b237f3f9e1c6465832.

Change-Id: I19fb634db01f074495fd06508ab3d7c9ee084d0d

Revert "updates to use new doc toolchain"

This reverts commit 62beda30b7d5be6ee8171774c35282c0541a5dd4.

Change-Id: I4ff9700ec8b81659e9410f373c4decb5dca2f484

Properly handling ubuntu directory as a non top of repository

Change-Id: Ie7d921b3728df937dc719cd638fa7ae035fc9307
Signed-off-by: Michal Skalski <mskalski@mirantis.com>

Merge "Sync with upstream repository"

Sync with upstream repository

Revert to default Fuel partition schema which is now
based on percentage usage.

Change-Id: I04884dc0e33f8fc7198334db1cb1f7364669b22c
Signed-off-by: Michal Skalski <mskalski@mirantis.com>

updates to use new doc toolchain

Change-Id: Ic743125195c158dfb6b09b7f101f71cc71e66c2b
Signed-off-by: Ryota MIBU <r-mibu@cq.jp.nec.com>

Increase Fuel disk size

Change-Id: I386113113a7f3d754f66c2a359ef4a5d18176f47
Signed-off-by: Jonas Bjurel <jonas.bjurel@ericsson.com>

onos change scenario

Change-Id: Iaaa36203e826e1785489538f06ea1a25da373945

Fix KVM/QEMU bugs

1. fix kvm boot issue
2. fix qemu/libvirt compatability issue

Change-Id: I9de950ce971d5d51da1a5e3876fff805b5ce118d
Signed-off-by: David Chou <david.j.chou@intel.com>

Increase size of var partition on Fuel Master

Because we want to store local mirrors it could happen
that there will be no enough space on var partition to build
installation os image.

Also sync with upstream changes.

Change-Id: I95161453d72bdee2b6992955b0634d33c64f0b4e
Signed-off-by: Michal Skalski <mskalski@mirantis.com>

Rebasement of Fuel8 deployment configuration files and scenarios

Note:
- Lab configurations removed
- Most of the POD configuration files resides in the securedlab repo
- The securedlab repo is very restricive, cause it carries Lab internal
  secrets

TODO:
- Ericsson virt is not yet rebased
- Intel virt is not yet rebased
- LF-POD2 is not yet rebased
- Deployment scenarios for vsperf, NFVOVS, NFVKVM, ONOS, VSPERF, BGPVPN is not yet rebased

NOT VERIFIED
DO NOT MERGE

Change-Id: I59d96acb26c06abf60c254fae8ea2ced332e5884
Signed-off-by: Jonas Bjurel <jonas.bjurel@ericsson.com>

onos-config

Change-Id: I10af719aa70dd9fde333542f507033903a6224de

Create local mirrors for offline installation

- switch to fuel-mirror [1]
- plugin developers can create packages.yaml
  file with names of required packages
- use custom configuration for fuel-bootstrap
  which always point to local repositories
- delay process of bootstrap image creation until
  mirrors will be ready

[1] https://github.com/openstack/fuel-mirror

Change-Id: Ie4a47c8cc13d9ded8c6b5fe48cdcbfeb1f6277a4
Signed-off-by: Michal Skalski <mskalski@mirantis.com>

Rebase Fuel OVS & QEMU plugin to Fuel 8.0

Change-Id: I73a3e5e64d7987c773d3f543f6ad94cdf96d2bdb
Signed-off-by: Ruijing Guo <ruijing.guo@intel.com>

fuel-plugin-vsperf: Change repo for vswitchperf plugin

Change-Id: I694039c2762f17dfa4fdb642ad34e31aa7e2362a
Signed-off-by: Billy O'Mahony <billy.o.mahony@intel.com>

Merge "Support new plugin configuration schema"

Support new plugin configuration schema

In Fuel 8.0 it is possible to install many version of the same plugin.
Because of that there is additonal structurce in plugin configuration.
Assumption is that we only use one version of the plugin.

Change-Id: I50d5bc32dd6dab6fe2541748dd8404d887e336e0
Signed-off-by: Michal Skalski <mskalski@mirantis.com>

fuel-plugin-ovsnfv: Enable plugin after rebase

Change-Id: I08ae033e905cae9c2f7cd4f8cc66e8f78f1d54c4
Signed-off-by: Billy O'Mahony <billy.o.mahony@intel.com>

onosfw plugin for 8.0

Change-Id: I7804986242e9e2ac556a17b3475e7af48cec2756

New verified version of OpenDaylight

New autorelease version of ODL is available: daily-v201601270140
In this version problems with missing openflow tables seems to not
occur.

Change-Id: I95ce171b02ee5775f0e63f1e601d0c78edb4b178
Signed-off-by: Michal Skalski <mskalski@mirantis.com>

Rebase of ks.cfg due to upstream changes

Change-Id: I488851ded40e88180359d545259ec0631416d32d
Signed-off-by: Stefan K. Berg <stefan.k.berg@ericsson.com>

Merge "Fix wrong offset in environment array"