Build system uplift to Fuel 9.0/Mitaka

Switching to Fuel 9.0/Mitaka for the build system.

Overhaul of the patching mechanism. As bootstrap_admin_node.sh has
been transitioned into an RPM (fuel-support), the lazy designer found
it more simple to patch that script during the Fuel build phase than
at the OPNFV ISO generation. The patch mechanism has been changed to a
normal context diff instead of the orig/modified file tuples
previously used. Hopefully this will require fewer manual rebases (may
the fuzz be with us!).

Also the ks.cfg patching has transitioned to a context based ordinary
patch for the same reasons, but this is as before taking place during
OPNFV ISO generation.

Patch naming made more descriptive.

The reaping mechanism has been slightly modified due to a change in
the naming of the node files when these are generated by the Fuel CLI.

IMPORTANT 1: The package cache mechanism is currently disabled, it is
only possible to install Fuel with a direct internet connection. This
will be fixed in a later change set!

IMPORTANT 2: All plugins has been disabled! As you have re-certified
your plugin with Fuel 9.0, please re-enable it in build/Makefile!

Change-Id: Ia918d16a74b68f89d178e06befe6e8a7a9367bf9
Signed-off-by: Stefan K. Berg <stefan.k.berg@ericsson.com>

Merge "More rigorous Fuel environment check"

Merge "docs/install-instr: Add target specific cfg sect."

More rigorous Fuel environment check

get_env() used to raise an unhandled exception when reap.py was run on a
Fuel node which didn't yet have an environment set up.

Change-Id: I07c37db2d80e416d26fa4fb4907f4e438f1c44e5
Signed-off-by: Peter Barabas <peter.barabas@ericsson.com>

Remove coexistence configuration from post script

This is not more needed as the config comes from FUEL ODL plug-in

Change-Id: Ie09a52ac3919ac641924d41431dc000910e6d4f4
Signed-off-by: Manuel Buil <manuel.buil@ericsson.com>

docs/install-instr: Add target specific cfg sect.

Fuel 8.0 adds support for setting up "Offloading Modes" for
target nodes.

Document how this features should be used (and why/when it's
necessary), and also its common limitation of not being applied
during Verify Networks step (see related Fuel bug report [1]).

While at it, fix minor reference to branch in git tag checkout
instructions, as we'd be in detached HEAD and not on a new branch.

[1] https://jira.opnfv.org/browse/FUEL-134

[Alexandru.Avadanii@enea.com]
Only minor edits and prepared for upstreaming, this is mostly
based on previous work from Florin.

Change-Id: If7a8ca44541903dbeb6db36bc64fe56b132165cb
Signed-off-by: Florin Dumitrascu <florin.dumitrascu@enea.com>
Signed-off-by: Alexandru Avadanii <Alexandru.Avadanii@enea.com>

Merge "docs/release-notes: Add protocol handler to ref."

Merge "Adjust kernel numbers comparison"

docs/release-notes: Add protocol handler to ref.

Doc build fails to create a link for www.opnfv.org because it
does not explicitly specify the protocol handler.

Make doc build happy by adding "http://" prefix.

Change-Id: I7dc9c362f13bac1687d139942826eb1208556a37
Signed-off-by: Alexandru Avadanii <Alexandru.Avadanii@enea.com>

docs/install-instr: Fix git clone URL for HTTPS.

Drop unnecessary <user>@, not needed for http downloads.
Also, fix typo (missing letter) in opnfv.org domain name.

While we're at it, fix small typo in Ceilometer name too.

Change-Id: I2c3341689b7a7808863906700342e62e707246e9
Signed-off-by: Alexandru Avadanii <Alexandru.Avadanii@enea.com>

Merge "docs/build-instr: Fix git clone URL for HTTPS."

Merge "deployment.py: stdout not consumed when deploying changes"

docs/build-instr: Fix git clone URL for HTTPS.

Fix wrong https git clone URL, 29418 port should be used only for SSH.

While we're at it, add some bash code-block markup to bash commands.

Change-Id: Ie95a4c170b70bcc3da5d4d59260d61fbd5f2a9f3
Signed-off-by: Alexandru Avadanii <Alexandru.Avadanii@enea.com>

Adjust kernel numbers comparison

With current solution kernel 4.2.0 is treated as earlier version,
final comparison is: 42 < 319. This change will compare coresponding
numbers of installed kernel with required version.

Change-Id: Iac3aed0eb21ac8ad3138c2169299ca3b43e6e663
Signed-off-by: Michal Skalski <mskalski@mirantis.com>

Merge "The configuration of the coexistence between SFC and Netvirt is added"

Merge "deploy.sh: do not expect a parameter for -h"

The configuration of the coexistence between SFC and Netvirt is added

Change-Id: I3ce03c38677ac67df3aae0363048be21b7939bde
Signed-off-by: Manuel Buil <manuel.buil@ericsson.com>

Merge "Reflect new deploy.py options in README"

Merge "Use US keyboard layout on the console"

Merge "Fix handling of relative ISO path on the CLI"

Use US keyboard layout on the console

Change-Id: I40942c7181daf5efd1640a03471e91df82548073
Signed-off-by: Peter Barabas <peter.barabas@ericsson.com>

Reflect new deploy.py options in README

Change-Id: Id22ae685f324b58d07bd0c5256f3dbf55672776e
Signed-off-by: Peter Barabas <peter.barabas@ericsson.com>

deployment.py: stdout not consumed when deploying changes

During the automatic deployment, when the environment is ready to be
deployed, the deploy.py script will spawn a shell process that will
perform the command "fuel deploy-changes". The standard output of this
process is then piped to a "tee" process, which redirects the output
to the standard output of the shell process, and to a file named
cloud.log. The file is monitored by the deploy script to find out the
status of the deployment, and print it to the log file of the automatic
deployment script, including percentages for each node being
provisioned. However, the deploy script never consumes the standard
output of the shell process. If the shell process produces enough
output, its standard output buffer will fill up, thus making the tee
process block trying to write to its standard output, and the cloud.log
file will not be updated. At this point, the deploy process, which is
monitoring cloud.log, will not detect any progress in the deployment,
and eventually it will time out and assume the deployment failed,
although it might have finished fine after that.

The solution here is to remove the "tee" process from the shell command,
and instead redirect standard output to the cloud.log file.
Another solution would be to actually parse the standard output of the
shell command from the deploy script itself, but that would require a
bit more work, as reading a line at a time might block the script.

Finally, with this patch the cloud.log file won't be deleted unless the
shell process has already finished.

Change-Id: I03a77be42d220b1606e48fc4ca35e22d73a6e583
Signed-off-by: Josep Puigdemont <josep.puigdemont@enea.com>

deploy.sh: do not expect a parameter for -h

If -h was given as a parameter to the script, it would report an error
as it expected a parameter, and if it was called as the only parameter,
it would run deploy.py as if "old style" parameters had been given, thus
showing the usage for the python script, instead of the expected usage
message for this script.

Update the usage message to include -h.

Change-Id: I0930936962c1cb479ec4409ff114cd60a386b276
Signed-off-by: Josep Puigdemont <josep.puigdemont@enea.com>

Merge "Updating project lead, and link of approval"

Merge "Add a dha adapter python file for ZTE hardware."

Updating project lead, and link of approval

Change-Id: Id265bb022a4c509e642e8f8b61a65c5cfb05c1b7
Signed-off-by: Aric Gardner <agardner@linuxfoundation.org>

Merge "Clean up scenario files"

INFO file updated with Greg and Nikolas as committers

Change-Id: I9a64e5948e159362cb851777db6de41eccb2a599
Signed-off-by: Jonas Bjurel <jonas.bjurel@ericsson.com>

Fix handling of relative ISO path on the CLI

Change-Id: I32878726432c3d883f0b33bdd2c836b0770e734f
Signed-off-by: Peter Barabas <peter.barabas@ericsson.com>

Clean up scenario files

 - remove release from scenario files
 - remove old versions of scenario files
 - remove versions from scenario file names and update scenario.yaml
 - update README

Change-Id: I5203ea0794b96fb44f6a9db25b33e5066c1d9574
Signed-off-by: Peter Barabas <peter.barabas@ericsson.com>

Add a dha adapter python file for ZTE hardware.

ZTE hardware need use IPMI command "chassis power cycle"
on function node_reset().

JIRA: FUEL-127

Change-Id: I286fd9cda43d2e1799b134f0a391f57d08cd1928
Signed-off-by: wu.zhihui <wu.zhihui1@zte.com.cn>

Updated documentation for Brahmaputra 3.0 follow-up release

READY TO MERGE

Change-Id: Ic481f02375af9be1642791fa6d96856a453c4f29
Signed-off-by: Jonas Bjurel <jonas.bjurel@ericsson.com>

Merge "configure_environment.py: quote environment name"

Merge "Using VLAN segmentation for the NFV-OVS scenarios. Unfortunately this scenario is hardwired to work with Ericsson POD-2 only"

Using VLAN segmentation for the NFV-OVS scenarios.
Unfortunately this scenario is hardwired to work with Ericsson POD-2 only

Change-Id: I3a0b56d7ff71e0ec9cd97b8ef5946fb438d43e62
Signed-off-by: Jonas Bjurel <jonas.bjurel@ericsson.com>

configure_environment.py: quote environment name

The Fuel environment name may contain spaces, putting the name in quote
marks prevents the second and subsequent words from being interpreted
as other parameters by the fuel command.

The name could contain double quotes too, so this doesn't solve all
problems, but arguably the most common case.

Signed-off-by: Josep Puigdemont <josep.puigdemont@enea.com>

Correction due to changed cpio behavior

As part of a security fix for cpio, its behavior has changed in terms
of how symlinks are handled.

This is affecting the Fuel build process, for which this commit is a
fix (reverting cpio back to its original behavior by adding the
argument "--extract-over-symlinks" in those instances where this is
needed).

For details, see https://jira.opnfv.org/browse/FUEL-125

Change-Id: I455b11a16ad52d8dd09165165447e4c4a661b45a
Signed-off-by: Stefan K. Berg <stefan.k.berg@ericsson.com>

[VPNSERVICE] Bugfix Broadcast Group

The local broadcast group was not updated
correctly in ODL. This commit includes the
bugfix.

Change-Id: I7857bcdc543217d513683bf91ab13fa93ba2ed42

Adding patch for Broadcast Storm of vpnservice

There is no persisten release from stable/beryllium
with the bugfix https://git.opendaylight.org/gerrit/#/c/37566/
included. So we have to overwrite the file we a own
build.

Change-Id: I637c333fa2175544f182cd1f7b774501d3fc2c25

Fix odl haproxy configuration

In rare cases ODL haproxy configuration had been deployed before
haproxy service was ready. This patch should force proper order.

Change-Id: I7c90a57bab5e3388bf29aefabe6ed9380d1303f6
Signed-off-by: Michal Skalski <mskalski@mirantis.com>

Redo config of plugin build

- Split up config into a new config file
- add revision to better point to a branch
  instrad of a revision.

Change-Id: I341138973b56fb0807478ee08cab039ab31d6503

Merge "Remove duplicate import of hashlib"

Merge "Cleanup and add bgpvpn to scenario file"

Cleanup and add bgpvpn to scenario file

Change-Id: I82ce16751b4d52d6fdb39883b730073164f9dfe0

Merge "Fix wrong indentation"

Uplift fuel-plugin-bgpvpn repo

Change-Id: I8d888628f66e1661486eb6ef79240a61da83a211

Fix wrong indentation

Change-Id: I215da0a101d94e2c3fd4aeea80b98f7c9aefe0fb
Signed-off-by: Peter Barabas <peter.barabas@ericsson.com>

Remove duplicate import of hashlib

Change-Id: I306b8260ea37fb32ef8db8cf5d4628b50328027f
Signed-off-by: Peter Barabas <peter.barabas@ericsson.com>

Merge "Enable BGPVPN_extension/SDNVPN_feature"

Merge "Fix for breaking deployment."

Merge "Fix KVM/QEMU plugin bug"

Merge "Use Opendaylight_SR-1"

Enable BGPVPN_extension/SDNVPN_feature

This commit includes the bugfixes and changes
for BGPVPN_extensions and SDNVPN_feature of ODL.

Change-Id: I9832680109edae497f7a344d5626568d3a335a15

Use Opendaylight_SR-1

In order to use the lates ODL build also the
fuel-plugin-opendaylight is uplifted.

Change-Id: Ic38d46818110c2b62920f2146cd406705d8e3673

Fix for breaking deployment.

If no vm definition is give,
nothing should happen.

Change-Id: I1fd01ef43fa3e5eab4a794c63254eaf6d80fc951

Merge "Configure the infra VMs over DHA"

Merge "Enable merge of the versions struct of a plugin"

Enable merge of the versions struct of a plugin

Redoing this the reverted patch. The original idea
that everyone which wants to merge lists has to
code that, is not wanted. So the Exception will
become a warning.

This reverts commit 552536f5319d6ead73118d0cfd701d648e99df28.

Change-Id: Ib15541199054da27c1a2aec68b5c1436da9622c9

Fix KVM/QEMU plugin bug

1. fix deployment error issue for Ceph co-located with Compute node

Change-Id: Idd4985b92121fa46f6ae70894b65fdae358f8aa3
Signed-off-by: davidjchou <david.j.chou@intel.com>

Merge "small fix for deploy.py invocation"

Fix KVM/QEMU plugin bug

1. fix nested virtualiztion in realtime kvm

Change-Id: Id4e2790e6640f142d0446667d0c7e8480f38ebbc
Signed-off-by: davidjchou <david.j.chou@intel.com>

Merge "Storage fix for the KVM scenario"

ODL Plugin: new branch for SR2 release

Change-Id: If868bfbe59711e198998945a9ef5e0de985939fc
Signed-off-by: Michal Skalski <mskalski@mirantis.com>

Configure the infra VMs over DHA

This commit enables the full configuration
of the VM(fuel/controller/compute)
defintion through the dha file.

Change-Id: I4e78334d1e5aec1e98667343390283587f0b3ea5

Storage fix for the KVM scenario

- Ceph is used with a replication factor of 1
- In no-ha, a separate node is used for ceph-osd
- In ha, one of the controllers is used for ceph-osd

Change-Id: Ibb00b385fe138374e380839fbc12067fd71c2a26
Signed-off-by: Jonas Bjurel <jonas.bjurel@ericsson.com>

Merge "Revert "Enable merge of the versions struct of a plugin""

Revert "Enable merge of the versions struct of a plugin"

This reverts commit 0eabb596edefd6562a892f27f4e838d9d21c5243.

Change-Id: Ifc4cb5bd12bdf50f0dd903af66037a428aed0201

Merge "Fix network connection check issue"

small fix for deploy.py invocation

Change-Id: I8587500c71f05ca69645422ae110651196e0cad2

Merge "Enable merge of the versions struct of a plugin"

Merge "Get user id without forking a shell."

Add no_deploy_environment option

For development reason it is useable to
have an option so that everything is done
except the deploy of the openstack
environment.

Change-Id: I1f1b7f9c89ee8c9ceea96353e25a51eee53b955c

Merge "Tell debconf not to be interactive"

Enable merge of the versions struct of a plugin

When the dic of a plugin is not fully merged
into the final dea file. When a list contains
dicts there is no merge. This commit
enables the versions list to be merged.

Change-Id: I20ff7bec74f8f71a8cd21010f44715953cd4616d

Get user id without forking a shell.

Change-Id: I6789b81186b7ede124a838a5b6668ba8326e0c0b
Signed-off-by: Peter Barabas <peter.barabas@ericsson.com>

Merge "Fix deploy.py return code"

Tell debconf not to be interactive

Change-Id: If3d937ba895cb06834a9f8b7382d1033aac9714f
Signed-off-by: Peter Barabas <peter.barabas@ericsson.com>

Merge "[BGPVPN] Correct BGPVPN plugin file"

Merge "Make number of cpus configurable in dha file"

Make number of cpus configurable in dha file

Some compones of openstack produce a lot of CPU load.
With this commit it is possible to
make more use of the Hypervisor where the virtual
nodes runs on.

Change-Id: Ide567dd0823c5526171c29073f2a36aa5f27d4b6

Merge "Minor updates of poc.tacker-up.sh - Building auto-adapting to python source changes - TACKER_ENDPOINT_TYPE env variable added to tackerc generation - Cosmetic cleanups"

[BGPVPN] Correct BGPVPN plugin file

The plugin config 0.0.2 has some
missleading statements. At some point
in time we should delete it and
only use this one here.

Change-Id: I6ceb2d2b7379ad691e4c7116ed7bc552deffc099

Fix deploy.py return code

Fixes https://jira.opnfv.org/browse/FUEL-100

Change-Id: Ic2e01372778720cde84d83738d8b2c85b005124a
Signed-off-by: Peter Barabas <peter.barabas@ericsson.com>

Minor updates of poc.tacker-up.sh
- Building auto-adapting to python source changes
- TACKER_ENDPOINT_TYPE env variable added to tackerc generation
- Cosmetic cleanups

Signed-off-by: Ferenc Cserepkei <ferenc.cserepkei@ericsson.com>

Changing raw to qcow2 for vFuel/Controller/Compute

A lot of diskspace is allocated although never used
this commit changes to thin provisioning
for the virtual enviroment.

Change-Id: Ia128143a3bae9f3d85a9e749319c2f5343c1df4e

Merge "Remove apparmor for vFuel"

Merge "Fix KVM launch issue"

Remove apparmor for vFuel

Not every CPU supports apparmor and
there is no real benefit when using it
only for fuel.

Change-Id: Ibb3221b85d8565f718df9b087aa324d0f606bdee

Add timeout option for deployment

Change-Id: I6f3f35680c9f90f99148865edf8ba905ecbb6c30
Signed-off-by: Peter Barabas <peter.barabas@ericsson.com>

Merge "Several orchestration fixes"

Several orchestration fixes

- Keystone uris
- Tacker service binding: Tacker listens on port 8808 in Fuel based deployment
- SQL database creation

Tacker server sources have been changed

Change-Id: I5dac018c373b99e927fc1b28ecfa0bcb7debed14
Signed-off-by: Ferenc Cserepkei <ferenc.cserepkei@ericsson.com>

Merge "docs: fix figure placement and old format"

Fix KVM launch issue

Change-Id: I3ad25407ca2a6874b4591c026350bddc05ab4c9d
Signed-off-by: Ruijing Guo <ruijing.guo@intel.com>

Merge "Final release notes for Fuel Brahmaputra SR0"

Final Fuel Brahmaputra SR0 documentation update

Change-Id: Iee51378f3689c32e82ce179885c2be1bb07ac2ae
Signed-off-by: Jonas Bjurel <jonas.bjurel@ericsson.com>

docs: fix figure placement and old format

This patch makes figures in the same place written in source rst files,
and also fixes old format of rst files and logo images.

Note: lisence headers should be added in another change with relevant
copyrights.

Signed-off-by: Ryota MIBU <r-mibu@cq.jp.nec.com>
Change-Id: Ibc5ca44031ef5946079bdf251935100f762a87b6

Final release notes for Fuel Brahmaputra SR0

Change-Id: Id5286c2a7e11eb29d7a7f187decfe475ae6acd6c
Signed-off-by: Jonas Bjurel <jonas.bjurel@ericsson.com>

Fix network connection check issue

Change-Id: Id42af08e9fe76db7f9d7dbae3b8b5bf60b079b14
Signed-off-by: Ruijing Guo <ruijing.guo@intel.com>

Correction of biweek caching logic

Change-Id: I7c7466da3d07587da322467e294cd0a793a3fc37
Signed-off-by: Stefan Berg <sfb@consultron.com>