Build: Allow customizing FUEL_MAIN_TAG (commit)

FUEL_MAIN_TAG is currently hard set to 9.0 (not overridable).

While this is a sane assumption for the usual scenarios,
Armband applies a series of patches on top of Fuel@OPNFV, hence
requiring us to override this variable.

WARNING: FUEL_MAIN_TAG is reused for fuel-mirror tag, so if you
override this variable, make sure the same tag exists in fuel-mirror.

Change-Id: Ided75cf0c3b5ad18cf7ef1ec88b5d2dc3aada511
Signed-off-by: Alexandru Avadanii <Alexandru.Avadanii@enea.com>
Signed-off-by: Stanislaw Kardach <Stanislaw.Kardach@cavium.com>

Merge "Build local mirrors for stable/mitaka"

deploy: ipmi adapter: Add <port> config support.

Sometimes the IPMI lanplus protocol listens on a non-standard
remote port, e.g. when target nodes are interfaced through a
fake IPMI BMC application that listens on multiple ports on the
same IP address.

Therefore, allow setting IPMI port in the DHA using a new
property named `ipmiPort`, and pass it along to `ipmitool` when set.

CHANGE: get_access_info now also supports specifying the IPMI
port to use with `ipmitool` by configuring the `ipmiPort`
property in the DHA.

hp_adapter.py: updated `get_access_info` return signature with
the new (unused there) `ipmiport`.

Change-Id: I620176bd7f466aa460518cf12d15ccbe86a22560
Signed-off-by: Alexandru Avadanii <Alexandru.Avadanii@enea.com>

build and deploy onos plugin for fuel9

Change-Id: I04dd8b4bdddc5678b158d7287c6ffc52d1bce135
Signed-off-by: wuwb1989 <wuwenbin2@huawei.com>

Merge "Enable vsperf plugin in fuel 9.0"

Merge "Update configuration for fuel 9 virtual deployment in Huawei-China."

Enable vsperf plugin in fuel 9.0

Change-Id: I96b59e22fcc0269aa3ae0b04587c8ca7d0fab867
Signed-off-by: Guo Ruijing <ruijing.guo@intel.com>

Fixing erroneous hypervisor type

A "qemu" snuck in instead of "kvm".

Change-Id: Ibe704103cd1bab6e127a31d08d53f53518033539
Signed-off-by: Stefan K. Berg <stefan.k.berg@ericsson.com>

Build local mirrors for stable/mitaka

Change-Id: I3128652aeb87cb2cfaa91ded1b8d9ebeeb70d33b
Signed-off-by: Michal Skalski <mskalski@mirantis.com>

Update configuration for fuel 9 virtual deployment in Huawei-China.

Change-Id: I9d2fc979886510c165af8dbac93ddcdc954727cf
Signed-off-by: wuwenbin2 <wuwenbin2@huawei.com>

Updated devel-pipeline DEA overrides for Fuel 9.0

Minor fix in the ELX version.
Update to Fuel 9.0 in the default version.

Change-Id: Ic084b86e7f6d2dfc3d15b10f0ef72e04ef2b7bf6
Signed-off-by: Stefan K. Berg <stefan.k.berg@ericsson.com>

Merge "Modification of deployment config for Fuel 9 and ELX lab"

Merge "Revert "Temporary fix for PXE booting from the wrong NIC""

Revert "Temporary fix for PXE booting from the wrong NIC"

This reverts commit 5926bcddca0eca28a33ae43aadf90b9263ae6b84.

Change-Id: Ibea4ca5d38ce2e10ab6d5bb1d7ccdf666ee149d5
Signed-off-by: Stefan K. Berg <stefan.k.berg@ericsson.com>

Merge "Temporary fix for PXE booting from the wrong NIC"

Temporary fix for PXE booting from the wrong NIC

Change-Id: I1f6d38da24d5a4e66061b9bdfe576fbbda7fb624
Signed-off-by: Peter Barabas <peter.barabas@ericsson.com>

Modification of deployment config for Fuel 9 and ELX lab

Change-Id: I380087889cda079a56c8cea3acc13145dcd49046
Signed-off-by: Stefan K. Berg <stefan.k.berg@ericsson.com>

Merge "ISO: Use --joliet-long names."

Merge "Do not create files when check connectivity"

Merge "Script to clean expired build cache items"

Do not create files when check connectivity

Change-Id: If0ab25ee843f9892510da3d3c8d1f10a54440545
Signed-off-by: Michal Skalski <mskalski@mirantis.com>

Fix for not reaping 'ssh_network'

Change-Id: Ib225701a808211e50554c8f1762325aa75ecc33f
Signed-off-by: Peter Barabas <peter.barabas@ericsson.com>

Script to clean expired build cache items

Change-Id: I5e466c89c05eb4d637778218cfe03b88d569f331
Signed-off-by: Stefan K. Berg <stefan.k.berg@ericsson.com>

Merge "Build odl plugin for mitaka"

Build odl plugin for mitaka

Change-Id: I59b96a424a753f880b4ac16abd806851ad3f9533
Signed-off-by: Michal Skalski <mskalski@mirantis.com>

Download deployment config after modification

Modified network or interface configurations were not reflected in
the deployment config, resulting in faulty node configurations.

Change-Id: I4ca20702c0171e7995f2b4f46317557ec9d5beac
Signed-off-by: Peter Barabas <peter.barabas@ericsson.com>

Merge "Auto deploy corrections for Fuel 9.0"

Merge "docs: Mitaka Build req: Add p7zip-full."

ISO: Use --joliet-long names.

Armband adds similar files, which tend to have long names and only
differ in suffixes (e.g. DEBs for amd64 vs arm64).

This works around ISO build error(s) like:

"genisoimage: Error:
./ubuntu/pool/main/g/golang-gogoprotobuf/golang-gogoprotobuf\
-dev_0.0~git20150828.0.6cab0cc-1~u14.04+mos1_amd64.deb and
./ubuntu/pool/main/g/golang-gogoprotobuf/golang-gogoprotobuf\
-dev_0.0~git20150828.0.6cab0cc-1~u14.04+mos1_arm64.deb
have the same Joliet name"

Change-Id: I89d9816d86176d80bcc76f5f90c8391b0664ab82
Signed-off-by: Alexandru Avadanii <Alexandru.Avadanii@enea.com>

docs: Mitaka Build req: Add p7zip-full.

Build system uplift to Fuel 9.0/Mitaka now requires `7z` cmd utility
also on the builder host (not only inside docker containers), so
document this as a prereq in the build instructions.

[1] https://gerrit.opnfv.org/gerrit/#/c/13919/

Change-Id: Icb57ac58c499272fce0a27bb2d25383e933c7814
Signed-off-by: Alexandru Avadanii <Alexandru.Avadanii@enea.com>

Auto deploy corrections for Fuel 9.0

- The auto deployer's detection of nodes being up corrected as "fuel node"
  now returns "1" instead of "True" to denote that the node is up.

- The location of bootstrap_admin_node.sh has changed so the detection of
  whether the Fuel node installation needed a correction for the deployer
  not to throw an exit code and terminate prematurely.

- Small fix: deploy.py is now executable (just a chmod change).

Change-Id: I8fed7bafe6912f8b4278619bbdaa16577a82737b
Signed-off-by: Stefan K. Berg <stefan.k.berg@ericsson.com>

Clean up after ourselves

Change-Id: Id7579ef618b8cd922de325d9dc1c0b7a6c5587a7
Signed-off-by: Peter Barabas <peter.barabas@ericsson.com>

A small edit for the uplift to Mitaka from Liberty

Signed-off-by: Daiel Smith <daniel.smith@ericsson.com>
JIRA:0

common.py: catch stderr in exec_cmd

When running commands with exec_cmd(), the stderr of the command is
sent to /dev/null and ignored, and only stdout is retrieved. Thus, when
a command fails and check is enabled, only the output of stdout is
presented to the user, which normally holds no information about the
error.
In this patch we retrieve stderr, and when an error occurs, an exception
is raised with that message.

Fixes https://jira.opnfv.org/browse/FUEL-142

Change-Id: I3940e1a43963a6abec362481b1d4ce7bd7cb816d
Signed-off-by: Josep Puigdemont <josep.puigdemont@enea.com>

Merge "Build system uplift to Fuel 9.0/Mitaka"

Merge "Remove residual Lab & configuration DEA and DHA from the unprotected Fuel repo"

Build system uplift to Fuel 9.0/Mitaka

Switching to Fuel 9.0/Mitaka for the build system.

Overhaul of the patching mechanism. As bootstrap_admin_node.sh has
been transitioned into an RPM (fuel-support), the lazy designer found
it more simple to patch that script during the Fuel build phase than
at the OPNFV ISO generation. The patch mechanism has been changed to a
normal context diff instead of the orig/modified file tuples
previously used. Hopefully this will require fewer manual rebases (may
the fuzz be with us!).

Also the ks.cfg patching has transitioned to a context based ordinary
patch for the same reasons, but this is as before taking place during
OPNFV ISO generation.

Patch naming made more descriptive.

The reaping mechanism has been slightly modified due to a change in
the naming of the node files when these are generated by the Fuel CLI.

IMPORTANT 1: The package cache mechanism is currently disabled, it is
only possible to install Fuel with a direct internet connection. This
will be fixed in a later change set!

IMPORTANT 2: All plugins has been disabled! As you have re-certified
your plugin with Fuel 9.0, please re-enable it in build/Makefile!

Change-Id: Ia918d16a74b68f89d178e06befe6e8a7a9367bf9
Signed-off-by: Stefan K. Berg <stefan.k.berg@ericsson.com>

Merge "More rigorous Fuel environment check"

Merge "docs/install-instr: Add target specific cfg sect."

More rigorous Fuel environment check

get_env() used to raise an unhandled exception when reap.py was run on a
Fuel node which didn't yet have an environment set up.

Change-Id: I07c37db2d80e416d26fa4fb4907f4e438f1c44e5
Signed-off-by: Peter Barabas <peter.barabas@ericsson.com>

Remove coexistence configuration from post script

This is not more needed as the config comes from FUEL ODL plug-in

Change-Id: Ie09a52ac3919ac641924d41431dc000910e6d4f4
Signed-off-by: Manuel Buil <manuel.buil@ericsson.com>

docs/install-instr: Add target specific cfg sect.

Fuel 8.0 adds support for setting up "Offloading Modes" for
target nodes.

Document how this features should be used (and why/when it's
necessary), and also its common limitation of not being applied
during Verify Networks step (see related Fuel bug report [1]).

While at it, fix minor reference to branch in git tag checkout
instructions, as we'd be in detached HEAD and not on a new branch.

[1] https://jira.opnfv.org/browse/FUEL-134

[Alexandru.Avadanii@enea.com]
Only minor edits and prepared for upstreaming, this is mostly
based on previous work from Florin.

Change-Id: If7a8ca44541903dbeb6db36bc64fe56b132165cb
Signed-off-by: Florin Dumitrascu <florin.dumitrascu@enea.com>
Signed-off-by: Alexandru Avadanii <Alexandru.Avadanii@enea.com>

Merge "docs/release-notes: Add protocol handler to ref."

Merge "Adjust kernel numbers comparison"

docs/release-notes: Add protocol handler to ref.

Doc build fails to create a link for www.opnfv.org because it
does not explicitly specify the protocol handler.

Make doc build happy by adding "http://" prefix.

Change-Id: I7dc9c362f13bac1687d139942826eb1208556a37
Signed-off-by: Alexandru Avadanii <Alexandru.Avadanii@enea.com>

docs/install-instr: Fix git clone URL for HTTPS.

Drop unnecessary <user>@, not needed for http downloads.
Also, fix typo (missing letter) in opnfv.org domain name.

While we're at it, fix small typo in Ceilometer name too.

Change-Id: I2c3341689b7a7808863906700342e62e707246e9
Signed-off-by: Alexandru Avadanii <Alexandru.Avadanii@enea.com>

Merge "docs/build-instr: Fix git clone URL for HTTPS."

Remove residual Lab & configuration DEA and DHA from the unprotected Fuel repo

This needs testing!!!!
On a follow-up release, this also needs rebasement, the libvirt templates
are still in here - they shouldnt, sinse we dont want Lab specific
configs in the Fuel repo.

NOT VERIFIED
DO NOT MERGE

Change-Id: I069ced81b886405463f27f37a6ec78e3748b37b7
Signed-off-by: Jonas Bjurel <jonas.bjurel@ericsson.com>

Merge "deployment.py: stdout not consumed when deploying changes"

docs/build-instr: Fix git clone URL for HTTPS.

Fix wrong https git clone URL, 29418 port should be used only for SSH.

While we're at it, add some bash code-block markup to bash commands.

Change-Id: Ie95a4c170b70bcc3da5d4d59260d61fbd5f2a9f3
Signed-off-by: Alexandru Avadanii <Alexandru.Avadanii@enea.com>

Adjust kernel numbers comparison

With current solution kernel 4.2.0 is treated as earlier version,
final comparison is: 42 < 319. This change will compare coresponding
numbers of installed kernel with required version.

Change-Id: Iac3aed0eb21ac8ad3138c2169299ca3b43e6e663
Signed-off-by: Michal Skalski <mskalski@mirantis.com>

Merge "The configuration of the coexistence between SFC and Netvirt is added"

Merge "deploy.sh: do not expect a parameter for -h"

The configuration of the coexistence between SFC and Netvirt is added

Change-Id: I3ce03c38677ac67df3aae0363048be21b7939bde
Signed-off-by: Manuel Buil <manuel.buil@ericsson.com>

Merge "Reflect new deploy.py options in README"

Merge "Use US keyboard layout on the console"

Merge "Fix handling of relative ISO path on the CLI"

Use US keyboard layout on the console

Change-Id: I40942c7181daf5efd1640a03471e91df82548073
Signed-off-by: Peter Barabas <peter.barabas@ericsson.com>

Reflect new deploy.py options in README

Change-Id: Id22ae685f324b58d07bd0c5256f3dbf55672776e
Signed-off-by: Peter Barabas <peter.barabas@ericsson.com>

deployment.py: stdout not consumed when deploying changes

During the automatic deployment, when the environment is ready to be
deployed, the deploy.py script will spawn a shell process that will
perform the command "fuel deploy-changes". The standard output of this
process is then piped to a "tee" process, which redirects the output
to the standard output of the shell process, and to a file named
cloud.log. The file is monitored by the deploy script to find out the
status of the deployment, and print it to the log file of the automatic
deployment script, including percentages for each node being
provisioned. However, the deploy script never consumes the standard
output of the shell process. If the shell process produces enough
output, its standard output buffer will fill up, thus making the tee
process block trying to write to its standard output, and the cloud.log
file will not be updated. At this point, the deploy process, which is
monitoring cloud.log, will not detect any progress in the deployment,
and eventually it will time out and assume the deployment failed,
although it might have finished fine after that.

The solution here is to remove the "tee" process from the shell command,
and instead redirect standard output to the cloud.log file.
Another solution would be to actually parse the standard output of the
shell command from the deploy script itself, but that would require a
bit more work, as reading a line at a time might block the script.

Finally, with this patch the cloud.log file won't be deleted unless the
shell process has already finished.

Change-Id: I03a77be42d220b1606e48fc4ca35e22d73a6e583
Signed-off-by: Josep Puigdemont <josep.puigdemont@enea.com>

deploy.sh: do not expect a parameter for -h

If -h was given as a parameter to the script, it would report an error
as it expected a parameter, and if it was called as the only parameter,
it would run deploy.py as if "old style" parameters had been given, thus
showing the usage for the python script, instead of the expected usage
message for this script.

Update the usage message to include -h.

Change-Id: I0930936962c1cb479ec4409ff114cd60a386b276
Signed-off-by: Josep Puigdemont <josep.puigdemont@enea.com>

Merge "Updating project lead, and link of approval"

Merge "Add a dha adapter python file for ZTE hardware."

Updating project lead, and link of approval

Change-Id: Id265bb022a4c509e642e8f8b61a65c5cfb05c1b7
Signed-off-by: Aric Gardner <agardner@linuxfoundation.org>

Merge "Clean up scenario files"

INFO file updated with Greg and Nikolas as committers

Change-Id: I9a64e5948e159362cb851777db6de41eccb2a599
Signed-off-by: Jonas Bjurel <jonas.bjurel@ericsson.com>

Fix handling of relative ISO path on the CLI

Change-Id: I32878726432c3d883f0b33bdd2c836b0770e734f
Signed-off-by: Peter Barabas <peter.barabas@ericsson.com>

Clean up scenario files

 - remove release from scenario files
 - remove old versions of scenario files
 - remove versions from scenario file names and update scenario.yaml
 - update README

Change-Id: I5203ea0794b96fb44f6a9db25b33e5066c1d9574
Signed-off-by: Peter Barabas <peter.barabas@ericsson.com>

Add a dha adapter python file for ZTE hardware.

ZTE hardware need use IPMI command "chassis power cycle"
on function node_reset().

JIRA: FUEL-127

Change-Id: I286fd9cda43d2e1799b134f0a391f57d08cd1928
Signed-off-by: wu.zhihui <wu.zhihui1@zte.com.cn>

Updated documentation for Brahmaputra 3.0 follow-up release

READY TO MERGE

Change-Id: Ic481f02375af9be1642791fa6d96856a453c4f29
Signed-off-by: Jonas Bjurel <jonas.bjurel@ericsson.com>

Merge "configure_environment.py: quote environment name"

Merge "Using VLAN segmentation for the NFV-OVS scenarios. Unfortunately this scenario is hardwired to work with Ericsson POD-2 only"

Using VLAN segmentation for the NFV-OVS scenarios.
Unfortunately this scenario is hardwired to work with Ericsson POD-2 only

Change-Id: I3a0b56d7ff71e0ec9cd97b8ef5946fb438d43e62
Signed-off-by: Jonas Bjurel <jonas.bjurel@ericsson.com>

configure_environment.py: quote environment name

The Fuel environment name may contain spaces, putting the name in quote
marks prevents the second and subsequent words from being interpreted
as other parameters by the fuel command.

The name could contain double quotes too, so this doesn't solve all
problems, but arguably the most common case.

Signed-off-by: Josep Puigdemont <josep.puigdemont@enea.com>

Correction due to changed cpio behavior

As part of a security fix for cpio, its behavior has changed in terms
of how symlinks are handled.

This is affecting the Fuel build process, for which this commit is a
fix (reverting cpio back to its original behavior by adding the
argument "--extract-over-symlinks" in those instances where this is
needed).

For details, see https://jira.opnfv.org/browse/FUEL-125

Change-Id: I455b11a16ad52d8dd09165165447e4c4a661b45a
Signed-off-by: Stefan K. Berg <stefan.k.berg@ericsson.com>

[VPNSERVICE] Bugfix Broadcast Group

The local broadcast group was not updated
correctly in ODL. This commit includes the
bugfix.

Change-Id: I7857bcdc543217d513683bf91ab13fa93ba2ed42

Adding patch for Broadcast Storm of vpnservice

There is no persisten release from stable/beryllium
with the bugfix https://git.opendaylight.org/gerrit/#/c/37566/
included. So we have to overwrite the file we a own
build.

Change-Id: I637c333fa2175544f182cd1f7b774501d3fc2c25

Fix odl haproxy configuration

In rare cases ODL haproxy configuration had been deployed before
haproxy service was ready. This patch should force proper order.

Change-Id: I7c90a57bab5e3388bf29aefabe6ed9380d1303f6
Signed-off-by: Michal Skalski <mskalski@mirantis.com>

Redo config of plugin build

- Split up config into a new config file
- add revision to better point to a branch
  instrad of a revision.

Change-Id: I341138973b56fb0807478ee08cab039ab31d6503

Merge "Remove duplicate import of hashlib"

Merge "Cleanup and add bgpvpn to scenario file"

Cleanup and add bgpvpn to scenario file

Change-Id: I82ce16751b4d52d6fdb39883b730073164f9dfe0

Merge "Fix wrong indentation"

Uplift fuel-plugin-bgpvpn repo

Change-Id: I8d888628f66e1661486eb6ef79240a61da83a211

Fix wrong indentation

Change-Id: I215da0a101d94e2c3fd4aeea80b98f7c9aefe0fb
Signed-off-by: Peter Barabas <peter.barabas@ericsson.com>

Remove duplicate import of hashlib

Change-Id: I306b8260ea37fb32ef8db8cf5d4628b50328027f
Signed-off-by: Peter Barabas <peter.barabas@ericsson.com>

Merge "Enable BGPVPN_extension/SDNVPN_feature"

Merge "Fix for breaking deployment."

Merge "Fix KVM/QEMU plugin bug"

Merge "Use Opendaylight_SR-1"

Enable BGPVPN_extension/SDNVPN_feature

This commit includes the bugfixes and changes
for BGPVPN_extensions and SDNVPN_feature of ODL.

Change-Id: I9832680109edae497f7a344d5626568d3a335a15

Use Opendaylight_SR-1

In order to use the lates ODL build also the
fuel-plugin-opendaylight is uplifted.

Change-Id: Ic38d46818110c2b62920f2146cd406705d8e3673

Fix for breaking deployment.

If no vm definition is give,
nothing should happen.

Change-Id: I1fd01ef43fa3e5eab4a794c63254eaf6d80fc951

Merge "Configure the infra VMs over DHA"

Merge "Enable merge of the versions struct of a plugin"

Enable merge of the versions struct of a plugin

Redoing this the reverted patch. The original idea
that everyone which wants to merge lists has to
code that, is not wanted. So the Exception will
become a warning.

This reverts commit 552536f5319d6ead73118d0cfd701d648e99df28.

Change-Id: Ib15541199054da27c1a2aec68b5c1436da9622c9

Fix KVM/QEMU plugin bug

1. fix deployment error issue for Ceph co-located with Compute node

Change-Id: Idd4985b92121fa46f6ae70894b65fdae358f8aa3
Signed-off-by: davidjchou <david.j.chou@intel.com>

Merge "small fix for deploy.py invocation"

Fix KVM/QEMU plugin bug

1. fix nested virtualiztion in realtime kvm

Change-Id: Id4e2790e6640f142d0446667d0c7e8480f38ebbc
Signed-off-by: davidjchou <david.j.chou@intel.com>

Merge "Storage fix for the KVM scenario"