Modification of deployment config for Fuel 9 and ELX lab

Change-Id: I380087889cda079a56c8cea3acc13145dcd49046
Signed-off-by: Stefan K. Berg <stefan.k.berg@ericsson.com>

Merge "ISO: Use --joliet-long names."

Merge "Do not create files when check connectivity"

Merge "Script to clean expired build cache items"

Do not create files when check connectivity

Change-Id: If0ab25ee843f9892510da3d3c8d1f10a54440545
Signed-off-by: Michal Skalski <mskalski@mirantis.com>

Fix for not reaping 'ssh_network'

Change-Id: Ib225701a808211e50554c8f1762325aa75ecc33f
Signed-off-by: Peter Barabas <peter.barabas@ericsson.com>

Script to clean expired build cache items

Change-Id: I5e466c89c05eb4d637778218cfe03b88d569f331
Signed-off-by: Stefan K. Berg <stefan.k.berg@ericsson.com>

Merge "Build odl plugin for mitaka"

Build odl plugin for mitaka

Change-Id: I59b96a424a753f880b4ac16abd806851ad3f9533
Signed-off-by: Michal Skalski <mskalski@mirantis.com>

Download deployment config after modification

Modified network or interface configurations were not reflected in
the deployment config, resulting in faulty node configurations.

Change-Id: I4ca20702c0171e7995f2b4f46317557ec9d5beac
Signed-off-by: Peter Barabas <peter.barabas@ericsson.com>

Merge "Auto deploy corrections for Fuel 9.0"

Merge "docs: Mitaka Build req: Add p7zip-full."

ISO: Use --joliet-long names.

Armband adds similar files, which tend to have long names and only
differ in suffixes (e.g. DEBs for amd64 vs arm64).

This works around ISO build error(s) like:

"genisoimage: Error:
./ubuntu/pool/main/g/golang-gogoprotobuf/golang-gogoprotobuf\
-dev_0.0~git20150828.0.6cab0cc-1~u14.04+mos1_amd64.deb and
./ubuntu/pool/main/g/golang-gogoprotobuf/golang-gogoprotobuf\
-dev_0.0~git20150828.0.6cab0cc-1~u14.04+mos1_arm64.deb
have the same Joliet name"

Change-Id: I89d9816d86176d80bcc76f5f90c8391b0664ab82
Signed-off-by: Alexandru Avadanii <Alexandru.Avadanii@enea.com>

docs: Mitaka Build req: Add p7zip-full.

Build system uplift to Fuel 9.0/Mitaka now requires `7z` cmd utility
also on the builder host (not only inside docker containers), so
document this as a prereq in the build instructions.

[1] https://gerrit.opnfv.org/gerrit/#/c/13919/

Change-Id: Icb57ac58c499272fce0a27bb2d25383e933c7814
Signed-off-by: Alexandru Avadanii <Alexandru.Avadanii@enea.com>

Auto deploy corrections for Fuel 9.0

- The auto deployer's detection of nodes being up corrected as "fuel node"
  now returns "1" instead of "True" to denote that the node is up.

- The location of bootstrap_admin_node.sh has changed so the detection of
  whether the Fuel node installation needed a correction for the deployer
  not to throw an exit code and terminate prematurely.

- Small fix: deploy.py is now executable (just a chmod change).

Change-Id: I8fed7bafe6912f8b4278619bbdaa16577a82737b
Signed-off-by: Stefan K. Berg <stefan.k.berg@ericsson.com>

Clean up after ourselves

Change-Id: Id7579ef618b8cd922de325d9dc1c0b7a6c5587a7
Signed-off-by: Peter Barabas <peter.barabas@ericsson.com>

A small edit for the uplift to Mitaka from Liberty

Signed-off-by: Daiel Smith <daniel.smith@ericsson.com>
JIRA:0

common.py: catch stderr in exec_cmd

When running commands with exec_cmd(), the stderr of the command is
sent to /dev/null and ignored, and only stdout is retrieved. Thus, when
a command fails and check is enabled, only the output of stdout is
presented to the user, which normally holds no information about the
error.
In this patch we retrieve stderr, and when an error occurs, an exception
is raised with that message.

Fixes https://jira.opnfv.org/browse/FUEL-142

Change-Id: I3940e1a43963a6abec362481b1d4ce7bd7cb816d
Signed-off-by: Josep Puigdemont <josep.puigdemont@enea.com>

Merge "Build system uplift to Fuel 9.0/Mitaka"

Merge "Remove residual Lab & configuration DEA and DHA from the unprotected Fuel repo"

Build system uplift to Fuel 9.0/Mitaka

Switching to Fuel 9.0/Mitaka for the build system.

Overhaul of the patching mechanism. As bootstrap_admin_node.sh has
been transitioned into an RPM (fuel-support), the lazy designer found
it more simple to patch that script during the Fuel build phase than
at the OPNFV ISO generation. The patch mechanism has been changed to a
normal context diff instead of the orig/modified file tuples
previously used. Hopefully this will require fewer manual rebases (may
the fuzz be with us!).

Also the ks.cfg patching has transitioned to a context based ordinary
patch for the same reasons, but this is as before taking place during
OPNFV ISO generation.

Patch naming made more descriptive.

The reaping mechanism has been slightly modified due to a change in
the naming of the node files when these are generated by the Fuel CLI.

IMPORTANT 1: The package cache mechanism is currently disabled, it is
only possible to install Fuel with a direct internet connection. This
will be fixed in a later change set!

IMPORTANT 2: All plugins has been disabled! As you have re-certified
your plugin with Fuel 9.0, please re-enable it in build/Makefile!

Change-Id: Ia918d16a74b68f89d178e06befe6e8a7a9367bf9
Signed-off-by: Stefan K. Berg <stefan.k.berg@ericsson.com>

Merge "More rigorous Fuel environment check"

Merge "docs/install-instr: Add target specific cfg sect."

More rigorous Fuel environment check

get_env() used to raise an unhandled exception when reap.py was run on a
Fuel node which didn't yet have an environment set up.

Change-Id: I07c37db2d80e416d26fa4fb4907f4e438f1c44e5
Signed-off-by: Peter Barabas <peter.barabas@ericsson.com>

Remove coexistence configuration from post script

This is not more needed as the config comes from FUEL ODL plug-in

Change-Id: Ie09a52ac3919ac641924d41431dc000910e6d4f4
Signed-off-by: Manuel Buil <manuel.buil@ericsson.com>

docs/install-instr: Add target specific cfg sect.

Fuel 8.0 adds support for setting up "Offloading Modes" for
target nodes.

Document how this features should be used (and why/when it's
necessary), and also its common limitation of not being applied
during Verify Networks step (see related Fuel bug report [1]).

While at it, fix minor reference to branch in git tag checkout
instructions, as we'd be in detached HEAD and not on a new branch.

[1] https://jira.opnfv.org/browse/FUEL-134

[Alexandru.Avadanii@enea.com]
Only minor edits and prepared for upstreaming, this is mostly
based on previous work from Florin.

Change-Id: If7a8ca44541903dbeb6db36bc64fe56b132165cb
Signed-off-by: Florin Dumitrascu <florin.dumitrascu@enea.com>
Signed-off-by: Alexandru Avadanii <Alexandru.Avadanii@enea.com>

Merge "docs/release-notes: Add protocol handler to ref."

Merge "Adjust kernel numbers comparison"

docs/release-notes: Add protocol handler to ref.

Doc build fails to create a link for www.opnfv.org because it
does not explicitly specify the protocol handler.

Make doc build happy by adding "http://" prefix.

Change-Id: I7dc9c362f13bac1687d139942826eb1208556a37
Signed-off-by: Alexandru Avadanii <Alexandru.Avadanii@enea.com>

docs/install-instr: Fix git clone URL for HTTPS.

Drop unnecessary <user>@, not needed for http downloads.
Also, fix typo (missing letter) in opnfv.org domain name.

While we're at it, fix small typo in Ceilometer name too.

Change-Id: I2c3341689b7a7808863906700342e62e707246e9
Signed-off-by: Alexandru Avadanii <Alexandru.Avadanii@enea.com>

Merge "docs/build-instr: Fix git clone URL for HTTPS."

Remove residual Lab & configuration DEA and DHA from the unprotected Fuel repo

This needs testing!!!!
On a follow-up release, this also needs rebasement, the libvirt templates
are still in here - they shouldnt, sinse we dont want Lab specific
configs in the Fuel repo.

NOT VERIFIED
DO NOT MERGE

Change-Id: I069ced81b886405463f27f37a6ec78e3748b37b7
Signed-off-by: Jonas Bjurel <jonas.bjurel@ericsson.com>

Merge "deployment.py: stdout not consumed when deploying changes"

docs/build-instr: Fix git clone URL for HTTPS.

Fix wrong https git clone URL, 29418 port should be used only for SSH.

While we're at it, add some bash code-block markup to bash commands.

Change-Id: Ie95a4c170b70bcc3da5d4d59260d61fbd5f2a9f3
Signed-off-by: Alexandru Avadanii <Alexandru.Avadanii@enea.com>

Adjust kernel numbers comparison

With current solution kernel 4.2.0 is treated as earlier version,
final comparison is: 42 < 319. This change will compare coresponding
numbers of installed kernel with required version.

Change-Id: Iac3aed0eb21ac8ad3138c2169299ca3b43e6e663
Signed-off-by: Michal Skalski <mskalski@mirantis.com>

Merge "The configuration of the coexistence between SFC and Netvirt is added"

Merge "deploy.sh: do not expect a parameter for -h"

The configuration of the coexistence between SFC and Netvirt is added

Change-Id: I3ce03c38677ac67df3aae0363048be21b7939bde
Signed-off-by: Manuel Buil <manuel.buil@ericsson.com>

Merge "Reflect new deploy.py options in README"

Merge "Use US keyboard layout on the console"

Merge "Fix handling of relative ISO path on the CLI"

Use US keyboard layout on the console

Change-Id: I40942c7181daf5efd1640a03471e91df82548073
Signed-off-by: Peter Barabas <peter.barabas@ericsson.com>

Reflect new deploy.py options in README

Change-Id: Id22ae685f324b58d07bd0c5256f3dbf55672776e
Signed-off-by: Peter Barabas <peter.barabas@ericsson.com>

deployment.py: stdout not consumed when deploying changes

During the automatic deployment, when the environment is ready to be
deployed, the deploy.py script will spawn a shell process that will
perform the command "fuel deploy-changes". The standard output of this
process is then piped to a "tee" process, which redirects the output
to the standard output of the shell process, and to a file named
cloud.log. The file is monitored by the deploy script to find out the
status of the deployment, and print it to the log file of the automatic
deployment script, including percentages for each node being
provisioned. However, the deploy script never consumes the standard
output of the shell process. If the shell process produces enough
output, its standard output buffer will fill up, thus making the tee
process block trying to write to its standard output, and the cloud.log
file will not be updated. At this point, the deploy process, which is
monitoring cloud.log, will not detect any progress in the deployment,
and eventually it will time out and assume the deployment failed,
although it might have finished fine after that.

The solution here is to remove the "tee" process from the shell command,
and instead redirect standard output to the cloud.log file.
Another solution would be to actually parse the standard output of the
shell command from the deploy script itself, but that would require a
bit more work, as reading a line at a time might block the script.

Finally, with this patch the cloud.log file won't be deleted unless the
shell process has already finished.

Change-Id: I03a77be42d220b1606e48fc4ca35e22d73a6e583
Signed-off-by: Josep Puigdemont <josep.puigdemont@enea.com>

deploy.sh: do not expect a parameter for -h

If -h was given as a parameter to the script, it would report an error
as it expected a parameter, and if it was called as the only parameter,
it would run deploy.py as if "old style" parameters had been given, thus
showing the usage for the python script, instead of the expected usage
message for this script.

Update the usage message to include -h.

Change-Id: I0930936962c1cb479ec4409ff114cd60a386b276
Signed-off-by: Josep Puigdemont <josep.puigdemont@enea.com>

Merge "Updating project lead, and link of approval"

Merge "Add a dha adapter python file for ZTE hardware."

Updating project lead, and link of approval

Change-Id: Id265bb022a4c509e642e8f8b61a65c5cfb05c1b7
Signed-off-by: Aric Gardner <agardner@linuxfoundation.org>

Merge "Clean up scenario files"

INFO file updated with Greg and Nikolas as committers

Change-Id: I9a64e5948e159362cb851777db6de41eccb2a599
Signed-off-by: Jonas Bjurel <jonas.bjurel@ericsson.com>

Fix handling of relative ISO path on the CLI

Change-Id: I32878726432c3d883f0b33bdd2c836b0770e734f
Signed-off-by: Peter Barabas <peter.barabas@ericsson.com>

Clean up scenario files

 - remove release from scenario files
 - remove old versions of scenario files
 - remove versions from scenario file names and update scenario.yaml
 - update README

Change-Id: I5203ea0794b96fb44f6a9db25b33e5066c1d9574
Signed-off-by: Peter Barabas <peter.barabas@ericsson.com>

Add a dha adapter python file for ZTE hardware.

ZTE hardware need use IPMI command "chassis power cycle"
on function node_reset().

JIRA: FUEL-127

Change-Id: I286fd9cda43d2e1799b134f0a391f57d08cd1928
Signed-off-by: wu.zhihui <wu.zhihui1@zte.com.cn>

Updated documentation for Brahmaputra 3.0 follow-up release

READY TO MERGE

Change-Id: Ic481f02375af9be1642791fa6d96856a453c4f29
Signed-off-by: Jonas Bjurel <jonas.bjurel@ericsson.com>

Merge "configure_environment.py: quote environment name"

Merge "Using VLAN segmentation for the NFV-OVS scenarios. Unfortunately this scenario is hardwired to work with Ericsson POD-2 only"

Using VLAN segmentation for the NFV-OVS scenarios.
Unfortunately this scenario is hardwired to work with Ericsson POD-2 only

Change-Id: I3a0b56d7ff71e0ec9cd97b8ef5946fb438d43e62
Signed-off-by: Jonas Bjurel <jonas.bjurel@ericsson.com>

configure_environment.py: quote environment name

The Fuel environment name may contain spaces, putting the name in quote
marks prevents the second and subsequent words from being interpreted
as other parameters by the fuel command.

The name could contain double quotes too, so this doesn't solve all
problems, but arguably the most common case.

Signed-off-by: Josep Puigdemont <josep.puigdemont@enea.com>

Correction due to changed cpio behavior

As part of a security fix for cpio, its behavior has changed in terms
of how symlinks are handled.

This is affecting the Fuel build process, for which this commit is a
fix (reverting cpio back to its original behavior by adding the
argument "--extract-over-symlinks" in those instances where this is
needed).

For details, see https://jira.opnfv.org/browse/FUEL-125

Change-Id: I455b11a16ad52d8dd09165165447e4c4a661b45a
Signed-off-by: Stefan K. Berg <stefan.k.berg@ericsson.com>

[VPNSERVICE] Bugfix Broadcast Group

The local broadcast group was not updated
correctly in ODL. This commit includes the
bugfix.

Change-Id: I7857bcdc543217d513683bf91ab13fa93ba2ed42

Adding patch for Broadcast Storm of vpnservice

There is no persisten release from stable/beryllium
with the bugfix https://git.opendaylight.org/gerrit/#/c/37566/
included. So we have to overwrite the file we a own
build.

Change-Id: I637c333fa2175544f182cd1f7b774501d3fc2c25

Fix odl haproxy configuration

In rare cases ODL haproxy configuration had been deployed before
haproxy service was ready. This patch should force proper order.

Change-Id: I7c90a57bab5e3388bf29aefabe6ed9380d1303f6
Signed-off-by: Michal Skalski <mskalski@mirantis.com>

Redo config of plugin build

- Split up config into a new config file
- add revision to better point to a branch
  instrad of a revision.

Change-Id: I341138973b56fb0807478ee08cab039ab31d6503

Merge "Remove duplicate import of hashlib"

Merge "Cleanup and add bgpvpn to scenario file"

Cleanup and add bgpvpn to scenario file

Change-Id: I82ce16751b4d52d6fdb39883b730073164f9dfe0

Merge "Fix wrong indentation"

Uplift fuel-plugin-bgpvpn repo

Change-Id: I8d888628f66e1661486eb6ef79240a61da83a211

Fix wrong indentation

Change-Id: I215da0a101d94e2c3fd4aeea80b98f7c9aefe0fb
Signed-off-by: Peter Barabas <peter.barabas@ericsson.com>

Remove duplicate import of hashlib

Change-Id: I306b8260ea37fb32ef8db8cf5d4628b50328027f
Signed-off-by: Peter Barabas <peter.barabas@ericsson.com>

Merge "Enable BGPVPN_extension/SDNVPN_feature"

Merge "Fix for breaking deployment."

Merge "Fix KVM/QEMU plugin bug"

Merge "Use Opendaylight_SR-1"

Enable BGPVPN_extension/SDNVPN_feature

This commit includes the bugfixes and changes
for BGPVPN_extensions and SDNVPN_feature of ODL.

Change-Id: I9832680109edae497f7a344d5626568d3a335a15

Use Opendaylight_SR-1

In order to use the lates ODL build also the
fuel-plugin-opendaylight is uplifted.

Change-Id: Ic38d46818110c2b62920f2146cd406705d8e3673

Fix for breaking deployment.

If no vm definition is give,
nothing should happen.

Change-Id: I1fd01ef43fa3e5eab4a794c63254eaf6d80fc951

Merge "Configure the infra VMs over DHA"

Merge "Enable merge of the versions struct of a plugin"

Enable merge of the versions struct of a plugin

Redoing this the reverted patch. The original idea
that everyone which wants to merge lists has to
code that, is not wanted. So the Exception will
become a warning.

This reverts commit 552536f5319d6ead73118d0cfd701d648e99df28.

Change-Id: Ib15541199054da27c1a2aec68b5c1436da9622c9

Fix KVM/QEMU plugin bug

1. fix deployment error issue for Ceph co-located with Compute node

Change-Id: Idd4985b92121fa46f6ae70894b65fdae358f8aa3
Signed-off-by: davidjchou <david.j.chou@intel.com>

Merge "small fix for deploy.py invocation"

Fix KVM/QEMU plugin bug

1. fix nested virtualiztion in realtime kvm

Change-Id: Id4e2790e6640f142d0446667d0c7e8480f38ebbc
Signed-off-by: davidjchou <david.j.chou@intel.com>

Merge "Storage fix for the KVM scenario"

ODL Plugin: new branch for SR2 release

Change-Id: If868bfbe59711e198998945a9ef5e0de985939fc
Signed-off-by: Michal Skalski <mskalski@mirantis.com>

Configure the infra VMs over DHA

This commit enables the full configuration
of the VM(fuel/controller/compute)
defintion through the dha file.

Change-Id: I4e78334d1e5aec1e98667343390283587f0b3ea5

Storage fix for the KVM scenario

- Ceph is used with a replication factor of 1
- In no-ha, a separate node is used for ceph-osd
- In ha, one of the controllers is used for ceph-osd

Change-Id: Ibb00b385fe138374e380839fbc12067fd71c2a26
Signed-off-by: Jonas Bjurel <jonas.bjurel@ericsson.com>

Merge "Revert "Enable merge of the versions struct of a plugin""

Revert "Enable merge of the versions struct of a plugin"

This reverts commit 0eabb596edefd6562a892f27f4e838d9d21c5243.

Change-Id: Ifc4cb5bd12bdf50f0dd903af66037a428aed0201

Merge "Fix network connection check issue"

small fix for deploy.py invocation

Change-Id: I8587500c71f05ca69645422ae110651196e0cad2

Merge "Enable merge of the versions struct of a plugin"

Merge "Get user id without forking a shell."

Add no_deploy_environment option

For development reason it is useable to
have an option so that everything is done
except the deploy of the openstack
environment.

Change-Id: I1f1b7f9c89ee8c9ceea96353e25a51eee53b955c

Merge "Tell debconf not to be interactive"

Enable merge of the versions struct of a plugin

When the dic of a plugin is not fully merged
into the final dea file. When a list contains
dicts there is no merge. This commit
enables the versions list to be merged.

Change-Id: I20ff7bec74f8f71a8cd21010f44715953cd4616d

Get user id without forking a shell.

Change-Id: I6789b81186b7ede124a838a5b6668ba8326e0c0b
Signed-off-by: Peter Barabas <peter.barabas@ericsson.com>

Merge "Fix deploy.py return code"

Tell debconf not to be interactive

Change-Id: If3d937ba895cb06834a9f8b7382d1033aac9714f
Signed-off-by: Peter Barabas <peter.barabas@ericsson.com>

Merge "[BGPVPN] Correct BGPVPN plugin file"