KVM scenario updates

1. Install CEPH_OSD on 2 compute nodes
2. Delete default 'net_segment_type: tun' definition, for it
   is already defined in dea_base.yaml, and it can be updated
   by lab dea files
3. Update osd_pool_size from 1 to 2
4. Michal indicates that
https://review.openstack.org/#/c/342717/ set the limitation
: Restrict usage of controller and osd role on single host

Change-Id: I4907482391588fc21ecf60603b1c599413cbc531
Signed-off-by: Julien-zte <zhang.jun3g@zte.com.cn>

Merge "Use ODL Be SR3"

Merge "POC script updates for Colorado"

Merge "bootstrap_admin_node: Fix connectivity check."

Use ODL Be SR3

JIRA: FUEL-165

Change-Id: I483f23c2f74313020d6a3dbb88079558d6674010
Signed-off-by: Michal Skalski <mskalski@mirantis.com>

Merge "Fix OVS scenarios to use fuel-plugin-ovs"

Merge "Don't use -f flag with docker tag"

Merge "Allow to use Intel NICs for DPDK on Ericsson POD2"

Don't use -f flag with docker tag

-f flag has been deprecated since v1.10.0 and is removed from v1.12.0.
If user use recent version of docker iso built will fail.

https://docs.docker.com/engine/deprecated/#/f-flag-on-docker-tag

JIRA: FUEL-163

Change-Id: If42781f342d59db7672322ec07063d09a23e1dcb
Signed-off-by: Michal Skalski <mskalski@mirantis.com>

Fix OVS scenarios to use fuel-plugin-ovs

 * Use fuel-nshovs instead deprecated fuel-nfvovs
 * Modified scenario to enable DPDK via Fuel
 * Removed hard dependency from specific POD

 * Add ability to merge networks lists

JIRA: FUEL-156
JIRA: FUEL-162

Change-Id: Ie609ff140f1de96e54df37dd9b1881afec792317
Depends-On: Ic6072d938e09a40516c32cdde6223d0a21e57403
Signed-off-by: Fedor Zhadaev <fzhadaev@mirantis.com>

Allow to use Intel NICs for DPDK on Ericsson POD2

JIRA: FUEL-161

Change-Id: I009ba7e9587f3c47d8e609c96b0666394887929e
Signed-off-by: Michal Skalski <mskalski@mirantis.com>

Fix config for no-ha kvm scenario

JIRA: FUEL-157

Change-Id: I09e595902b2c467b5522b7b37a772f7ab35c8cea
Signed-off-by: Michal Skalski <mskalski@mirantis.com>

POC script updates for Colorado

Change-Id: I2afb7826a5dcc22f5d810312e1ff027a0b5fcbfa
Signed-off-by: ferenc Cserepkei <ferenc.cserepkei@ericsson.com>

Merge "Add collectd package for collectd ceilometer plugin"

bootstrap_admin_node: Fix connectivity check.

After Fuel Master builds the bootstrap image at first boot,
internet connectivity is tested using the URL for the CentOS
updates repository.

bootstrap_admin_node.sh script parses the output of `yum repolist`,
looking for entries like 'Repo-baseurl: http://...'.

However, in Fuel 9.0, <updates> points to a mirrorlist file (a text
file containing a list of possible mirror URLs) instead of being
a single, direct link to the repository.

Also, note that in Fuel9, <updates> and <security> repos are disabled
by default.

For now, we only test that we can access the mirrorlist file,
while the check should be performed against the mirror(s).

Old (Fuel 8) repo entry format:
Repo-baseurl: http://mirror.fuel-infra.org/.../updates/x86_64/

New (Fuel 9) mirrorlist format:
Repo-mirrors: http://mirror.fuel-infra.org/.../mos-mirrors-updates.txt

Backported from upstream change [1], which should fix bug [2].
This change will get merged upstream in Fuel 10.

[1] https://review.openstack.org/#/c/335094/
[2] https://bugs.launchpad.net/fuel/+bug/1596981

Change-Id: Ibec397af2e1d925a011907f14e1d655741e280fb
Signed-off-by: Alexandru Avadanii <Alexandru.Avadanii@enea.com>

build: fuel-main: Decouple patches, Makefile.

Tested in armband, with very small adaptions.

Use `git apply` and/or `git am` in favor of `patch`.
Change patches from old context format to unified diff.

This change allows us to decouple Makefile and patches.
This means we no longer have to manually stage touched files
before committing them to git.

Possible improvements:
- move patches to separate dir and add ordering info (prefix);
- merge patches (currently we have one per touched file);

Remove obsolete (unused?) patch:
- fuel-main_docker_version.patch

Change-Id: I5b621370993b259779c813b47105f632948e6da7
Signed-off-by: Alexandru Avadanii <Alexandru.Avadanii@enea.com>

Merge "Add functionality to generate a base DEA file"

Merge "Make it possible to include files in templates"

Merge "Refactor deploy-config.py"

Add functionality to generate a base DEA file

 - Add template file for base DEA

Change-Id: I8055087b992fdc9850852bad9fa07a4e4fde0085
Signed-off-by: Peter Barabas <peter.barabas@ericsson.com>

Make it possible to include files in templates

Change-Id: I45c42ac65cfbe6562f0035df3375a2231148e22e
Signed-off-by: Peter Barabas <peter.barabas@ericsson.com>

Refactor deploy-config.py

 - fix vertical whitespace
 - more consistent function naming
 - clean up file writes
 - break up some long lines
 - typo fixes
 - remove duplicate spaces
 - unify print's

Change-Id: I5517747ef9f2e39ade7fb553ae2b1547fdf7b9e1
Signed-off-by: Peter Barabas <peter.barabas@ericsson.com>

Fix configuration for kvm scenario

JIRA: FUEL-157

Change-Id: I5baafd4395a2d298a24cccda042d5b43824ae7a0
Signed-off-by: Michal Skalski <mskalski@mirantis.com>

Merge "Fix default value for plugin metadata"

Merge "Add ability to override node attributes"

Merge "Update collectd ceilometer fuel plugin installation scripts"

Merge "Minor fixes in yardstick fuel plugin"

Add templating support for generating config files

 - Remove unneeded method
 - Write result to a file and not STDOUT
 - Add documentation
 - Remove trailing whitespace
 - Documentation corrections

Change-Id: I7532222d3512380c4f1129bd05dc2ba37b409dc2
Signed-off-by: Peter Barabas <peter.barabas@ericsson.com>

Add ability to override node attributes

Fixes https://jira.opnfv.org/browse/FUEL-152

Change-Id: I444bf3aef54ffd53c53431e2795b11b10545f55f
Signed-off-by: Fedor Zhadaev <fzhadaev@mirantis.com>

Pinning down exact Fuel 9.0.1 repo versions

stable/mitaka branch is open for new commits for Fuel 9.1. To not be
impacted by new upstream changes point to specific commits which were
used for Fuel 9.0 General Availabilit (9.0.1).

JIRA: https://jira.opnfv.org/browse/FUEL-153
verify: no-cache

Change-Id: I7fd8d2f11e4be6f47e39924913c48bfe7d4f2eb3
Signed-off-by: Michal Skalski <mskalski@mirantis.com>

Temporary fix for bgpvpn plugin builds

JIRA: FUEL-154

Change-Id: Iad554aef8db9a6d01c408c0014dabf45e4c1a0e6
Signed-off-by: Michal Skalski <mskalski@mirantis.com>

Update the commit ID of kvmfornfv upstream for fuel-plugin-kvm

This version of kvmfornfv upstream fixed the issue of failing to launch
instances in Horizon after OPNFV environment deployed.

Change-Id: I05fa9f977924ee679312c599ee0bccabaf7bf1a9
Signed-off-by: davidjchou <david.j.chou@intel.com>

Add collectd package for collectd ceilometer plugin

Change-Id: I8da0087d8f17f5f2e4c3275a26ad2ca164878226
Signed-off-by: Guo Ruijing <ruijing.guo@intel.com>

Fix default value for plugin metadata

Fix typo which result in error while getting default metadata
in case if it's not overridden in scenario.

Fixes https://jira.opnfv.org/browse/FUEL-151

Change-Id: Ibf40f846919155e27da5dc1f778f72afee79ff12
Signed-off-by: Fedor Zhadaev <fzhadaev@mirantis.com>

Minor fixes in yardstick fuel plugin

Change-Id: Ifc4a31efc8a2717eaccb7b39fa36e1282eb16173
Signed-off-by: Guo Ruijing <ruijing.guo@intel.com>

Update collectd ceilometer fuel plugin installation scripts

Change-Id: I4019b2167092f522a3d2533bf20b2ea04bb3b2b2
Signed-off-by: Guo Ruijing <ruijing.guo@intel.com>

Build new cache when list of packages has changed

Create a new cache of f_repobuild job when list of packages required by
plugins has changed.

JIRA: FUEL-150

Change-Id: I079950eaa9e3b32ea7baa3f6d4a37cc37f99f3a7
Signed-off-by: Michal Skalski <mskalski@mirantis.com>

Merge "Update fuel yardstick plugin   1. update fuel plugin builder   2. change install directory in yardstick plugin   3. update README"

Merge "Add fuel collectd ceilometer plugin"

Merge "Update NSH patches"

Update fuel yardstick plugin
  1. update fuel plugin builder
  2. change install directory in yardstick plugin
  3. update README

Change-Id: I8d717ef568aeaa7958cd1a3161d4ef8ca17a1de1
Signed-off-by: Guo Ruijing <ruijing.guo@intel.com>

Add fuel collectd ceilometer plugin

Change-Id: I2f95d9166e2d0d7508551de8b87dc6c84800e3c1
Signed-off-by: Guo Ruijing <ruijing.guo@intel.com>

Aligning machine type over Ubuntu and Centos

We have previously used "pc-1.0" as the qemu-kvm machine definition
for virtual Fuel deploys. On Ubuntu this points to:

pc-1.0               Standard PC (i440FX + PIIX, 1996)

On CentOS 7 this machine definition does not exist, but there's a
match in "pc":

pc                   RHEL 7.0.0 PC (i440FX + PIIX, 1996) (alias of
pc-i440fx-rhel7.0.0

So, finally, pc is also in Ubuntu:

pc                   Ubuntu 14.04 PC (i440FX + PIIX, 1996) (alias of
pc-i440fx-trusty)

This change is about exploring whether moving to "pc" will make the
auto deploy work on both platforms with the "pc" machine type.

What still needs to be done in CentOS is to create a symlink from
/usr/libexec/qemu-kvm and /usr/bin/kvm though.

Change-Id: I1cce52a21075950cb59b75709b12d724d759e3e6
Signed-off-by: Stefan K. Berg <stefan.k.berg@ericsson.com>

Update NSH patches

1. update patches from commit 307b06d

Change-Id: Ibaba101833a934840b4491925ff944f1420fce2e
Signed-off-by: Guo Ruijing <ruijing.guo@intel.com>

Merge "[BGPVPN] Do not include temporary files in plugin"

Merge "deploy: ISO rebuild: use -joliet-long names."

Merge changes from topic 'multiple-nics-for-fuel-vm'

* changes:
  deploy: add support for multiple bridges
  virtual_fuel: prepare class to allow multiple bridges

deploy: ISO rebuild: use -joliet-long names.

Armband adds similar files, which tend to have long names and only
differ in suffixes (e.g. DEBs for amd64 vs arm64).

Previous change [1] fixed ISO build errors, but failed to address
the deploy.py ISO rebuild (which modifies and recreates the ISO,
calling mkisofs, which complains about clashing file indexes).

This works around ISO rebuild error(s) like:

"genisoimage: Error:
./ubuntu/pool/main/g/golang-gogoprotobuf/golang-gogoprotobuf\
-dev_0.0~git20150828.0.6cab0cc-1~u14.04+mos1_arm64.deb and
./ubuntu/pool/main/g/golang-gogoprotobuf/golang-gogoprotobuf\
-dev_0.0~git20150828.0.6cab0cc-1~u14.04+mos1_amd64.deb
have the same Joliet name"

[1] https://gerrit.opnfv.org/gerrit/#/c/14973/

Change-Id: If58a18ba46343a52ce6e9a0a6a0482c1a3079451
Signed-off-by: Alexandru Avadanii <Alexandru.Avadanii@enea.com>

[BGPVPN] Do not include temporary files in plugin

Change-Id: Idd2e2f403a2dd5be44c480e8b493e4281ade1994
Signed-off-by: Michal Skalski <mskalski@mirantis.com>

Point to newer commit in ODL plugin repo

Use small fix for setting ovsdb managers.

Change-Id: Ie405d4a2db59ea490ff0a690bb310c0c74d8de79
Signed-off-by: Michal Skalski <mskalski@mirantis.com>

Point to latest commit in bgpvpn plugin repo

Currently we use commit before uplift to mitaka.

Change-Id: Ie08a548b133aff01cc2457bd74d0fe7a86a18eff
Signed-off-by: Michal Skalski <mskalski@mirantis.com>

[BGPVPN] fpm: Build multiarch DEBs (arch <all>)

Update upstream reference to include support for building DEB
packages for architecture <all> instead of the native one, since
apart from one small hardcoded check on Fedora for java version,
most code is arch-independant (python).

TODO:
 Extend check for `uname -m` result for aarch64 and other platforms
 in <networking_odl/devstack/setup_java.sh>.

While at it, make git info variable overrideable, just in case
we want to patch this out of upstream tree locally.

Change-Id: Ia139c8d957f65bb120dca1727fd4a422e2510ea0
Signed-off-by: Alexandru Avadanii <Alexandru.Avadanii@enea.com>

Fix ODL deployments

Change-Id: Idae02b340d3a64109deeda7ef67574430b928219
Signed-off-by: Michal Skalski <mskalski@mirantis.com>

Plugin version is required

Plugin version is required when plugin configuration is overwritten.

Change-Id: I93af002ed5e994c90b9134f8c020a3822e81e42c
Signed-off-by: Michal Skalski <mskalski@mirantis.com>

Modify the indent in fuel-odl_0.9.0.yaml.

Change-Id: I15bb84c35c075037df23746b75b108e2d7b90ede
Signed-off-by: wu.zhihui <wu.zhihui1@zte.com.cn>

[BGPVPN] Uplift plugin to Mitaka

Change-Id: I9db366806ec97b44b0e537ee2d4beb3c8a968b92
Signed-off-by: Nikolas Hermanns <nikolas.hermanns@ericsson.com>

ruby-json is required for fpm

Change-Id: Ib8a759922879a81a355bca14e3d4beeeb2ad72d4
Signed-off-by: Michal Skalski <mskalski@mirantis.com>

Fix module versions for scenarios

Change-Id: Ia5a5d008af717f9b2d0e7495bd2180cdad4075e8
Signed-off-by: Michal Skalski <mskalski@mirantis.com>

Merge "Use ODL Boron for SFC"

plugins: ovs, vswperf, yardstick: Allow overrides.

Allow git info related variables from various plugin config.mk
configuration files to be overriden.

We rely on this in Armband to apply our patches on top of selected
commit(s), then pick up the new (patched) git info.

Change-Id: Ib7d9a52f51cef27ec4031587a09a39732a9fbbb4
Signed-off-by: Alexandru Avadanii <Alexandru.Avadanii@enea.com>

Use ODL Boron for SFC

SFC scenario requires OpenDaylight Boron.
ODL plugin will be built with both Beryllium and Boron. It will be
possible to choose deployment with Boron instead of default Beryllium.

Change-Id: I1abd22ddca16e710430accd40ad8359be1bd7132
Signed-off-by: Michal Skalski <mskalski@mirantis.com>

Uplift fuel and nshovs plugins configs

Change-Id: I86cdef9d3e3337d1b16b9154c940f73b0a3d8567
Signed-off-by: Nikolas Hermanns <nikolas.hermanns@ericsson.com>

Move fuel plugin builder to Dockerfile

Change-Id: I5c2bc9f4331bedd7a1d3e78ba2f9b82027e566ef
Signed-off-by: Guo Ruijing <ruijing.guo@intel.com>

Merge "Fix NSH patches"

Merge "Use openjdk-8-jre by default"

Use openjdk-8-jre by default

Package openjdk-8-jre-headless is now a part of mos repositories,
opendaylight depends on it now.

Change-Id: I27bf15d9e8e4361691c742e71a3f8293f0359f70
Signed-off-by: Michal Skalski <mskalski@mirantis.com>

Fix NSH patches

Change-Id: I04d03ce0b803aa23575dd2640e33eafa00f948bc
Signed-off-by: Guo Ruijing <ruijing.guo@intel.com>

Use fuel-mirror version which handle 302 redirects

Fix is currently in master branch of fuel-mirror, I am not sure when
backport to mitaka branch will be aproved, so for now lets point to
specific commit.

Change-Id: I5215707b477df1b6e8735e62cb392aa1400e8bc2
Signed-off-by: Michal Skalski <mskalski@mirantis.com>

Add fuel-plugin-kvm to install kvmfornfv

1. The installer function for kvmfornfv was in fuel-plug-qemu in
   Brahmaputra release, it will be in this new fuel-plugin-kvm for
   Colorado release for clarity
2. Deleted f_qemupluginbuild sub-directory
3. Two "# fix me" for "@sudo rm -rf kvmfornfv" instead of "@rm -rf
   kvmfornfv" in Makefiel are the temp workgrounds for some files
   generated during kvmfornfv building are owned by "root", will
   remove these workarounds after resolving this issue in
   fuel-plugin-kvm build process

Change-Id: I8a1e2dfaff692dc9813afb5d3bf038170871cade
Signed-off-by: davidjchou <david.j.chou@intel.com>

Merge "Add timeout for SCP operations"

Merge "Add fuel@opnfv build based on vagrant"

Add timeout for SCP operations

The default timeout for SCP is 5 seconds, which is not enough in some
cases.

Change-Id: If44669a96ea4b5ce33441eeea36b8cf66a1cdc4a
Signed-off-by: Peter Barabas <peter.barabas@ericsson.com>

Merge "Fix wget failure in fue@opnfv"

Add fuel@opnfv build based on vagrant

Change-Id: I5d180f060f27d49b03d6b2eda4750845a3490348
Signed-off-by: Guo Ruijing <ruijing.guo@intel.com>

Fix wget failure in fue@opnfv

Change-Id: Ie5940ab758182a23873c0e9a55a83b199f2619ad
Signed-off-by: Guo Ruijing <ruijing.guo@intel.com>

Add fuel yardstick plugin

Change-Id: Ie6a980ad23e43f6eef775c74d005358d4ab859cc
Signed-off-by: Guo Ruijing <ruijing.guo@intel.com>

Override parameter attempts in Class Zte_Adapter.

Give more attempts for zte hardware.

Change-Id: I0906b6fe9e046ddd6436e5246494b89c812a40a2
Signed-off-by: wu.zhihui <wu.zhihui1@zte.com.cn>

add onos nofeature scenarion map

Change-Id: I5c7d9b712c66860bfbe923396e12641c17d439b5
Signed-off-by: wuwb1989 <wuwenbin2@huawei.com>

deploy: add support for multiple bridges

deploy.py:
Some Fuel VMs may need more than one network interface. To be able to
provide that, we now allow the user to specify the "-b" paramter
(bridge) multiple times, creating a new NIC for each one of them.

The NICs are created in the same order as they are given in the command
line.

There is no change in behavior from earlier versions, pxebr will still
be the default bridge if none is specified in the command line.

deploy.sh:
To reflect the new capabilities of deploy.py, we introduce the
possibility to specify -B more than once in deploy.sh, and honor that
when calling deploy.py. We also make it possible to specify a comma
separated list of bridges, as in: -B br1,br2.

Change-Id: I1a0100f2cfe755ec6adfeedafb391c2357f46f51
Signed-off-by: Josep Puigdemont <josep.puigdemont@enea.com>

virtual_fuel: prepare class to allow multiple bridges

The VirtualFuel class has now two new methods:

    del_vm_nics: Deletes all interfaces from the VM.

    add_vm_nic: Adds a NIC to the VM, attached to the specified bridge.

The following method has been deleted:

    set_vm_nic: implemented with the two new methods

Apart from the deleted method, no functionality has been changed.

This is just a small but necessary step towards adding support for
configuring more than one NIC in the fuel VM.

Change-Id: I9f02c8163dfb9768510e78d5d5e77a0bb43306fb
Signed-off-by: Josep Puigdemont <josep.puigdemont@enea.com>

vitual_fuel: set_vm_nic() takes no parameters

Fixes: https://jira.opnfv.org/browse/FUEL-148

Change-Id: Id5a1d710abf425e75b6ff9eaa7b372285e200702
Signed-off-by: Josep Puigdemont <josep.puigdemont@enea.com>

Merge "Add OVS with NSH/DPDK build"

virtual_fuel: add XML tree as attribute of VirtualFuel

With this patch, the VM XML definition tree is an attribute of the
object, this way it can be used by all methods without having to re-read
the file.

Methods added:
update_vm_template_file: Flushes the contents of the in-memory XML
    representation of the VM to the backing file.

Change-Id: I18d3f606b0c02cd589cb0f657599e8b03b0e817e
Signed-off-by: Josep Puigdemont <josep.puigdemont@enea.com>

Merge "ipmi_adapter: add delay to stabilize command action"

ipmi_adapter: add delay to stabilize command action

We should allow the nodes some time to stabilize after sending a command
to them. Currently we are checking the status too fast.

Change-Id: I26a60d2bb6a43edbec842b727f825057e2778981
Signed-off-by: Josep Puigdemont <josep.puigdemont@enea.com>

Merge "Mask ipmitool credentials"

Merge "Mask impitool credentials"

Merge "Add command line argument masking for exec_cmd"

Merge "Remove unused function: usage()"

Mask impitool credentials

Change-Id: I0103082672259eaf4b1c2be8ca3a1236fc6137eb
Signed-off-by: Peter Barabas <peter.barabas@ericsson.com>

Mask ipmitool credentials

Change-Id: I328432e6b30437e8a83065859cd80358d4c3c468
Signed-off-by: Peter Barabas <peter.barabas@ericsson.com>

Add command line argument masking for exec_cmd

exec_cmd() now takes 2 additional optional arguments: mask_args and
mask_str. The former expects an array of positions to mask, the latter
expects a string to be used as mask.

Change-Id: I445141a68929a0d2837e7692ce8b4d071154cfa7
Signed-off-by: Peter Barabas <peter.barabas@ericsson.com>

Merge "Introducing collection of all fuel and stack deployment logs."

Merge "Clarify docker installation instructions"

Introducing collection of all fuel and stack deployment logs.

The purpose of this patch is to collect all available Fuel snapshots- and
stack/node ldeployment logs for later off-line troubleshooting.
The intention is that Jenkins, or other deployment robots will be able to
collect all logs from the deployment and store it at some repository where
developers can fetch it and perform off-line post deployment trouble-shooting.
Following script arguments have been added:

CI Arg changes:
Added an argument to ci/deploy.sh:
-L [Deploy log path and file name], E.g.
   -L ~/jenkins/deploy/deploy-888.log.tar.gz
   This will create an tar gzip archive at the path and filename pointed out.
   If -L is not specified, the log archive will be placed under the CI directory
   with the following name convention: deploy-YYMMDD-HHMMSS.log.tar.gz

Fuel Internal deploy changes:
Added an argument to ci/deploy.py
-log [Deploy log path and file name], E.g.
     -log ~/jenkins/deploy/deploy-888.log.tar.gz
     This will create an tar gzip archive at the path and filename pointed out.
     If -log is not specified, the log archive will be placed under the CI
     directory with the following name convention:
     deploy-YYMMDD-HHMMSS.log.tar.gz

READY TO MERGE!
VERIFIED!

Change-Id: Icb75d9d2e66bdd47f75dcca29071943444d5c823
Signed-off-by: Jonas Bjurel <jonas.bjurel@ericsson.com>

Remove unused function: usage()

Change-Id: I648821262a7bfd77e59f4411380020c49306ff5e
Signed-off-by: Peter Barabas <peter.barabas@ericsson.com>

Clarify docker installation instructions

Change-Id: I8738798eac64c44a66e4fcab9758094e26a5a69f
Signed-off-by: Peter Barabas <peter.barabas@ericsson.com>

Add missing package dependency: libyaml-dev

Change-Id: I058f6bc54e1c6b0a0c20eeaa2ea09f2f9a2e80ce
Signed-off-by: Peter Barabas <peter.barabas@ericsson.com>

Add OVS with NSH/DPDK build

Change-Id: I6cdcc56024a4d9fe305783f45856f388e62c0ba8
Signed-off-by: Guo Ruijing <ruijing.guo@intel.com>

Merge "virtual_fuel: initial support for remote libvirt"