deploy-config: honor interfaces and transformations

Currently all scenarios assume interfaces and transformations are the
same for all nodes in the POD, however some PODs may contain nodes that
have different hardware, or where the interfaces are configured
differently.

In this patch we honor the original interfaces and transformations if
they are present in the dea-override.yaml file. The way to add this
information in the dea-override is by having a "nodes:" section with
this information, ie:

nodes:
- id: 1
  interfaces: interfaces_1
  transformations: transformations_1
- id: 2
  interfaces: interfaces_2
  transformations: transformations_2
- id: 3
  interfaces: interfaces_1
  transformations: transformations_1

The node IDs is used to find out this information.

Change-Id: If6ff8ca28b42e043d1bdf91142a4a56ae36e4304
Signed-off-by: Josep Puigdemont <josep.puigdemont@enea.com>

Merge "Use virtio driver for fuel-master NIC"

Change log file permissions

Don't make it executable; don't make it world-writable.

Change-Id: I5d117b39e70fff2c1cb5e62d017efe0387b9b5f4
Signed-off-by: Peter Barabas <peter.barabas@ericsson.com>

Use virtio driver for fuel-master NIC

Using e1000 driver on fuel master may lead to temporarily loss of
communication [1]. We can use two approaches here:

  * use virtio driver
  * install e1000-kmod package

virtio driver should be sufficient for our purposes, we don't use
bonding on fuel master.

e1000-kmod package is available on fuel master and provide e1000 kernel
module which does not introduce additional problems. This package is not
installed by default but for this purpose MASTER_NODE_EXTRA_PACKAGES
cmdline option can be set during fuel master installation.

[1]
http://docs.openstack.org/developer/fuel-docs/userdocs/release-notes/fuel_known_issues.html

Change-Id: I3fc1fed5f0b9c780cd9174205a3c31dae92a180e
Signed-off-by: Michal Skalski <mskalski@mirantis.com>

Prepared for Fuel release documentation

Helping project with the new structure, added a fuel/docs/installationprocedure
and relevant templates. If you dont need this feel free to abandon this patch.

Change-Id: Ia704aa0b2e66c62241ef0a5eb769ea8f538caa1f
Signed-off-by: Sofia Wallin <sofia.wallin@ericsson.com>

Merge "Filter out non-cluster nodes"

Merge "Allign odl-sfc scenarios with new plugin version"

docs: Add code-block markup

Add bash code-block markup for:
- instalation instruction guides
- build instruction guides

Change-Id: If7a0f4cfc17e8cabe5d5ff59a7b2fe80ca0bb66b
Signed-off-by: Cristina Pauna <cristina.pauna@enea.com>
Signed-off-by: cristinapauna <cristina.pauna@enea.com>

Merge "Update instructions with references to C-release"

Update installation guide for Colorado

Change-Id: Ie0fb45a570c59588429b167c4d83109ebf670ba7
Signed-off-by: Michael Polenchuk <mpolenchuk@mirantis.com>

Update instructions with references to C-release

Change-Id: I7682e7cffcafdec3c42ca5a090662df9ccc431e2
Signed-off-by: Michal Skalski <mskalski@mirantis.com>

Allign odl-sfc scenarios with new plugin version

ODL Boron use different set of sfc features.

JIRA: FUEL-169

Change-Id: I38c1e518ffbf625a68f879779c01e4abfdb1d672
Signed-off-by: Michal Skalski <mskalski@mirantis.com>

Filter out non-cluster nodes

In order to avoid fetching up non-cluster nodes
filter them out by option of id.

JIRA: FUEL-183
Signed-off-by: Michael Polenchuk <mpolenchuk@mirantis.com>
Change-Id: If0d0a1480d648167f1bcf726f0d6d345d2e00711

Merge "KVM scenario updates"

KVM scenario updates

1. Install CEPH_OSD on 2 compute nodes
2. Delete default 'net_segment_type: tun' definition, for it
   is already defined in dea_base.yaml, and it can be updated
   by lab dea files
3. Update osd_pool_size from 1 to 2
4. Michal indicates that
https://review.openstack.org/#/c/342717/ set the limitation
: Restrict usage of controller and osd role on single host

Change-Id: I4907482391588fc21ecf60603b1c599413cbc531
Signed-off-by: Julien-zte <zhang.jun3g@zte.com.cn>

Merge "Rebase vsperf"

Merge "Fix merge_dicts logic for the case of two nonempty lists"

Rebase vsperf

1. discuss with vsperf PTL to rebase vspef with stable commit ID

Change-Id: Ia87d4d5394b5eb476165b06d015414c1675fccac
Signed-off-by: Guo Ruijing <ruijing.guo@intel.com>

Merge "Pass host cpu flags to compute guests"

Merge "Rebase OVS with DPDK"

Pass host cpu flags to compute guests

Both kvm and ovs plugins require specific cpu flags.
Host-model mode will pass most of the host cpu flags to guest.
If a hypervisor is not able to use the exact CPU model, libvirt
automatically falls back to a closest model.

JIRA: FUEL-157

Change-Id: I77ce625e118b6de51cbcdb58e4be5a6dcaecf384
Signed-off-by: Michal Skalski <mskalski@mirantis.com>

Merge "Revert "Pass host cpu flags to compute guests""

Revert "Pass host cpu flags to compute guests"

This reverts commit 34da00c2baa6abc69a812aae4c30a82ebae561bd.

Change-Id: I495fa1f71ac30e259ca63e90ca8b38dd2300d469
Signed-off-by: Michal Skalski <mskalski@mirantis.com>

Merge "Provide access to mgmt network from host level"

Merge "Pass host cpu flags to compute guests"

Merge "tacker-server patch updated"

Fix merge_dicts logic for the case of two nonempty lists

JIRA: FUEL-170

Change-Id: I5abae6fc950cdabe064b5402d9555cedf81cfc23
Signed-off-by: Fedor Zhadaev <fzhadaev@mirantis.com>

Pass host cpu flags to compute guests

Both kvm and ovs plugins require specific cpu flags.
Host-model mode will pass most of the host cpu flags to guest.

JIRA: FUEL-157

Change-Id: Iff620a4b4f5948e54f6f8db01411d6659f08ec00
Signed-off-by: Michal Skalski <mskalski@mirantis.com>

Provide access to mgmt network from host level

Functest framework is trying to access internal endpoints from host
level which currently is not possible in virtual deployments. Move mgmt
network to untagged interface and setup IP address from mgmt subnet on
the linux bridge where mgmt traffic is traversing.

There will be corresponding changes in securedlab repository.

JIRA: FUEL-167

Change-Id: I29b8ebb23a64e39a4e56b27639a87ce2386b9774
Signed-off-by: Michal Skalski <mskalski@mirantis.com>

Rebase OVS with DPDK

1. Rebase OVS to commit 9f4ecd654dbcb88b15a424445184591fc887537e
2. Rebase DPDK to 16.07
3. Fix 2 vms in 2 hosts ping each other issue
4. update demo script

Change-Id: I85b56ab6e3a735bbf26df8d4df22f2d76b9fb1d3
Signed-off-by: Guo Ruijing <ruijing.guo@intel.com>

Merge "Rebase to collectd-ceilometer-plugin stable/mitaka 1. fix pbr:version_string in collectd-ceilometer-plugin 2. disable collectd build to use stock collectd 3. update README in fuel plugin"

tacker-server patch updated

The deb package control is changed in Mitaka, so the patch should
be updated as well.

Change-Id: Ifde84e19da72217a5cca73e0da366e21625cd21b
Signed-off-by: ferenc Cserepkei <ferenc.cserepkei@ericsson.com>

Merge "Use ODL Be SR3"

Rebase to collectd-ceilometer-plugin stable/mitaka
1. fix pbr:version_string in collectd-ceilometer-plugin
2. disable collectd build to use stock collectd
3. update README in fuel plugin

Change-Id: I773910c03d109af1fc1f86a5709105e9ffbfc350
Signed-off-by: Guo Ruijing <ruijing.guo@intel.com>

Merge "POC script updates for Colorado"

Merge "bootstrap_admin_node: Fix connectivity check."

Use ODL Be SR3

JIRA: FUEL-165

Change-Id: I483f23c2f74313020d6a3dbb88079558d6674010
Signed-off-by: Michal Skalski <mskalski@mirantis.com>

Merge "Fix OVS scenarios to use fuel-plugin-ovs"

Merge "Don't use -f flag with docker tag"

Merge "Allow to use Intel NICs for DPDK on Ericsson POD2"

Don't use -f flag with docker tag

-f flag has been deprecated since v1.10.0 and is removed from v1.12.0.
If user use recent version of docker iso built will fail.

https://docs.docker.com/engine/deprecated/#/f-flag-on-docker-tag

JIRA: FUEL-163

Change-Id: If42781f342d59db7672322ec07063d09a23e1dcb
Signed-off-by: Michal Skalski <mskalski@mirantis.com>

Fix OVS scenarios to use fuel-plugin-ovs

 * Use fuel-nshovs instead deprecated fuel-nfvovs
 * Modified scenario to enable DPDK via Fuel
 * Removed hard dependency from specific POD

 * Add ability to merge networks lists

JIRA: FUEL-156
JIRA: FUEL-162

Change-Id: Ie609ff140f1de96e54df37dd9b1881afec792317
Depends-On: Ic6072d938e09a40516c32cdde6223d0a21e57403
Signed-off-by: Fedor Zhadaev <fzhadaev@mirantis.com>

Allow to use Intel NICs for DPDK on Ericsson POD2

JIRA: FUEL-161

Change-Id: I009ba7e9587f3c47d8e609c96b0666394887929e
Signed-off-by: Michal Skalski <mskalski@mirantis.com>

Fix config for no-ha kvm scenario

JIRA: FUEL-157

Change-Id: I09e595902b2c467b5522b7b37a772f7ab35c8cea
Signed-off-by: Michal Skalski <mskalski@mirantis.com>

POC script updates for Colorado

Change-Id: I2afb7826a5dcc22f5d810312e1ff027a0b5fcbfa
Signed-off-by: ferenc Cserepkei <ferenc.cserepkei@ericsson.com>

Merge "Add collectd package for collectd ceilometer plugin"

bootstrap_admin_node: Fix connectivity check.

After Fuel Master builds the bootstrap image at first boot,
internet connectivity is tested using the URL for the CentOS
updates repository.

bootstrap_admin_node.sh script parses the output of `yum repolist`,
looking for entries like 'Repo-baseurl: http://...'.

However, in Fuel 9.0, <updates> points to a mirrorlist file (a text
file containing a list of possible mirror URLs) instead of being
a single, direct link to the repository.

Also, note that in Fuel9, <updates> and <security> repos are disabled
by default.

For now, we only test that we can access the mirrorlist file,
while the check should be performed against the mirror(s).

Old (Fuel 8) repo entry format:
Repo-baseurl: http://mirror.fuel-infra.org/.../updates/x86_64/

New (Fuel 9) mirrorlist format:
Repo-mirrors: http://mirror.fuel-infra.org/.../mos-mirrors-updates.txt

Backported from upstream change [1], which should fix bug [2].
This change will get merged upstream in Fuel 10.

[1] https://review.openstack.org/#/c/335094/
[2] https://bugs.launchpad.net/fuel/+bug/1596981

Change-Id: Ibec397af2e1d925a011907f14e1d655741e280fb
Signed-off-by: Alexandru Avadanii <Alexandru.Avadanii@enea.com>

build: fuel-main: Decouple patches, Makefile.

Tested in armband, with very small adaptions.

Use `git apply` and/or `git am` in favor of `patch`.
Change patches from old context format to unified diff.

This change allows us to decouple Makefile and patches.
This means we no longer have to manually stage touched files
before committing them to git.

Possible improvements:
- move patches to separate dir and add ordering info (prefix);
- merge patches (currently we have one per touched file);

Remove obsolete (unused?) patch:
- fuel-main_docker_version.patch

Change-Id: I5b621370993b259779c813b47105f632948e6da7
Signed-off-by: Alexandru Avadanii <Alexandru.Avadanii@enea.com>

Merge "Add functionality to generate a base DEA file"

Merge "Make it possible to include files in templates"

Merge "Refactor deploy-config.py"

Add functionality to generate a base DEA file

 - Add template file for base DEA

Change-Id: I8055087b992fdc9850852bad9fa07a4e4fde0085
Signed-off-by: Peter Barabas <peter.barabas@ericsson.com>

Make it possible to include files in templates

Change-Id: I45c42ac65cfbe6562f0035df3375a2231148e22e
Signed-off-by: Peter Barabas <peter.barabas@ericsson.com>

Refactor deploy-config.py

 - fix vertical whitespace
 - more consistent function naming
 - clean up file writes
 - break up some long lines
 - typo fixes
 - remove duplicate spaces
 - unify print's

Change-Id: I5517747ef9f2e39ade7fb553ae2b1547fdf7b9e1
Signed-off-by: Peter Barabas <peter.barabas@ericsson.com>

Fix configuration for kvm scenario

JIRA: FUEL-157

Change-Id: I5baafd4395a2d298a24cccda042d5b43824ae7a0
Signed-off-by: Michal Skalski <mskalski@mirantis.com>

Merge "Fix default value for plugin metadata"

Merge "Add ability to override node attributes"

Merge "Update collectd ceilometer fuel plugin installation scripts"

Merge "Minor fixes in yardstick fuel plugin"

Add templating support for generating config files

 - Remove unneeded method
 - Write result to a file and not STDOUT
 - Add documentation
 - Remove trailing whitespace
 - Documentation corrections

Change-Id: I7532222d3512380c4f1129bd05dc2ba37b409dc2
Signed-off-by: Peter Barabas <peter.barabas@ericsson.com>

Add ability to override node attributes

Fixes https://jira.opnfv.org/browse/FUEL-152

Change-Id: I444bf3aef54ffd53c53431e2795b11b10545f55f
Signed-off-by: Fedor Zhadaev <fzhadaev@mirantis.com>

Pinning down exact Fuel 9.0.1 repo versions

stable/mitaka branch is open for new commits for Fuel 9.1. To not be
impacted by new upstream changes point to specific commits which were
used for Fuel 9.0 General Availabilit (9.0.1).

JIRA: https://jira.opnfv.org/browse/FUEL-153
verify: no-cache

Change-Id: I7fd8d2f11e4be6f47e39924913c48bfe7d4f2eb3
Signed-off-by: Michal Skalski <mskalski@mirantis.com>

Temporary fix for bgpvpn plugin builds

JIRA: FUEL-154

Change-Id: Iad554aef8db9a6d01c408c0014dabf45e4c1a0e6
Signed-off-by: Michal Skalski <mskalski@mirantis.com>

Update the commit ID of kvmfornfv upstream for fuel-plugin-kvm

This version of kvmfornfv upstream fixed the issue of failing to launch
instances in Horizon after OPNFV environment deployed.

Change-Id: I05fa9f977924ee679312c599ee0bccabaf7bf1a9
Signed-off-by: davidjchou <david.j.chou@intel.com>

Add collectd package for collectd ceilometer plugin

Change-Id: I8da0087d8f17f5f2e4c3275a26ad2ca164878226
Signed-off-by: Guo Ruijing <ruijing.guo@intel.com>

Fix default value for plugin metadata

Fix typo which result in error while getting default metadata
in case if it's not overridden in scenario.

Fixes https://jira.opnfv.org/browse/FUEL-151

Change-Id: Ibf40f846919155e27da5dc1f778f72afee79ff12
Signed-off-by: Fedor Zhadaev <fzhadaev@mirantis.com>

Minor fixes in yardstick fuel plugin

Change-Id: Ifc4a31efc8a2717eaccb7b39fa36e1282eb16173
Signed-off-by: Guo Ruijing <ruijing.guo@intel.com>

Update collectd ceilometer fuel plugin installation scripts

Change-Id: I4019b2167092f522a3d2533bf20b2ea04bb3b2b2
Signed-off-by: Guo Ruijing <ruijing.guo@intel.com>

Build new cache when list of packages has changed

Create a new cache of f_repobuild job when list of packages required by
plugins has changed.

JIRA: FUEL-150

Change-Id: I079950eaa9e3b32ea7baa3f6d4a37cc37f99f3a7
Signed-off-by: Michal Skalski <mskalski@mirantis.com>

Merge "Update fuel yardstick plugin   1. update fuel plugin builder   2. change install directory in yardstick plugin   3. update README"

Merge "Add fuel collectd ceilometer plugin"

Merge "Update NSH patches"

Update fuel yardstick plugin
  1. update fuel plugin builder
  2. change install directory in yardstick plugin
  3. update README

Change-Id: I8d717ef568aeaa7958cd1a3161d4ef8ca17a1de1
Signed-off-by: Guo Ruijing <ruijing.guo@intel.com>

Add fuel collectd ceilometer plugin

Change-Id: I2f95d9166e2d0d7508551de8b87dc6c84800e3c1
Signed-off-by: Guo Ruijing <ruijing.guo@intel.com>

Aligning machine type over Ubuntu and Centos

We have previously used "pc-1.0" as the qemu-kvm machine definition
for virtual Fuel deploys. On Ubuntu this points to:

pc-1.0               Standard PC (i440FX + PIIX, 1996)

On CentOS 7 this machine definition does not exist, but there's a
match in "pc":

pc                   RHEL 7.0.0 PC (i440FX + PIIX, 1996) (alias of
pc-i440fx-rhel7.0.0

So, finally, pc is also in Ubuntu:

pc                   Ubuntu 14.04 PC (i440FX + PIIX, 1996) (alias of
pc-i440fx-trusty)

This change is about exploring whether moving to "pc" will make the
auto deploy work on both platforms with the "pc" machine type.

What still needs to be done in CentOS is to create a symlink from
/usr/libexec/qemu-kvm and /usr/bin/kvm though.

Change-Id: I1cce52a21075950cb59b75709b12d724d759e3e6
Signed-off-by: Stefan K. Berg <stefan.k.berg@ericsson.com>

Update NSH patches

1. update patches from commit 307b06d

Change-Id: Ibaba101833a934840b4491925ff944f1420fce2e
Signed-off-by: Guo Ruijing <ruijing.guo@intel.com>

Merge "[BGPVPN] Do not include temporary files in plugin"

Merge "deploy: ISO rebuild: use -joliet-long names."

Merge changes from topic 'multiple-nics-for-fuel-vm'

* changes:
  deploy: add support for multiple bridges
  virtual_fuel: prepare class to allow multiple bridges

deploy: ISO rebuild: use -joliet-long names.

Armband adds similar files, which tend to have long names and only
differ in suffixes (e.g. DEBs for amd64 vs arm64).

Previous change [1] fixed ISO build errors, but failed to address
the deploy.py ISO rebuild (which modifies and recreates the ISO,
calling mkisofs, which complains about clashing file indexes).

This works around ISO rebuild error(s) like:

"genisoimage: Error:
./ubuntu/pool/main/g/golang-gogoprotobuf/golang-gogoprotobuf\
-dev_0.0~git20150828.0.6cab0cc-1~u14.04+mos1_arm64.deb and
./ubuntu/pool/main/g/golang-gogoprotobuf/golang-gogoprotobuf\
-dev_0.0~git20150828.0.6cab0cc-1~u14.04+mos1_amd64.deb
have the same Joliet name"

[1] https://gerrit.opnfv.org/gerrit/#/c/14973/

Change-Id: If58a18ba46343a52ce6e9a0a6a0482c1a3079451
Signed-off-by: Alexandru Avadanii <Alexandru.Avadanii@enea.com>

[BGPVPN] Do not include temporary files in plugin

Change-Id: Idd2e2f403a2dd5be44c480e8b493e4281ade1994
Signed-off-by: Michal Skalski <mskalski@mirantis.com>

Point to newer commit in ODL plugin repo

Use small fix for setting ovsdb managers.

Change-Id: Ie405d4a2db59ea490ff0a690bb310c0c74d8de79
Signed-off-by: Michal Skalski <mskalski@mirantis.com>

Point to latest commit in bgpvpn plugin repo

Currently we use commit before uplift to mitaka.

Change-Id: Ie08a548b133aff01cc2457bd74d0fe7a86a18eff
Signed-off-by: Michal Skalski <mskalski@mirantis.com>

[BGPVPN] fpm: Build multiarch DEBs (arch <all>)

Update upstream reference to include support for building DEB
packages for architecture <all> instead of the native one, since
apart from one small hardcoded check on Fedora for java version,
most code is arch-independant (python).

TODO:
 Extend check for `uname -m` result for aarch64 and other platforms
 in <networking_odl/devstack/setup_java.sh>.

While at it, make git info variable overrideable, just in case
we want to patch this out of upstream tree locally.

Change-Id: Ia139c8d957f65bb120dca1727fd4a422e2510ea0
Signed-off-by: Alexandru Avadanii <Alexandru.Avadanii@enea.com>

Fix ODL deployments

Change-Id: Idae02b340d3a64109deeda7ef67574430b928219
Signed-off-by: Michal Skalski <mskalski@mirantis.com>

Plugin version is required

Plugin version is required when plugin configuration is overwritten.

Change-Id: I93af002ed5e994c90b9134f8c020a3822e81e42c
Signed-off-by: Michal Skalski <mskalski@mirantis.com>

Modify the indent in fuel-odl_0.9.0.yaml.

Change-Id: I15bb84c35c075037df23746b75b108e2d7b90ede
Signed-off-by: wu.zhihui <wu.zhihui1@zte.com.cn>

[BGPVPN] Uplift plugin to Mitaka

Change-Id: I9db366806ec97b44b0e537ee2d4beb3c8a968b92
Signed-off-by: Nikolas Hermanns <nikolas.hermanns@ericsson.com>

ruby-json is required for fpm

Change-Id: Ib8a759922879a81a355bca14e3d4beeeb2ad72d4
Signed-off-by: Michal Skalski <mskalski@mirantis.com>

Fix module versions for scenarios

Change-Id: Ia5a5d008af717f9b2d0e7495bd2180cdad4075e8
Signed-off-by: Michal Skalski <mskalski@mirantis.com>

Merge "Use ODL Boron for SFC"

plugins: ovs, vswperf, yardstick: Allow overrides.

Allow git info related variables from various plugin config.mk
configuration files to be overriden.

We rely on this in Armband to apply our patches on top of selected
commit(s), then pick up the new (patched) git info.

Change-Id: Ib7d9a52f51cef27ec4031587a09a39732a9fbbb4
Signed-off-by: Alexandru Avadanii <Alexandru.Avadanii@enea.com>

Use ODL Boron for SFC

SFC scenario requires OpenDaylight Boron.
ODL plugin will be built with both Beryllium and Boron. It will be
possible to choose deployment with Boron instead of default Beryllium.

Change-Id: I1abd22ddca16e710430accd40ad8359be1bd7132
Signed-off-by: Michal Skalski <mskalski@mirantis.com>

Uplift fuel and nshovs plugins configs

Change-Id: I86cdef9d3e3337d1b16b9154c940f73b0a3d8567
Signed-off-by: Nikolas Hermanns <nikolas.hermanns@ericsson.com>

Move fuel plugin builder to Dockerfile

Change-Id: I5c2bc9f4331bedd7a1d3e78ba2f9b82027e566ef
Signed-off-by: Guo Ruijing <ruijing.guo@intel.com>

Merge "Fix NSH patches"

Merge "Use openjdk-8-jre by default"

Use openjdk-8-jre by default

Package openjdk-8-jre-headless is now a part of mos repositories,
opendaylight depends on it now.

Change-Id: I27bf15d9e8e4361691c742e71a3f8293f0359f70
Signed-off-by: Michal Skalski <mskalski@mirantis.com>

Fix NSH patches

Change-Id: I04d03ce0b803aa23575dd2640e33eafa00f948bc
Signed-off-by: Guo Ruijing <ruijing.guo@intel.com>

Use fuel-mirror version which handle 302 redirects

Fix is currently in master branch of fuel-mirror, I am not sure when
backport to mitaka branch will be aproved, so for now lets point to
specific commit.

Change-Id: I5215707b477df1b6e8735e62cb392aa1400e8bc2
Signed-off-by: Michal Skalski <mskalski@mirantis.com>