Merge changes from topic 'var-overrides'

* changes:
  build: Allow MIRROR_MOS_UBUNTU override
  build: Allow PLUGINS override

Script updates for CI job

Due to the redesign of the SFC feature test, the poc script became
part of CI job functest-fuel-baremetal, scenario os_odl_l2-sfc-ha,
there is a need of full uplift to colorado.
Changes:
 - GPG keyserver use (line 61)
 - patch updated fixing the debian package dependency issue
    (python-oslo.messaging-)
 - some typos are fixed
 - OpenDayLight address is read from hiera (management vip)

Change-Id: I4a19ec753a575220cf321819ab4ff2d9433ec16c
Signed-off-by: ferenc Cserepkei <ferenc.cserepkei@ericsson.com>

Merge "[DOC] Do not create mailto link for Fuel@OPNFV name"

Merge "[ODL] Fix odl deployment on separate node"

[DOC] Do not create mailto link for Fuel@OPNFV name

Change-Id: Ib130e8a2440531c3b9c484c9e516c72d5b20301b
Signed-off-by: Michal Skalski <mskalski@mirantis.com>

Final updates of the Installation instructions:
- Images updated
- Updated reference URIs

Change-Id: Ieeefbd8a3ef9bbd6c3a0e767f770097ab8a98f9d
Signed-off-by: Jonas Bjurel <jonas.bjurel@ericsson.com>

[ODL] Fix odl deployment on separate node

JIRA: FUEL-185

Change-Id: Id14d30154b63abc915a0cd55835bb72cee862dde
Signed-off-by: Michal Skalski <mskalski@mirantis.com>

build: Allow MIRROR_MOS_UBUNTU override

Signed-off-by: Alexandru Avadanii <Alexandru.Avadanii@enea.com>

build: Allow PLUGINS override

Instead of using BUILD_FUEL_PLUGINS, which was intended for manual
overrides of the Fule@OPNFV plugin list, allow PLUGINS to be
preset to a custom list, which we will provide via Armband
Makefile spec.

Signed-off-by: Alexandru Avadanii <Alexandru.Avadanii@enea.com>

Final Updates of the build instructions
- Updated references

Change-Id: I2a6cfdec0de6afa41ea8af59f415439b7ab7056d
Signed-off-by: Jonas Bjurel <jonas.bjurel@ericsson.com>

Fix ovs scenario configuration

Due the incorrect indentation install_dpdk option was not set to true.

JIRA: OVSNFV-37

Change-Id: Ida3b0d1e72ce8322905ff399af89b43cac878299
Signed-off-by: Michal Skalski <mskalski@mirantis.com>

Merge "Changing ODL change into FUEL_PLUGIN_ODL"

Merge "Claenup"

[KVM]Add support for Broadcom NetXtremeII 10Gb

This NIC is used on Ericsson CI POD2

JIRA: KVMFORNFV-45
JIRA: FUEL-171

Change-Id: I44576b399b6195ccc1e64dfc0b04e239ced8acc7
Signed-off-by: Michal Skalski <mskalski@mirantis.com>

Merge "Tune up virtual envs"

Changing ODL change into FUEL_PLUGIN_ODL

Some users where confused if the change we are doing
here is a change to ODL or the fuel-plugin-opendaylight.
So renaming helps for more understanding.

Change-Id: I886d7be3db995f37f9451c06ee22c16d540254e1
Signed-off-by: Nikolas Hermanns <nikolas.hermanns@ericsson.com>

[ODL-plugin-update] Adding more memory to java vm

When running functes ODL crashes in the middel
and is not starting again. Investigtion
showed that it is due to insufficient memory
of the java vm.

Change-Id: I18cda9ed5bed91e72fd91aaf0efa02c5e1a3c8d1
Signed-off-by: Nikolas Hermanns <nikolas.hermanns@ericsson.com>

Claenup

Remove the workaround marked by "# fix me" mentioned in commit id:
e8928f93b50df3ecb11942ab754bae848c082c6a, since the issue (some files
generated during kvmfornfv building are owned by "root") already
resolved in fuel-plugin-kvm build process.

Change-Id: I5efb60173b9974f6fba25f04da1f4b1f53207b1a
Signed-off-by: davidjchou <david.j.chou@intel.com>

update release-notes for colorado

1. take care of Alexandru's comments
2. update liberty to mitaka
3. update ODL Beryllium SR1 to SR3

Change-Id: I7ae590333e781730e462c797270282e8e51fff01
Signed-off-by: Guo Ruijing <ruijing.guo@intel.com>

Tune up virtual envs

* increase the memory/cpu of controller for noha case
* reduce the memory of computes

Change-Id: Iea9351bb846823fae64a662e92f894eca2f6cecb
Signed-off-by: Michael Polenchuk <mpolenchuk@mirantis.com>

Update kvm plugin

Move kernel installation to main phase of deployment which may reduce
problems with mcollective agent after node reboot.

JIRA: KVMFORNFV-45
JIRA: FUEL-171

Change-Id: I48308471f9336b73cde238ff055433f030395e19
Signed-off-by: Michal Skalski <mskalski@mirantis.com>

REVISED DOCUMENT STRUCTURE

Documentation structure changed according to docs team directions:
- Configuration guide removed (only aplicable for features/scenarios)
- Installation instructions moved to a separate directory
- Build instructions moved to a separate directory
- Release notes moved to a separate directory

NOTE: Content not updated to the Colorado baseline

Change-Id: I47f3bee0cf91bab6ed5c4a7f371b10347a917857
Signed-off-by: Jonas Bjurel <jonas.bjurel@ericsson.com>

Rebase yardstick

1. discuss stable commit ID with yardstick PTL
2. do basic test for yardstick fuel plugin

Change-Id: I9ca3a71e178e5e90497629f43110121e4265602f
Signed-off-by: Guo Ruijing <ruijing.guo@intel.com>

Fix DPDK port create failure issue

Change-Id: Id514d995e1e985652e118caadb505237fc0b740a
Signed-off-by: Guo Ruijing <ruijing.guo@intel.com>

Add config information as well to default lab

It is possible that some one changes the
config of the vms from a virtual environment.
This is already shown in the elx lab.
To make everyone aware of this we push it
to the default lab as well.

Change-Id: I4e9012b3237838b98321472bb16037aa0aeacfdc
Signed-off-by: Nikolas Hermanns <nikolas.hermanns@ericsson.com>

deploy: Allow DEA to override bootstrap config

This commit does not change the current behavior in OPNFV, the
preconfigured fuel_bootstrap_cli.yaml from OPNFV ISO is still
used to replace the default settings / fuel-menu bootstrap cfg.

The only addition is the possibility to override the preconfigured
fuel_bootstrap_cli.yaml info using DEA.

JIRA: FUEL-155

Change-Id: I4e66b789fdf0a5b1af512a3efc84fedb72ce3b05
Signed-off-by: Alexandru Avadanii <Alexandru.Avadanii@enea.com>

deploy-config: honor interfaces and transformations

Currently all scenarios assume interfaces and transformations are the
same for all nodes in the POD, however some PODs may contain nodes that
have different hardware, or where the interfaces are configured
differently.

In this patch we honor the original interfaces and transformations if
they are present in the dea-override.yaml file. The way to add this
information in the dea-override is by having a "nodes:" section with
this information, ie:

nodes:
- id: 1
  interfaces: interfaces_1
  transformations: transformations_1
- id: 2
  interfaces: interfaces_2
  transformations: transformations_2
- id: 3
  interfaces: interfaces_1
  transformations: transformations_1

The node IDs is used to find out this information.

Change-Id: If6ff8ca28b42e043d1bdf91142a4a56ae36e4304
Signed-off-by: Josep Puigdemont <josep.puigdemont@enea.com>

Merge "Use virtio driver for fuel-master NIC"

Change log file permissions

Don't make it executable; don't make it world-writable.

Change-Id: I5d117b39e70fff2c1cb5e62d017efe0387b9b5f4
Signed-off-by: Peter Barabas <peter.barabas@ericsson.com>

Use virtio driver for fuel-master NIC

Using e1000 driver on fuel master may lead to temporarily loss of
communication [1]. We can use two approaches here:

  * use virtio driver
  * install e1000-kmod package

virtio driver should be sufficient for our purposes, we don't use
bonding on fuel master.

e1000-kmod package is available on fuel master and provide e1000 kernel
module which does not introduce additional problems. This package is not
installed by default but for this purpose MASTER_NODE_EXTRA_PACKAGES
cmdline option can be set during fuel master installation.

[1]
http://docs.openstack.org/developer/fuel-docs/userdocs/release-notes/fuel_known_issues.html

Change-Id: I3fc1fed5f0b9c780cd9174205a3c31dae92a180e
Signed-off-by: Michal Skalski <mskalski@mirantis.com>

Prepared for Fuel release documentation

Helping project with the new structure, added a fuel/docs/installationprocedure
and relevant templates. If you dont need this feel free to abandon this patch.

Change-Id: Ia704aa0b2e66c62241ef0a5eb769ea8f538caa1f
Signed-off-by: Sofia Wallin <sofia.wallin@ericsson.com>

Merge "Filter out non-cluster nodes"

Merge "Allign odl-sfc scenarios with new plugin version"

docs: Add code-block markup

Add bash code-block markup for:
- instalation instruction guides
- build instruction guides

Change-Id: If7a0f4cfc17e8cabe5d5ff59a7b2fe80ca0bb66b
Signed-off-by: Cristina Pauna <cristina.pauna@enea.com>
Signed-off-by: cristinapauna <cristina.pauna@enea.com>

Merge "Update instructions with references to C-release"

Update installation guide for Colorado

Change-Id: Ie0fb45a570c59588429b167c4d83109ebf670ba7
Signed-off-by: Michael Polenchuk <mpolenchuk@mirantis.com>

Update instructions with references to C-release

Change-Id: I7682e7cffcafdec3c42ca5a090662df9ccc431e2
Signed-off-by: Michal Skalski <mskalski@mirantis.com>

Allign odl-sfc scenarios with new plugin version

ODL Boron use different set of sfc features.

JIRA: FUEL-169

Change-Id: I38c1e518ffbf625a68f879779c01e4abfdb1d672
Signed-off-by: Michal Skalski <mskalski@mirantis.com>

Filter out non-cluster nodes

In order to avoid fetching up non-cluster nodes
filter them out by option of id.

JIRA: FUEL-183
Signed-off-by: Michael Polenchuk <mpolenchuk@mirantis.com>
Change-Id: If0d0a1480d648167f1bcf726f0d6d345d2e00711

Merge "KVM scenario updates"

KVM scenario updates

1. Install CEPH_OSD on 2 compute nodes
2. Delete default 'net_segment_type: tun' definition, for it
   is already defined in dea_base.yaml, and it can be updated
   by lab dea files
3. Update osd_pool_size from 1 to 2
4. Michal indicates that
https://review.openstack.org/#/c/342717/ set the limitation
: Restrict usage of controller and osd role on single host

Change-Id: I4907482391588fc21ecf60603b1c599413cbc531
Signed-off-by: Julien-zte <zhang.jun3g@zte.com.cn>

Merge "Rebase vsperf"

Merge "Fix merge_dicts logic for the case of two nonempty lists"

Rebase vsperf

1. discuss with vsperf PTL to rebase vspef with stable commit ID

Change-Id: Ia87d4d5394b5eb476165b06d015414c1675fccac
Signed-off-by: Guo Ruijing <ruijing.guo@intel.com>

Merge "Pass host cpu flags to compute guests"

Merge "Rebase OVS with DPDK"

Pass host cpu flags to compute guests

Both kvm and ovs plugins require specific cpu flags.
Host-model mode will pass most of the host cpu flags to guest.
If a hypervisor is not able to use the exact CPU model, libvirt
automatically falls back to a closest model.

JIRA: FUEL-157

Change-Id: I77ce625e118b6de51cbcdb58e4be5a6dcaecf384
Signed-off-by: Michal Skalski <mskalski@mirantis.com>

Merge "Revert "Pass host cpu flags to compute guests""

Revert "Pass host cpu flags to compute guests"

This reverts commit 34da00c2baa6abc69a812aae4c30a82ebae561bd.

Change-Id: I495fa1f71ac30e259ca63e90ca8b38dd2300d469
Signed-off-by: Michal Skalski <mskalski@mirantis.com>

Merge "Provide access to mgmt network from host level"

Merge "Pass host cpu flags to compute guests"

Merge "tacker-server patch updated"

Fix merge_dicts logic for the case of two nonempty lists

JIRA: FUEL-170

Change-Id: I5abae6fc950cdabe064b5402d9555cedf81cfc23
Signed-off-by: Fedor Zhadaev <fzhadaev@mirantis.com>

Pass host cpu flags to compute guests

Both kvm and ovs plugins require specific cpu flags.
Host-model mode will pass most of the host cpu flags to guest.

JIRA: FUEL-157

Change-Id: Iff620a4b4f5948e54f6f8db01411d6659f08ec00
Signed-off-by: Michal Skalski <mskalski@mirantis.com>

Provide access to mgmt network from host level

Functest framework is trying to access internal endpoints from host
level which currently is not possible in virtual deployments. Move mgmt
network to untagged interface and setup IP address from mgmt subnet on
the linux bridge where mgmt traffic is traversing.

There will be corresponding changes in securedlab repository.

JIRA: FUEL-167

Change-Id: I29b8ebb23a64e39a4e56b27639a87ce2386b9774
Signed-off-by: Michal Skalski <mskalski@mirantis.com>

Rebase OVS with DPDK

1. Rebase OVS to commit 9f4ecd654dbcb88b15a424445184591fc887537e
2. Rebase DPDK to 16.07
3. Fix 2 vms in 2 hosts ping each other issue
4. update demo script

Change-Id: I85b56ab6e3a735bbf26df8d4df22f2d76b9fb1d3
Signed-off-by: Guo Ruijing <ruijing.guo@intel.com>

Merge "Rebase to collectd-ceilometer-plugin stable/mitaka 1. fix pbr:version_string in collectd-ceilometer-plugin 2. disable collectd build to use stock collectd 3. update README in fuel plugin"

tacker-server patch updated

The deb package control is changed in Mitaka, so the patch should
be updated as well.

Change-Id: Ifde84e19da72217a5cca73e0da366e21625cd21b
Signed-off-by: ferenc Cserepkei <ferenc.cserepkei@ericsson.com>

Merge "Use ODL Be SR3"

Rebase to collectd-ceilometer-plugin stable/mitaka
1. fix pbr:version_string in collectd-ceilometer-plugin
2. disable collectd build to use stock collectd
3. update README in fuel plugin

Change-Id: I773910c03d109af1fc1f86a5709105e9ffbfc350
Signed-off-by: Guo Ruijing <ruijing.guo@intel.com>

Merge "POC script updates for Colorado"

Merge "bootstrap_admin_node: Fix connectivity check."

Use ODL Be SR3

JIRA: FUEL-165

Change-Id: I483f23c2f74313020d6a3dbb88079558d6674010
Signed-off-by: Michal Skalski <mskalski@mirantis.com>

Merge "Fix OVS scenarios to use fuel-plugin-ovs"

Merge "Don't use -f flag with docker tag"

Merge "Allow to use Intel NICs for DPDK on Ericsson POD2"

Don't use -f flag with docker tag

-f flag has been deprecated since v1.10.0 and is removed from v1.12.0.
If user use recent version of docker iso built will fail.

https://docs.docker.com/engine/deprecated/#/f-flag-on-docker-tag

JIRA: FUEL-163

Change-Id: If42781f342d59db7672322ec07063d09a23e1dcb
Signed-off-by: Michal Skalski <mskalski@mirantis.com>

Fix OVS scenarios to use fuel-plugin-ovs

 * Use fuel-nshovs instead deprecated fuel-nfvovs
 * Modified scenario to enable DPDK via Fuel
 * Removed hard dependency from specific POD

 * Add ability to merge networks lists

JIRA: FUEL-156
JIRA: FUEL-162

Change-Id: Ie609ff140f1de96e54df37dd9b1881afec792317
Depends-On: Ic6072d938e09a40516c32cdde6223d0a21e57403
Signed-off-by: Fedor Zhadaev <fzhadaev@mirantis.com>

Allow to use Intel NICs for DPDK on Ericsson POD2

JIRA: FUEL-161

Change-Id: I009ba7e9587f3c47d8e609c96b0666394887929e
Signed-off-by: Michal Skalski <mskalski@mirantis.com>

Fix config for no-ha kvm scenario

JIRA: FUEL-157

Change-Id: I09e595902b2c467b5522b7b37a772f7ab35c8cea
Signed-off-by: Michal Skalski <mskalski@mirantis.com>

POC script updates for Colorado

Change-Id: I2afb7826a5dcc22f5d810312e1ff027a0b5fcbfa
Signed-off-by: ferenc Cserepkei <ferenc.cserepkei@ericsson.com>

Merge "Add collectd package for collectd ceilometer plugin"

bootstrap_admin_node: Fix connectivity check.

After Fuel Master builds the bootstrap image at first boot,
internet connectivity is tested using the URL for the CentOS
updates repository.

bootstrap_admin_node.sh script parses the output of `yum repolist`,
looking for entries like 'Repo-baseurl: http://...'.

However, in Fuel 9.0, <updates> points to a mirrorlist file (a text
file containing a list of possible mirror URLs) instead of being
a single, direct link to the repository.

Also, note that in Fuel9, <updates> and <security> repos are disabled
by default.

For now, we only test that we can access the mirrorlist file,
while the check should be performed against the mirror(s).

Old (Fuel 8) repo entry format:
Repo-baseurl: http://mirror.fuel-infra.org/.../updates/x86_64/

New (Fuel 9) mirrorlist format:
Repo-mirrors: http://mirror.fuel-infra.org/.../mos-mirrors-updates.txt

Backported from upstream change [1], which should fix bug [2].
This change will get merged upstream in Fuel 10.

[1] https://review.openstack.org/#/c/335094/
[2] https://bugs.launchpad.net/fuel/+bug/1596981

Change-Id: Ibec397af2e1d925a011907f14e1d655741e280fb
Signed-off-by: Alexandru Avadanii <Alexandru.Avadanii@enea.com>

build: fuel-main: Decouple patches, Makefile.

Tested in armband, with very small adaptions.

Use `git apply` and/or `git am` in favor of `patch`.
Change patches from old context format to unified diff.

This change allows us to decouple Makefile and patches.
This means we no longer have to manually stage touched files
before committing them to git.

Possible improvements:
- move patches to separate dir and add ordering info (prefix);
- merge patches (currently we have one per touched file);

Remove obsolete (unused?) patch:
- fuel-main_docker_version.patch

Change-Id: I5b621370993b259779c813b47105f632948e6da7
Signed-off-by: Alexandru Avadanii <Alexandru.Avadanii@enea.com>

Merge "Add functionality to generate a base DEA file"

Merge "Make it possible to include files in templates"

Merge "Refactor deploy-config.py"

Add functionality to generate a base DEA file

 - Add template file for base DEA

Change-Id: I8055087b992fdc9850852bad9fa07a4e4fde0085
Signed-off-by: Peter Barabas <peter.barabas@ericsson.com>

Make it possible to include files in templates

Change-Id: I45c42ac65cfbe6562f0035df3375a2231148e22e
Signed-off-by: Peter Barabas <peter.barabas@ericsson.com>

Refactor deploy-config.py

 - fix vertical whitespace
 - more consistent function naming
 - clean up file writes
 - break up some long lines
 - typo fixes
 - remove duplicate spaces
 - unify print's

Change-Id: I5517747ef9f2e39ade7fb553ae2b1547fdf7b9e1
Signed-off-by: Peter Barabas <peter.barabas@ericsson.com>

Fix configuration for kvm scenario

JIRA: FUEL-157

Change-Id: I5baafd4395a2d298a24cccda042d5b43824ae7a0
Signed-off-by: Michal Skalski <mskalski@mirantis.com>

Merge "Fix default value for plugin metadata"

Merge "Add ability to override node attributes"

Merge "Update collectd ceilometer fuel plugin installation scripts"

Merge "Minor fixes in yardstick fuel plugin"

Add templating support for generating config files

 - Remove unneeded method
 - Write result to a file and not STDOUT
 - Add documentation
 - Remove trailing whitespace
 - Documentation corrections

Change-Id: I7532222d3512380c4f1129bd05dc2ba37b409dc2
Signed-off-by: Peter Barabas <peter.barabas@ericsson.com>

Add ability to override node attributes

Fixes https://jira.opnfv.org/browse/FUEL-152

Change-Id: I444bf3aef54ffd53c53431e2795b11b10545f55f
Signed-off-by: Fedor Zhadaev <fzhadaev@mirantis.com>

Pinning down exact Fuel 9.0.1 repo versions

stable/mitaka branch is open for new commits for Fuel 9.1. To not be
impacted by new upstream changes point to specific commits which were
used for Fuel 9.0 General Availabilit (9.0.1).

JIRA: https://jira.opnfv.org/browse/FUEL-153
verify: no-cache

Change-Id: I7fd8d2f11e4be6f47e39924913c48bfe7d4f2eb3
Signed-off-by: Michal Skalski <mskalski@mirantis.com>

Temporary fix for bgpvpn plugin builds

JIRA: FUEL-154

Change-Id: Iad554aef8db9a6d01c408c0014dabf45e4c1a0e6
Signed-off-by: Michal Skalski <mskalski@mirantis.com>

Update the commit ID of kvmfornfv upstream for fuel-plugin-kvm

This version of kvmfornfv upstream fixed the issue of failing to launch
instances in Horizon after OPNFV environment deployed.

Change-Id: I05fa9f977924ee679312c599ee0bccabaf7bf1a9
Signed-off-by: davidjchou <david.j.chou@intel.com>

Add collectd package for collectd ceilometer plugin

Change-Id: I8da0087d8f17f5f2e4c3275a26ad2ca164878226
Signed-off-by: Guo Ruijing <ruijing.guo@intel.com>

Fix default value for plugin metadata

Fix typo which result in error while getting default metadata
in case if it's not overridden in scenario.

Fixes https://jira.opnfv.org/browse/FUEL-151

Change-Id: Ibf40f846919155e27da5dc1f778f72afee79ff12
Signed-off-by: Fedor Zhadaev <fzhadaev@mirantis.com>

Minor fixes in yardstick fuel plugin

Change-Id: Ifc4a31efc8a2717eaccb7b39fa36e1282eb16173
Signed-off-by: Guo Ruijing <ruijing.guo@intel.com>

Update collectd ceilometer fuel plugin installation scripts

Change-Id: I4019b2167092f522a3d2533bf20b2ea04bb3b2b2
Signed-off-by: Guo Ruijing <ruijing.guo@intel.com>

Build new cache when list of packages has changed

Create a new cache of f_repobuild job when list of packages required by
plugins has changed.

JIRA: FUEL-150

Change-Id: I079950eaa9e3b32ea7baa3f6d4a37cc37f99f3a7
Signed-off-by: Michal Skalski <mskalski@mirantis.com>

Merge "Update fuel yardstick plugin   1. update fuel plugin builder   2. change install directory in yardstick plugin   3. update README"

Merge "Add fuel collectd ceilometer plugin"

Merge "Update NSH patches"

Update fuel yardstick plugin
  1. update fuel plugin builder
  2. change install directory in yardstick plugin
  3. update README

Change-Id: I8d717ef568aeaa7958cd1a3161d4ef8ca17a1de1
Signed-off-by: Guo Ruijing <ruijing.guo@intel.com>

Add fuel collectd ceilometer plugin

Change-Id: I2f95d9166e2d0d7508551de8b87dc6c84800e3c1
Signed-off-by: Guo Ruijing <ruijing.guo@intel.com>