Rework processorcount limits to os_workers

JIRA: FUEL-212
Change-Id: I1c5b8fe123406f1a96c5432d91a9ee5806c7cf62
Signed-off-by: Michael Polenchuk <mpolenchuk@mirantis.com>

[odl-l3] Get OVS plugin into the action

Update ovs version to 2.5+ in order to get inserted security group
connection tracking flows in ovsdb, which allows to pass
tempest scenario of test_network_basic_ops.

JIRA: FUEL-199
Change-Id: Id3e6c8ed2b79c4b6b4a7623f0d262c63f1d1d89f
Signed-off-by: Michael Polenchuk <mpolenchuk@mirantis.com>
(cherry picked from commit 2c1f17baaf2ce9e892722c7f33586229a5586eed)

Point to specific snapshot of mos repositories

Fuel 9.1 was released, it is a first time when new version of Fuel is
distributed through the same repositories as previous one, point to
specific snaphost of mos ubuntu repo to prevent mixing packages.

Change-Id: I64bb52657ce476b0c1fdc8e858231ad751ba12b1
Signed-off-by: Michal Skalski <mskalski@mirantis.com>
(cherry picked from commit fe3fc91c23ace520f32830b6af5205c39088f922)

Merge "deploy: templates: Fuel VM for Enea Armband lab" into stable/colorado

Merge "build: Use OPNFV_GIT_SHA for ISO preparer ID" into stable/colorado

deploy: templates: Fuel VM for Enea Armband lab

This is the initial VM description fit for spawning Fuel Master
VMs in Enea's Pharos lab (Armband lab) [1, 2].

[1] http://www.enea.com/pharos-lab
[2] https://wiki.opnfv.org/display/pharos/Enea-pharos-lab

Change-Id: Ia89f9728fff0ab1c279f6200fd558d9643cf4ea5
Signed-off-by: Josep Puigdemont <josep.puigdemont@enea.com>
Signed-off-by: Alexandru Avadanii <Alexandru.Avadanii@enea.com>
(cherry picked from commit f3f4e1608b8d9b5dd7435b43d2512b9d981757f1)

[ODL] Use OpenDaylight Boron

ODL Boron will be used in all scenarios except bgpvpn beacuse vpnservice
was removed in this release, we still will use Beryllium for this
scenario.
This change only replace Beryllium with Boron, it does not use any new
features like odl-netvirt-openstack.

Change-Id: I95264cc97f5b9e922ab3fb7dc024724d9fb83e9c
Signed-off-by: Michal Skalski <mskalski@mirantis.com>
(cherry picked from commit e1314e2e599cfff5625b8e4694832b731a663887)

Merge "[odl] Get latest changes" into stable/colorado

Merge "Use tacker plugin in SFC scenario" into stable/colorado

deploy: Fix: remove storage files explicitly

Previous change [1] tried to move the responsibility of removing
storage files (raw, iso) from our python scripts to libvirt.

Although this works as expected for non-root invocations, like
Armband deploys, it fails to remove raw files in Fuel@OPNFV deploys.

Work around this by keeping both mechanisms (libvirt managed +
python explicit handling).

Related-bug: ARMBAND-128

[1] https://gerrit.opnfv.org/gerrit/#/c/22447

Change-Id: Ib846cd6071705b71d98824385835d724c729fd78
Signed-off-by: Alexandru Avadanii <Alexandru.Avadanii@enea.com>
(cherry picked from commit aa912dc6691fba23c0827108f6a20296942e1ac0)

build: Use OPNFV_GIT_SHA for ISO preparer ID

isoinfo -i lists the following information for Fuel@OPNFV ISO:
"Data preparer id: 86aafaf5454a846c417848bb94f264c4420160f3"
where the SHA hash is Fuel git repo HEAD SHA.

For Armband's build system, using only the Fuel commit ID is not
enough to fully describe the state of the source code, as patches
are also applied to other fuel modules (as git submodules).
Instead, a pointer to a valid Armband commit ID should be used.

However, Armband overrides OPNFV_GIT_SHA to the Armband git repo
commit hash, so the ISO metadata should also reflect this.

While at it, allow product name to be overriden, to signal the
commit ID should be looked up inside the Armband repository.

Change-Id: I33ad490f1afe28c1d439dda40e39cee1955e0ac2
Signed-off-by: Alexandru Avadanii <Alexandru.Avadanii@enea.com>
(cherry picked from commit 94ea115c36d5f5c79823692ac80626cf8959b35d)

Support different format of fuel task info

As described in this bug: https://bugs.launchpad.net/fuel/+bug/1625518
json output of the task can be in different format: single dict or list
of dicts. During tests of https://gerrit.opnfv.org/gerrit/21807 only the
later one was visible, try to support both types of output.

Change-Id: I7d3e12270c8246b03bdc6c73d3be77a039df469f
Signed-off-by: Michal Skalski <mskalski@mirantis.com>
(cherry picked from commit b2a63bfe5746729b4731a14d98c50fb7f59d875e)

Merge "Change the way how we track deployment" into stable/colorado

build/docker: CI: no tag reuse on env var change

The previous change adding support for OPNFV build tag reuse
added the get/put-cache functionality to `build/docker` just
for detecting env var changes between tag creation and current build.

Obviously, when building outside CI, it is up to the end user to
force a docker rebuild when env vars change (this was the behavior
before the tag reuse support too).

An alternative approach would be removing get/put-cache completely,
if we consider the env vars (http proxy related) never change for
CI cached builds (seems to be true, worst case we wait 1 day for
the tag to expire when it happens).

This change just fixes the original intended behavior in tag reuse.

JIRA: FUEL-204

Change-Id: I14666994bc334012a5198a64a4a24cd4962e4bd6
Signed-off-by: Alexandru Avadanii <Alexandru.Avadanii@enea.com>
(cherry picked from commit 1c7eb680b34fdcd83b92c43a4c78db3c54bf567b)

build/docker: Reuse tagged image for OPNFV build

During CI build loops, the workspace is freshly fetched,
so '.docker' make target is built each time.

Reuse existing 'opnfv.org/ubuntu-builder:14.04' tag if present, but
enforce a configurable lifespan for this tag (currently 1 day), so
it does not get stale.

JIRA: FUEL-204

Change-Id: I8d1bd81f3e5e81068e9586c9bea9f43b3327eb38
Signed-off-by: Alexandru Avadanii <Alexandru.Avadanii@enea.com>
(cherry picked from commit 638d832527012531b506ec0ba40b297c41bfda0e)

Use tacker plugin in SFC scenario

JIRA: FUEL-205

verify: no-cache

Change-Id: I37746bf3e490f6b707de8fe56af10f1df932908c
Signed-off-by: Michal Skalski <mskalski@mirantis.com>
(cherry picked from commit 40ddf04b3b28a6b5ffa5b74c1e3140c976ca1612)

Integration of fuel-plugin-tacker

JIRA: FUEL-205

This change integrates https://github.com/openstack/fuel-plugin-tacker
to the Fuel project.

Change-Id: I51b1bdeeb678e55b85393f6a9f8180fc79322e8f
Signed-off-by: George Paraskevopoulos <geopar@intracom-telecom.com>
(cherry picked from commit d91a7fc7cc9d853a9e5c56f87b6cd22ca11ab9a2)

Change the way how we track deployment

Use fuel2 for start deployment. Since it does not return progress
use deployment task to provide this information. Currently used
'deploy-changes' will behave the same:
https://bugs.launchpad.net/fuel/+bug/1565026

Try to handle situation when nodes temporary go offline. With
deploy-changes environment still was in 'new' state in this situtation
which causes timeouts from jenkins.

JIRA: FUEL-196

Change-Id: I6548a5ec807551388e845044c282b7af32eb9100
Signed-off-by: Michal Skalski <mskalski@mirantis.com>
(cherry picked from commit b73526033c5c5b93ca96f411a1d90dc5c49b9228)

deploy: fix: remove storage files during cleanup

Remove old disks through virsh instead of calling os.delete()
methods so that the cleanup phase would succeed within a non-root
setup. [1]

Related-bug: ARMBAND-128

[1] https://gerrit.opnfv.org/gerrit/#/c/19491/

Change-Id: I90007edf014c7e15a68b9a334fcaffaa127ee4ab
Signed-off-by: Stefan Sicleru <stefan.sicleru@enea.com>
(cherry picked from commit d4f9612475a07773af182f244bcd597d25bf4cd8)

Merge "Enable ci off-line deployment" into stable/colorado

Merge "Properly handle quotes in argument masking" into stable/colorado

Merge "Don't fork a templater process, use the library" into stable/colorado

Merge "[OVS-DPDK] Turn off missing options" into stable/colorado

Merge "Remove extra empty line" into stable/colorado

Merge "[performance] Disable keystone token revoke" into stable/colorado

Merge "Fix: ISO build omits long path files" into stable/colorado

Merge "[KVM] Install plugin in post-deployment" into stable/colorado

[odl] Get latest changes

* Fix setting bgpd password with puppet
* Enable G1 garbage collector
* Adding caching possiblity
* Add firewall resource that opens BGP ports

Change-Id: I8f779ba7356acf52967e594a1a213edf192962fc
Signed-off-by: Michael Polenchuk <mpolenchuk@mirantis.com>
(cherry picked from commit 1d4f96facadd5458a87a4d68b0b5298ca47cd1fd)

Emergency patch - fixed broken links

Change-Id: I7aea7c06775cac3efeb22d2256c7acf6fbb137d5
Signed-off-by: Jonas Bjurel <jonas.bjurel@ericsson.com>
(cherry picked from commit 61d9f66916fe7cacc1df25438b4060b9f3c9402d)

Fix: ISO build omits long path files

make iso generates:
libisofs: WARNING : File "/ubuntu/pool/main/libj/\
libjs-twitter-bootstrap-datepicker/libjs-twitter-bootstrap-\
datepicker_1.3.1+dfsg1-1~u14.04+mos1_all.deb" can't be added
to Joliet tree, because its path length is larger than 240

At the end this package is missing in latest ISO.
NOTE: This issue is only triggered on certain kernels during build.

Closes-bug: FUEL-190

Change-Id: I21f7f1cbe3f64317d2feb66e371611a654cf30f8
Signed-off-by: Alexandru Avadanii <Alexandru.Avadanii@enea.com>
(cherry picked from commit 1e380388ee91ae71a7a32122d3942e53f146ccad)

[performance] Disable keystone token revoke

Change-Id: I6db0bfaab5462a9a8f8de64bc1b088607d407bab
Signed-off-by: Michael Polenchuk <mpolenchuk@mirantis.com>
(cherry picked from commit 5bcac1cf6a0d9367ac31f0ca5c6064d30433377b)

[KVM] Install plugin in post-deployment

JIRA: FUEL-171

Change-Id: Iead815ba2da76493f108ad71bc32cff265302b55
Signed-off-by: Michal Skalski <mskalski@mirantis.com>
(cherry picked from commit 53e6d97c9157f1e908d99dcca1207de23ea73132)

Enable ci off-line deployment

Updated dea_base to use locak repo mirrors for off-line deployment
NOT TO BE PART OF COLORADO.1

Change-Id: Ia8e2d716570267ed9a9e06e253b6a7b258ee26eb
Signed-off-by: Jonas Bjurel <jonas.bjurel@ericsson.com>
(cherry picked from commit caee61817eb7f4235ca33a9da12f14a285f9e012)

Remove extra empty line

Change-Id: I462a99b42d05b979c4f1904e7309e87ddd94d1bb
Signed-off-by: Peter Barabas <peter.barabas@ericsson.com>
(cherry picked from commit 2c7b9bb6623844eeea95373ec2752b0200cd69e8)

[OVS-DPDK] Turn off missing options

Get all gcc/compile options to conform to corei7 arch.

JIRA: FUEL-186
Change-Id: I5ce76631aac9174c69362f96f71e26285fc95842
Signed-off-by: Michael Polenchuk <mpolenchuk@mirantis.com>
(cherry picked from commit 861836e6bbd545d3dcee1bd041ff867fb4e3d357)

Don't fork a templater process, use the library

Change-Id: I931ba56fe65f2f5d5af483a8bfe654a0ecda1611
Signed-off-by: Peter Barabas <peter.barabas@ericsson.com>
(cherry picked from commit ff26503f13676b7551afc0633621786edd2811f0)

Properly handle quotes in argument masking

Use shlex to parse the command line, thus handling quotes and other
special characters.

Change-Id: Icc3a2cd934aac8f67e07d967f76c7679bcb34996
Signed-off-by: Peter Barabas <peter.barabas@ericsson.com>
(cherry picked from commit bddbf2a740b46d1ad763967b8c8662b1877a4d75)

Temporary Hardcoded Ubuntu repo

Meanwhile we're investigating the issues with Ubuntu repo mirror selection,
we will hardcode the Ubuntu repo mirror

Change-Id: I776bd3a8a72dc87e00052e8ff965de1134293c7a
Signed-off-by: Jonas Bjurel <jonas.bjurel@ericsson.com>
(cherry picked from commit 3e506f9248f2a64a8a30c832049df392b01fcb4e)

Merge "Make sure to use only up-to-date mirrors" into stable/colorado

Merge "Repo tidy-up + licence scrubing" into stable/colorado

Make sure to use only up-to-date mirrors

Whitewash the geographically "close" mirrors against the list of
fully synced mirrors - we've had a few instances of getting bad
mirrors which would break the script.

All credit goes to:

https://askubuntu.com/questions/39922/how-do-you-select-the-fastest-mirror-from-the-command-line

... and we should perhaps use the netselect tool as well somewhere down
the line, but this fixes the most urgent problem.

Change-Id: Ia61a2bd78657b28019f57fc1962d410e754e6d2a
Signed-off-by: Stefan K. Berg <stefan.k.berg@ericsson.com>
(cherry picked from commit e12aec84ef1767d4ba9469dfb12d65d928bf0ed4)

Repo tidy-up + licence scrubing

- Added licences and (c) to files not complying to Licence and (c) policies.
- Removed example templates not having correct licence claims and no longer being rellevant.
- Removed the Vagrant deployment method as it is not used, not rebased/up to date and not holding correct license claims.

Strategies used:
- Machine generated are not assigned an licence text, the licence follow from the source.
- Generated patch files are not assigned an licence text, the licence follow from the source.

Change-Id: I9763f076eae51fbb2d4e5cb8cacfa4bb6cf338cc
Signed-off-by: Jonas Bjurel <jonas.bjurel@ericsson.com>
(cherry picked from commit 65b7cfcd862a75be72fb98777190c49f8b6ea0d3)

build: Move patches to <patch-repos> dir

Decouple main Makefile and repository patches by moving all Fuel
component patches to a subdir, <patch-repo>.

Proposed structure of <patch-repos> dir:
- patch-repos/*.patch are intended for <fuel-main> git repo;
- patch-repos/build/repo/<fuel-module>/*.patch are intended for
  <fuel-module>, e.g. "fuel-nailgun";

Full list of Fuel submodules supported by this mechanism at [1].

While at it, replace all occurences of </tmp/fuel-main> with
<FUEL_MAIN_DIR> in main Makefile and rewrite a few git/make calls
to use the "-C" arg.

NOTE: `git -C` is available starting with git 1.8.5.

[1] https://github.com/openstack/fuel-main/blob/stable/mitaka/repos.mk
    #L32-L44

Change-Id: I5e4adc7285054777c3898592ed48482ccd2b706f
Signed-off-by: Alexandru Avadanii <Alexandru.Avadanii@enea.com>
(cherry picked from commit 52701ce099ac455aa393aac34d684f5d59b3d2fe)

Merge "Increase number of hugepages allocated for nova" into stable/colorado

Stop using network transformation

Due the bug in code we did not apply network transformation to created
environments, but still Fuel base on chosen segmentation type and
networks to NICs assigment has been generated network schema itself.
Since we don't use custom network schema we can remove transformation
defintions from dea pod overrides files. However there is a need to
configure NIC properties in case of dpdk deployment.

JIRA: FUEL-192

Change-Id: Ib7dab4d61910ac8c44b6d91e0c486c9693034823
Signed-off-by: Michal Skalski <mskalski@mirantis.com>
Signed-off-by: Jonas Bjurel <jonas.bjurel@ericsson.com>

Final updates of release notes

-Added filters for fixes, issues and work-arounds

Change-Id: Id76545fd7837c83145bd8d87b309c23849da6f7e
Signed-off-by: Jonas Bjurel <jonas.bjurel@ericsson.com>
(cherry picked from commit 7dc64e4f8813a1cef9697074326698bc27a85937)

Increase number of hugepages allocated for nova

Yardstick is using m1.small flavor for some tests, in case of ovs
scenario it should be possible to allocate 2GB from hugepages.

Change-Id: Ie908d94e63a5055907bb33c69a5e028739f44f2e
Signed-off-by: Michal Skalski <mskalski@mirantis.com>
(cherry picked from commit c64a4063f591c0140509e3edb88d9f0c3cd20928)

Uplift fuel-plugin-ovs

Pull in "Update flavors mem_page_size"

Change-Id: I3e285cefee561dbbc02eb9ab7d2e9c01eef2742a
Signed-off-by: Jonas Bjurel <jonas.bjurel@ericsson.com>

Use Boron RC3.5 for sfc scenarion

It should fix problems with vm communication through floating IPs.

Change-Id: Icadc71f2b99c28715c15389e59111272a21440fb
Signed-off-by: Michal Skalski <mskalski@mirantis.com>
(cherry picked from commit ff9c24257a2c62dd981297a92eecf712f6643617)

Update local mirrors defintions

If we only use main section, not all required packages are discovered.

Change-Id: I2eaa4a7bfc659b820901ce55a4ab799c3281df3b
Signed-off-by: Michal Skalski <mskalski@mirantis.com>
(cherry picked from commit 2e9ff14f8ab6ee9e4ebf84a2e8e40bd3f149c48e)

Merge "Add intel-sc lab devel-pipeline configuration" into stable/colorado

update node_reset() in zte_adapter.py

Change-Id: I71790b8abb25936045f777a78ed903f3b8ce4303
Signed-off-by: wu.zhihui <wu.zhihui1@zte.com.cn>
(cherry picked from commit 161dd445f06aa9a5dfcd273d89a00d1f02260ba3)

Add intel-sc lab devel-pipeline configuration

intel-sc is the lab devel-pipeline configuration for a lab of Intel
in Santa Clara, CA, USA. This lab is behind Intel proxy sever.

Change-Id: I401b030adf82d6a19397e92aef4b30ebe971d80c
Signed-off-by: davidjchou <david.j.chou@intel.com>
(cherry picked from commit 8079d1237ab9f2326adef163dc509c8a84e62775)

Merge "Reduce ceilometer memory usage" into stable/colorado

Change the way of hugepage allocation

Try to allocate enough hugepages for all NUMA nodes.

JIRA: FUEL-186

Change-Id: Idcdf6ab616dfbd9ef1104be8d1667421221ea5f2
Signed-off-by: Michal Skalski <mskalski@mirantis.com>
(cherry picked from commit 8d7559b50b265298f7800b18f840b87ad1e84b20)

Reduce ceilometer memory usage

JIRA: FUEL-189
Change-Id: I54854e4cc87f0c0e9e348e18131aa88b70e30054
Signed-off-by: Michael Polenchuk <mpolenchuk@mirantis.com>
(cherry picked from commit 4c47ef4b6f192482d99196c7a7070e5f396b1fd5)

Disable cpu features in ovs with DPDK

Change-Id: I2cf5df2f0469f21f64e0e7d11740058639f68697
Signed-off-by: Guo Ruijing <ruijing.guo@intel.com>
(cherry picked from commit 9a3f6a38d708cbc3633d203e36e32bc91764ba20)

Script updates for CI job

Due to the redesign of the SFC feature test, the poc script became
part of CI job functest-fuel-baremetal, scenario os_odl_l2-sfc-ha,
there is a need of full uplift to colorado.
Changes:
 - GPG keyserver use (line 61)
 - patch updated fixing the debian package dependency issue
    (python-oslo.messaging-)
 - some typos are fixed
 - OpenDayLight address is read from hiera (management vip)

Change-Id: I4a19ec753a575220cf321819ab4ff2d9433ec16c
Signed-off-by: ferenc Cserepkei <ferenc.cserepkei@ericsson.com>
(cherry picked from commit ad0dd57dc045b58c46e53f281ab57e70d00947d7)

Final Colorado document review.
- Please review the rendered HTML document (See Jenkins references below)
- Please verify the documented procedures and instructions

READY TO MERGE

Change-Id: Idff52212ca68ce2b97f203043e18a18c582589a7
Signed-off-by: Jonas Bjurel <jonas.bjurel@ericsson.com>

Do not use rsync for choosing mirror server

Rsync protocol was used for creating local mirrors, but now we only need
http connection. This requirement can be problematic for environments
which are behind proxy and can lead to build failures when rsync is not
allowed.

Change-Id: I4efcf500fd0c25de5fdb87307e7210cc4a96714d
Signed-off-by: Michal Skalski <mskalski@mirantis.com>
(cherry picked from commit a8820e25b80ee0c069e473cb54c576d98dd10aee)

Change source of ODL Boron tarball

For SFC scenario we need to use ODL Boron. Since it is not yet released
there is no persistent location for a tarball. Use opnfv artifacts to
store Boron build which include required changes.

Change-Id: I43e35dbdf5ca0160d48a1adc817db071fd5db85d
Signed-off-by: Michal Skalski <mskalski@mirantis.com>
(cherry picked from commit 9d871421fbc631f875f7a8bdca590b42eb1bd3bf)

[OVS-DPDK] Allocate dpdk socket memory

Change-Id: Ic84094e9842295df936d9f87d0777009e0020013
Signed-off-by: Michael Polenchuk <mpolenchuk@mirantis.com>

Merge "transplant: Generate extra interfaces config file" into stable/colorado

deploy/reap.py: Dump extra interfaces information.

Since on AArch64, Ubuntu local mirror lacks arm64 packages (see [1]),
Fuel master requires internet connectivity during deploy, and hence
a way to setup such a public (extra) interface automatically.

Previous commit "transplant: Generate extra interfaces config file"
introduced support for passing this information via DEA (override),
which may define a IFCGF_<interface> section in its 'fuel:'
section, containing the necessary keys to produce a ifcfg-<interface>
file, like in this example:

fuel:
   IFCFG_ETH1:
     device: eth1
     ipaddress: 10.0.1.10
     netmask: 255.255.255.0
     gateway: 10.0.1.254

In order for Network Manager to use the newly added interfaces
for outgoing traffic and honor their GATEWAY setting (e.g. if we just
added one public interface), the default route on admin iface (most of
the time called eth0) is disabled when extra interfaces are present.

FIXME: Only supports lowercase interface names, but so does Fuel,
see related bug report [2].

[1] https://jira.opnfv.org/browse/ARMBAND-35
[2] https://jira.opnfv.org/browse/FUEL-136

Change-Id: I14b023b2b9b4c7d9b9f390d4f86f693c176efde0
Signed-off-by: Josep Puigdemont <josep.puigdemont@enea.com>
Signed-off-by: Alexandru Avadanii <Alexandru.Avadanii@enea.com>
(cherry picked from commit 888c45b1ab7f70f226e3dc2c81725f1c6397afff)

transplant: Generate extra interfaces config file

Original work by Josep, only signed by Alex for upstreaming.

The DEA override may contain a IFCGF_<interface> section in its 'fuel:'
section, containing the necessary keys to produce a ifcfg-<interface>
file, like in this example:

fuel:
   IFCFG_ETH1:
     device: eth1
     ipaddress: 10.0.1.10
     netmask: 255.255.255.0
     gateway: 10.0.1.254

FIXME: In order for Network Manager to use the newly added interfaces
for outgoing traffic and honor their GATEWAY setting (e.g. if we just
added one public interface), the default route on admin iface (most of
the time called eth0) should be disabled. For now, we assume the admin
interface is always "eth0".

Change-Id: I96e3ac5046dd59ed10c43099dd76a6418806a1f3
Signed-off-by: Josep Puigdemont <josep.puigdemont@enea.com>
Signed-off-by: Alexandru Avadanii <Alexandru.Avadanii@enea.com>
(cherry picked from commit 56d816920bfefe7d41d9c35cb8fb52e36295ee07)

build: cache: Consider UBUNTU_ARCH in .cacheid

Usually UBUNTU_ARCH is not changed inside the same repository,
but we should consider this case anyway for future merging
Armband and Fuel@OPNFV repositories/build systems.

This applies to all Fuel plugins and the local repo.

Change-Id: I1fb86af4e4dc665e3b443ed8c6cfcb43f365ae6a
Signed-off-by: Alexandru Avadanii <Alexandru.Avadanii@enea.com>
(cherry picked from commit 1fb86af4e4dc665e3b443ed8c6cfcb43f365ae6a)

Merge "repo mirror: Allow multi-arch local mirrors" into stable/colorado

Merge "docs: build req: Remove p7zip-full" into stable/colorado

Merge "Final Updates of the build instructions - Updated references" into stable/colorado

Merge "Final updates of the Installation instructions: - Images updated - Updated reference URIs" into stable/colorado

Merge "deploy.sh: accept a timeout flag (-T)" into stable/colorado

docs: build req: Remove p7zip-full

p7zip-full is not required for building, as stated in the current
version of the docs. I think this bogus requirement was introduced
by Armband (by me, more precisely) because our build process was
happening outside docker.

Sorry for the useless code churn.

Change-Id: Id0a3c5b9016706535ca159e1da261e83c8d36d31
Signed-off-by: Alexandru Avadanii <Alexandru.Avadanii@enea.com>
(cherry picked from commit de6d5d4b6ba6848304d620e65ad97f3aeeadccd5)

Merge "[ODL] Fix odl deployment on separate node" into stable/colorado

repo mirror: Allow multi-arch local mirrors

Original patch from Stan, signed by me for upstreaming.

This patch allows specifying multiple architectures via UBUNTU_ARCH in
form of a list of space separated architectures. The first architecture
in the list is considered primary and will be used for building all the
deb packages by fuel-main. Additional architectures are added to allow
targets of other architectures to use the mirror.

NOTE: this imposes a requirement that all packages built are arch
independent (which is true so far).

[ Alexandru Avadanii ]
Reworked for applying on top of Fuel@OPNFV.
Pass UBUNTU_ARCH to Docker containers.

Change-Id: Ibc4ae03223545383813ac58ec34d44c1f97b4694
Signed-off-by: Stanislaw Kardach <stanislaw.kardach@cavium.com>
Signed-off-by: Alexandru Avadanii <Alexandru.Avadanii@enea.com>
(cherry picked from commit 655e777a5adeb633e114d98ffb02f74b227ab437)

Merge "build: cache: Allow LOCAL_CACHE_ARCH_NAME override" into stable/colorado

Merge "build: Allow MIRROR_MOS_UBUNTU override" into stable/colorado

Merge "build: Allow PLUGINS override" into stable/colorado

deploy: Delete old Fuel env if present

In order to clean up old partitioning and boot entries on target
nodes, before removing the Fuel Master, try ssh-ing into it and
removing all environments/nodes.

This is especially important for EFI systems, where old boot
entries are left behind without a proper env delete, leading to
target nodes failing to PXE boot on Fuel Master re-install.

This change assumes that:
- all Fuel Master information is unchanged between old and new
  deploy (fuel IP, password etc.);
- Fuel Master is up and running, in a sane state (target nodes
  are also online), when deploy starts;

Closes: ARMBAND-51

Change-Id: I7b61124ea9182ce2d599adcdedef03e0d8d67ed6
Signed-off-by: Alexandru Avadanii <Alexandru.Avadanii@enea.com>
(cherry picked from commit f1e808677a29a157e009f33a1a5a024eaad2c021)

build: Allow MIRROR_MOS_UBUNTU override

Change-Id: Idc647f941fc3923f5ed1f2888318b218c23f4362
Signed-off-by: Alexandru Avadanii <Alexandru.Avadanii@enea.com>
(cherry picked from commit dc647f941fc3923f5ed1f2888318b218c23f4362)

build: Allow PLUGINS override

Instead of using BUILD_FUEL_PLUGINS, which was intended for manual
overrides of the Fule@OPNFV plugin list, allow PLUGINS to be
preset to a custom list, which we will provide via Armband
Makefile spec.

Change-Id: Ic4204aefeaf0d781998e54ab83831fcde7527b89
Signed-off-by: Alexandru Avadanii <Alexandru.Avadanii@enea.com>
(cherry picked from commit c4204aefeaf0d781998e54ab83831fcde7527b89)

build: cache: Allow LOCAL_CACHE_ARCH_NAME override

Change-Id: Id6251356aac4fdb8fbcb2893d5072ea16500bd93
Signed-off-by: Alexandru Avadanii <Alexandru.Avadanii@enea.com>
(cherry picked from commit d6251356aac4fdb8fbcb2893d5072ea16500bd93)

deploy.sh: accept a timeout flag (-T)

Original work by Josep, signed by me (Alex) for upstreaming only.

Change-Id: I58a7b9bc639bb03b994ea34fc317f5679140d9fd
Signed-off-by: Josep Puigdemont <josep.puigdemont@enea.com>
Signed-off-by: Alexandru Avadanii <Alexandru.Avadanii@enea.com>
(cherry picked from commit bb2a6188ff55e61390841694cac786d4e758d67b)

Final updates of the Installation instructions:
- Images updated
- Updated reference URIs

Change-Id: Ieeefbd8a3ef9bbd6c3a0e767f770097ab8a98f9d
Signed-off-by: Jonas Bjurel <jonas.bjurel@ericsson.com>
(cherry picked from commit 087c8de9c667b28506b7621d5147be4846c06397)

Final Updates of the build instructions
- Updated references

Change-Id: I2a6cfdec0de6afa41ea8af59f415439b7ab7056d
Signed-off-by: Jonas Bjurel <jonas.bjurel@ericsson.com>
(cherry picked from commit 9f00e08b54ac2be36e6315adc3bd29f7e3bd40d8)

[ODL] Fix odl deployment on separate node

JIRA: FUEL-185

Change-Id: Id14d30154b63abc915a0cd55835bb72cee862dde
Signed-off-by: Michal Skalski <mskalski@mirantis.com>
(cherry picked from commit ba1cb485398d811d2f473406ae085993bfd9f68a)

Fix ovs scenario configuration

Due the incorrect indentation install_dpdk option was not set to true.

JIRA: OVSNFV-37

Change-Id: Ida3b0d1e72ce8322905ff399af89b43cac878299
Signed-off-by: Michal Skalski <mskalski@mirantis.com>
(cherry picked from commit ae8196be2c5863a5ca837828eead7188d608023d)

Merge "Changing ODL change into FUEL_PLUGIN_ODL"

Merge "Claenup"

[KVM]Add support for Broadcom NetXtremeII 10Gb

This NIC is used on Ericsson CI POD2

JIRA: KVMFORNFV-45
JIRA: FUEL-171

Change-Id: I44576b399b6195ccc1e64dfc0b04e239ced8acc7
Signed-off-by: Michal Skalski <mskalski@mirantis.com>

Merge "Tune up virtual envs"

Changing ODL change into FUEL_PLUGIN_ODL

Some users where confused if the change we are doing
here is a change to ODL or the fuel-plugin-opendaylight.
So renaming helps for more understanding.

Change-Id: I886d7be3db995f37f9451c06ee22c16d540254e1
Signed-off-by: Nikolas Hermanns <nikolas.hermanns@ericsson.com>

[ODL-plugin-update] Adding more memory to java vm

When running functes ODL crashes in the middel
and is not starting again. Investigtion
showed that it is due to insufficient memory
of the java vm.

Change-Id: I18cda9ed5bed91e72fd91aaf0efa02c5e1a3c8d1
Signed-off-by: Nikolas Hermanns <nikolas.hermanns@ericsson.com>

Claenup

Remove the workaround marked by "# fix me" mentioned in commit id:
e8928f93b50df3ecb11942ab754bae848c082c6a, since the issue (some files
generated during kvmfornfv building are owned by "root") already
resolved in fuel-plugin-kvm build process.

Change-Id: I5efb60173b9974f6fba25f04da1f4b1f53207b1a
Signed-off-by: davidjchou <david.j.chou@intel.com>

update release-notes for colorado

1. take care of Alexandru's comments
2. update liberty to mitaka
3. update ODL Beryllium SR1 to SR3

Change-Id: I7ae590333e781730e462c797270282e8e51fff01
Signed-off-by: Guo Ruijing <ruijing.guo@intel.com>

Tune up virtual envs

* increase the memory/cpu of controller for noha case
* reduce the memory of computes

Change-Id: Iea9351bb846823fae64a662e92f894eca2f6cecb
Signed-off-by: Michael Polenchuk <mpolenchuk@mirantis.com>

Update kvm plugin

Move kernel installation to main phase of deployment which may reduce
problems with mcollective agent after node reboot.

JIRA: KVMFORNFV-45
JIRA: FUEL-171

Change-Id: I48308471f9336b73cde238ff055433f030395e19
Signed-off-by: Michal Skalski <mskalski@mirantis.com>

REVISED DOCUMENT STRUCTURE

Documentation structure changed according to docs team directions:
- Configuration guide removed (only aplicable for features/scenarios)
- Installation instructions moved to a separate directory
- Build instructions moved to a separate directory
- Release notes moved to a separate directory

NOTE: Content not updated to the Colorado baseline

Change-Id: I47f3bee0cf91bab6ed5c4a7f371b10347a917857
Signed-off-by: Jonas Bjurel <jonas.bjurel@ericsson.com>

Rebase yardstick

1. discuss stable commit ID with yardstick PTL
2. do basic test for yardstick fuel plugin

Change-Id: I9ca3a71e178e5e90497629f43110121e4265602f
Signed-off-by: Guo Ruijing <ruijing.guo@intel.com>

Fix DPDK port create failure issue

Change-Id: Id514d995e1e985652e118caadb505237fc0b740a
Signed-off-by: Guo Ruijing <ruijing.guo@intel.com>

Add config information as well to default lab

It is possible that some one changes the
config of the vms from a virtual environment.
This is already shown in the elx lab.
To make everyone aware of this we push it
to the default lab as well.

Change-Id: I4e9012b3237838b98321472bb16037aa0aeacfdc
Signed-off-by: Nikolas Hermanns <nikolas.hermanns@ericsson.com>