Get stable of fuel-mirror for repobuild stage

Change-Id: I9df7a54d34bf0b5c8753b6e814b2e5489ecc8f3b
Signed-off-by: Michael Polenchuk <mpolenchuk@mirantis.com>

Get missing package into iso at build stage (2)

Change-Id: I2a985f6a73c31387ac205b0166374966e770294c
Signed-off-by: Michael Polenchuk <mpolenchuk@mirantis.com>

Get missing package into iso at build stage

The required package of systemd-shim should be available in base iso
since only local mirrors are used at deployment stage.

Change-Id: I9cd1a686b89f5d1dbc1a64a22a59dd2754684af6
Signed-off-by: Michael Polenchuk <mpolenchuk@mirantis.com>

Restart sshd service instead of reload

In the middle of fuel master node bootstrap the reload of sshd service
accidentally is losing main process pid, so restart it.

Change-Id: Ic977c46232e8592ea7505d7f6f826b366c026a5b
JIRA: FUEL-237
Signed-off-by: Michael Polenchuk <mpolenchuk@mirantis.com>
Signed-off-by: Alexandru Avadanii <Alexandru.Avadanii@enea.com>

fuel-library: pp: cobbler: Fix CentOS ver detect

Upstream fuel-library bug report: [1].

Recently, CentOS released version 7.3.1611, which triggered a latent
bug in fuel-library puppet scripts related to differentiating between
6.x and 7.x major versions: 7.3.1611 is wrongly detected as 6.x,
leading to the wrong packages being attempted to be installed,
leaving nailgun server service broken on the Fuel Master node.

This change forces the match at the beggining of the version string
(e.g. "/^6.+/: {" instead of "/6.+/: {"), so the new CentOS 7.3.1611
no longer matches the condition for 6.x).

Since we can't just bump the whole fuel-library git repo to the commit
including the fix (we still use Fuel 9.0.1, and not the tip of the
stable/colorado branches or at least Fuel 9.1), backport the fix as a
patch in Fuel@OPNFV.

The backported patch is safe to remove if/when we bump fuel-library
past upstream fix commit.

[1] https://bugs.launchpad.net/fuel/+bug/1649895

JIRA: FUEL-238

Change-Id: Id75c7085e02435a20ff4eeeedead3ad8a7010174
Signed-off-by: Alexandru Avadanii <Alexandru.Avadanii@enea.com>

Prevent systemd is being installed

Change-Id: Ia91d8a7fa52cf3e25b2169fd4651e26f5f64a7fd
Signed-off-by: Michael Polenchuk <mpolenchuk@mirantis.com>

Update documentation for Colorado 3.0

JIRA: FUEL-235

Change-Id: I6dd3a290179bd2b29e07dd0b72c2c007acd8682d
Signed-off-by: Fedor Zhadaev <fzhadaev@mirantis.com>
(cherry picked from commit e718839e1e94fd69e1a2222225fce3ef2da868c2)

Uplift fuel-plugin-ovs for c3.0

Change-Id: I564419c17ead0bd522d479b08606cdfbcbc6d8c1
Signed-off-by: Nikolas Hermanns <nikolas.hermanns@ericsson.com>

Typo fixes

Change-Id: I189dd771f9985424694ca0164c6e42f117f12bf9
Signed-off-by: Peter Barabas <peter.barabas@ericsson.com>
(cherry picked from commit d4b0f79649da3ad7a3f3f59d3b92ea230f5b1826)

[virtual envs] Switch to raw images

* use raw devices instead of qcow2
* disable i/o caching, it reduces data copies and bus traffic
* set native aio instead of thread based

JIRA: FUEL-201
Change-Id: I8ac728cbb5be5948080fab8ae4d3d311e0a5c09c
Signed-off-by: Michael Polenchuk <mpolenchuk@mirantis.com>
(cherry picked from commit ed79331c115eac4aad0eccd4b191c9e1e836c73d)

Merge "Revert "Disable public ping_checker resource by default"" into stable/colorado

Revert "Disable public ping_checker resource by default"

JIRA: FUEL-217

This reverts commit c5b7a198f1d69fd591696cc8e0c6ef81c6557ea4.

Change-Id: I99570e9dc0fcfd452410809130a843230f28c178
Signed-off-by: Fedor Zhadaev <fzhadaev@mirantis.com>

Shift public ping checker into deployment stage

Avoid public vip failover at the end of post-deployment
by moving ping_checker resource into deployment stage.
Also pingd constraint has been changed to be based on score.
If all the nodes failed to ping the default gw, the resource
ain't stopped and remains on the last node where it was.
In addition public_vip_ping task has been splitted out
to avoid race condition when ping_checker resource might
be started up on controllers before a primary one.

JIRA: FUEL-212
JIRA: FUEL-217
Change-Id: Id60ece479fce1ceabc47034f39997ddbaacd62d9
Signed-off-by: Michael Polenchuk <mpolenchuk@mirantis.com>

Update documentation for Colorado 2.0

JIRA: FUEL-215

Change-Id: Ie922ff794e686e1824483a91a9571252adc2b1e2
Signed-off-by: Fedor Zhadaev <fzhadaev@mirantis.com>
(cherry picked from commit 5dce11ef60ff69ba5127088d6b6f5663fe46c48f)

Merge "Use odl v1 mechanism driver of L2 scenario" into stable/colorado

Use odl v1 mechanism driver of L2 scenario

ODL Boron + v2 version of networking-odl does not currently support
assigning security groups to existing VM in L2 scenario. For details
please look at:

* https://bugs.opendaylight.org/show_bug.cgi?id=7021
* https://gerrit.opnfv.org/gerrit/#/c/23637/

JIRA: FUEL-216

Change-Id: Ic16bccf248ee4fbf0d97bfcd19f2831f36136521
Signed-off-by: Michal Skalski <mskalski@mirantis.com>

Disable public ping_checker resource by default

Avoid public vip failover in the middle of deployment
by disabling ping_checker resource by default.

JIRA: FUEL-212
Change-Id: Iaefec638f89e125137b62a1731dfa140177a8c4f
Signed-off-by: Michael Polenchuk <mpolenchuk@mirantis.com>

[OVS] Update flavors key with large mem_page_size

Repoint to the "Update flavors mem_page_size"
from stable/9.0 branch of plugin.

Change-Id: I91d6a770faa9ee2d078b7f1ccccb7d61525ad923
Signed-off-by: Michael Polenchuk <mpolenchuk@mirantis.com>
(cherry picked from commit 4ecfe9e2b61a033c6616e101637a80fd4201ebdc)

Merge "Compile DPDK to use basic cpu features" into stable/colorado

Rework processorcount limits to os_workers

JIRA: FUEL-212
Change-Id: I1c5b8fe123406f1a96c5432d91a9ee5806c7cf62
Signed-off-by: Michael Polenchuk <mpolenchuk@mirantis.com>

[odl-l3] Get OVS plugin into the action

Update ovs version to 2.5+ in order to get inserted security group
connection tracking flows in ovsdb, which allows to pass
tempest scenario of test_network_basic_ops.

JIRA: FUEL-199
Change-Id: Id3e6c8ed2b79c4b6b4a7623f0d262c63f1d1d89f
Signed-off-by: Michael Polenchuk <mpolenchuk@mirantis.com>
(cherry picked from commit 2c1f17baaf2ce9e892722c7f33586229a5586eed)

Point to specific snapshot of mos repositories

Fuel 9.1 was released, it is a first time when new version of Fuel is
distributed through the same repositories as previous one, point to
specific snaphost of mos ubuntu repo to prevent mixing packages.

Change-Id: I64bb52657ce476b0c1fdc8e858231ad751ba12b1
Signed-off-by: Michal Skalski <mskalski@mirantis.com>
(cherry picked from commit fe3fc91c23ace520f32830b6af5205c39088f922)

Compile DPDK to use basic cpu features

Change-Id: I3ee9e5afa416af9e6a90b77f03ed9258c6bd4b1b
Signed-off-by: Guo Ruijing <ruijing.guo@intel.com>

Merge "deploy: templates: Fuel VM for Enea Armband lab" into stable/colorado

Merge "build: Use OPNFV_GIT_SHA for ISO preparer ID" into stable/colorado

deploy: templates: Fuel VM for Enea Armband lab

This is the initial VM description fit for spawning Fuel Master
VMs in Enea's Pharos lab (Armband lab) [1, 2].

[1] http://www.enea.com/pharos-lab
[2] https://wiki.opnfv.org/display/pharos/Enea-pharos-lab

Change-Id: Ia89f9728fff0ab1c279f6200fd558d9643cf4ea5
Signed-off-by: Josep Puigdemont <josep.puigdemont@enea.com>
Signed-off-by: Alexandru Avadanii <Alexandru.Avadanii@enea.com>
(cherry picked from commit f3f4e1608b8d9b5dd7435b43d2512b9d981757f1)

[ODL] Use OpenDaylight Boron

ODL Boron will be used in all scenarios except bgpvpn beacuse vpnservice
was removed in this release, we still will use Beryllium for this
scenario.
This change only replace Beryllium with Boron, it does not use any new
features like odl-netvirt-openstack.

Change-Id: I95264cc97f5b9e922ab3fb7dc024724d9fb83e9c
Signed-off-by: Michal Skalski <mskalski@mirantis.com>
(cherry picked from commit e1314e2e599cfff5625b8e4694832b731a663887)

Merge "[odl] Get latest changes" into stable/colorado

Merge "Use tacker plugin in SFC scenario" into stable/colorado

deploy: Fix: remove storage files explicitly

Previous change [1] tried to move the responsibility of removing
storage files (raw, iso) from our python scripts to libvirt.

Although this works as expected for non-root invocations, like
Armband deploys, it fails to remove raw files in Fuel@OPNFV deploys.

Work around this by keeping both mechanisms (libvirt managed +
python explicit handling).

Related-bug: ARMBAND-128

[1] https://gerrit.opnfv.org/gerrit/#/c/22447

Change-Id: Ib846cd6071705b71d98824385835d724c729fd78
Signed-off-by: Alexandru Avadanii <Alexandru.Avadanii@enea.com>
(cherry picked from commit aa912dc6691fba23c0827108f6a20296942e1ac0)

build: Use OPNFV_GIT_SHA for ISO preparer ID

isoinfo -i lists the following information for Fuel@OPNFV ISO:
"Data preparer id: 86aafaf5454a846c417848bb94f264c4420160f3"
where the SHA hash is Fuel git repo HEAD SHA.

For Armband's build system, using only the Fuel commit ID is not
enough to fully describe the state of the source code, as patches
are also applied to other fuel modules (as git submodules).
Instead, a pointer to a valid Armband commit ID should be used.

However, Armband overrides OPNFV_GIT_SHA to the Armband git repo
commit hash, so the ISO metadata should also reflect this.

While at it, allow product name to be overriden, to signal the
commit ID should be looked up inside the Armband repository.

Change-Id: I33ad490f1afe28c1d439dda40e39cee1955e0ac2
Signed-off-by: Alexandru Avadanii <Alexandru.Avadanii@enea.com>
(cherry picked from commit 94ea115c36d5f5c79823692ac80626cf8959b35d)

Support different format of fuel task info

As described in this bug: https://bugs.launchpad.net/fuel/+bug/1625518
json output of the task can be in different format: single dict or list
of dicts. During tests of https://gerrit.opnfv.org/gerrit/21807 only the
later one was visible, try to support both types of output.

Change-Id: I7d3e12270c8246b03bdc6c73d3be77a039df469f
Signed-off-by: Michal Skalski <mskalski@mirantis.com>
(cherry picked from commit b2a63bfe5746729b4731a14d98c50fb7f59d875e)

Merge "Change the way how we track deployment" into stable/colorado

build/docker: CI: no tag reuse on env var change

The previous change adding support for OPNFV build tag reuse
added the get/put-cache functionality to `build/docker` just
for detecting env var changes between tag creation and current build.

Obviously, when building outside CI, it is up to the end user to
force a docker rebuild when env vars change (this was the behavior
before the tag reuse support too).

An alternative approach would be removing get/put-cache completely,
if we consider the env vars (http proxy related) never change for
CI cached builds (seems to be true, worst case we wait 1 day for
the tag to expire when it happens).

This change just fixes the original intended behavior in tag reuse.

JIRA: FUEL-204

Change-Id: I14666994bc334012a5198a64a4a24cd4962e4bd6
Signed-off-by: Alexandru Avadanii <Alexandru.Avadanii@enea.com>
(cherry picked from commit 1c7eb680b34fdcd83b92c43a4c78db3c54bf567b)

build/docker: Reuse tagged image for OPNFV build

During CI build loops, the workspace is freshly fetched,
so '.docker' make target is built each time.

Reuse existing 'opnfv.org/ubuntu-builder:14.04' tag if present, but
enforce a configurable lifespan for this tag (currently 1 day), so
it does not get stale.

JIRA: FUEL-204

Change-Id: I8d1bd81f3e5e81068e9586c9bea9f43b3327eb38
Signed-off-by: Alexandru Avadanii <Alexandru.Avadanii@enea.com>
(cherry picked from commit 638d832527012531b506ec0ba40b297c41bfda0e)

Use tacker plugin in SFC scenario

JIRA: FUEL-205

verify: no-cache

Change-Id: I37746bf3e490f6b707de8fe56af10f1df932908c
Signed-off-by: Michal Skalski <mskalski@mirantis.com>
(cherry picked from commit 40ddf04b3b28a6b5ffa5b74c1e3140c976ca1612)

Integration of fuel-plugin-tacker

JIRA: FUEL-205

This change integrates https://github.com/openstack/fuel-plugin-tacker
to the Fuel project.

Change-Id: I51b1bdeeb678e55b85393f6a9f8180fc79322e8f
Signed-off-by: George Paraskevopoulos <geopar@intracom-telecom.com>
(cherry picked from commit d91a7fc7cc9d853a9e5c56f87b6cd22ca11ab9a2)

Change the way how we track deployment

Use fuel2 for start deployment. Since it does not return progress
use deployment task to provide this information. Currently used
'deploy-changes' will behave the same:
https://bugs.launchpad.net/fuel/+bug/1565026

Try to handle situation when nodes temporary go offline. With
deploy-changes environment still was in 'new' state in this situtation
which causes timeouts from jenkins.

JIRA: FUEL-196

Change-Id: I6548a5ec807551388e845044c282b7af32eb9100
Signed-off-by: Michal Skalski <mskalski@mirantis.com>
(cherry picked from commit b73526033c5c5b93ca96f411a1d90dc5c49b9228)

deploy: fix: remove storage files during cleanup

Remove old disks through virsh instead of calling os.delete()
methods so that the cleanup phase would succeed within a non-root
setup. [1]

Related-bug: ARMBAND-128

[1] https://gerrit.opnfv.org/gerrit/#/c/19491/

Change-Id: I90007edf014c7e15a68b9a334fcaffaa127ee4ab
Signed-off-by: Stefan Sicleru <stefan.sicleru@enea.com>
(cherry picked from commit d4f9612475a07773af182f244bcd597d25bf4cd8)

Merge "Enable ci off-line deployment" into stable/colorado

Merge "Properly handle quotes in argument masking" into stable/colorado

Merge "Don't fork a templater process, use the library" into stable/colorado

Merge "[OVS-DPDK] Turn off missing options" into stable/colorado

Merge "Remove extra empty line" into stable/colorado

Merge "[performance] Disable keystone token revoke" into stable/colorado

Merge "Fix: ISO build omits long path files" into stable/colorado

Merge "[KVM] Install plugin in post-deployment" into stable/colorado

[odl] Get latest changes

* Fix setting bgpd password with puppet
* Enable G1 garbage collector
* Adding caching possiblity
* Add firewall resource that opens BGP ports

Change-Id: I8f779ba7356acf52967e594a1a213edf192962fc
Signed-off-by: Michael Polenchuk <mpolenchuk@mirantis.com>
(cherry picked from commit 1d4f96facadd5458a87a4d68b0b5298ca47cd1fd)

Emergency patch - fixed broken links

Change-Id: I7aea7c06775cac3efeb22d2256c7acf6fbb137d5
Signed-off-by: Jonas Bjurel <jonas.bjurel@ericsson.com>
(cherry picked from commit 61d9f66916fe7cacc1df25438b4060b9f3c9402d)

Fix: ISO build omits long path files

make iso generates:
libisofs: WARNING : File "/ubuntu/pool/main/libj/\
libjs-twitter-bootstrap-datepicker/libjs-twitter-bootstrap-\
datepicker_1.3.1+dfsg1-1~u14.04+mos1_all.deb" can't be added
to Joliet tree, because its path length is larger than 240

At the end this package is missing in latest ISO.
NOTE: This issue is only triggered on certain kernels during build.

Closes-bug: FUEL-190

Change-Id: I21f7f1cbe3f64317d2feb66e371611a654cf30f8
Signed-off-by: Alexandru Avadanii <Alexandru.Avadanii@enea.com>
(cherry picked from commit 1e380388ee91ae71a7a32122d3942e53f146ccad)

[performance] Disable keystone token revoke

Change-Id: I6db0bfaab5462a9a8f8de64bc1b088607d407bab
Signed-off-by: Michael Polenchuk <mpolenchuk@mirantis.com>
(cherry picked from commit 5bcac1cf6a0d9367ac31f0ca5c6064d30433377b)

[KVM] Install plugin in post-deployment

JIRA: FUEL-171

Change-Id: Iead815ba2da76493f108ad71bc32cff265302b55
Signed-off-by: Michal Skalski <mskalski@mirantis.com>
(cherry picked from commit 53e6d97c9157f1e908d99dcca1207de23ea73132)

Enable ci off-line deployment

Updated dea_base to use locak repo mirrors for off-line deployment
NOT TO BE PART OF COLORADO.1

Change-Id: Ia8e2d716570267ed9a9e06e253b6a7b258ee26eb
Signed-off-by: Jonas Bjurel <jonas.bjurel@ericsson.com>
(cherry picked from commit caee61817eb7f4235ca33a9da12f14a285f9e012)

Remove extra empty line

Change-Id: I462a99b42d05b979c4f1904e7309e87ddd94d1bb
Signed-off-by: Peter Barabas <peter.barabas@ericsson.com>
(cherry picked from commit 2c7b9bb6623844eeea95373ec2752b0200cd69e8)

[OVS-DPDK] Turn off missing options

Get all gcc/compile options to conform to corei7 arch.

JIRA: FUEL-186
Change-Id: I5ce76631aac9174c69362f96f71e26285fc95842
Signed-off-by: Michael Polenchuk <mpolenchuk@mirantis.com>
(cherry picked from commit 861836e6bbd545d3dcee1bd041ff867fb4e3d357)

Don't fork a templater process, use the library

Change-Id: I931ba56fe65f2f5d5af483a8bfe654a0ecda1611
Signed-off-by: Peter Barabas <peter.barabas@ericsson.com>
(cherry picked from commit ff26503f13676b7551afc0633621786edd2811f0)

Properly handle quotes in argument masking

Use shlex to parse the command line, thus handling quotes and other
special characters.

Change-Id: Icc3a2cd934aac8f67e07d967f76c7679bcb34996
Signed-off-by: Peter Barabas <peter.barabas@ericsson.com>
(cherry picked from commit bddbf2a740b46d1ad763967b8c8662b1877a4d75)

Temporary Hardcoded Ubuntu repo

Meanwhile we're investigating the issues with Ubuntu repo mirror selection,
we will hardcode the Ubuntu repo mirror

Change-Id: I776bd3a8a72dc87e00052e8ff965de1134293c7a
Signed-off-by: Jonas Bjurel <jonas.bjurel@ericsson.com>
(cherry picked from commit 3e506f9248f2a64a8a30c832049df392b01fcb4e)

Merge "Make sure to use only up-to-date mirrors" into stable/colorado

Merge "Repo tidy-up + licence scrubing" into stable/colorado

Make sure to use only up-to-date mirrors

Whitewash the geographically "close" mirrors against the list of
fully synced mirrors - we've had a few instances of getting bad
mirrors which would break the script.

All credit goes to:

https://askubuntu.com/questions/39922/how-do-you-select-the-fastest-mirror-from-the-command-line

... and we should perhaps use the netselect tool as well somewhere down
the line, but this fixes the most urgent problem.

Change-Id: Ia61a2bd78657b28019f57fc1962d410e754e6d2a
Signed-off-by: Stefan K. Berg <stefan.k.berg@ericsson.com>
(cherry picked from commit e12aec84ef1767d4ba9469dfb12d65d928bf0ed4)

Repo tidy-up + licence scrubing

- Added licences and (c) to files not complying to Licence and (c) policies.
- Removed example templates not having correct licence claims and no longer being rellevant.
- Removed the Vagrant deployment method as it is not used, not rebased/up to date and not holding correct license claims.

Strategies used:
- Machine generated are not assigned an licence text, the licence follow from the source.
- Generated patch files are not assigned an licence text, the licence follow from the source.

Change-Id: I9763f076eae51fbb2d4e5cb8cacfa4bb6cf338cc
Signed-off-by: Jonas Bjurel <jonas.bjurel@ericsson.com>
(cherry picked from commit 65b7cfcd862a75be72fb98777190c49f8b6ea0d3)

build: Move patches to <patch-repos> dir

Decouple main Makefile and repository patches by moving all Fuel
component patches to a subdir, <patch-repo>.

Proposed structure of <patch-repos> dir:
- patch-repos/*.patch are intended for <fuel-main> git repo;
- patch-repos/build/repo/<fuel-module>/*.patch are intended for
  <fuel-module>, e.g. "fuel-nailgun";

Full list of Fuel submodules supported by this mechanism at [1].

While at it, replace all occurences of </tmp/fuel-main> with
<FUEL_MAIN_DIR> in main Makefile and rewrite a few git/make calls
to use the "-C" arg.

NOTE: `git -C` is available starting with git 1.8.5.

[1] https://github.com/openstack/fuel-main/blob/stable/mitaka/repos.mk
    #L32-L44

Change-Id: I5e4adc7285054777c3898592ed48482ccd2b706f
Signed-off-by: Alexandru Avadanii <Alexandru.Avadanii@enea.com>
(cherry picked from commit 52701ce099ac455aa393aac34d684f5d59b3d2fe)

Merge "Increase number of hugepages allocated for nova" into stable/colorado

Stop using network transformation

Due the bug in code we did not apply network transformation to created
environments, but still Fuel base on chosen segmentation type and
networks to NICs assigment has been generated network schema itself.
Since we don't use custom network schema we can remove transformation
defintions from dea pod overrides files. However there is a need to
configure NIC properties in case of dpdk deployment.

JIRA: FUEL-192

Change-Id: Ib7dab4d61910ac8c44b6d91e0c486c9693034823
Signed-off-by: Michal Skalski <mskalski@mirantis.com>
Signed-off-by: Jonas Bjurel <jonas.bjurel@ericsson.com>

Final updates of release notes

-Added filters for fixes, issues and work-arounds

Change-Id: Id76545fd7837c83145bd8d87b309c23849da6f7e
Signed-off-by: Jonas Bjurel <jonas.bjurel@ericsson.com>
(cherry picked from commit 7dc64e4f8813a1cef9697074326698bc27a85937)

Increase number of hugepages allocated for nova

Yardstick is using m1.small flavor for some tests, in case of ovs
scenario it should be possible to allocate 2GB from hugepages.

Change-Id: Ie908d94e63a5055907bb33c69a5e028739f44f2e
Signed-off-by: Michal Skalski <mskalski@mirantis.com>
(cherry picked from commit c64a4063f591c0140509e3edb88d9f0c3cd20928)

Uplift fuel-plugin-ovs

Pull in "Update flavors mem_page_size"

Change-Id: I3e285cefee561dbbc02eb9ab7d2e9c01eef2742a
Signed-off-by: Jonas Bjurel <jonas.bjurel@ericsson.com>

Use Boron RC3.5 for sfc scenarion

It should fix problems with vm communication through floating IPs.

Change-Id: Icadc71f2b99c28715c15389e59111272a21440fb
Signed-off-by: Michal Skalski <mskalski@mirantis.com>
(cherry picked from commit ff9c24257a2c62dd981297a92eecf712f6643617)

Update local mirrors defintions

If we only use main section, not all required packages are discovered.

Change-Id: I2eaa4a7bfc659b820901ce55a4ab799c3281df3b
Signed-off-by: Michal Skalski <mskalski@mirantis.com>
(cherry picked from commit 2e9ff14f8ab6ee9e4ebf84a2e8e40bd3f149c48e)

Merge "Add intel-sc lab devel-pipeline configuration" into stable/colorado

update node_reset() in zte_adapter.py

Change-Id: I71790b8abb25936045f777a78ed903f3b8ce4303
Signed-off-by: wu.zhihui <wu.zhihui1@zte.com.cn>
(cherry picked from commit 161dd445f06aa9a5dfcd273d89a00d1f02260ba3)

Add intel-sc lab devel-pipeline configuration

intel-sc is the lab devel-pipeline configuration for a lab of Intel
in Santa Clara, CA, USA. This lab is behind Intel proxy sever.

Change-Id: I401b030adf82d6a19397e92aef4b30ebe971d80c
Signed-off-by: davidjchou <david.j.chou@intel.com>
(cherry picked from commit 8079d1237ab9f2326adef163dc509c8a84e62775)

Merge "Reduce ceilometer memory usage" into stable/colorado

Change the way of hugepage allocation

Try to allocate enough hugepages for all NUMA nodes.

JIRA: FUEL-186

Change-Id: Idcdf6ab616dfbd9ef1104be8d1667421221ea5f2
Signed-off-by: Michal Skalski <mskalski@mirantis.com>
(cherry picked from commit 8d7559b50b265298f7800b18f840b87ad1e84b20)

Reduce ceilometer memory usage

JIRA: FUEL-189
Change-Id: I54854e4cc87f0c0e9e348e18131aa88b70e30054
Signed-off-by: Michael Polenchuk <mpolenchuk@mirantis.com>
(cherry picked from commit 4c47ef4b6f192482d99196c7a7070e5f396b1fd5)

Disable cpu features in ovs with DPDK

Change-Id: I2cf5df2f0469f21f64e0e7d11740058639f68697
Signed-off-by: Guo Ruijing <ruijing.guo@intel.com>
(cherry picked from commit 9a3f6a38d708cbc3633d203e36e32bc91764ba20)

Script updates for CI job

Due to the redesign of the SFC feature test, the poc script became
part of CI job functest-fuel-baremetal, scenario os_odl_l2-sfc-ha,
there is a need of full uplift to colorado.
Changes:
 - GPG keyserver use (line 61)
 - patch updated fixing the debian package dependency issue
    (python-oslo.messaging-)
 - some typos are fixed
 - OpenDayLight address is read from hiera (management vip)

Change-Id: I4a19ec753a575220cf321819ab4ff2d9433ec16c
Signed-off-by: ferenc Cserepkei <ferenc.cserepkei@ericsson.com>
(cherry picked from commit ad0dd57dc045b58c46e53f281ab57e70d00947d7)

Final Colorado document review.
- Please review the rendered HTML document (See Jenkins references below)
- Please verify the documented procedures and instructions

READY TO MERGE

Change-Id: Idff52212ca68ce2b97f203043e18a18c582589a7
Signed-off-by: Jonas Bjurel <jonas.bjurel@ericsson.com>

Do not use rsync for choosing mirror server

Rsync protocol was used for creating local mirrors, but now we only need
http connection. This requirement can be problematic for environments
which are behind proxy and can lead to build failures when rsync is not
allowed.

Change-Id: I4efcf500fd0c25de5fdb87307e7210cc4a96714d
Signed-off-by: Michal Skalski <mskalski@mirantis.com>
(cherry picked from commit a8820e25b80ee0c069e473cb54c576d98dd10aee)

Change source of ODL Boron tarball

For SFC scenario we need to use ODL Boron. Since it is not yet released
there is no persistent location for a tarball. Use opnfv artifacts to
store Boron build which include required changes.

Change-Id: I43e35dbdf5ca0160d48a1adc817db071fd5db85d
Signed-off-by: Michal Skalski <mskalski@mirantis.com>
(cherry picked from commit 9d871421fbc631f875f7a8bdca590b42eb1bd3bf)

[OVS-DPDK] Allocate dpdk socket memory

Change-Id: Ic84094e9842295df936d9f87d0777009e0020013
Signed-off-by: Michael Polenchuk <mpolenchuk@mirantis.com>

Merge "transplant: Generate extra interfaces config file" into stable/colorado

deploy/reap.py: Dump extra interfaces information.

Since on AArch64, Ubuntu local mirror lacks arm64 packages (see [1]),
Fuel master requires internet connectivity during deploy, and hence
a way to setup such a public (extra) interface automatically.

Previous commit "transplant: Generate extra interfaces config file"
introduced support for passing this information via DEA (override),
which may define a IFCGF_<interface> section in its 'fuel:'
section, containing the necessary keys to produce a ifcfg-<interface>
file, like in this example:

fuel:
   IFCFG_ETH1:
     device: eth1
     ipaddress: 10.0.1.10
     netmask: 255.255.255.0
     gateway: 10.0.1.254

In order for Network Manager to use the newly added interfaces
for outgoing traffic and honor their GATEWAY setting (e.g. if we just
added one public interface), the default route on admin iface (most of
the time called eth0) is disabled when extra interfaces are present.

FIXME: Only supports lowercase interface names, but so does Fuel,
see related bug report [2].

[1] https://jira.opnfv.org/browse/ARMBAND-35
[2] https://jira.opnfv.org/browse/FUEL-136

Change-Id: I14b023b2b9b4c7d9b9f390d4f86f693c176efde0
Signed-off-by: Josep Puigdemont <josep.puigdemont@enea.com>
Signed-off-by: Alexandru Avadanii <Alexandru.Avadanii@enea.com>
(cherry picked from commit 888c45b1ab7f70f226e3dc2c81725f1c6397afff)

transplant: Generate extra interfaces config file

Original work by Josep, only signed by Alex for upstreaming.

The DEA override may contain a IFCGF_<interface> section in its 'fuel:'
section, containing the necessary keys to produce a ifcfg-<interface>
file, like in this example:

fuel:
   IFCFG_ETH1:
     device: eth1
     ipaddress: 10.0.1.10
     netmask: 255.255.255.0
     gateway: 10.0.1.254

FIXME: In order for Network Manager to use the newly added interfaces
for outgoing traffic and honor their GATEWAY setting (e.g. if we just
added one public interface), the default route on admin iface (most of
the time called eth0) should be disabled. For now, we assume the admin
interface is always "eth0".

Change-Id: I96e3ac5046dd59ed10c43099dd76a6418806a1f3
Signed-off-by: Josep Puigdemont <josep.puigdemont@enea.com>
Signed-off-by: Alexandru Avadanii <Alexandru.Avadanii@enea.com>
(cherry picked from commit 56d816920bfefe7d41d9c35cb8fb52e36295ee07)

build: cache: Consider UBUNTU_ARCH in .cacheid

Usually UBUNTU_ARCH is not changed inside the same repository,
but we should consider this case anyway for future merging
Armband and Fuel@OPNFV repositories/build systems.

This applies to all Fuel plugins and the local repo.

Change-Id: I1fb86af4e4dc665e3b443ed8c6cfcb43f365ae6a
Signed-off-by: Alexandru Avadanii <Alexandru.Avadanii@enea.com>
(cherry picked from commit 1fb86af4e4dc665e3b443ed8c6cfcb43f365ae6a)

Merge "repo mirror: Allow multi-arch local mirrors" into stable/colorado

Merge "docs: build req: Remove p7zip-full" into stable/colorado

Merge "Final Updates of the build instructions - Updated references" into stable/colorado

Merge "Final updates of the Installation instructions: - Images updated - Updated reference URIs" into stable/colorado

Merge "deploy.sh: accept a timeout flag (-T)" into stable/colorado

docs: build req: Remove p7zip-full

p7zip-full is not required for building, as stated in the current
version of the docs. I think this bogus requirement was introduced
by Armband (by me, more precisely) because our build process was
happening outside docker.

Sorry for the useless code churn.

Change-Id: Id0a3c5b9016706535ca159e1da261e83c8d36d31
Signed-off-by: Alexandru Avadanii <Alexandru.Avadanii@enea.com>
(cherry picked from commit de6d5d4b6ba6848304d620e65ad97f3aeeadccd5)

Merge "[ODL] Fix odl deployment on separate node" into stable/colorado

repo mirror: Allow multi-arch local mirrors

Original patch from Stan, signed by me for upstreaming.

This patch allows specifying multiple architectures via UBUNTU_ARCH in
form of a list of space separated architectures. The first architecture
in the list is considered primary and will be used for building all the
deb packages by fuel-main. Additional architectures are added to allow
targets of other architectures to use the mirror.

NOTE: this imposes a requirement that all packages built are arch
independent (which is true so far).

[ Alexandru Avadanii ]
Reworked for applying on top of Fuel@OPNFV.
Pass UBUNTU_ARCH to Docker containers.

Change-Id: Ibc4ae03223545383813ac58ec34d44c1f97b4694
Signed-off-by: Stanislaw Kardach <stanislaw.kardach@cavium.com>
Signed-off-by: Alexandru Avadanii <Alexandru.Avadanii@enea.com>
(cherry picked from commit 655e777a5adeb633e114d98ffb02f74b227ab437)

Merge "build: cache: Allow LOCAL_CACHE_ARCH_NAME override" into stable/colorado

Merge "build: Allow MIRROR_MOS_UBUNTU override" into stable/colorado

Merge "build: Allow PLUGINS override" into stable/colorado

deploy: Delete old Fuel env if present

In order to clean up old partitioning and boot entries on target
nodes, before removing the Fuel Master, try ssh-ing into it and
removing all environments/nodes.

This is especially important for EFI systems, where old boot
entries are left behind without a proper env delete, leading to
target nodes failing to PXE boot on Fuel Master re-install.

This change assumes that:
- all Fuel Master information is unchanged between old and new
  deploy (fuel IP, password etc.);
- Fuel Master is up and running, in a sane state (target nodes
  are also online), when deploy starts;

Closes: ARMBAND-51

Change-Id: I7b61124ea9182ce2d599adcdedef03e0d8d67ed6
Signed-off-by: Alexandru Avadanii <Alexandru.Avadanii@enea.com>
(cherry picked from commit f1e808677a29a157e009f33a1a5a024eaad2c021)

build: Allow MIRROR_MOS_UBUNTU override

Change-Id: Idc647f941fc3923f5ed1f2888318b218c23f4362
Signed-off-by: Alexandru Avadanii <Alexandru.Avadanii@enea.com>
(cherry picked from commit dc647f941fc3923f5ed1f2888318b218c23f4362)

build: Allow PLUGINS override

Instead of using BUILD_FUEL_PLUGINS, which was intended for manual
overrides of the Fule@OPNFV plugin list, allow PLUGINS to be
preset to a custom list, which we will provide via Armband
Makefile spec.

Change-Id: Ic4204aefeaf0d781998e54ab83831fcde7527b89
Signed-off-by: Alexandru Avadanii <Alexandru.Avadanii@enea.com>
(cherry picked from commit c4204aefeaf0d781998e54ab83831fcde7527b89)