bootstrap, dea_base, nailgun: Pin 4.8.0-43 kernel

Since newer kernels have issues with AAVMF + vhost_net,
we need to also temporarily blacklist vhost_net.

NOTE: This change also adds linux-image-extra packages to both x86_64
      and AArch64 target image(s).

TODO: Remove vhost_net blacklist (later).

JIRA: ARMBAND-161
JIRA: ARMBAND-171
JIRA: ARMBAND-227
JIRA: ARMBAND-230
JIRA: ARMBAND-239
JIRA: ARMBAND-244

Change-Id: I456f4235d04375905df9d6f776b84f2e0eee22d6
Signed-off-by: Alexandru Avadanii <Alexandru.Avadanii@enea.com>

f-a: bootstrap: /etc/rc.local: force mco start

Temporary workaround for upstream bug:
"Mcollective fails to start in bootstrap of baremetal servers" [1]

This should be reverted as soon as upstream merges a fix.

While at it, add some missing license headers to patches.

[1] https://bugs.launchpad.net/fuel/newton/+bug/1656150

Change-Id: I6d03819bd2df5b8fd9451faedcfd2783847838fa
Signed-off-by: Alexandru Avadanii <Alexandru.Avadanii@enea.com>

network-check: Typo fix for unknown eth state

Change-Id: If6f9cd6a78e712f53e69b9bbc31002983c7162b1
Signed-off-by: Alexandru Avadanii <Alexandru.Avadanii@enea.com>

fuel-library: Revert cobbler removal

While at it, remove unrelated patch that was merged upstream.

JIRA: ARMBAND-237

Change-Id: I01889d100e2f8adab34a60389e602d7d48f5b973
Signed-off-by: Alexandru Avadanii <Alexandru.Avadanii@enea.com>

Merge "docs: Copy OPNFV docs dir as documentation base"

docs: Copy OPNFV docs dir as documentation base

Copy the files from fuel as base documentation. A subsequent commit
will adapt it with aarch64 specifics.

JIRA: ARMBAND-243

Change-Id: I085d3cfab3a65d8ab7954dcdc876f2b922889ee2
Signed-off-by: Cristina Pauna <cristina.pauna@enea.com>

Merge "Add copyright header to patch files"

Merge "deploy-cache: Master id_rsa.pub as authkey for env"

Merge "Revert "docs: Release Notes: Add Label""

deploy-cache: Master id_rsa.pub as authkey for env

JIRA: ARMBAND-242

Change-Id: Ice1091ce701139995418c5899181b09b630c41a9
Signed-off-by: Alexandru Avadanii <Alexandru.Avadanii@enea.com>

Add copyright header to patch files

JIRA: ARMBAND-236

Change-Id: I91c4956b5baa479995bff2f569a321b8a0b421c0
Signed-off-by: Catalina Focsa <catalina.focsa@enea.com>

f-l: Backport: Increase reboot task timeout

Temporarily fix deploys until this patch gets merged upstream.

Change-Id: I6004fc5d6d178a0405ee7a9819264bad317578e7
Signed-off-by: Alexandru Avadanii <Alexandru.Avadanii@enea.com>

f-l: build_image: Extract cluster_arch from / URI

JIRA: ARMBAND-240

Change-Id: If5e7ceb67b6597a2791b352596e52dd63bf32eab
Signed-off-by: Alexandru Avadanii <Alexandru.Avadanii@enea.com>

Makefile: patches-import: Explicit patch format

While at it, add a sample license header, checking whether patch
license addition won't break build/deploy procedures.

JIRA: ARMBAND-236

Change-Id: Ica2792b606051b8bdd23832fec48925e238325a2
Signed-off-by: Alexandru Avadanii <Alexandru.Avadanii@enea.com>

Revert "docs: Release Notes: Add Label"

This reverts commit 1509022c3c290dc799af12fa405f704f16203fc7.

Change-Id: Ia68d13194ed6e68577093c795722a187f7382683

OPNFV bootstrap: Pin kernel to 4.4.0-45

Newer kernels have link training issues on ThunderX boards.
Since all other AArch64 boards work fine with this version,
make it the default.

JIRA: ARMBAND-239

Change-Id: I9d51591547a645dc9ea91088e6033435f6fb71fe
Signed-off-by: Alexandru Avadanii <Alexandru.Avadanii@enea.com>

Merge "fuel-plugin-odl: Fix deploy on x64 due to leveldb"

docs: Adding Labels

Labels serve as anchors/ refs when referenced from other documents
This patch adds labels to docs/*/*/index.rst

Change-Id: I3210dc1a21d9f523075db58c0976b913f2e49d81
Signed-off-by: ShubhamRathi <shubhamiiitbackup@gmail.com>

docs: Release Notes: Add Label

Label added to Release Notes.
This label shall function as an anchor to Release Notes
when referencing from OPNFVDocs composite document.

Change-Id: Icf80a73a85b0e510b27c57139dd697893e8a6e4d
Signed-off-by: ShubhamRathi <shubhamiiitbackup@gmail.com>

fuel-plugin-odl: Fix deploy on x64 due to leveldb

leveldbjni class is used to patch odl for aarch64
When run on x64, the class is not declared (it is filtered out).
Nevertheless, the puppet dependecy required the now undeclared class.

Fix consists in always using leveldbjni class, but on x64 it does
nothing. The architecture dependent logic is thus contained in leveldbjni.

JIRA: ARMBAND-229

Change-Id: If61f4fe3dcca0b2cff38ffcfc2321ed4b43bc2b4
Signed-off-by: Dan Andresan <dan.andresan@enea.com>

patch-packages: Disabled upstream in Fuel@OPNFV

Drop obsolete patch after Fuel@OPNFV disabled patch-packages.

JIRA: ARMBAND-200

Change-Id: I3a96f34bc8bdc180a1ab18ce89b230c36fe272ef
Signed-off-by: Alexandru Avadanii <Alexandru.Avadanii@enea.com>

fuel-web: Fixup AAVMF props patch context

Sync patch context after upstream changes.

Change-Id: Id179543f0f3732f6609b66527a617e08135d7aef
Signed-off-by: Alexandru Avadanii <Alexandru.Avadanii@enea.com>

fuel-plugin-odl: install_quagga: Parallel build

Change-Id: I6b0de1cb7bff9d79d804795c428fe7d5ca2a070a
Signed-off-by: Alexandru Avadanii <Alexandru.Avadanii@enea.com>

fuel-nailgun-agent: Fixup SR-IOV filtering patch

Our previous SR-IOV filtering adjustment in fuel-nailgun-agent
broke detection for real SR-IOV capable interfaces, omitting
them from the inteface list.

For ThunderX systems, where interfaces are VFs, the "physfn"
dir exists, but has no "physfn/net" subdir.

Change-Id: Iaea937f360f81ac59212b8c380fecf72e9985844
Signed-off-by: Alexandru Avadanii <Alexandru.Avadanii@enea.com>

Migrate docs to the new Danube dir structure

Change-Id: I6f15bcf5ea66fbdd1c3e4621e7f339dafcea9a7e
Signed-off-by: Cristina Pauna <cristina.pauna@enea.com>

fuel-library: Remove tcp_retries2 patch (upstream)

Change-Id: I0f5553f5caeff4c65cfdad76c117c084057ba773
Signed-off-by: Alexandru Avadanii <Alexandru.Avadanii@enea.com>

fuel-plugin-ovs: Rebase after ovs-dpdk removal

Upstream dropped ovs, ovs-dpdk, as well as ovs-nsh-dpdk from
this plugin, so our patches need a refresh.

Change-Id: Ic79c7d8a026f01bc720d9021c716b318ef4b1128
Signed-off-by: Alexandru Avadanii <Alexandru.Avadanii@enea.com>

fuel-library: AArch64: nova: Backport NUMA support

This functionality was working as expected in Colorado, but the
patch was silently discarded by mistake during the Newton rebase.

JIRA: ARMBAND-90

Change-Id: Ibd31f68c823cbca6759b5c45d4005201b462b150
Signed-off-by: Alexandru Avadanii <Alexandru.Avadanii@enea.com>

submodules: Disable ignore=all for OPNFV projects

Armband has a number of git submodules, which are hosted:
- via Openstack (review.openstack.org, github.com);
- via OPNFV (gerrit.opnfv.org);

We cannot automatically detect changes in Openstack submodules,
but within OPNFV, an "Updated submodule" commit is generated
when a change is merged into the submodule git, provided we
do not have an "ignore=all" git config directive.

Ignoring submodule changes also prevents automatic ISO builds in
Armband when Fuel@OPNFV changes are merged, which is something we
needed during the D-release development cycle.

The downside of removing "ignore" is that submodules are now
seen as "modified" by git after apply our Armband patches.

While at it, remove one fuel-library patch that got upstream, just
to force a new ISO build.

Change-Id: I8e81e781cb5c78c920a2a33cd8d584de3d9d4fd7
Signed-off-by: Alexandru Avadanii <Alexandru.Avadanii@enea.com>

Temp: fuel-library: Increase tcp_retries2 value

Change-Id: I6f7e3b291878bb20e51f8100ef3a1ede540e4736
Signed-off-by: Alexandru Avadanii <Alexandru.Avadanii@enea.com>

Temp: fuel-library: Fix MySQL OCF race (backport)

JIRA: FUEL-251

Change-Id: I5e6560d494b60721770faf0ed09a72e1a4818d8f
Signed-off-by: Alexandru Avadanii <Alexandru.Avadanii@enea.com>

deploy: EFI: Obsolete patch: Skip IPMI re-ordering

Now that ARMBAND-50 is comleted, revert the temporary workaround
we applied as part of ARMBAND-71.

JIRA: ARMBAND-138

Change-Id: I1beac1fb3ba5b264f70bd4737f3c3e2c1bea46f0
Signed-off-by: Alexandru Avadanii <Alexandru.Avadanii@enea.com>

f_tacker-pluginbuild: Enable for Newton

JIRA: ARMBAND-204

Change-Id: I96b45c705d05dc0f1c71257f8f8237838a6fc5a3
Signed-off-by: Alexandru Avadanii <Alexandru.Avadanii@enea.com>

fuel-plugin-ovs: Rebase patches and enable for N

JIRA: ARMBAND-203

Change-Id: I8c1ca9a10b62751509a37b0079d4e7040e53a60d
Signed-off-by: Alexandru Avadanii <Alexandru.Avadanii@enea.com>

Rebase: Adjust patch context for deploy config

Change-Id: I3d1b15cbfd70d726ae8b24514d2106e7e52e2524
Signed-off-by: Alexandru Avadanii <Alexandru.Avadanii@enea.com>

Upstream: packetary multiarch mirror

Packetary-based rework was merged in Fuel@OPNFV in [1].

[1] https://gerrit.opnfv.org/gerrit/#/c/23999/

JIRA: ARMBAND-185

Change-Id: I19958467acd62c7b3469a1172a5b93b544782b09
Signed-off-by: Alexandru Avadanii <Alexandru.Avadanii@enea.com>

docker: fpb: Obsolete src override

Fuel@OPNFV recently applied a better fix for using the latest
version of fpb, so obsolete our patch.

Change-Id: I088fc31177e5c56ce09712b65a3dbd18eb013ce5
Signed-off-by: Alexandru Avadanii <Alexandru.Avadanii@enea.com>

f_bgpvpn-pluginbuild: Enable after Newton rebase

Fuel@OPNFV rebased and bumped the BGPVPN Fuel plugin for Newton,
so enable building it for Armband ISO too.

JIRA: ARMBAND-202

Change-Id: Ifd59f060f828855d85a9621fcfed7a43f33d48fd
Signed-off-by: Alexandru Avadanii <Alexandru.Avadanii@enea.com>

Fuel-plugin-odl: fix ODL cache corruption

Modify Puppet recipe to restart Opendaylight service after leveldbjni
This avoids a cache corruption described in ARMBAND-211

JIRA: ARMBAND-211

Change-Id: Iab126c7058032044c1789ea41c17ba15ced73b77
Signed-off-by: Dan Andresan <dan.andresan@enea.com>

fuel-plugin-odl: Patch leveldb before jetty.xml

With systemd, leveldb patching happens too late, and the cache
(/opt/opendaylight/data/cache) gets corrupted.

Try moving the leveldbjni puppet class before jetty.xml patching,
and also transform notification arrow into simple ordering arrow.

While at it, simplify patch by removing obsolete fragments.

JIRA: ARMBAND-202

Change-Id: I168b13266f2b4eeac4b8c8008d248f1884858b67
Signed-off-by: Alexandru Avadanii <Alexandru.Avadanii@enea.com>

fuel-plugin-odl: Uplift OpenDaylight to Fuel10

JIRA: ARMBAND-202

Change-Id: Ife5a5a34f272cb77dc88c2f927d4129e025a3846
Signed-off-by: Alexandru Avadanii <Alexandru.Avadanii@enea.com>

deploy-cache: Fix typo in nailgun settings sed

Previous commit missed adding the "-i" flag to a sed call,
rendering the whole effort useless.

JIRA: ARMBAND-190

Change-Id: If0724cb99c94530e5eeb140e93759c4a19503908
Signed-off-by: Alexandru Avadanii <Alexandru.Avadanii@enea.com>

deploy-cache: Relax repo fingerprinting

JIRA: ARMBAND-206

Change-Id: I054a287593a327fa16941f6c9fec802e9ce2fac8
Signed-off-by: Alexandru Avadanii <Alexandru.Avadanii@enea.com>

deploy-cache: Sync nailgun settings explicitly

/etc/nailgun/settings.yaml AUTHORIZED_KEYS is populated before
the bootstrap image (and cached keypair) are injected, so it
needs to be synced explicitly.

JIRA: ARMBAND-188
JIRA: ARMBAND-190

Change-Id: I8e4004e1ec62ace1dd127ee19127190bc295b0e2
Signed-off-by: Alexandru Avadanii <Alexandru.Avadanii@enea.com>

deploy-cache: refresh authorized_keys from id_rsa

When bootstrap cache is present, the cached id_rsa keypair is
copied to Fuel Master node after the initial packages are installed
(cobbler pp copies id_rsa.pub as /etc/cobbler/authorized_keys).

This leaves behind out-of-sync cobbler configuration, generated from
the fresh id_rsa.pub instead of the cached one.

While at it, also fix Fuel Master authorized_keys from ~/.ssh, which
is transferred via /etc/nailgun/settings.yaml to deployed nodes,
leading to nodes rejecting subsequent key-based ssh logins.

JIRA: ARMBAND-188
JIRA: ARMBAND-190

Change-Id: I58b45c9522b16c7d05dafcd1acaff4b8cc30013e
Signed-off-by: Alexandru Avadanii <Alexandru.Avadanii@enea.com>

patch-packages: Disable for Armband

Now Armband also patches test-vm with an updated x86 image in the
upstream repo, so we can disable patch-packages for cirros-testvm
during ISO build.

Since Armband can patch packages at the upstream repo level,
disable patch-packages completely.

JIRA: ARMBAND-200

Change-Id: I5531460c1dd18d94b680d40971713d090be8c353
Signed-off-by: Alexandru Avadanii <Alexandru.Avadanii@enea.com>

f_repobuild: Pull packetary patch from upstream

Sync sensitive packetary change with upstream [1].
Once validated in Armband, we should be able to also push [2].

[1] https://review.openstack.org/#/c/420815
[2] https://gerrit.opnfv.org/gerrit/#/c/23999/

JIRA: ARMBAND-185

Change-Id: I2aa28daf217e01a5cd905a77141903758d085de7
Signed-off-by: Alexandru Avadanii <Alexandru.Avadanii@enea.com>

Merge "Uplift Armband to Fuel Newton"

Uplift Armband to Fuel Newton

[ Dan Andresan ]
- puppet: database: Fix Percona XtraBackup sync

[ Alexandru Avadanii ]
- disable all plugins;
- re-enable remote tracking;
- remove "Revert: Point to specific snapshot ...";
- patch context adjustments;
- obsolete "kernel-bump", linux-image-lts-xenial is now the default;
- network-checker iface state check now fixed upstream [1];
- fuel-nailgun-agent hugepage size should also check /proc/meminfo;
- fuel-nailgun-agent CPU detection for AArch64;
- nova AArch64 hugepage support is now upstream;
- obsolete Cirros Test VM direct kernel boot (by switch to AAVMF):
  * f-l/0001-upload_cirros-Add-direct-kernel-boot-support.patch
  * f-w/0001-direct-kernel-boot-for-cirros.patch
- rework m1.micro RAM size patch after puppet manifest split upstream;
- re-enable arch-agnostic plugins which were rebased in Fuel@OPNFV:
  * f_yardstick-pluginbuild
  * f_congress-pluginbuild
- do NOT retire MySQL SST provider patch series (nack: ARMBAND-186),
  rebase (and keep for now) MySQL SST provider patches, as trying to
  use xtrabackup-v2 revelead a regression since Colorado.3.0, and
  these patches simplify troubleshooting a lot;
- AArch64: nova: libvirt: Use host-model cpu (ARMBAND-193);
- AArch64: nova: libvirt: Use pointer_model instead of use_usb_tablet;
- m1.micro RAM size insufficient for TestVM with AAVMF (s/128/256/)
- switch Cirros TestVM to AAVMF from direct kernel boot;
- backport nova libvirt driver fix for deleting instances booted with
  AAVMF firmware from [2];

TODO (later):
- Include ISO build time fixes for cirros_testvm in Armband package;

TODO (ODL, later):
- test & revise leveldb patching;
- bring back Qugga patching for arm64;
- configure systemd service to automatically respawn;

[1] https://review.openstack.org/#/c/417373/
[2] https://review.openstack.org/#/c/357190/

JIRA: ARMBAND-29
JIRA: ARMBAND-32
JIRA: ARMBAND-63
JIRA: ARMBAND-88
JIRA: ARMBAND-116
JIRA: ARMBAND-118
JIRA: ARMBAND-186
JIRA: ARMBAND-193
JIRA: ARMBAND-194
JIRA: ARMBAND-195
JIRA: ARMBAND-196
JIRA: ARMBAND-197

Change-Id: Ia99022e364e61245d109cabab9d0ed7157b4d2f5
Signed-off-by: Alexandru Avadanii <Alexandru.Avadanii@enea.com>
Signed-off-by: Dan Andresan <dan.andresan@enea.com>

patches/fuel-plugin-ovs: fix version bump of libxenstore3.0

JIRA: ARMBAND-192

Change-Id: Ia99fab2dc38e7e5f8372dedfadf9c807586e7080
Signed-off-by: Anders Roxell <anders.roxell@enea.com>

deploy-cache: Fix home dir expansion in .ssh path

JIRA: ARMBAND-184

Change-Id: I26a79ac6c4ec4314fb21fc55b43985488c1b5fde
Signed-off-by: Alexandru Avadanii <Alexandru.Avadanii@enea.com>

deploy-cache: Fix one more time id_rsa inject

JIRA: ARMBAND-184

Change-Id: Ie88d1d2a16cbce6987ac12f226e48acc1fc81d9b
Signed-off-by: Alexandru Avadanii <Alexandru.Avadanii@enea.com>

build: select_ubuntu_repo: break on err

Backport urgent fix [1] from Fuel@OPNFV to unbreak all CI
verify/build jobs in Armband.

[1] https://gerrit.opnfv.org/gerrit/#/c/26269/

Change-Id: Icf5a84b62eb39edd922ab98a45b2c26c478466f6
Signed-off-by: Alexandru Avadanii <Alexandru.Avadanii@enea.com>

patches: fuel-mirror: Remove obsolete patches

fuel-mirror has been replaced by packetary and all its patches
we held in Armband are now obsolote as well.

JIRA: ARMBAND-185

Change-Id: I1b83501965394ea8080305428bad17c826c5cf42
Signed-off-by: Alexandru Avadanii <Alexandru.Avadanii@enea.com>

deploy-cache: Fix bootstrap id_rsa inject

JIRA: ARMBAND-184

Change-Id: Ibcc70205f0688ce43e27d6d1361d513f15b4576b
Signed-off-by: Alexandru Avadanii <Alexandru.Avadanii@enea.com>

sub: packetary: remove, patches upstream

Backported from [1] and adapted for Trusty, since Armband
did not switch to Ubuntu Xenial / Openstack Newton yet.

[1] https://gerrit.opnfv.org/gerrit/#/c/23999/7/

JIRA: ARMBAND-185

Change-Id: I1dd2cec09aa1077a5779573bc54c01db93339ac9
Signed-off-by: Alexandru Avadanii <Alexandru.Avadanii@enea.com>

ci/build.sh: improve robustness

Change-Id: I6324439f887c5d286052128ed1b627f5fec42b31
Signed-off-by: Anders Roxell <anders.roxell@enea.com>

fuel-main: Restart sshd service instead of reload

Backported from [1] until we switch to Newton and sync again
with Fuel@OPNFV master.

[1] https://gerrit.opnfv.org/gerrit/#/c/25867/

Change-Id: I0972218eaf7aeb9cb435f6408e140b502fc1c0ed
Signed-off-by: Alexandru Avadanii <Alexandru.Avadanii@enea.com>

fuel-library: pp: cobbler: Fix CentOS ver detect

Upstream fuel-library bug report: [1].

Recently, CentOS released version 7.3.1611, which triggered a latent
bug in fuel-library puppet scripts related to differentiating between
6.x and 7.x major versions: 7.3.1611 is wrongly detected as 6.x,
leading to the wrong packages being attempted to be installed,
leaving nailgun server service broken on the Fuel Master node.

This change forces the match at the beggining of the version string
(e.g. "/^6.+/: {" instead of "/6.+/: {"), so the new CentOS 7.3.1611
no longer matches the condition for 6.x).

This patch will soon be obsoleted by the Netwon switch.
However, until that happens, we need to ensure CentOS 7.3 is not
breaking the deploy.

[1] https://bugs.launchpad.net/fuel/+bug/1649895

JIRA: FUEL-238

Change-Id: Iebda7e13d66191614c3552dacb6c80091215baf5
Signed-off-by: Alexandru Avadanii <Alexandru.Avadanii@enea.com>

deploy-cache: Fix bootstrap cache location

We recently changed the location of the deploy cache artifacts on
Fuel Master, which failed to also update the bootstrap_admin_node.sh
harcodes.

JIRA: ARMBAND-172

Change-Id: I1244beca0b5f386efb7ae255fadb0ef69eb559de
Signed-off-by: Alexandru Avadanii <Alexandru.Avadanii@enea.com>

deploy-cache: Fix opnfv-bootstraps-cache contents

fuel-bootstrap import expects all artifacts to be placed in the archive
root dir, so adapt our scripts accordingly.

Change-Id: I18ba5cb0f81b1193bc75067ec7c83367f45c0375
Signed-off-by: Alexandru Avadanii <Alexandru.Avadanii@enea.com>

deploy-cache: Misc fixes and improvements

- move cache dir on Fuel Master to /var/cache/opnfv, since /var/lib/opnfv
  is deleted during env config;
- allow target image collection on environment deploy failure too;
- create cache directory if missing for bootstrap extraction;

JIRA: ARMBAND-172

Change-Id: Icca650e560913345303ca0430a4d8b38183aa0c9
Signed-off-by: Alexandru Avadanii <Alexandru.Avadanii@enea.com>

Merge "Fix failed deploys on virtual pod (noha scenarios)"

fuel-plugins: Enable yardstick plugin build

JIRA: ARMBAND-174

Change-Id: I6a7c76e31b26aa13c82bc755c8985526b5083ecc
Signed-off-by: Alexandru Avadanii <Alexandru.Avadanii@enea.com>

Fix failed deploys on virtual pod (noha scenarios)

JIRA: ARMBAND-173
Currently only ha scenarios were successfully deployed on virtual pods
The default configuration is for ha scenarios and those have 5 target nodes
while on the noha scenarios there are 4. The noha scenarios failed because
it was trying to parse one extra node.

This patch modifies the dea and dha files for each noha scenario so that the
nodes are properly configured.

Change-Id: I360aeaf8dc92e0ff614367d47d74f6fa61ef2268
Signed-off-by: cristinapauna <cristina.pauna@enea.com>

deploy-cache: Fix typos in bootstrap collect

Change-Id: I2d30e72cf218251e1b823619501454a65006dd9d
Signed-off-by: Alexandru Avadanii <Alexandru.Avadanii@enea.com>

Update docs for Colorado 3.0 release

Change-Id: I93156463e63d71e8b32446b3dfbfe61a7929bf38
Signed-off-by: cristinapauna <cristina.pauna@enea.com>

Merge "Update documentation for Colorado 3.0 release"

Update documentation for Colorado 3.0 release

This is the first update on documentation for C3 release
Mostly updated the links and Jira filters

Change-Id: Idd4d6dd92b1ff3972bbcfb1f8b49e547160b6ed9
Signed-off-by: cristinapauna <cristina.pauna@enea.com>

Merge "fuel-plugin-opendaylight: Upstart service: Respawn"

fuel-plugin-opendaylight: Upstart service: Respawn

On arm64, JVM sometimes (~10%) crashes at the very start, due to
JIT issues in our openjdk8 package.

We can't really solve the JVM on arm64 issues in the near future,
so we will try to work around the issue by configuring the ODL
service as respawn-able (see [1] for more details).

Note: This is specific to Ubuntu Trusty (14.04), which uses upstart,
for Ubuntu Xenial (or anything else >14.x), which uses systemd,
a different, equivalent mechanism should be used.

[1] http://upstart.ubuntu.com/cookbook/#respawn

JIRA: ARMBAND-134

Change-Id: I0dc82e4a6d0cc485e981477e6a25dbad95db930b
Signed-off-by: Alexandru Avadanii <Alexandru.Avadanii@enea.com>

deploy-cache: Fixup targetimages extract typo

JIRA: ARMBAND-172

Change-Id: I9f549e0161d39d8f72fff698cfc26c164b0f10ae
Signed-off-by: Alexandru Avadanii <Alexandru.Avadanii@enea.com>

CI: deploy-cache: Store and reuse deploy artifacts

Add support for caching deploy artifacts, like bootstraps and
target images, which take a lot of time at each deploy to be built,
considering it requires a cross-debootstrap via qemu-user-static and
binfmt.

For OPNFV CI, the cache will piggy back on the <iso_mount> mechanism,
and be located at:
/iso_mount/opnfv_ci/<branch>/deploy-cache

TODO: Use dea interface adapter in target images fingerprinting.
TODO: remote fingerprinting
TODO: differentiate between bootstraps and targetimages, so we don't
end up trying to use one cache artifact type as the other.

FIXME: This is still a bit hacky in some areas, but we need it ASAP.

JIRA: ARMBAND-172

Change-Id: Iecd293db98c061325643cc61863a48f092bfd491
Signed-off-by: Alexandru Avadanii <Alexandru.Avadanii@enea.com>

Correct previous patch on fuel rework

Some leftover chars in https://gerrit.opnfv.org/gerrit/#/c/24901/
were keeping the deploy to work.
Also, the empty folder networks was added. This folder should contain templates
for virtual network config for the targets. For arm we don't need those so we
leave it empty for consistency with other projects and for avoiding changing
the deploy logic

JIRA: ARMBAND-122

Change-Id: Id33e2efacc3ff8d3754c8b29d4bebefd0b385c41
Signed-off-by: cristinapauna <cristina.pauna@enea.com>

Fuel rework for multiple libvirt

The current fuel arhitecture assumes that all the VMs
(Jenkins slave, Fuel master and Target nodes) are all on
the same server. There is code that allows the Fuel master
to be on a different machine, but nothing for the Target nodes.
In Enea-Arm lab we have a different server for each.

This commit also adds specific templates for a virtual pod in
the Enea-Arm lab.

Therefore, the following changes are done:
- The default libvirt URI is the machine on which the Target nodes are
- The parameter libvirtUri was added in the dha.yaml file for fuel master
- All virsh calls have "-c" option to explicitly specify the uri; this parameter
  is set only when libvirtUri is explicitly set in the yaml file
- The scenarios dha override now point to the arm template files
- The network templates are not needed for ARM, as the network infra is provided
  by the server on which the Target node VMs reside; the folder is added here
  just for consistency
- The target nodes are created with virsh rather than quemu when the nodes are
  not on the same machine as Jenkins slave (similar logic to what is done for
  remote Fuel master)

JIRA: ARMBAND-122

FIXME: remove hardcodes for
- Network bridges from templates
- Default pool
- libvirtUri from scenario overwrite

Change-Id: Ibf4744e5593f5201550115397024fd8311696074
Signed-off-by: cristinapauna <cristina.pauna@enea.com>

Merge "fuel-plugin-opendaylight: Prebuilt leveldbjni DEB"

local mirror: Add missing vgabios for arm64

JIRA: ARMBAND-169

Change-Id: I4dbcd044c6c146f541e8c005282a4e60af2c3c8a
Signed-off-by: Alexandru Avadanii <Alexandru.Avadanii@enea.com>

fuel-plugin-opendaylight: Prebuilt leveldbjni DEB

Switch from deploy time building of leveldb + leveldbjni to
using a prebuilt artifact, shipped as a DEB package from Armband
repos.

JIRA: ARMBAND-114

Change-Id: Ic7a52c78e803c1a6ebda1f127774959a0880a5a3
Signed-off-by: Alexandru Avadanii <Alexandru.Avadanii@enea.com>

f_repobuild: Fixup missing OPNFV plugin deps

Packetary solves "libasound2" with "liboss4-salsa-asound2" from universe,
leading to openjdk failing to install.

Work around this by altering recently introduced packetary-driven local
mirror build to include OPNFV plugin deps into the "main" package list.

JIRA: ARMBAND-167
JIRA: ARMBAND-35

Change-Id: I040a7117c7ae809933a400ae00937ab8fcc1ea0e
Signed-off-by: Alexandru Avadanii <Alexandru.Avadanii@enea.com>

f_odlpluginbuild: Armband prereq in packages.yaml

We need to explicitily add our Armband leveldb patching prereq
tools, like maven, git, make etc. to the ODL plugin's packages.yaml,
so they are included in the offline Ubuntu mirror.

While at it, also add openjdk-8-jre amos version additional dep:
- libasound2

JIRA: ARMBAND-167

Change-Id: I17fa7a4727b8a553f5a46ab13267380a8864c728
Signed-off-by: Alexandru Avadanii <Alexandru.Avadanii@enea.com>

fuel-plugin-ovs: FIXME: Pin to pre-Newton upstream

Upstream Fuel@OPNFV made the switch to Newton, while in Armband
this will happen later.

Until then, pin the latest Mitaka compatible version, i.e. use
the Fuel@OPNFV reference from the Colorado branch.

While at it, add missing change var for upstream fuel-plugin-ovs
git repo, to prevent issues like ARMBAND-166 from happening on
Armband master later.

JIRA: ARMBAND-166
JIRA: ARMBAND-118

Change-Id: I0630c2349befa3bdfbbb01b4ad401660d8cfd5fe
Signed-off-by: Alexandru Avadanii <Alexandru.Avadanii@enea.com>

build: fixtures: Fix local Ubuntu mirror URIs

Previous commit (bcdc1eaa74d5efd5f8c80600fb30d722bae9a421) confused
the URL of the local Ubuntu mirror with the local MOS mirror.

JIRA: ARMBAND-35

Change-Id: Icfb68e88e61c238cf650b84b269d16f9a52f9f26
Signed-off-by: Alexandru Avadanii <Alexandru.Avadanii@enea.com>

build: Add local Ubuntu mirror to target image

When deploying via Jenkins CI, the repos used for target image
building are overridden to use the local Ubuntu mirror on Fuel
Master instead of fetching packages from internet.

However, when deploying manually, only bootstrap image building
benefits from the local Ubuntu mirror.

While keeping the internet mirrors, add the local Ubuntu mirror
to target image build repo list.

JIRA: ARMBAND-35

Change-Id: Ibd58067703ce6370781a6b54fd01ce52e29686ac
Signed-off-by: Alexandru Avadanii <Alexandru.Avadanii@enea.com>

build/install: Fix missing arch list from Release

During the previous attempt to fix the local mirror rebuild by
reworking `atp-ftparchive` configuration, we removed the arch
list from the main configuration, which led to the local Release
file missing "Architectures" entries.

This led to "/etc/fuel_openstack_arch" not being populated,
binfmt not starting on the first boot, and bootstrap build failing.

Bring back the "Architecture" config line to restore the old
behavior.

JIRA: ARMBAND-163

Change-Id: Ica64fcd60ed4e0185d2cab5457603b42d3d55af8
Signed-off-by: Alexandru Avadanii <Alexandru.Avadanii@enea.com>

FIXME: build: Temp pin to pre-Newton Fuel@OPNFV

Until we populate Armband repos with Fuel Newton packages, we
cannot build the Newton version of Fuel@OPNFV in Armband.

Therefore, temporarily pin the upstream repos to pre-Newton
commits.

JIRA: ARMBAND-118

Change-Id: I34d44c4fabe59c32a7f2c45424dd80e9ae3e04bc
Signed-off-by: Alexandru Avadanii <Alexandru.Avadanii@enea.com>

Merge "AArch64: Ubuntu local partial mirror: Add arm64"

AArch64: Ubuntu local partial mirror: Add arm64

NOTE: Temporarily patch "packetary" in Armband until we upstream
      two small fixes.

Bootstrap build, deploy target image build:
- Switch from public Ubuntu mirrors to 10.20.0.2.

JIRA: ARMBAND-35

Change-Id: I14645cfeebb486063e7b8198de273f68285b11cd
Signed-off-by: Alexandru Avadanii <Alexandru.Avadanii@enea.com>

build/docker: Import Enea Armband keys

JIRA: ARMBAND-96

Change-Id: I28ab3030d3f31c5734508838985412a33334570a
Signed-off-by: Alexandru Avadanii <Alexandru.Avadanii@enea.com>

build/install: Fix paths in apt-ftparchive conf

JIRA: ARMBAND-163

Change-Id: I3fd5a8a826372afc323665abe229c7e67991e31a
Signed-off-by: Alexandru Avadanii <Alexandru.Avadanii@enea.com>

fuel-plugin-ovs: Bind to stable/9.0 branch

Previously, fuel-plugin-ovs did not have a stable branch for Fuel 9,
but now it does, and since fuel-plugin-ovs/master was reworked for
Fuel 10, we need to switch to it.

v1 -> v2: Backported one patch that was not cherry-picked on stable.

Change-Id: I58467e441763b35e5296cb29433eb941e65eec3f
Signed-off-by: Anders Roxell <anders.roxell@enea.com>
Signed-off-by: Alexandru Avadanii <Alexandru.Avadanii@enea.com>

Merge "build: Rebase after cirros bump / GPG addition"

patches/fuel-plugin-ovs: fix version bump of libxenstore3.0

Change-Id: I4c232fec4f35add7b04faf305cdf53dde70d7e92
Signed-off-by: Anders Roxell <anders.roxell@enea.com>
Signed-off-by: Alexandru Avadanii <Alexandru.Avadanii@enea.com>

build: Rebase after cirros bump / GPG addition

Slightly edit patch context to match upstream changes [1, 2].

[1] https://gerrit.opnfv.org/gerrit/#/c/22559/
[2] https://gerrit.opnfv.org/gerrit/#/c/21823/

Change-Id: Ibdb3b557f3e482f74d345a1e0e1eedda26879179
Signed-off-by: Alexandru Avadanii <Alexandru.Avadanii@enea.com>

build: Add <debug> make target

Pass `make debug` to Fuel@OPNFV build system.

debug requires Fuel@OPNFV submodules to be initialized, since
`f_repobuild` relies on fuel-mirror submodule.

Change-Id: Ia64a7d79143c00fc09076472ad346f0cdc20c2b5
Signed-off-by: Alexandru Avadanii <Alexandru.Avadanii@enea.com>

FIXME: build: Revert using mirror snapshots

Armband does not yet have DEB/RPM repo snapshots, so revert
upstream Fuel@OPNFV change enabling them.

JIRA: ARMBAND-155

Change-Id: Ib08c36bf28a66ef38d8b33031dcbf363fb34123c
Signed-off-by: Alexandru Avadanii <Alexandru.Avadanii@enea.com>

Merge "Revert "FIXME: Temporary: Use archive.ubuntu.com only""

Revert "FIXME: Temporary: Use archive.ubuntu.com only"

Now that [1] has been merged, we should stick to upstream behavior.

[1] https://gerrit.opnfv.org/gerrit/#/c/22975/

This reverts commit f653f97dd2591f4cd5bcb4e76eb2134a93f6d460.

Change-Id: I5f23dd6e1b113e8a7d06995e479287ff196410dd

Merge "ci/{build,deploy}.sh: Move `export TERM` to releng"

Upstream: Fuel@OPNFV: Fuel Master VM templates

While at it, also upstream:
"build: Use OPNFV_GIT_SHA for ISO preparer ID"

JIRA: ARMBAND-146

Change-Id: Ifcd7b3041d172aa492e26477c0872cd96efd90ba
Signed-off-by: Alexandru Avadanii <Alexandru.Avadanii@enea.com>

fuel-plugin-tacker: Enable build for Armband

JIRA: ARMBAND-143

Change-Id: I388e324b39aa2cec015bc65559f4c363bc37abdd
Signed-off-by: Alexandru Avadanii <Alexandru.Avadanii@enea.com>