deploy-cache: refresh authorized_keys from id_rsa

When bootstrap cache is present, the cached id_rsa keypair is
copied to Fuel Master node after the initial packages are installed
(cobbler pp copies id_rsa.pub as /etc/cobbler/authorized_keys).

This leaves behind out-of-sync cobbler configuration, generated from
the fresh id_rsa.pub instead of the cached one.

While at it, also fix Fuel Master authorized_keys from ~/.ssh, which
is transferred via /etc/nailgun/settings.yaml to deployed nodes,
leading to nodes rejecting subsequent key-based ssh logins.

JIRA: ARMBAND-188
JIRA: ARMBAND-190

Change-Id: I58b45c9522b16c7d05dafcd1acaff4b8cc30013e
Signed-off-by: Alexandru Avadanii <Alexandru.Avadanii@enea.com>

patch-packages: Disable for Armband

Now Armband also patches test-vm with an updated x86 image in the
upstream repo, so we can disable patch-packages for cirros-testvm
during ISO build.

Since Armband can patch packages at the upstream repo level,
disable patch-packages completely.

JIRA: ARMBAND-200

Change-Id: I5531460c1dd18d94b680d40971713d090be8c353
Signed-off-by: Alexandru Avadanii <Alexandru.Avadanii@enea.com>

f_repobuild: Pull packetary patch from upstream

Sync sensitive packetary change with upstream [1].
Once validated in Armband, we should be able to also push [2].

[1] https://review.openstack.org/#/c/420815
[2] https://gerrit.opnfv.org/gerrit/#/c/23999/

JIRA: ARMBAND-185

Change-Id: I2aa28daf217e01a5cd905a77141903758d085de7
Signed-off-by: Alexandru Avadanii <Alexandru.Avadanii@enea.com>

Merge "Uplift Armband to Fuel Newton"

Uplift Armband to Fuel Newton

[ Dan Andresan ]
- puppet: database: Fix Percona XtraBackup sync

[ Alexandru Avadanii ]
- disable all plugins;
- re-enable remote tracking;
- remove "Revert: Point to specific snapshot ...";
- patch context adjustments;
- obsolete "kernel-bump", linux-image-lts-xenial is now the default;
- network-checker iface state check now fixed upstream [1];
- fuel-nailgun-agent hugepage size should also check /proc/meminfo;
- fuel-nailgun-agent CPU detection for AArch64;
- nova AArch64 hugepage support is now upstream;
- obsolete Cirros Test VM direct kernel boot (by switch to AAVMF):
  * f-l/0001-upload_cirros-Add-direct-kernel-boot-support.patch
  * f-w/0001-direct-kernel-boot-for-cirros.patch
- rework m1.micro RAM size patch after puppet manifest split upstream;
- re-enable arch-agnostic plugins which were rebased in Fuel@OPNFV:
  * f_yardstick-pluginbuild
  * f_congress-pluginbuild
- do NOT retire MySQL SST provider patch series (nack: ARMBAND-186),
  rebase (and keep for now) MySQL SST provider patches, as trying to
  use xtrabackup-v2 revelead a regression since Colorado.3.0, and
  these patches simplify troubleshooting a lot;
- AArch64: nova: libvirt: Use host-model cpu (ARMBAND-193);
- AArch64: nova: libvirt: Use pointer_model instead of use_usb_tablet;
- m1.micro RAM size insufficient for TestVM with AAVMF (s/128/256/)
- switch Cirros TestVM to AAVMF from direct kernel boot;
- backport nova libvirt driver fix for deleting instances booted with
  AAVMF firmware from [2];

TODO (later):
- Include ISO build time fixes for cirros_testvm in Armband package;

TODO (ODL, later):
- test & revise leveldb patching;
- bring back Qugga patching for arm64;
- configure systemd service to automatically respawn;

[1] https://review.openstack.org/#/c/417373/
[2] https://review.openstack.org/#/c/357190/

JIRA: ARMBAND-29
JIRA: ARMBAND-32
JIRA: ARMBAND-63
JIRA: ARMBAND-88
JIRA: ARMBAND-116
JIRA: ARMBAND-118
JIRA: ARMBAND-186
JIRA: ARMBAND-193
JIRA: ARMBAND-194
JIRA: ARMBAND-195
JIRA: ARMBAND-196
JIRA: ARMBAND-197

Change-Id: Ia99022e364e61245d109cabab9d0ed7157b4d2f5
Signed-off-by: Alexandru Avadanii <Alexandru.Avadanii@enea.com>
Signed-off-by: Dan Andresan <dan.andresan@enea.com>

patches/fuel-plugin-ovs: fix version bump of libxenstore3.0

JIRA: ARMBAND-192

Change-Id: Ia99fab2dc38e7e5f8372dedfadf9c807586e7080
Signed-off-by: Anders Roxell <anders.roxell@enea.com>

deploy-cache: Fix home dir expansion in .ssh path

JIRA: ARMBAND-184

Change-Id: I26a79ac6c4ec4314fb21fc55b43985488c1b5fde
Signed-off-by: Alexandru Avadanii <Alexandru.Avadanii@enea.com>

deploy-cache: Fix one more time id_rsa inject

JIRA: ARMBAND-184

Change-Id: Ie88d1d2a16cbce6987ac12f226e48acc1fc81d9b
Signed-off-by: Alexandru Avadanii <Alexandru.Avadanii@enea.com>

build: select_ubuntu_repo: break on err

Backport urgent fix [1] from Fuel@OPNFV to unbreak all CI
verify/build jobs in Armband.

[1] https://gerrit.opnfv.org/gerrit/#/c/26269/

Change-Id: Icf5a84b62eb39edd922ab98a45b2c26c478466f6
Signed-off-by: Alexandru Avadanii <Alexandru.Avadanii@enea.com>

patches: fuel-mirror: Remove obsolete patches

fuel-mirror has been replaced by packetary and all its patches
we held in Armband are now obsolote as well.

JIRA: ARMBAND-185

Change-Id: I1b83501965394ea8080305428bad17c826c5cf42
Signed-off-by: Alexandru Avadanii <Alexandru.Avadanii@enea.com>

deploy-cache: Fix bootstrap id_rsa inject

JIRA: ARMBAND-184

Change-Id: Ibcc70205f0688ce43e27d6d1361d513f15b4576b
Signed-off-by: Alexandru Avadanii <Alexandru.Avadanii@enea.com>

sub: packetary: remove, patches upstream

Backported from [1] and adapted for Trusty, since Armband
did not switch to Ubuntu Xenial / Openstack Newton yet.

[1] https://gerrit.opnfv.org/gerrit/#/c/23999/7/

JIRA: ARMBAND-185

Change-Id: I1dd2cec09aa1077a5779573bc54c01db93339ac9
Signed-off-by: Alexandru Avadanii <Alexandru.Avadanii@enea.com>

ci/build.sh: improve robustness

Change-Id: I6324439f887c5d286052128ed1b627f5fec42b31
Signed-off-by: Anders Roxell <anders.roxell@enea.com>

fuel-main: Restart sshd service instead of reload

Backported from [1] until we switch to Newton and sync again
with Fuel@OPNFV master.

[1] https://gerrit.opnfv.org/gerrit/#/c/25867/

Change-Id: I0972218eaf7aeb9cb435f6408e140b502fc1c0ed
Signed-off-by: Alexandru Avadanii <Alexandru.Avadanii@enea.com>

fuel-library: pp: cobbler: Fix CentOS ver detect

Upstream fuel-library bug report: [1].

Recently, CentOS released version 7.3.1611, which triggered a latent
bug in fuel-library puppet scripts related to differentiating between
6.x and 7.x major versions: 7.3.1611 is wrongly detected as 6.x,
leading to the wrong packages being attempted to be installed,
leaving nailgun server service broken on the Fuel Master node.

This change forces the match at the beggining of the version string
(e.g. "/^6.+/: {" instead of "/6.+/: {"), so the new CentOS 7.3.1611
no longer matches the condition for 6.x).

This patch will soon be obsoleted by the Netwon switch.
However, until that happens, we need to ensure CentOS 7.3 is not
breaking the deploy.

[1] https://bugs.launchpad.net/fuel/+bug/1649895

JIRA: FUEL-238

Change-Id: Iebda7e13d66191614c3552dacb6c80091215baf5
Signed-off-by: Alexandru Avadanii <Alexandru.Avadanii@enea.com>

deploy-cache: Fix bootstrap cache location

We recently changed the location of the deploy cache artifacts on
Fuel Master, which failed to also update the bootstrap_admin_node.sh
harcodes.

JIRA: ARMBAND-172

Change-Id: I1244beca0b5f386efb7ae255fadb0ef69eb559de
Signed-off-by: Alexandru Avadanii <Alexandru.Avadanii@enea.com>

deploy-cache: Fix opnfv-bootstraps-cache contents

fuel-bootstrap import expects all artifacts to be placed in the archive
root dir, so adapt our scripts accordingly.

Change-Id: I18ba5cb0f81b1193bc75067ec7c83367f45c0375
Signed-off-by: Alexandru Avadanii <Alexandru.Avadanii@enea.com>

deploy-cache: Misc fixes and improvements

- move cache dir on Fuel Master to /var/cache/opnfv, since /var/lib/opnfv
  is deleted during env config;
- allow target image collection on environment deploy failure too;
- create cache directory if missing for bootstrap extraction;

JIRA: ARMBAND-172

Change-Id: Icca650e560913345303ca0430a4d8b38183aa0c9
Signed-off-by: Alexandru Avadanii <Alexandru.Avadanii@enea.com>

Merge "Fix failed deploys on virtual pod (noha scenarios)"

fuel-plugins: Enable yardstick plugin build

JIRA: ARMBAND-174

Change-Id: I6a7c76e31b26aa13c82bc755c8985526b5083ecc
Signed-off-by: Alexandru Avadanii <Alexandru.Avadanii@enea.com>

Fix failed deploys on virtual pod (noha scenarios)

JIRA: ARMBAND-173
Currently only ha scenarios were successfully deployed on virtual pods
The default configuration is for ha scenarios and those have 5 target nodes
while on the noha scenarios there are 4. The noha scenarios failed because
it was trying to parse one extra node.

This patch modifies the dea and dha files for each noha scenario so that the
nodes are properly configured.

Change-Id: I360aeaf8dc92e0ff614367d47d74f6fa61ef2268
Signed-off-by: cristinapauna <cristina.pauna@enea.com>

deploy-cache: Fix typos in bootstrap collect

Change-Id: I2d30e72cf218251e1b823619501454a65006dd9d
Signed-off-by: Alexandru Avadanii <Alexandru.Avadanii@enea.com>

Update docs for Colorado 3.0 release

Change-Id: I93156463e63d71e8b32446b3dfbfe61a7929bf38
Signed-off-by: cristinapauna <cristina.pauna@enea.com>

Merge "Update documentation for Colorado 3.0 release"

Update documentation for Colorado 3.0 release

This is the first update on documentation for C3 release
Mostly updated the links and Jira filters

Change-Id: Idd4d6dd92b1ff3972bbcfb1f8b49e547160b6ed9
Signed-off-by: cristinapauna <cristina.pauna@enea.com>

Merge "fuel-plugin-opendaylight: Upstart service: Respawn"

fuel-plugin-opendaylight: Upstart service: Respawn

On arm64, JVM sometimes (~10%) crashes at the very start, due to
JIT issues in our openjdk8 package.

We can't really solve the JVM on arm64 issues in the near future,
so we will try to work around the issue by configuring the ODL
service as respawn-able (see [1] for more details).

Note: This is specific to Ubuntu Trusty (14.04), which uses upstart,
for Ubuntu Xenial (or anything else >14.x), which uses systemd,
a different, equivalent mechanism should be used.

[1] http://upstart.ubuntu.com/cookbook/#respawn

JIRA: ARMBAND-134

Change-Id: I0dc82e4a6d0cc485e981477e6a25dbad95db930b
Signed-off-by: Alexandru Avadanii <Alexandru.Avadanii@enea.com>

deploy-cache: Fixup targetimages extract typo

JIRA: ARMBAND-172

Change-Id: I9f549e0161d39d8f72fff698cfc26c164b0f10ae
Signed-off-by: Alexandru Avadanii <Alexandru.Avadanii@enea.com>

CI: deploy-cache: Store and reuse deploy artifacts

Add support for caching deploy artifacts, like bootstraps and
target images, which take a lot of time at each deploy to be built,
considering it requires a cross-debootstrap via qemu-user-static and
binfmt.

For OPNFV CI, the cache will piggy back on the <iso_mount> mechanism,
and be located at:
/iso_mount/opnfv_ci/<branch>/deploy-cache

TODO: Use dea interface adapter in target images fingerprinting.
TODO: remote fingerprinting
TODO: differentiate between bootstraps and targetimages, so we don't
end up trying to use one cache artifact type as the other.

FIXME: This is still a bit hacky in some areas, but we need it ASAP.

JIRA: ARMBAND-172

Change-Id: Iecd293db98c061325643cc61863a48f092bfd491
Signed-off-by: Alexandru Avadanii <Alexandru.Avadanii@enea.com>

Correct previous patch on fuel rework

Some leftover chars in https://gerrit.opnfv.org/gerrit/#/c/24901/
were keeping the deploy to work.
Also, the empty folder networks was added. This folder should contain templates
for virtual network config for the targets. For arm we don't need those so we
leave it empty for consistency with other projects and for avoiding changing
the deploy logic

JIRA: ARMBAND-122

Change-Id: Id33e2efacc3ff8d3754c8b29d4bebefd0b385c41
Signed-off-by: cristinapauna <cristina.pauna@enea.com>

Fuel rework for multiple libvirt

The current fuel arhitecture assumes that all the VMs
(Jenkins slave, Fuel master and Target nodes) are all on
the same server. There is code that allows the Fuel master
to be on a different machine, but nothing for the Target nodes.
In Enea-Arm lab we have a different server for each.

This commit also adds specific templates for a virtual pod in
the Enea-Arm lab.

Therefore, the following changes are done:
- The default libvirt URI is the machine on which the Target nodes are
- The parameter libvirtUri was added in the dha.yaml file for fuel master
- All virsh calls have "-c" option to explicitly specify the uri; this parameter
  is set only when libvirtUri is explicitly set in the yaml file
- The scenarios dha override now point to the arm template files
- The network templates are not needed for ARM, as the network infra is provided
  by the server on which the Target node VMs reside; the folder is added here
  just for consistency
- The target nodes are created with virsh rather than quemu when the nodes are
  not on the same machine as Jenkins slave (similar logic to what is done for
  remote Fuel master)

JIRA: ARMBAND-122

FIXME: remove hardcodes for
- Network bridges from templates
- Default pool
- libvirtUri from scenario overwrite

Change-Id: Ibf4744e5593f5201550115397024fd8311696074
Signed-off-by: cristinapauna <cristina.pauna@enea.com>

Merge "fuel-plugin-opendaylight: Prebuilt leveldbjni DEB"

local mirror: Add missing vgabios for arm64

JIRA: ARMBAND-169

Change-Id: I4dbcd044c6c146f541e8c005282a4e60af2c3c8a
Signed-off-by: Alexandru Avadanii <Alexandru.Avadanii@enea.com>

fuel-plugin-opendaylight: Prebuilt leveldbjni DEB

Switch from deploy time building of leveldb + leveldbjni to
using a prebuilt artifact, shipped as a DEB package from Armband
repos.

JIRA: ARMBAND-114

Change-Id: Ic7a52c78e803c1a6ebda1f127774959a0880a5a3
Signed-off-by: Alexandru Avadanii <Alexandru.Avadanii@enea.com>

f_repobuild: Fixup missing OPNFV plugin deps

Packetary solves "libasound2" with "liboss4-salsa-asound2" from universe,
leading to openjdk failing to install.

Work around this by altering recently introduced packetary-driven local
mirror build to include OPNFV plugin deps into the "main" package list.

JIRA: ARMBAND-167
JIRA: ARMBAND-35

Change-Id: I040a7117c7ae809933a400ae00937ab8fcc1ea0e
Signed-off-by: Alexandru Avadanii <Alexandru.Avadanii@enea.com>

f_odlpluginbuild: Armband prereq in packages.yaml

We need to explicitily add our Armband leveldb patching prereq
tools, like maven, git, make etc. to the ODL plugin's packages.yaml,
so they are included in the offline Ubuntu mirror.

While at it, also add openjdk-8-jre amos version additional dep:
- libasound2

JIRA: ARMBAND-167

Change-Id: I17fa7a4727b8a553f5a46ab13267380a8864c728
Signed-off-by: Alexandru Avadanii <Alexandru.Avadanii@enea.com>

fuel-plugin-ovs: FIXME: Pin to pre-Newton upstream

Upstream Fuel@OPNFV made the switch to Newton, while in Armband
this will happen later.

Until then, pin the latest Mitaka compatible version, i.e. use
the Fuel@OPNFV reference from the Colorado branch.

While at it, add missing change var for upstream fuel-plugin-ovs
git repo, to prevent issues like ARMBAND-166 from happening on
Armband master later.

JIRA: ARMBAND-166
JIRA: ARMBAND-118

Change-Id: I0630c2349befa3bdfbbb01b4ad401660d8cfd5fe
Signed-off-by: Alexandru Avadanii <Alexandru.Avadanii@enea.com>

build: fixtures: Fix local Ubuntu mirror URIs

Previous commit (bcdc1eaa74d5efd5f8c80600fb30d722bae9a421) confused
the URL of the local Ubuntu mirror with the local MOS mirror.

JIRA: ARMBAND-35

Change-Id: Icfb68e88e61c238cf650b84b269d16f9a52f9f26
Signed-off-by: Alexandru Avadanii <Alexandru.Avadanii@enea.com>

build: Add local Ubuntu mirror to target image

When deploying via Jenkins CI, the repos used for target image
building are overridden to use the local Ubuntu mirror on Fuel
Master instead of fetching packages from internet.

However, when deploying manually, only bootstrap image building
benefits from the local Ubuntu mirror.

While keeping the internet mirrors, add the local Ubuntu mirror
to target image build repo list.

JIRA: ARMBAND-35

Change-Id: Ibd58067703ce6370781a6b54fd01ce52e29686ac
Signed-off-by: Alexandru Avadanii <Alexandru.Avadanii@enea.com>

build/install: Fix missing arch list from Release

During the previous attempt to fix the local mirror rebuild by
reworking `atp-ftparchive` configuration, we removed the arch
list from the main configuration, which led to the local Release
file missing "Architectures" entries.

This led to "/etc/fuel_openstack_arch" not being populated,
binfmt not starting on the first boot, and bootstrap build failing.

Bring back the "Architecture" config line to restore the old
behavior.

JIRA: ARMBAND-163

Change-Id: Ica64fcd60ed4e0185d2cab5457603b42d3d55af8
Signed-off-by: Alexandru Avadanii <Alexandru.Avadanii@enea.com>

FIXME: build: Temp pin to pre-Newton Fuel@OPNFV

Until we populate Armband repos with Fuel Newton packages, we
cannot build the Newton version of Fuel@OPNFV in Armband.

Therefore, temporarily pin the upstream repos to pre-Newton
commits.

JIRA: ARMBAND-118

Change-Id: I34d44c4fabe59c32a7f2c45424dd80e9ae3e04bc
Signed-off-by: Alexandru Avadanii <Alexandru.Avadanii@enea.com>

Merge "AArch64: Ubuntu local partial mirror: Add arm64"

AArch64: Ubuntu local partial mirror: Add arm64

NOTE: Temporarily patch "packetary" in Armband until we upstream
      two small fixes.

Bootstrap build, deploy target image build:
- Switch from public Ubuntu mirrors to 10.20.0.2.

JIRA: ARMBAND-35

Change-Id: I14645cfeebb486063e7b8198de273f68285b11cd
Signed-off-by: Alexandru Avadanii <Alexandru.Avadanii@enea.com>

build/docker: Import Enea Armband keys

JIRA: ARMBAND-96

Change-Id: I28ab3030d3f31c5734508838985412a33334570a
Signed-off-by: Alexandru Avadanii <Alexandru.Avadanii@enea.com>

build/install: Fix paths in apt-ftparchive conf

JIRA: ARMBAND-163

Change-Id: I3fd5a8a826372afc323665abe229c7e67991e31a
Signed-off-by: Alexandru Avadanii <Alexandru.Avadanii@enea.com>

fuel-plugin-ovs: Bind to stable/9.0 branch

Previously, fuel-plugin-ovs did not have a stable branch for Fuel 9,
but now it does, and since fuel-plugin-ovs/master was reworked for
Fuel 10, we need to switch to it.

v1 -> v2: Backported one patch that was not cherry-picked on stable.

Change-Id: I58467e441763b35e5296cb29433eb941e65eec3f
Signed-off-by: Anders Roxell <anders.roxell@enea.com>
Signed-off-by: Alexandru Avadanii <Alexandru.Avadanii@enea.com>

Merge "build: Rebase after cirros bump / GPG addition"

patches/fuel-plugin-ovs: fix version bump of libxenstore3.0

Change-Id: I4c232fec4f35add7b04faf305cdf53dde70d7e92
Signed-off-by: Anders Roxell <anders.roxell@enea.com>
Signed-off-by: Alexandru Avadanii <Alexandru.Avadanii@enea.com>

build: Rebase after cirros bump / GPG addition

Slightly edit patch context to match upstream changes [1, 2].

[1] https://gerrit.opnfv.org/gerrit/#/c/22559/
[2] https://gerrit.opnfv.org/gerrit/#/c/21823/

Change-Id: Ibdb3b557f3e482f74d345a1e0e1eedda26879179
Signed-off-by: Alexandru Avadanii <Alexandru.Avadanii@enea.com>

build: Add <debug> make target

Pass `make debug` to Fuel@OPNFV build system.

debug requires Fuel@OPNFV submodules to be initialized, since
`f_repobuild` relies on fuel-mirror submodule.

Change-Id: Ia64a7d79143c00fc09076472ad346f0cdc20c2b5
Signed-off-by: Alexandru Avadanii <Alexandru.Avadanii@enea.com>

FIXME: build: Revert using mirror snapshots

Armband does not yet have DEB/RPM repo snapshots, so revert
upstream Fuel@OPNFV change enabling them.

JIRA: ARMBAND-155

Change-Id: Ib08c36bf28a66ef38d8b33031dcbf363fb34123c
Signed-off-by: Alexandru Avadanii <Alexandru.Avadanii@enea.com>

Merge "Revert "FIXME: Temporary: Use archive.ubuntu.com only""

Revert "FIXME: Temporary: Use archive.ubuntu.com only"

Now that [1] has been merged, we should stick to upstream behavior.

[1] https://gerrit.opnfv.org/gerrit/#/c/22975/

This reverts commit f653f97dd2591f4cd5bcb4e76eb2134a93f6d460.

Change-Id: I5f23dd6e1b113e8a7d06995e479287ff196410dd

Merge "ci/{build,deploy}.sh: Move `export TERM` to releng"

Upstream: Fuel@OPNFV: Fuel Master VM templates

While at it, also upstream:
"build: Use OPNFV_GIT_SHA for ISO preparer ID"

JIRA: ARMBAND-146

Change-Id: Ifcd7b3041d172aa492e26477c0872cd96efd90ba
Signed-off-by: Alexandru Avadanii <Alexandru.Avadanii@enea.com>

fuel-plugin-tacker: Enable build for Armband

JIRA: ARMBAND-143

Change-Id: I388e324b39aa2cec015bc65559f4c363bc37abdd
Signed-off-by: Alexandru Avadanii <Alexandru.Avadanii@enea.com>

ci/{build,deploy}.sh: Move `export TERM` to releng

TERM is now only set for CI runs, not when calling CI scripts
by hand, outside Jenkins CI.

Releng: 'fuel, armband: build, deploy: export TERM="vt220"' [1]

[1] https://gerrit.opnfv.org/gerrit/#/c/22933/

Change-Id: I756505c6c395a2cbf7902b49db689abb956fbf5d

deploy: Reduce Fuel Master VCPU count

Fuel Master VM template has been updated to use:
- 4 VCPUs (was 8 VPCUs);

Related-bug: ARMBAND-98

Change-Id: I1a587f0efa06850885ff8cf938ebb9775af8f7a8
Signed-off-by: Alexandru Avadanii <Alexandru.Avadanii@enea.com>

FIXME: Temporary: Use archive.ubuntu.com only

We recently removed blacklists for a few mirrors, on account
of upstream Fuel@OPNFV fixing mirror selection in [1].

Although the mechanism will be polished a little, it works very
nicely; pointing us to [2], where we seem to trigger some flood
protection at sync, leading to dropped connections and failed builds.

Keep using the official Ubuntu Archive mirror [3] until we sort this out.

Fixes: ARMBAND-136

[1] https://gerrit.opnfv.org/gerrit/#/c/22195
[2] http://mirrors.se.eu.kernel.org/ubuntu/
[3] http://archive.ubuntu.com/ubuntu/

Change-Id: If9247f829ee314d4c71dafa84b6cd13b384484f0
Signed-off-by: Alexandru Avadanii <Alexandru.Avadanii@enea.com>

ci/{build,deploy}.sh: Use /bin/sh, vt220

This should fix Jenkins build log warns like:
<tput: unknown terminal "unknown">, and also NOT print color chars.

Fixes: ARMBAND-136

Change-Id: If65f6bf3df5323374aefba56d0c9b7ca4f91e5ca
Signed-off-by: Alexandru Avadanii <Alexandru.Avadanii@enea.com>

build: Fix missing git config for applying patches

After decoupling Fuel@OPNFV's `build/config.mk`, which
exports GIT_COMMITER_* info, we need to configure it in Armband too,
so git can apply patches for Fuel plugins / Fuel@OPNFV itself.

Fixes: ARMBAND-136

Change-Id: I9404d742e89d7a54e4763f8248f16405f4685881
Signed-off-by: Alexandru Avadanii <Alexandru.Avadanii@enea.com>

build: Rework patch mechanism for Fuel submodules

While refactoring the patching mechanism, take care of:
- Sync submodule handling with Fuel@OPFNV;
- build: Investigate/prepare for moving patches to Fuel@OPNFV;
- build: Investigate divergent fuel-mirror;
- ISO build: cacheid for Fuel comps should not depend on
  Armband git commit;

CHANGE:
 Rename/shuffle patches while grouping them in "features",
 preparing for upstreaming them to Fuel@OPNFV and beyond.

CHANGE:
 Allow linking patches for better representing the dependency
 between one patch and different features.
 e.g. 0001-Add-arch-to-nailgun-release-and-target-image.patch:
   - part of `multiarch-fuel`, because it extends Fuel;
   - part of `direct-kernel-boot`, as arch is required for that;
   - part of `cross-bootstrap`, target image is arch-dependent;
 NOTE: Patch links are not staged to Fuel@OPNFV, they only serve
 as markers that a specific patch is part of a feature.

CHANGE:
 Kill all Fuel component submodules, now handled in Fuel@OPNFV:
  - fuel-agent
  - fuel-astute
  - fuel-library
  - fuel-mirror
  - fuel-nailgun-agent
  - fuel-web

CHANGE:
 Move armband-fuel-config.mk to armband git root.

FIXME: m1.micro-Increase-profile-RAM-size-to-128MB.patch is NOT
 part of `cross-bootstrap` feature, but patch context says so ...

FIXME: 0001-Add-arm64-deb-repositories-setup.patch is broken at
 `make patches-export` by removing spaces at EOL.

v2 -> v3:
 * Phony patch support (links to show a patch belongs to a feature);
 * Updated README.md
v3 -> v7:
 * Re-export Fuel submodules & plugins patches (update patch context);
 * Update Cavium mail addresses (s/caviumnetworks.com/cavium.com/);
 * Ignore submodule changes;
 * Add armband git repo info to gitinfo_fuel.txt at build time;

Implements: ARMBAND-136
Closes-bug: ARMBAND-95
Closes-bug: ARMBAND-93
Closes-bug: ARMBAND-92

Change-Id: I1a236d9f43b2e6dca22055911f696b43c22b5973
Signed-off-by: Alexandru Avadanii <Alexandru.Avadanii@enea.com>

Cleanup: Remove obsolete Fuel@OPNFV patches

Since we are now building inside docker containers, it is no longer
necessary to use `python-debian` from pip repo instead of Ubuntu.

Also, since Fuel@OPNFV improved our mirror selection in [1], we
can drop our custom blacklist entries for Ubuntu SE mirrors, as
well as repeating the repo mirror build in case of failure.

[1] https://gerrit.opnfv.org/gerrit/#/c/22195

Change-Id: I62890b6ae7977cd8a39c06ce17c8964e6cb1dddb
Signed-off-by: Alexandru Avadanii <Alexandru.Avadanii@enea.com>

Rebase: docker tag reuse context adj

Change-Id: If6a3472a2f8fe64db2469536fe4d12d88e7a61f0
Signed-off-by: Alexandru Avadanii <Alexandru.Avadanii@enea.com>

Merge "Revert "deploy: Reduce Fuel Master VM resources""

Revert "deploy: Reduce Fuel Master VM resources"

This reverts commit acc93911c7d1d4be5ba5cd04e731626d01d59598.

Change-Id: I001cd72506ec99ae2c41bd30d3dd36dd3de06217

INFO: Add Cristina Pauna as committer.

Change-Id: I6a6a80bf58ae453485431ecc35eab8cb553c29e0
Signed-off-by: Alexandru Avadanii <Alexandru.Avadanii@enea.com>

Merge "INFO: remove commiters: Joe and Stan"

Updated armband
Project: fuel  cf93e6ee11c96de090b04196cc96b4a6b0948928

use pgrep instead of ps

pgrep was added to procps-ng, it is more exact

also replace ps -ef in wait_until_fuel_menu_up
removed get_fuel_menu_pid

Change-Id: I57ad9d2fabbfe5f570e0be3bfb40ef842f95902d
Signed-off-by: Ross Brattain <ross.b.brattain@intel.com>

Updated armband
Project: fuel  2e6be7473d11f14d62ad1aa1d76f2e0c99327424

check read access instead of isfile() for Fuel ISO

When testing with nested virtualzation I attached
the Fuel ISO to VM (/dev/sr0) running deploy.sh

This failed because we expect the ISO to be a file, when
it could be a device, e.g. /dev/sr0.  Instead of checking isfile()
check for read access.

This tested with bsdtar. It can extract an ISO from a file or device.

Change-Id: Ic09373cd618b33382303d9134cce4e005040de95
Signed-off-by: Ross Brattain <ross.b.brattain@intel.com>

Updated armband
Project: fuel  d1f2969eed092f182cc746ca1d06337d71a8215d

Refactor deploy-config.py into object style

Change-Id: I706563e6ed1bbfd98adc5a4124ff63789f9e32fa
Signed-off-by: Peter Barabas <peter.barabas@ericsson.com>

Updated armband
Project: fuel  c25f5af252949dc1b249f77fe8e33c5ea13c1ad1

[odl-l3] Get OVS plugin into the action

Update ovs version to 2.5+ in order to get inserted security group
connection tracking flows in ovsdb, which allows to pass
tempest scenario of test_network_basic_ops.

JIRA: FUEL-199
Change-Id: Id3e6c8ed2b79c4b6b4a7623f0d262c63f1d1d89f
Signed-off-by: Michael Polenchuk <mpolenchuk@mirantis.com>

Updated armband
Project: vswitchperf  48ec9750583c47dadf0f3fd931dc2cf12f738b67

bugfix: Qemu shared dir failure

In case of testpmd or l2fwd loopback app, VSPERF copies
sources if these tools into qemu shared folder. Maximum
size of folder content is limited to approx. 500MB. This
limit is exceeded in case that DPDK is built for multiple
RTE_TARGETs. Unnecessary files are excluded from the
copy to spare size inside shared folder.

JIRA: VSPERF-398

Change-Id: Iab31a6ff2397f7031eae6a95d424317c3343d4d9
Signed-off-by: Martin Klozik <martinx.klozik@intel.com>
Reviewed-by: Maryam Tahhan <maryam.tahhan@intel.com>
Reviewed-by: Al Morton <acmorton@att.com>
Reviewed-by: Christian Trautman <ctrautma@redhat.com>
Reviewed-by: Bill Michalowski <bmichalo@redhat.com>
Reviewed-by: Antonio Fischetti <antonio.fischetti@intel.com>

Updated armband
Project: fuel  0789fdc49305b2d8403960139beafe1064cef8ba

Support different format of fuel task info

As described in this bug: https://bugs.launchpad.net/fuel/+bug/1625518
json output of the task can be in different format: single dict or list
of dicts. During tests of https://gerrit.opnfv.org/gerrit/21807 only the
later one was visible, try to support both types of output.

Change-Id: I7d3e12270c8246b03bdc6c73d3be77a039df469f
Signed-off-by: Michal Skalski <mskalski@mirantis.com>

Updated armband
Project: fuel  dd4357385318eccfa82c8e079b07e9373ec93cfa

Add DHA adapter dependencies

Change-Id: Ia83782ac6baed0f9d753b69b18202abaafb972e5
Signed-off-by: Peter Barabas <peter.barabas@ericsson.com>

Updated armband
Project: fuel  f2fde8258dedfbbeae52d0c9b1d3a634fd290877

Change the way how we track deployment

Use fuel2 for start deployment. Since it does not return progress
use deployment task to provide this information. Currently used
'deploy-changes' will behave the same:
https://bugs.launchpad.net/fuel/+bug/1565026

Try to handle situation when nodes temporary go offline. With
deploy-changes environment still was in 'new' state in this situtation
which causes timeouts from jenkins.

JIRA: FUEL-196

Change-Id: I6548a5ec807551388e845044c282b7af32eb9100
Signed-off-by: Michal Skalski <mskalski@mirantis.com>

Merge "Add grub template to cobbler for MAC-files"

Add grub template to cobbler for MAC-files

Change-Id: I9812066f2954cc02a49bfa19dbe9fc74b055e78d
Signed-off-by: Matei Valeanu <Matei.Valeanu@enea.com>

Updated armband
Project: fuel  34a15524a89ed6cd350c42be07754901dfe244f8

deploy: fix: remove storage files during cleanup

Remove old disks through virsh instead of calling os.delete()
methods so that the cleanup phase would succeed within a non-root
setup. [1]

Related-bug: ARMBAND-128

[1] https://gerrit.opnfv.org/gerrit/#/c/19491/

Change-Id: I90007edf014c7e15a68b9a334fcaffaa127ee4ab
Signed-off-by: Stefan Sicleru <stefan.sicleru@enea.com>

Updated armband
Project: fuel  029b03673f5add0eae91980574382af89698b1b2

Added Alexandru Avadanii as committer to Fuel@OPNFV

A Majority of the Fuel@OPNFV committers have voted for Alexandru as committer:
Those include:
Michal Skalski
Jonas Bjurel
Greg Elkinbard
Stefan Berg
Daniel Smith

No one voted 0 or -1

Change-Id: Ib477ba126be438a11b409a85805a71734bf1a679
Signed-off-by: Jonas Bjurel <jonas.bjurel@ericsson.com>

Updated armband
Project: fuel  e27619c3b2c926b7ff04d1c555db9d912983027f

Updated committer list

Change-Id: I5f22080edf695cef3c6fd24ff0f62b02a1dbc0af
Signed-off-by: Jonas Bjurel <jonas.bjurel@ericsson.com>

Updated armband
Project: fuel  1d4f96facadd5458a87a4d68b0b5298ca47cd1fd

[odl] Get latest changes

* Fix setting bgpd password with puppet
* Enable G1 garbage collector
* Adding caching possiblity
* Add firewall resource that opens BGP ports

Change-Id: I8f779ba7356acf52967e594a1a213edf192962fc
Signed-off-by: Michael Polenchuk <mpolenchuk@mirantis.com>

Updated armband
Project: fuel  e698d34beb1fd517db610d1e91f246a123b84c71

Templater can now read files from URLs

Change-Id: I34b81379f7e77743e64bbf4ae814b6cd296f2428
Signed-off-by: Peter Barabas <peter.barabas@ericsson.com>

Updated armband
Project: fuel  5264d80bb4b6e5434a27faf784503dabdf691a45

Refactoring

 - Move function definition to its place
 - Add main function

Change-Id: I9dd71dd2da0579e04841c9efc80f2770d0182b10
Signed-off-by: Peter Barabas <peter.barabas@ericsson.com>

Updated armband
Project: fuel  3f1fd8b9a96e2ce7bbaa53d89fe19404590e5bd4

Change prints from statements to function calls

Change-Id: I378baa85bd9e1b9b535a2d4e9c8dcb34a267a6e5
Signed-off-by: Peter Barabas <peter.barabas@ericsson.com>

deploy: Reduce Fuel Master VM resources

Fuel Master VM template has been updated to use:
- 4 GB RAM (was 8 GB RAM);
- 2 VCPUs (was 8 VPCUs);

Related-bug: ARMBAND-98

Change-Id: Ib95e87e8ed0035b2a7e69a95f67a4046d724d624
Signed-off-by: Alexandru Avadanii <Alexandru.Avadanii@enea.com>

Merge "Emergency patch - fixed broken links"

Emergency patch - fixed broken links

Change-Id: I4ec0cf95d714cbc476f73fbc4b90fd039dbd973e
Signed-off-by: Jonas Bjurel <jonas.bjurel@ericsson.com>
Signed-off-by: Alexandru Avadanii <Alexandru.Avadanii@enea.com>

Updated armband
Project: fuel  61d9f66916fe7cacc1df25438b4060b9f3c9402d

Emergency patch - fixed broken links

Change-Id: I7aea7c06775cac3efeb22d2256c7acf6fbb137d5
Signed-off-by: Jonas Bjurel <jonas.bjurel@ericsson.com>

Updated armband
Project: fuel  9bef631e4d7189607540598b0b08f13e861b9410

Fix: ISO build omits long path files

make iso generates:
libisofs: WARNING : File "/ubuntu/pool/main/libj/\
libjs-twitter-bootstrap-datepicker/libjs-twitter-bootstrap-\
datepicker_1.3.1+dfsg1-1~u14.04+mos1_all.deb" can't be added
to Joliet tree, because its path length is larger than 240

At the end this package is missing in latest ISO.
NOTE: This issue is only triggered on certain kernels during build.

Closes-bug: FUEL-190

Change-Id: I21f7f1cbe3f64317d2feb66e371611a654cf30f8
Signed-off-by: Alexandru Avadanii <Alexandru.Avadanii@enea.com>

Updated armband
Project: fuel  27dea87b1a33872712008b4423e51f19712ce7c9

[performance] Disable keystone token revoke

Change-Id: I6db0bfaab5462a9a8f8de64bc1b088607d407bab
Signed-off-by: Michael Polenchuk <mpolenchuk@mirantis.com>

Updated armband
Project: fuel  3e506f9248f2a64a8a30c832049df392b01fcb4e

Temporary Hardcoded Ubuntu repo

Meanwhile we're investigating the issues with Ubuntu repo mirror selection,
we will hardcode the Ubuntu repo mirror

Change-Id: I776bd3a8a72dc87e00052e8ff965de1134293c7a
Signed-off-by: Jonas Bjurel <jonas.bjurel@ericsson.com>

Updated armband
Project: vswitchperf  6dfabefd6cac3cd4b8fd29abf5a5b6ab9e6ae956

paths: Support binary packages

Currently VSPERF supports OVS, DPDK and QEMU built
from the source code only. In some cases it is required
to support installation of these tools from binary packages
available for given linux distribution. Thus VSPERF
configuration and code was modified to suport both source
and binary versions of tools. This can be configured perf
tool, so various combinations of source and binary version
are supported.
Together with new configuration also a handling of kernel
modules was modified to automatically detect and load module
dependencies.

JIRA: VSPERF-340
JIRA: VSPERF-339

Change-Id: I855cb438cbd8998bdc499613ea5e7de2526299d7
Signed-off-by: Martin Klozik <martinx.klozik@intel.com>
Reviewed-by: Maryam Tahhan <maryam.tahhan@intel.com>
Reviewed-by: Al Morton <acmorton@att.com>
Reviewed-by: Christian Trautman <ctrautma@redhat.com>
Reviewed-by: Bill Michalowski <bmichalo@redhat.com>
Reviewed-by: Otto Sabart <osabart@redhat.com>

Updated armband
Project: fuel  53e6d97c9157f1e908d99dcca1207de23ea73132

[KVM] Install plugin in post-deployment

JIRA: FUEL-171

Change-Id: Iead815ba2da76493f108ad71bc32cff265302b55
Signed-off-by: Michal Skalski <mskalski@mirantis.com>

Rebase: updated blacklist for Ubuntu mirrors

Change-Id: I404791b14603b4ebdd0be1010412ec77cf75a478
Signed-off-by: Alexandru Avadanii <Alexandru.Avadanii@enea.com>

Updated armband
Project: fuel  e12aec84ef1767d4ba9469dfb12d65d928bf0ed4

Make sure to use only up-to-date mirrors

Whitewash the geographically "close" mirrors against the list of
fully synced mirrors - we've had a few instances of getting bad
mirrors which would break the script.

All credit goes to:

https://askubuntu.com/questions/39922/how-do-you-select-the-fastest-mirror-from-the-command-line

... and we should perhaps use the netselect tool as well somewhere down
the line, but this fixes the most urgent problem.

Change-Id: Ia61a2bd78657b28019f57fc1962d410e754e6d2a
Signed-off-by: Stefan K. Berg <stefan.k.berg@ericsson.com>

Updated armband
Project: fuel  65b7cfcd862a75be72fb98777190c49f8b6ea0d3

Repo tidy-up + licence scrubing

- Added licences and (c) to files not complying to Licence and (c) policies.
- Removed example templates not having correct licence claims and no longer being rellevant.
- Removed the Vagrant deployment method as it is not used, not rebased/up to date and not holding correct license claims.

Strategies used:
- Machine generated are not assigned an licence text, the licence follow from the source.
- Generated patch files are not assigned an licence text, the licence follow from the source.

Change-Id: I9763f076eae51fbb2d4e5cb8cacfa4bb6cf338cc
Signed-off-by: Jonas Bjurel <jonas.bjurel@ericsson.com>

Updated armband
Project: fuel  caee61817eb7f4235ca33a9da12f14a285f9e012

Enable ci off-line deployment

Updated dea_base to use locak repo mirrors for off-line deployment
NOT TO BE PART OF COLORADO.1

Change-Id: Ia8e2d716570267ed9a9e06e253b6a7b258ee26eb
Signed-off-by: Jonas Bjurel <jonas.bjurel@ericsson.com>

Merge "fuel-library: nova: AArch64: enable hugepage supp"

fuel-library: nova: AArch64: enable hugepage supp

This patch adds AArch64 to the hardcoded lists of valid
architectures for hugepage support.

Closes-bug: ARMBAND-90

Change-Id: I3765e6bc314393a58db70590f3890fde206e3feb
Signed-off-by: Veena Lingadahalli <vlingadahalli@mvista.com>
Signed-off-by: Alexandru Avadanii <Alexandru.Avadanii@enea.com>