Merge "[MaaS] Override failed testing by default" into stable/euphrates

[MaaS] Override failed testing by default

Some nodes fail automatic testing done by MaaS during commissioning,
although running the testing suites one more time manually works.
For now, just override all 'failed testing' nodes unconditionally.

[stable/euphrates cherry-pick additions]
Note: Since our salt formulas are pinned to 2017.12 repos, we
need to backport one salt-formula-maas patch merged upstream, which
adds support for translating status code '22' to 'Failed testing' [1].

JIRA: FUEL-333

[1] https://github.com/salt-formulas/salt-formula-maas/commit/08ffc3ff

Change-Id: I13d3ee3d82550524480aa53aa8752ab90aa940cd
Signed-off-by: Alexandru Avadanii <Alexandru.Avadanii@enea.com>
(cherry picked from commit 81561126307f15d4f65a743ed2431ea8c713a921)

Merge "[centos jump] Add more missing required packages" into stable/euphrates

[baremetal] Fix: wrong nic name idf index

This was only affecting pod deployments with
different board models, under the current limited
support:
- 3 KVMs will be same model and have the same NIC names
- 2 Compute nodes will be the same model and have same NIC names

For the computes nodes, br-mesh NIC name was wrong due
to incorrect idf mapping

Change-Id: I9685b35cb23b03be9fc0e6fe16c0712a9ad70e19
Signed-off-by: Guillermo Herrero <guillermo.herrero@enea.com>
(cherry picked from commit 378b4a72c27c941d5e37216edb23f224fbb58e26)

[centos jump] Add more missing required packages

- gcc is required for NBD kernel module build;
- gdisk is required for resizing rootfs in nbd-mounted chroot;

Change-Id: I8863c126b75ce3a15998c03d2d159f53f5006f5d
Signed-off-by: Alexandru Avadanii <Alexandru.Avadanii@enea.com>
(cherry picked from commit 59ced31f878c282fbeeaecfd0d29652b886882f8)

lib.sh: modprobe br_netfilter, don't bail on err

Some sysadmins or distro defaults might blacklist br_netfilter, or
it might not be loaded at deploy start, account for these corner
cases too.

JIRA: FUEL-334

Change-Id: I3ca6cb3848df8d2af1625ff4e3816efe8b320886
Signed-off-by: Alexandru Avadanii <Alexandru.Avadanii@enea.com>
(cherry picked from commit ec234a839dbd5eb8c615e1f6a3e34db64ef1c988)

deploy.sh: Disable net.bridge.bridge-nf-call

JIRA: FUEL-334

Change-Id: I6d2499053dcfb7f99593fcd5c948b569bdcb9c9b
Signed-off-by: Alexandru Avadanii <Alexandru.Avadanii@enea.com>
(cherry picked from commit 574021257b89eda2b431e51121bbb11bd9d54988)

Merge "[patch] Group APT calls for salt formula install" into stable/euphrates

[patch] Group APT calls for salt formula install

When installing salt-formula-* on cfg01, we used to call APT for
each package. Instead, handle them all at once.

While at it, stop using colored output on terminals that don't
support it (e.g. 'vt220' used by OPNFV Jenkins).

Change-Id: Ib8f2cee9638c43cdf648487bf05b07cd49802d3e
Signed-off-by: Alexandru Avadanii <Alexandru.Avadanii@enea.com>
(cherry picked from commit e1325bf5c526f063e7e16326ad6bfdd1c44d5fec)

[VCP] Catch 'no response' when adding ssh auth key

On rare occassions, one or more minions might fail to respond in due
time, so catch 'no reponse' using `wait_for`.

Change-Id: I8e6b0dc44a39e79c2874ff9a657e152620ba3f13
Signed-off-by: Alexandru Avadanii <Alexandru.Avadanii@enea.com>
(cherry picked from commit b254aef5a34c7fc96db5c0a330c757fe9d51be76)

[cfg01] apt.conf.d: Dpkg::Use-Pty: 0

This will silence all 'Reading database ...' noise during Salt formula
installation.

Change-Id: I734d727194e276443db1e1581f40ec494562196e
Signed-off-by: Alexandru Avadanii <Alexandru.Avadanii@enea.com>
(cherry picked from commit 80212433352a59be69f7c82bce8c297bca13eeaf)

[ovs/dpdk] Force up the float-to-ex link only

Force up br-ex to br-floating link instead of all networking
restart to avoid issues with existing interface routes.

Change-Id: I6b8204db6767e1fde964eb1913f885ecb06d0c28
Signed-off-by: Michael Polenchuk <mpolenchuk@mirantis.com>

Merge "deploy.sh: Retire simplest scenario fallback" into stable/euphrates

Merge "[baremetal] Fix cmp proto dhcp on PXE/admin" into stable/euphrates

lib.sh: Reduce useless wget dot reporting

Downloading the base image (usually a few hundred MB) outputs a lot
of useless dots to show progress. Switch to 1M per dot (from 1K).

Change-Id: I8c525cad0b46e8ba3a7f6da4dd7f8277a49df91f
Signed-off-by: Alexandru Avadanii <Alexandru.Avadanii@enea.com>
(cherry picked from commit 056544990dcdab373c5a12ca1521012e80c404ad)

[baremetal] Fix cmp proto dhcp on PXE/admin

Although we properly filter the PXE/admin interface in the common
openstack_compute_pdf.yml.j2 template and use DHCP instead of manual
setup, we failed to do the same in scenario-specific overrides
(ODL, OVS), so we end up with 'proto: manual' on PXE/admin on cmp
nodes.

The fix is trivial and reuses the mechanism in the common class in
scenario-specific templates (if interface is PXE/admin, use 'DHCP'
instead of 'manual').

This solves the issue of broken connectivity to Salt master after
cmp reboot.

Change-Id: I1953d03343190acb2efcab4412a3d37e130b0ea9
Signed-off-by: Alexandru Avadanii <Alexandru.Avadanii@enea.com>
(cherry picked from commit 19913423a73f5913f7aa12a0737b2d2d36639efe)

deploy.sh: Retire simplest scenario fallback

Previously, when a requested scenario was missing, we used to default
to the simplest scenario.
Now that we have a critical mass of scenario definitions, retire
this fallback mechanism.

Change-Id: I3ba6b04290806ff78b3ec22b90fa054d45602869
Signed-off-by: Alexandru Avadanii <Alexandru.Avadanii@enea.com>
(cherry picked from commit 87bc4497afc1c6ea09dadd6e2720a698aaacdb6e)

Rectify ODL repository apt key

Change-Id: Iaa917be9f8f86c328ce4d503923a0d7cca680434
Signed-off-by: Michael Polenchuk <mpolenchuk@mirantis.com>
(cherry picked from commit d081166c1cd7698416a7e5cd2ea871b038de35b8)

Merge "reclass: apt_mk_version: 2017.12" into stable/euphrates

[baremetal] Add upstream (lab) proxy support

If upstream proxy is defined in IDF, propagate it to pillar data:
- linux:system:proxy:keyserver:http(s) for cfg01, mas01;
- maas:region:upstream_proxy for mas01;

Sample IDF config:

idf:
  fuel:
    network:
      upstream_proxy:
        address: 10.0.2.2
        port: 3128

JIRA: FUEL-317

Change-Id: I12be815e1b4564227fb09c20ce06cd71e7d433b6
Signed-off-by: Alexandru Avadanii <Alexandru.Avadanii@enea.com>

[patch] system.repo: Add keyserver proxy support

Instead of defining a http proxy for all salt-minion traffic, which
also includes some Openstack API accesses we can't filter (no_proxy
is not yet supported), add & leverage support for proxy configuration
during APT keyserver access / key download.

JIRA: FUEL-331

Change-Id: I9470807633596c610cfafb141b139ddda2ff096b
Signed-off-by: Alexandru Avadanii <Alexandru.Avadanii@enea.com>
(cherry picked from commit 6ab6935577900e598ca60aaed14d2e73f7b1633f)

reclass: apt_mk_version: 2017.12

Although previous commit e3bc5ad changed the first reference of
apt-mk repos to '2017.12' from 'nightly', it missed the cluster model.

This fixes redeploys with `-f`, which fail due to conflicts between
already installed '2017.12' packages and 'nightly' ones.

Fixes: e3bc5ad

Change-Id: I854bac86feaaa61da0b68d158e270eec1ee0ccb7
Signed-off-by: Alexandru Avadanii <Alexandru.Avadanii@enea.com>

Retry cinder volume state

The service of cinder-volume restarts too quickly after package
installation with default/incorrect configuration and goes over restart
threshold, so systemd stops attempt to restart any further causing
state faulure. To fix it properly the RestartSec (i.e. restart delay)
param should be added into cinder-volume.service unit.

Change-Id: Ic8591e8ef52a3d439122f276d275e56bd2442ce6
Signed-off-by: Michael Polenchuk <mpolenchuk@mirantis.com>
(cherry picked from commit 1ea49591080442d8db86fff60031d3dc41142274)

Merge "docs: AArch64: Jumpserver min libvirt version" into stable/euphrates

docs: AArch64: Jumpserver min libvirt version

 - For the Jumpserver configuration
   Add bridge config
   Add Armband repository list for openstack ocata
   Add minimum libvirt version requirement
 - Fix various typo
 - Add option -S, -D in deploy script

JIRA: ARMBAND-337

Change-Id: Ic62819dbb28699cf8a2dba81b7d65a39e3f0b011
Signed-off-by: ting wu <ting.wu@enea.com>
(cherry picked from commit 8d6ea0ff12b6633b0edf6bbb0988360597efc57e)

[baremetal] Disable dhcp offered routes

Prevent dhcp client from setting an unwanted
default routes on compute nodes.

Conflicts:
mcp/reclass/classes/system

[stable/euphrates cherry-pick]
Drop reclass system submodule bump, only applicable to master.

Change-Id: I2529491bbc977647e5f457d5f1ba88b0cc4372ee
Signed-off-by: Michael Polenchuk <mpolenchuk@mirantis.com>
(cherry picked from commit 658418ea84e633f5f97a706a075d7e2f24127999)

Merge "[cleanup] Drop cfg01 node def for ODL L2" into stable/euphrates

Merge "[centos jump] Add missing dependency for nbd build" into stable/euphrates

[cleanup] Drop cfg01 node def for ODL L2

Remove obsolete ODL L2 top node definition, which currently breaks
`reclass-salt --top`.

Change-Id: Ic05f87dd7edea5b9f38e996bb02a3e1062caf98a
Signed-off-by: Alexandru Avadanii <Alexandru.Avadanii@enea.com>

[centos jump] Add missing dependency for nbd build

Change-Id: Icb23d2e6d3bb6e49b54e2d51cc8a35cb03702fcd
Signed-off-by: Alexandru Avadanii <Alexandru.Avadanii@enea.com>
(cherry picked from commit 60e790a986e64a47f4242766500f1aee6a3083ed)

lib.sh: base image: Prevent using incomplete img

In case the previous deploy attempt already copied the base image
as the VCP image in order to perform offline operations and failed,
leaving an incomplete image in place, current code might try to use
it instead of building it from scratch.

Use the hash-agnostic link names as checkpoints for successful image
handling.

Change-Id: I1e99e515e18ba1dec534c520811c127b2b528afe
Signed-off-by: Alexandru Avadanii <Alexandru.Avadanii@enea.com>
(cherry picked from commit 5878c5c0c2ca8c78e9a5124452eefe8290ab63cd)

lib.sh: Add delay after `kpartx -av`

On rare occassions, mapper bindings created by kpartx take longer
to show up, leading to errors when we try to mount them on.
Bring back the hardcoded delay to bypass such issues.

Change-Id: Ib386c04fc55cd85235a2156dba08fda378e4cdfd
Signed-off-by: Alexandru Avadanii <Alexandru.Avadanii@enea.com>
(cherry picked from commit 6b0d21a70be04666fd60a9d4b05d4ad13e192026)

lib.sh: Fix `modprobe -f` on Ubuntu

For some reason, `modprobe -f` for a clean nbd module (from vanilla
Ubuntu) fails with exec format error randomly, while a simple
`modprobe` works.

Change-Id: I79785e510cab757e2482baf442054be984c24019
Signed-off-by: Alexandru Avadanii <Alexandru.Avadanii@enea.com>
(cherry picked from commit 510a5fe446dea8513060813794c99e856eff1845)

lib.sh: Fix stop condition in wait_for

Change-Id: Ida693b6dd328db283d6992ac33500f4dd1a73eb8
Signed-off-by: Alexandru Avadanii <Alexandru.Avadanii@enea.com>
(cherry picked from commit 717cb4e0f8d9e430eb31ba643f95682f1592e509)

salt.sh: Fix linux state apply on cfg01

cfg01 does not repond or is not connected while trying to apply
linux state via salt.sh, use wait_for macro to account for this.

JIRA: ARMBAND-315

Change-Id: I2d4c63d43f806b65f9ce327f4a00a6334be88750
Signed-off-by: Alexandru Avadanii <Alexandru.Avadanii@enea.com>
(cherry-picked from commit 2bbab1873ef629e89ac92ec195feb15b86cf8295)

lib.sh: Extend wait_for function to catch no resp

wait_for function should be able to also check for minions that did
not return or not respond, in addition to the return code.
To keep it backwards compatible, condition the new check on the max
attempt number being specified in decimal format (e.g. '10.0' unlike
old '10').

Change-Id: If2512cf9121cdd795638efe7362ef0485d4e8d91
Signed-off-by: Alexandru Avadanii <Alexandru.Avadanii@enea.com>
(cherry picked from commit 3f559299c232bbb7639d02243c95d6256cdf94d4)

MaaS: Set commission/deploy timeouts via reclass

Allow end-users to easily change the MaaS commissioning/deploying
timeouts by simply editing the reclass model.
While at it, use arch-specific values and bump deploy timeout on
AArch64 to 20 minutes instead of 15.

Change-Id: I37ae434ecebdd64effb007baa06c722b1db15c66
Signed-off-by: Alexandru Avadanii <Alexandru.Avadanii@enea.com>
(cherry picked from commit ea6ecbb6fb546e27fcc73e699e08c6cad31d2bd0)

x86_64: Revert base, VCP kernel to 4.4/4.8

Commit 7bfb0ac switched both base and VCP images to using Ubuntu
kernel hwe-16.04-edge (4.13.x). Due to testing suites compatibility
issues, switch back to:
- default Xenial kernel (4.4.x) for base image;
- hwe-16.04 (4.8.x) for VCP image (similar to Mirantis image);

Fixes: 7bfb0ac

Change-Id: I458c42124efa6eda765774fe05cab402d6111f82
Signed-off-by: Alexandru Avadanii <Alexandru.Avadanii@enea.com>

user-data.template: Remove salt-minion install

salt-minion is now pre-provisioned inside the image using qemu-nbd.
Revert "lib.sh: Limit envsubst to certain variables"

This reverts commit 3a76d07dbd409b781abdb8520f55a1b20edf07db.
Change-Id: Icceb8bcf439e28ab01c7731c3602c1113290454d
Signed-off-by: Alexandru Avadanii <Alexandru.Avadanii@enea.com>
(cherry picked from commit fac41836e91dd56696c3a435bfdbc7adf53899e2)

lib.sh: Cache base image(s) between deploys

Fingerprint and re-use base image artifacts.

Change-Id: Ic7a73c04e27d25addd50e4e9880619a0028956d3
Signed-off-by: Alexandru Avadanii <Alexandru.Avadanii@enea.com>
(cherry picked from commit 1815bdaf0c1765cc1fcb48031f8291409861b0b2)

deploy.sh: Print sysinfo

JIRA: FUEL-323

Change-Id: I0dcbcfbedc7e9ef013ca50dcc08f804323f91701
Signed-off-by: Alexandru Avadanii <Alexandru.Avadanii@enea.com>
(cherry picked from commit 3aa172fb1659925a837b432649793f9f1f46cca9)

Revert "[baremetal] Retire mas01 NAT"

Although deploy works now without direct internet access on
the cluster nodes, testing suites seem to require it.

This reverts commit ed209426e895c7c323d253afd6276bb74df64da0.
Signed-off-by: Alexandru Avadanii <Alexandru.Avadanii@enea.com>
Change-Id: I35489e18fdd6a4ee6a270e42a3542e5a370bf819

Merge "[baremetal] ODL: Move ODL VCP VM to kvm02" into stable/euphrates

[baremetal] ODL: Move ODL VCP VM to kvm02

Balance VM distribution on the 3 kvm nodes, as kvm02 has 4 VCP VMs
while kvm{01,03} have 5 VCP VMs each (without ODL).
Instead of spawning the ODL VCP VM on kvm03, move it to kvm02.

Change-Id: Id03b9453ee7c15cd6785c0bc073a38b87034aede
Signed-off-by: Alexandru Avadanii <Alexandru.Avadanii@enea.com>
(cherry picked from commmit 62135fd2367ced881bf99dc157fdb4536633d4a0)

deploy.sh: Silence cleanup output

Cleanup sequence might print some warnings/errors that are misleading
for new users, so let's silence them.
While at it, remove unused `cleanup` function stub.

Change-Id: Ic4225f7d4b701cd15d96e1bfc5eecfe2c4291eb6
Signed-off-by: Alexandru Avadanii <Alexandru.Avadanii@enea.com>
(cherry picked from commit 84f131b32ac510097c3aac321fb1ca67bafc8941)

[baremetal] Fix Pike reference, should be Ocata

Change-Id: Ifb5216818f67f859d55ccf253eb84101cac0dab4
Signed-off-by: Alexandru Avadanii <Alexandru.Avadanii@enea.com>

[centos jump] nbd build: Fix REQ_TYPE_SPECIAL

Change-Id: Ia514418d2aae1b4f7e752d4610fa6c9829c67e51
Signed-off-by: Alexandru Avadanii <Alexandru.Avadanii@enea.com>
(cherry picked from commmit 84f58189f269be6633e0c8897d5624d3dfaaa650)

[centos jump] Add nbd build support

RHEL distros do not maintain nbd, so add a best-effort function
to build it on the fly.

Change-Id: Ie0419f0fed8a0b12f6b878b3093d6ca34f72d140
Signed-off-by: Alexandru Avadanii <Alexandru.Avadanii@enea.com>
(cherry picked from commmit 924d481ac84e8fad9bf1132e1cff18967887017e)

[baremetal] Switch VCP base image to UCA

Since Mirantis prebuilt image comes with salt-minion 2016.3 instead
of 2016.11 and upgrading it leads to a hard to break catch-22, use
the Ubuntu cloud archive image we already download for FN VMs and
pre-install:
- a newer kernel (hwe-edge);
- salt-minion (2016.11);
This also implicitly aligns the image handling on AArch64 and x86_64.

Change-Id: I86d1c777449d37bdd0348936a598e3ffe9d265af
Signed-off-by: Alexandru Avadanii <Alexandru.Avadanii@enea.com>
(cherry picked from commit f37103b4d60f057f653e0e5e8b7c6c3023a95b2d)

deploy.sh: Fix missing space in dependencies list

Change-Id: I4d41ff8b9f7c1b59a2c1a400b9335f17b8c542be
Signed-off-by: Alexandru Avadanii <Alexandru.Avadanii@enea.com>
(cherry picked from commit 4d4149faa5604836931c039ad1922f95a764bb76)

deploy.sh: Factor out pkg deps into yaml files

Instead of hardcoding the packages to install on the jumphost at
deploy time in `ci/deploy.sh`, move the requirements list to a
dedicated yaml file, so it is decoupled from actual code.

While at it, add missing deps:
- ipxe-qemu (AArch64 Ubuntu only);

Change-Id: I9ee5c0796b70f9d29427d608b6415333c8841e1e
Signed-off-by: Alexandru Avadanii <Alexandru.Avadanii@enea.com>
(cherry picked from commit b57cd65121f61114432b07c04106fc4b8609440e)

base image: Explicitly call kpartx

qemu-nbd currently available in CentOS 7 does not add partition
mappings automatically for NBD devices, so add explicit `kpartx`
calls.

Change-Id: Ifa79c89b82024602b782c449dbf4de10899e03b5
Signed-off-by: Alexandru Avadanii <Alexandru.Avadanii@enea.com>
(cherry picked from commit 5c890d60fff57b624358f4d4be6865862f4f8415)

AArch64: base image: pre-install salt-minion

While at it, rename apt repo in foundation node user-data template
from "salt" to "saltstack", to align with reclass model naming.

Change-Id: I5b216492349ae187b568884b1ab4046c52b1c6b2
Signed-off-by: Alexandru Avadanii <Alexandru.Avadanii@enea.com>
(cherry picked from commit feb877785544a31a18ae2f0ee2900a82e7ac4337)

Add pre-{install,purge} support for base image

Extend <lib.sh> and its invocation from <ci.deploy.sh> with
support for modifying foundation node VMs base image prior to
using it with:
- additional APT GPG keys;
- additional APT repos;
- packages to pre-install;
- packages to pre-remove;
- (non-configurable) cloud init datasource via NoCloud only,
  so VCP VMs won't wait for metadata service;

While at it, re-use the resulting image as a base for another
round of pre-patching (same operations as above are supported)
to provide a base image for VCP VMs.

Add AArch64-specific configuration based on new mechanisms:
- pre-install linux-image-generic-hwe-16.04-edge (and headers)
  for foundation node and VCP (common) image (also requires new
  repo and its key);
- pre-install cloud-init for VCP image (it should already be
  installed, but script needs non-empty config for VCP to create
  the VCP image and transfer it over to Salt Master);

NOTE: cloud-init is required on VCP VMs for DHCP on 1st iface.

JIRA: FUEL-309

Change-Id: I7dcaf0ffd9c57009133c6d339496ec831ab14375
Signed-off-by: Alexandru Avadanii <Alexandru.Avadanii@enea.com>
(cherry picked from commit 6ead32f737f39e3d82e1484a9d31f07ed2daeadb)

[baremetal] Move include.proxy yml to proper dir

Change-Id: Id46b454b224dacdbaf675155c949d0998f0d0036
Signed-off-by: Alexandru Avadanii <Alexandru.Avadanii@enea.com>

[baremetal] curtin: Bump salt-minion to 2016.11

By default, MaaS formula will install Salt minion 2016.3 via curtin
on physical nodes. 2016.3 does not properly support proxy_host
config option, causing timeouts during `linux.system.repo` SLS apply.

Change-Id: I3d6245f0d4b425170c43b3b62a21ad9acc6cb97e
Signed-off-by: Alexandru Avadanii <Alexandru.Avadanii@enea.com>
(cherry picked from commit 6e0e518d43cecfb8f981dbd51326d8eae103720c)

[baremetal] Retire mas01 NAT

Isolate networks by retiring NAT on mas01; also cutting direct
internet access from cluster nodes that are not facing the public
network (prx, cmp).

NOTE: Since we are removing mas01 NAT, VCP VMs (except prx which have
public IPs) and kvm nodes (cmp also have public IPs) will no longer
have direct internet connectivity.
Cluster deployment and operations will work without it, but if it is
required for different reasons, the MaaS proxy could be enabled by
uncommenting the /etc/enviroment section in:
- cluster.baremetal-mcp-pike-common-ha.include.proxy.yml

JIRA: FUEL-317

Change-Id: I5ed8b420296b27df34a54ec1ebd7b7cf58041425
Signed-off-by: Alexandru Avadanii <Alexandru.Avadanii@enea.com>
(cherry picked from commit 9a6e655e0b851ff6e449027c01ac1a66188b0064)

[patch] Fix OVS ifup workaround

Do not assume routes are on the same OVS port as the one currently
being configured. Instead, apply the `unless` ifup condition for
any OVS port.

Change-Id: Iea8084f9e50401d300feb7ed16f90b430680cac5
Signed-off-by: Alexandru Avadanii <Alexandru.Avadanii@enea.com>
(cherry picked from commit b1849f630a8de3dfce2e91fc375d9e901b90843b)

[baremetal] heat: Switch metadata API URL to mgmt

Prepare for decoupling management from public (drop mas01 NAT):
- ctl: change heat URLs to use new management VIP instead of public;

Change-Id: I8e220ee37bd4177c3afd58a9ee401f815d046706
Signed-off-by: Alexandru Avadanii <Alexandru.Avadanii@enea.com>
(cherry picked from commit d39aaa2b7312c91e6a1851f357cf1d087619cbda)

[baremetal] prx: Add management network VIP

Include `openstack_web_public_vip` class for setting up the
old VIP in the public network, use old class for mgmt VIP.
Also change the generic hostname 'prx' to point inside mgmt net.

Change-Id: Iff69394f16ede290d149a26b054a85371f00f8e0
Signed-off-by: Alexandru Avadanii <Alexandru.Avadanii@enea.com>
(cherry picked from commit 29c64b73f749364867be78a474410fe062eba99e)

docs: diagrams: Add PXE/admin on cfg01

Refresh diagrams to reflect that the internal network is not used
anymore on jumpserver after PXE/admin was hooked to cfg01.

Change-Id: I4c162d59824e182bc76c0a395742050544e95291
Signed-off-by: Alexandru Avadanii <Alexandru.Avadanii@enea.com>
(cherry picked from commit bb3a642e783b59ae2decb3b73d91f5bfca3afaef)

[baremetal] MaaS: Enable HTTP proxy

Instead of using NAT on the mas01 node for all cluster node outgoing
traffic, use the MaaS built-in proxy for APT traffic to leverage its
caching capabilities too.
Also enable the proxy for salt minions, so they can access public
keyservers et al.
Cleanup public DNS from kvm nodes, interferes with MaaS proxy.

Add example config for global env proxy, but don't enable it:
- default environment settings - /etc/environment (via reclass);

The MaaS proxy will not be used (at least for now) on nodes:
- cfg01;
- mas01;

NOTE: We can't yet drop the maas.pxe_nat state completely, as certain
Openstack services are still accessed via public addresses from ctl
nodes.

JIRA: FUEL-317
JIRA: FUEL-318

Change-Id: I6c5f6872bb94afb838580571080e808bc262fc68
Signed-off-by: Alexandru Avadanii <Alexandru.Avadanii@enea.com>
(cherry picked from commit 90c0b369c01a2185fe86651f8ad9e0a172d6941d)

[baremetal] cmp: Add missing public gw (default)

When we dropped the default gw via mas01 NAT, we uncovered a bug,
compute nodes do not have the proper public gw set up and used
to reach public network via mas01, slowing everything down.
Add gw similar to prx nodes.

Fixes: d4ab072

Change-Id: I4343c31c376a7a223670cdd623366454396d8d92
Signed-off-by: Alexandru Avadanii <Alexandru.Avadanii@enea.com>
(cherry picked from commit e9d597db3a9e8a38577908f36f5f700e875d4d78)

[maas] artifact sync: improve barrier condition

Simplify wait condition for MaaS service up, since it's fragile
and often adds extra time when not really needed.
Instead, retry starting boot image import right away.

Change-Id: I131d6c82127449cecf6685d4cc7484a366e658c6
Signed-off-by: Alexandru Avadanii <Alexandru.Avadanii@enea.com>
(cherry picked from commit fedeebd6ee0e3a342777812b7ea90bd4988787ad)

[vcp] Catch 'no response' of salt minion as well

Salt minion could return 'no response' and cause an
unconfigured state of the vcp node(s), so catch this output after linux
state as well. Also clean up excess route on proxy nodes.

Change-Id: I3183fa09ff41a8f027ee789869bdae0c3962ab8f
Signed-off-by: Michael Polenchuk <mpolenchuk@mirantis.com>
(cherry picked from commmit a183db4b3404bd12073b5691eb5d4fbd8135b44b)

[maas] Set edge hwe kernel as a default minimum

Change-Id: I360dcb675c90b6f20687979ebc493afe6682c821
Signed-off-by: Michael Polenchuk <mpolenchuk@mirantis.com>
(cherry picked from commit 8494ec245aa24f00f2412d0f9d1e1e32591708d7)

[baremetal] Move salt master IP to PXE/admin

Use PXE/admin network for salt traffic from/to all minions
except cfg01, mas01.
This allows us to drop the route to admin net from cfg01.

Change-Id: Ic2526f1ff77afe5d92ced900971f4c8f78d2d8a2
Signed-off-by: Alexandru Avadanii <Alexandru.Avadanii@enea.com>
(cherry picked from commit d4ab072aeab143ce72e4b81122d4580915a4ad1a)

Move VCP iface config to own yml

- move linux.network.interface definitions to their own classes, which
  also removes the previous requirement of defining {dhcp,single}_nic
  parameters in classes that don't actually use them;
- drop now useless {dhcp,single}_nic parameters;
- expand linux_{dhcp,single}_interface macros, since they cause issues
  with reclass dict-merge while attempting to override sub-vars (i.e.
  it's not possible to set 'enabled: false' via reclass interpolation);

JIRA: FUEL-310

Change-Id: I29d921f545e761de335a60e242a4523d13b06c78
Signed-off-by: Alexandru Avadanii <Alexandru.Avadanii@enea.com>
(cherry picked from commit 2fc4b8890ef1ad456ac1ff421f33e005ae0484be)

PDF: reclass: Rename template file suffix to _pdf

Init is a generic suffix which also collides with pre-existing files.
A distinct suffix (e.g. _pdf) should be used.

JIRA: FUEL-310

Change-Id: I919a5394e7ff432ee86d10bafe889aeadb181649
Signed-off-by: Alexandru Avadanii <Alexandru.Avadanii@enea.com>
(cherry picked from commmit fda7372a1bffe11fc7a199ad3d4344c1b9e57e57)

states: Rename openstack, add baremetal_init

To align with new cluster naming convention, rename 'openstack'
state file to 'openstack_noha'.
While at it, factor out baremetal setup from 'virtual_control_plane'
into a new state that will be reused in upcoming scenarios, remove
useless sync_all (automatically done after node reboot).

FUEL-310

Change-Id: I6d7e5db8f09305f2fd8eeca0199a2e85b08d2202
Signed-off-by: Alexandru Avadanii <Alexandru.Avadanii@enea.com>
(cherry picked from commmit 52e37b795bb975b1cb3bf1f684b009848c50a2d6)

baremetal: openstack_proxy: Rename iface dicts

Later we will want to merge multiple openstack_* classes, which would
try to merge the 'single', 'dhcp' interface definitions and fail due
to mismstached types (proxy has 'dict' types while the rest do not).
Let's rename the proxy iface definitions to prevent that.

JIRA: FUEL-310

Change-Id: I1be18ddbbeae1bb3ee6de9bd783ee57b185cd477
Signed-off-by: Alexandru Avadanii <Alexandru.Avadanii@enea.com>
(cherry picked from commmit 93b36a416f9e5f4e8828ec9544ded29f1bb82098)

baremetal: Use common database_init, control_init

While at it, delete unused haproxy_openstack_api.

JIRA: FUEL-310

Change-Id: I01953b01624fe3e9da8074239d20056f3762efc7
Signed-off-by: Alexandru Avadanii <Alexandru.Avadanii@enea.com>
(cherry picked from commit 6641403cbe2aaaaf61c2aecef4ec251f327ebee0)

Rename reclass models to add "-ha" or "-noha"

Parse all reclass j2 templates, not only common + current scenario
(useful when adding new scenarios later).

JIRA: FUEL-310

Change-Id: I8e87af702f83c42cb8f766bf6f121449aa5f2c26
Signed-off-by: Alexandru Avadanii <Alexandru.Avadanii@enea.com>
(cherry picked from commit 09dce2a2643223d66aa1ac3a0ad8feebc082f521)

[baremetal] MaaS: Fix DHCP dynamic range (2)

- reduce range to silence bogus MaaS warning about address exhaustion;
- regenerate pod_config.yml.example to reflect the changes;
- drop `opnfv_infra_maas_pxe_address` (duplicate of
  `opnfv_infra_maas_node01_deploy_address`);
- add `opnfv_infra_config_pxe_address` for future usage;

JIRA: FUEL-316

Change-Id: I981fc8c7c550c2917b07dd5f2c83896def013fa7
Signed-off-by: Alexandru Avadanii <Alexandru.Avadanii@enea.com>
(cherry picked from commit 215a37d55356333f9fd0a96118c9a00d588eca62)

[maas] Adjust deployment order/timeouts

Change-Id: I9dbb51ce2387450e4ae19f8b3444f5e52cfdc71d
Signed-off-by: Michael Polenchuk <mpolenchuk@mirantis.com>
(cherry-picked from commit 52bd5a8f6c5b27ec3070625a51aea8ff85f5a8db)

[baremetal] MaaS: Reduce timeout values

`maas_fixup` is already re-entrant, so we can execute it more than
once during a commissioning/deploy cycle. Reduce the timeout waiting
for all nodes to reach a stable state, so nodes stuck in 'Ready'
state instead of reaching 'Deploying' get dealt with sooner (~5 min
vs old 30 min).

While at it, let `maas_fixup` handle machine deploy as well, so we
can catch nodes stuck in 'Ready' state and re-trigger the deploy.

Change-Id: Id24cc97b17489835c5846288639a9a6032bd320a
Signed-off-by: Alexandru Avadanii <Alexandru.Avadanii@enea.com>
(cherry picked from commit 8da73521d3b9347a982ea6e77114bba0d0f0adeb)

salt.sh: Use salt-call to apply linux sls on cfg01

Also, retry applying linux high state up to twice, due to rare
spurious failures with 'No reponse' status.

Change-Id: Ic7839a5c9501673cb127412136afb91e05f87a7e
Signed-off-by: Alexandru Avadanii <Alexandru.Avadanii@enea.com>
(cherry picked from commmit 4509936347b429fb36a27844a63d808f057fd61e)

[baremetal] Move all MaaS PXE net config to PDF

- s/opnfv_maas_pxe_/opnfv_infra_maas_pxe_/g to align with other vars;
- patches: pharos: Add MaaS PXE network to installer adapter;
- runtime.yml{,.template}: move to installer adapter, update
  pod_config.yml example;
- drop MAAS_PXE_NETWORK global env var, now read strictly from PDF;

JIRA: FUEL-313

Change-Id: I46d7510bd53fba7890c411d36bc28fd6ff6f3648
Signed-off-by: Alexandru Avadanii <Alexandru.Avadanii@enea.com>
(cherry picked from commit 15e982f0d00dbcc72be2f5b25dab34b3f3efd912)

patches: Squash maas region changes

When re-deploying with `-f` flag, `patch -R` cannot cleanly revert
maas region changes with overlapping context lines, so squash them
into a single file.

Change-Id: I87dae72a12fea833e9e6729de21d4ce5f262695e
Signed-off-by: Alexandru Avadanii <Alexandru.Avadanii@enea.com>
(cherry picked from commit d68bdf31c1c7d2d29f3524915f6a347f8d0567f5)

[netconfig] APT: Prefer ipv4 connections over ipv6

Ubuntu prefers ipv6 connections therefore in some networks, this
breaks software updates (it does a AAAA DNS lookup before A record
lookups). Let's prefer old style ipv4 connections over the new ipv6 in
order to save some processing and resource utilization.

Based on previous work from [1] (but without /etc/gai.conf, only APT).

[1] https://review.openstack.org/#/c/462502/

JIRA: FUEL-321

Change-Id: Ic3dff3baa1c0be9ac95972557d6a2d26641bfe1b
Signed-off-by: Alexandru Avadanii <Alexandru.Avadanii@enea.com>
(cherry picked from commit 4d604967adde375eb24ae165aff83c11be89ca30)

ci/deploy.sh: maas: cleanup_uefi on env erase

Running `ci/deploy.sh -EE` should also perform an UEFI boot option
cleanup, otherwise we risk booting the previously installed OS.

While at it, reduce delay between nodes removal and fix a rare failure
for `-EE` when no nodes are defined in MaaS.

Change-Id: I789ffd3e22545921216f7d5ee3509c76354542eb
Signed-off-by: Alexandru Avadanii <Alexandru.Avadanii@enea.com>
(cherry picked from commit 15173a83dba08729e62da277b9165677323675d8)

salt: Use apt-mk '2017.12' distribution

'nightly' repo dist from apt-mk is broken, so switch to '2017.12'.

Change-Id: Ie12dfc2a499910b8b98a63886ba16044e66435f5
Signed-off-by: Alexandru Avadanii <Alexandru.Avadanii@enea.com>

[baremetal] MaaS: Fix DHCP dynamic reserved range

- patch MaaS to default to `DHCP` instead of `AUTO` for physical
  PXE interfaces (all IPs will be handed out by MaaS DHCP *inside* the
  defined dynamic DHCP IP range);

JIRA: FUEL-316

Change-Id: I81fad333e77f7c8508cd2b2b267c7b39c130e3e1
Signed-off-by: Alexandru Avadanii <Alexandru.Avadanii@enea.com>
(partially cherry picked from commit 215a37d5)

Merge "[baremetal] idf support for different board types" into stable/euphrates

[baremetal] idf support for different board types

This modification enables having different models of target nodes
but restricts them to two groups of the same kind assuming:
 - 3 KVMs will be same model and have the same NIC names
 - 2 Compute nodes will be the same model and have same NIC names

This is an ad-hoc change for arm-pod7. Will work for all other setups
but the jinja2 logic should be evetually extended to support a per
board approach, allowing any board to be any kind

Change-Id: Ie994d661e3dbe5b9a33d290a850a6152cf320c86
Signed-off-by: Guillermo Herrero <guillermo.herrero@enea.com>
Signed-off-by: Alexandru Avadanii <Alexandru.Avadanii@enea.com>
(cherry picked from commit ee149500e0e6bde0152aa56140046a2d1b995eb4)

patches: Drop salt ver sync patch, now upstream

Upstream pull request [1] was merged, drop out patch.

[1] https://github.com/salt-formulas/salt-formula-salt/pull/64

Change-Id: I7aac66349a4bec718f7821b75dbad711cd6acd58
Signed-off-by: Alexandru Avadanii <Alexandru.Avadanii@enea.com>
(cherry picked from commit 8fbafdf8a665fb8fff4d6f9f14c343e109c122ec)

Add tutorial for reclass-doc tool in documentation

JIRA: FUEL-293

Change-Id: I2612e8d63875dca4d05f8c30db24a5ae84cc8dea
Signed-off-by: Charalampos Kominos <Charalampos.Kominos@enea.com>
Signed-off-by: Cristina Pauna <cristina.pauna@enea.com>
Signed-off-by: Alexandru Avadanii <Alexandru.Avadanii@enea.com>
(cherry picked from commit 94954c13104b7f7e3bd04a7b5fdbae84a93457ac)

Update release notes for 5.1

The release notes are updated with relevant Jira filters and
changes since 5.0

Change-Id: If14cb0369ced899d17608ef43e93b848e8b2a5c8
Signed-off-by: Cristina Pauna <cristina.pauna@enea.com>
(cherry picked from commit fcb2fd879b9770bc5dd84507895be7d58f02d4ae)

[ovs/dpdk] Split out networking restart action

In common openstack_ha state the networking service restart
has no expected effect, so split it out into the detached
post-deployment state.

Change-Id: Iaaae0cd048474667895b7abf2a77196ee3dee14b
Signed-off-by: Michael Polenchuk <mpolenchuk@mirantis.com>

Revert "[baremetal] Migrate public bridge to ovs"

Vlan tagging on ovs+linux ports doesn't work as expected.
This reverts commit c3316c713c936b154b979aa985a400f4b791c0cb.

Change-Id: I339cd741c83781e4a946bfde40f7f2551bb9cf02
Signed-off-by: Michael Polenchuk <mpolenchuk@mirantis.com>

pod_config: cleanup: Drop infra_compute_*_address

Our PDF installer adapter defines 3 unused reclass params that are
misleading, so drop them (infra_compute_node{01,02,03}_address).

Change-Id: I0ca49b73add543c8f03b14ed4d805ce55f973bb5
Signed-off-by: Alexandru Avadanii <Alexandru.Avadanii@enea.com>
Signed-off-by: Michael Polenchuk <mpolenchuk@mirantis.com>
(cherry picked from commit e48d4876833270b9139ca8196eef2c13f44effcc)

patches: pharos: Bump & drop upstream patches

All our staged patches for Pharos repo are now upstream, so bump
the git submodule and remove the patch files.

Change-Id: I0d68eb3bdd9abfa286c3640acc1f13ce6100801d
Signed-off-by: Alexandru Avadanii <Alexandru.Avadanii@enea.com>
(cherry picked from commit 33d945e3045f68ea7cbd2f1b8d01618cb3fed23c)

Merge "[baremetal] Migrate public bridge to ovs" into stable/euphrates

Merge "submodule: pharos: Bump to fix run without eyaml" into stable/euphrates

submodule: pharos: Bump to fix run without eyaml

Most Fuel PODs do not use encrypted PDFs, so bump Pharos git
submodule to include updated `generate_config.py` to silently
skip decryption in case eyaml is not installed.

Change-Id: I845a32c7001123a93e38197e0daf53d18c797aed
Signed-off-by: Alexandru Avadanii <Alexandru.Avadanii@enea.com>
(cherry picked from commit 8c15c3675d57bfaed9c6923ed8adfdb6879fea49)

[baremetal] Migrate public bridge to ovs

Get rid of "ovs-to-linux" links, instead of this setup native ovs
bridge for public interface and link it with neutron external bridge.

Change-Id: I483881e78f22fc035107a622307d95761c4a5667
Signed-off-by: Michael Polenchuk <mpolenchuk@mirantis.com>
(cherry picked from commit bcba227e4947bf1e6976b2a743b87c28ae9645c9)

states: maas: Stop using maas-stable PPA

Currently, Xenial repos provide MaaS 2.2.x, while the PPA bumped it
to 2.3.x. Since we switched to 2.3, we observed a rare wrongful state
transition from 'Deploying' back to 'Ready'.
Drop the PPA, falling back to 2.2 from mainline distro repos.

JIRA: FUEL-312

Change-Id: I3daa118059f37cbeca076da685661c28f3a28a97
Signed-off-by: Alexandru Avadanii <Alexandru.Avadanii@enea.com>
(cherry picked from commit 9da33bc85d681950a09452f28ca39df2108b0b56)

Merge "[baremetal] PDF: Use net_admin for MaaS PXE net" into stable/euphrates

[baremetal] PDF: Use net_admin for MaaS PXE net

While at it, fix another small issue where a variable
(parameters__param_opnfv_maas_pxe_address) was used without being
populated (defined in 'runtime.yml', which is not read using
`parse_yaml`, like the scenario yml or the PDF expanded class,
pod_config.yml).

JIRA: FUEL-313

Change-Id: Iee88601d5420f55572bf90c8cf330afbedfb2e21
Signed-off-by: Alexandru Avadanii <Alexandru.Avadanii@enea.com>
(cherry picked from commit 9136aef95f77a1f26175929caedfe6ae662bbbd8)

patches: pharos: Drop patches merged upstream

Also, remove redundant pharos patch that adds prx mgmt IPs:
- "Re-assign mgmt network to proxy nodes"
as those values are set already (to different values!) by patch:
+ "extend public gateway support"

While at it, `make patches-export` should clean the patch dir first.

Change-Id: Ice106e5d48c7b4cd90ffc6af7441199034d4f546
Signed-off-by: Alexandru Avadanii <Alexandru.Avadanii@enea.com>
(cherry picked from commit fbea9fae7a16f1375f7413ccd46146b015fc87ff)