user-data.template: Remove salt-minion install

salt-minion is now pre-provisioned inside the image using qemu-nbd.
Revert "lib.sh: Limit envsubst to certain variables"

This reverts commit 3a76d07dbd409b781abdb8520f55a1b20edf07db.
Change-Id: Icceb8bcf439e28ab01c7731c3602c1113290454d
Signed-off-by: Alexandru Avadanii <Alexandru.Avadanii@enea.com>
(cherry picked from commit fac41836e91dd56696c3a435bfdbc7adf53899e2)

lib.sh: Cache base image(s) between deploys

Fingerprint and re-use base image artifacts.

Change-Id: Ic7a73c04e27d25addd50e4e9880619a0028956d3
Signed-off-by: Alexandru Avadanii <Alexandru.Avadanii@enea.com>
(cherry picked from commit 1815bdaf0c1765cc1fcb48031f8291409861b0b2)

deploy.sh: Print sysinfo

JIRA: FUEL-323

Change-Id: I0dcbcfbedc7e9ef013ca50dcc08f804323f91701
Signed-off-by: Alexandru Avadanii <Alexandru.Avadanii@enea.com>
(cherry picked from commit 3aa172fb1659925a837b432649793f9f1f46cca9)

Revert "[baremetal] Retire mas01 NAT"

Although deploy works now without direct internet access on
the cluster nodes, testing suites seem to require it.

This reverts commit ed209426e895c7c323d253afd6276bb74df64da0.
Signed-off-by: Alexandru Avadanii <Alexandru.Avadanii@enea.com>
Change-Id: I35489e18fdd6a4ee6a270e42a3542e5a370bf819

Merge "[baremetal] ODL: Move ODL VCP VM to kvm02" into stable/euphrates

[baremetal] ODL: Move ODL VCP VM to kvm02

Balance VM distribution on the 3 kvm nodes, as kvm02 has 4 VCP VMs
while kvm{01,03} have 5 VCP VMs each (without ODL).
Instead of spawning the ODL VCP VM on kvm03, move it to kvm02.

Change-Id: Id03b9453ee7c15cd6785c0bc073a38b87034aede
Signed-off-by: Alexandru Avadanii <Alexandru.Avadanii@enea.com>
(cherry picked from commmit 62135fd2367ced881bf99dc157fdb4536633d4a0)

deploy.sh: Silence cleanup output

Cleanup sequence might print some warnings/errors that are misleading
for new users, so let's silence them.
While at it, remove unused `cleanup` function stub.

Change-Id: Ic4225f7d4b701cd15d96e1bfc5eecfe2c4291eb6
Signed-off-by: Alexandru Avadanii <Alexandru.Avadanii@enea.com>
(cherry picked from commit 84f131b32ac510097c3aac321fb1ca67bafc8941)

[baremetal] Fix Pike reference, should be Ocata

Change-Id: Ifb5216818f67f859d55ccf253eb84101cac0dab4
Signed-off-by: Alexandru Avadanii <Alexandru.Avadanii@enea.com>

[centos jump] nbd build: Fix REQ_TYPE_SPECIAL

Change-Id: Ia514418d2aae1b4f7e752d4610fa6c9829c67e51
Signed-off-by: Alexandru Avadanii <Alexandru.Avadanii@enea.com>
(cherry picked from commmit 84f58189f269be6633e0c8897d5624d3dfaaa650)

[centos jump] Add nbd build support

RHEL distros do not maintain nbd, so add a best-effort function
to build it on the fly.

Change-Id: Ie0419f0fed8a0b12f6b878b3093d6ca34f72d140
Signed-off-by: Alexandru Avadanii <Alexandru.Avadanii@enea.com>
(cherry picked from commmit 924d481ac84e8fad9bf1132e1cff18967887017e)

[baremetal] Switch VCP base image to UCA

Since Mirantis prebuilt image comes with salt-minion 2016.3 instead
of 2016.11 and upgrading it leads to a hard to break catch-22, use
the Ubuntu cloud archive image we already download for FN VMs and
pre-install:
- a newer kernel (hwe-edge);
- salt-minion (2016.11);
This also implicitly aligns the image handling on AArch64 and x86_64.

Change-Id: I86d1c777449d37bdd0348936a598e3ffe9d265af
Signed-off-by: Alexandru Avadanii <Alexandru.Avadanii@enea.com>
(cherry picked from commit f37103b4d60f057f653e0e5e8b7c6c3023a95b2d)

deploy.sh: Fix missing space in dependencies list

Change-Id: I4d41ff8b9f7c1b59a2c1a400b9335f17b8c542be
Signed-off-by: Alexandru Avadanii <Alexandru.Avadanii@enea.com>
(cherry picked from commit 4d4149faa5604836931c039ad1922f95a764bb76)

deploy.sh: Factor out pkg deps into yaml files

Instead of hardcoding the packages to install on the jumphost at
deploy time in `ci/deploy.sh`, move the requirements list to a
dedicated yaml file, so it is decoupled from actual code.

While at it, add missing deps:
- ipxe-qemu (AArch64 Ubuntu only);

Change-Id: I9ee5c0796b70f9d29427d608b6415333c8841e1e
Signed-off-by: Alexandru Avadanii <Alexandru.Avadanii@enea.com>
(cherry picked from commit b57cd65121f61114432b07c04106fc4b8609440e)

base image: Explicitly call kpartx

qemu-nbd currently available in CentOS 7 does not add partition
mappings automatically for NBD devices, so add explicit `kpartx`
calls.

Change-Id: Ifa79c89b82024602b782c449dbf4de10899e03b5
Signed-off-by: Alexandru Avadanii <Alexandru.Avadanii@enea.com>
(cherry picked from commit 5c890d60fff57b624358f4d4be6865862f4f8415)

AArch64: base image: pre-install salt-minion

While at it, rename apt repo in foundation node user-data template
from "salt" to "saltstack", to align with reclass model naming.

Change-Id: I5b216492349ae187b568884b1ab4046c52b1c6b2
Signed-off-by: Alexandru Avadanii <Alexandru.Avadanii@enea.com>
(cherry picked from commit feb877785544a31a18ae2f0ee2900a82e7ac4337)

Add pre-{install,purge} support for base image

Extend <lib.sh> and its invocation from <ci.deploy.sh> with
support for modifying foundation node VMs base image prior to
using it with:
- additional APT GPG keys;
- additional APT repos;
- packages to pre-install;
- packages to pre-remove;
- (non-configurable) cloud init datasource via NoCloud only,
  so VCP VMs won't wait for metadata service;

While at it, re-use the resulting image as a base for another
round of pre-patching (same operations as above are supported)
to provide a base image for VCP VMs.

Add AArch64-specific configuration based on new mechanisms:
- pre-install linux-image-generic-hwe-16.04-edge (and headers)
  for foundation node and VCP (common) image (also requires new
  repo and its key);
- pre-install cloud-init for VCP image (it should already be
  installed, but script needs non-empty config for VCP to create
  the VCP image and transfer it over to Salt Master);

NOTE: cloud-init is required on VCP VMs for DHCP on 1st iface.

JIRA: FUEL-309

Change-Id: I7dcaf0ffd9c57009133c6d339496ec831ab14375
Signed-off-by: Alexandru Avadanii <Alexandru.Avadanii@enea.com>
(cherry picked from commit 6ead32f737f39e3d82e1484a9d31f07ed2daeadb)

[baremetal] Move include.proxy yml to proper dir

Change-Id: Id46b454b224dacdbaf675155c949d0998f0d0036
Signed-off-by: Alexandru Avadanii <Alexandru.Avadanii@enea.com>

[baremetal] curtin: Bump salt-minion to 2016.11

By default, MaaS formula will install Salt minion 2016.3 via curtin
on physical nodes. 2016.3 does not properly support proxy_host
config option, causing timeouts during `linux.system.repo` SLS apply.

Change-Id: I3d6245f0d4b425170c43b3b62a21ad9acc6cb97e
Signed-off-by: Alexandru Avadanii <Alexandru.Avadanii@enea.com>
(cherry picked from commit 6e0e518d43cecfb8f981dbd51326d8eae103720c)

[baremetal] Retire mas01 NAT

Isolate networks by retiring NAT on mas01; also cutting direct
internet access from cluster nodes that are not facing the public
network (prx, cmp).

NOTE: Since we are removing mas01 NAT, VCP VMs (except prx which have
public IPs) and kvm nodes (cmp also have public IPs) will no longer
have direct internet connectivity.
Cluster deployment and operations will work without it, but if it is
required for different reasons, the MaaS proxy could be enabled by
uncommenting the /etc/enviroment section in:
- cluster.baremetal-mcp-pike-common-ha.include.proxy.yml

JIRA: FUEL-317

Change-Id: I5ed8b420296b27df34a54ec1ebd7b7cf58041425
Signed-off-by: Alexandru Avadanii <Alexandru.Avadanii@enea.com>
(cherry picked from commit 9a6e655e0b851ff6e449027c01ac1a66188b0064)

[patch] Fix OVS ifup workaround

Do not assume routes are on the same OVS port as the one currently
being configured. Instead, apply the `unless` ifup condition for
any OVS port.

Change-Id: Iea8084f9e50401d300feb7ed16f90b430680cac5
Signed-off-by: Alexandru Avadanii <Alexandru.Avadanii@enea.com>
(cherry picked from commit b1849f630a8de3dfce2e91fc375d9e901b90843b)

[baremetal] heat: Switch metadata API URL to mgmt

Prepare for decoupling management from public (drop mas01 NAT):
- ctl: change heat URLs to use new management VIP instead of public;

Change-Id: I8e220ee37bd4177c3afd58a9ee401f815d046706
Signed-off-by: Alexandru Avadanii <Alexandru.Avadanii@enea.com>
(cherry picked from commit d39aaa2b7312c91e6a1851f357cf1d087619cbda)

[baremetal] prx: Add management network VIP

Include `openstack_web_public_vip` class for setting up the
old VIP in the public network, use old class for mgmt VIP.
Also change the generic hostname 'prx' to point inside mgmt net.

Change-Id: Iff69394f16ede290d149a26b054a85371f00f8e0
Signed-off-by: Alexandru Avadanii <Alexandru.Avadanii@enea.com>
(cherry picked from commit 29c64b73f749364867be78a474410fe062eba99e)

docs: diagrams: Add PXE/admin on cfg01

Refresh diagrams to reflect that the internal network is not used
anymore on jumpserver after PXE/admin was hooked to cfg01.

Change-Id: I4c162d59824e182bc76c0a395742050544e95291
Signed-off-by: Alexandru Avadanii <Alexandru.Avadanii@enea.com>
(cherry picked from commit bb3a642e783b59ae2decb3b73d91f5bfca3afaef)

[baremetal] MaaS: Enable HTTP proxy

Instead of using NAT on the mas01 node for all cluster node outgoing
traffic, use the MaaS built-in proxy for APT traffic to leverage its
caching capabilities too.
Also enable the proxy for salt minions, so they can access public
keyservers et al.
Cleanup public DNS from kvm nodes, interferes with MaaS proxy.

Add example config for global env proxy, but don't enable it:
- default environment settings - /etc/environment (via reclass);

The MaaS proxy will not be used (at least for now) on nodes:
- cfg01;
- mas01;

NOTE: We can't yet drop the maas.pxe_nat state completely, as certain
Openstack services are still accessed via public addresses from ctl
nodes.

JIRA: FUEL-317
JIRA: FUEL-318

Change-Id: I6c5f6872bb94afb838580571080e808bc262fc68
Signed-off-by: Alexandru Avadanii <Alexandru.Avadanii@enea.com>
(cherry picked from commit 90c0b369c01a2185fe86651f8ad9e0a172d6941d)

[baremetal] cmp: Add missing public gw (default)

When we dropped the default gw via mas01 NAT, we uncovered a bug,
compute nodes do not have the proper public gw set up and used
to reach public network via mas01, slowing everything down.
Add gw similar to prx nodes.

Fixes: d4ab072

Change-Id: I4343c31c376a7a223670cdd623366454396d8d92
Signed-off-by: Alexandru Avadanii <Alexandru.Avadanii@enea.com>
(cherry picked from commit e9d597db3a9e8a38577908f36f5f700e875d4d78)

[maas] artifact sync: improve barrier condition

Simplify wait condition for MaaS service up, since it's fragile
and often adds extra time when not really needed.
Instead, retry starting boot image import right away.

Change-Id: I131d6c82127449cecf6685d4cc7484a366e658c6
Signed-off-by: Alexandru Avadanii <Alexandru.Avadanii@enea.com>
(cherry picked from commit fedeebd6ee0e3a342777812b7ea90bd4988787ad)

[vcp] Catch 'no response' of salt minion as well

Salt minion could return 'no response' and cause an
unconfigured state of the vcp node(s), so catch this output after linux
state as well. Also clean up excess route on proxy nodes.

Change-Id: I3183fa09ff41a8f027ee789869bdae0c3962ab8f
Signed-off-by: Michael Polenchuk <mpolenchuk@mirantis.com>
(cherry picked from commmit a183db4b3404bd12073b5691eb5d4fbd8135b44b)

[maas] Set edge hwe kernel as a default minimum

Change-Id: I360dcb675c90b6f20687979ebc493afe6682c821
Signed-off-by: Michael Polenchuk <mpolenchuk@mirantis.com>
(cherry picked from commit 8494ec245aa24f00f2412d0f9d1e1e32591708d7)

[baremetal] Move salt master IP to PXE/admin

Use PXE/admin network for salt traffic from/to all minions
except cfg01, mas01.
This allows us to drop the route to admin net from cfg01.

Change-Id: Ic2526f1ff77afe5d92ced900971f4c8f78d2d8a2
Signed-off-by: Alexandru Avadanii <Alexandru.Avadanii@enea.com>
(cherry picked from commit d4ab072aeab143ce72e4b81122d4580915a4ad1a)

Move VCP iface config to own yml

- move linux.network.interface definitions to their own classes, which
  also removes the previous requirement of defining {dhcp,single}_nic
  parameters in classes that don't actually use them;
- drop now useless {dhcp,single}_nic parameters;
- expand linux_{dhcp,single}_interface macros, since they cause issues
  with reclass dict-merge while attempting to override sub-vars (i.e.
  it's not possible to set 'enabled: false' via reclass interpolation);

JIRA: FUEL-310

Change-Id: I29d921f545e761de335a60e242a4523d13b06c78
Signed-off-by: Alexandru Avadanii <Alexandru.Avadanii@enea.com>
(cherry picked from commit 2fc4b8890ef1ad456ac1ff421f33e005ae0484be)

PDF: reclass: Rename template file suffix to _pdf

Init is a generic suffix which also collides with pre-existing files.
A distinct suffix (e.g. _pdf) should be used.

JIRA: FUEL-310

Change-Id: I919a5394e7ff432ee86d10bafe889aeadb181649
Signed-off-by: Alexandru Avadanii <Alexandru.Avadanii@enea.com>
(cherry picked from commmit fda7372a1bffe11fc7a199ad3d4344c1b9e57e57)

states: Rename openstack, add baremetal_init

To align with new cluster naming convention, rename 'openstack'
state file to 'openstack_noha'.
While at it, factor out baremetal setup from 'virtual_control_plane'
into a new state that will be reused in upcoming scenarios, remove
useless sync_all (automatically done after node reboot).

FUEL-310

Change-Id: I6d7e5db8f09305f2fd8eeca0199a2e85b08d2202
Signed-off-by: Alexandru Avadanii <Alexandru.Avadanii@enea.com>
(cherry picked from commmit 52e37b795bb975b1cb3bf1f684b009848c50a2d6)

baremetal: openstack_proxy: Rename iface dicts

Later we will want to merge multiple openstack_* classes, which would
try to merge the 'single', 'dhcp' interface definitions and fail due
to mismstached types (proxy has 'dict' types while the rest do not).
Let's rename the proxy iface definitions to prevent that.

JIRA: FUEL-310

Change-Id: I1be18ddbbeae1bb3ee6de9bd783ee57b185cd477
Signed-off-by: Alexandru Avadanii <Alexandru.Avadanii@enea.com>
(cherry picked from commmit 93b36a416f9e5f4e8828ec9544ded29f1bb82098)

baremetal: Use common database_init, control_init

While at it, delete unused haproxy_openstack_api.

JIRA: FUEL-310

Change-Id: I01953b01624fe3e9da8074239d20056f3762efc7
Signed-off-by: Alexandru Avadanii <Alexandru.Avadanii@enea.com>
(cherry picked from commit 6641403cbe2aaaaf61c2aecef4ec251f327ebee0)

Rename reclass models to add "-ha" or "-noha"

Parse all reclass j2 templates, not only common + current scenario
(useful when adding new scenarios later).

JIRA: FUEL-310

Change-Id: I8e87af702f83c42cb8f766bf6f121449aa5f2c26
Signed-off-by: Alexandru Avadanii <Alexandru.Avadanii@enea.com>
(cherry picked from commit 09dce2a2643223d66aa1ac3a0ad8feebc082f521)

[baremetal] MaaS: Fix DHCP dynamic range (2)

- reduce range to silence bogus MaaS warning about address exhaustion;
- regenerate pod_config.yml.example to reflect the changes;
- drop `opnfv_infra_maas_pxe_address` (duplicate of
  `opnfv_infra_maas_node01_deploy_address`);
- add `opnfv_infra_config_pxe_address` for future usage;

JIRA: FUEL-316

Change-Id: I981fc8c7c550c2917b07dd5f2c83896def013fa7
Signed-off-by: Alexandru Avadanii <Alexandru.Avadanii@enea.com>
(cherry picked from commit 215a37d55356333f9fd0a96118c9a00d588eca62)

[maas] Adjust deployment order/timeouts

Change-Id: I9dbb51ce2387450e4ae19f8b3444f5e52cfdc71d
Signed-off-by: Michael Polenchuk <mpolenchuk@mirantis.com>
(cherry-picked from commit 52bd5a8f6c5b27ec3070625a51aea8ff85f5a8db)

[baremetal] MaaS: Reduce timeout values

`maas_fixup` is already re-entrant, so we can execute it more than
once during a commissioning/deploy cycle. Reduce the timeout waiting
for all nodes to reach a stable state, so nodes stuck in 'Ready'
state instead of reaching 'Deploying' get dealt with sooner (~5 min
vs old 30 min).

While at it, let `maas_fixup` handle machine deploy as well, so we
can catch nodes stuck in 'Ready' state and re-trigger the deploy.

Change-Id: Id24cc97b17489835c5846288639a9a6032bd320a
Signed-off-by: Alexandru Avadanii <Alexandru.Avadanii@enea.com>
(cherry picked from commit 8da73521d3b9347a982ea6e77114bba0d0f0adeb)

salt.sh: Use salt-call to apply linux sls on cfg01

Also, retry applying linux high state up to twice, due to rare
spurious failures with 'No reponse' status.

Change-Id: Ic7839a5c9501673cb127412136afb91e05f87a7e
Signed-off-by: Alexandru Avadanii <Alexandru.Avadanii@enea.com>
(cherry picked from commmit 4509936347b429fb36a27844a63d808f057fd61e)

[baremetal] Move all MaaS PXE net config to PDF

- s/opnfv_maas_pxe_/opnfv_infra_maas_pxe_/g to align with other vars;
- patches: pharos: Add MaaS PXE network to installer adapter;
- runtime.yml{,.template}: move to installer adapter, update
  pod_config.yml example;
- drop MAAS_PXE_NETWORK global env var, now read strictly from PDF;

JIRA: FUEL-313

Change-Id: I46d7510bd53fba7890c411d36bc28fd6ff6f3648
Signed-off-by: Alexandru Avadanii <Alexandru.Avadanii@enea.com>
(cherry picked from commit 15e982f0d00dbcc72be2f5b25dab34b3f3efd912)

patches: Squash maas region changes

When re-deploying with `-f` flag, `patch -R` cannot cleanly revert
maas region changes with overlapping context lines, so squash them
into a single file.

Change-Id: I87dae72a12fea833e9e6729de21d4ce5f262695e
Signed-off-by: Alexandru Avadanii <Alexandru.Avadanii@enea.com>
(cherry picked from commit d68bdf31c1c7d2d29f3524915f6a347f8d0567f5)

[netconfig] APT: Prefer ipv4 connections over ipv6

Ubuntu prefers ipv6 connections therefore in some networks, this
breaks software updates (it does a AAAA DNS lookup before A record
lookups). Let's prefer old style ipv4 connections over the new ipv6 in
order to save some processing and resource utilization.

Based on previous work from [1] (but without /etc/gai.conf, only APT).

[1] https://review.openstack.org/#/c/462502/

JIRA: FUEL-321

Change-Id: Ic3dff3baa1c0be9ac95972557d6a2d26641bfe1b
Signed-off-by: Alexandru Avadanii <Alexandru.Avadanii@enea.com>
(cherry picked from commit 4d604967adde375eb24ae165aff83c11be89ca30)

ci/deploy.sh: maas: cleanup_uefi on env erase

Running `ci/deploy.sh -EE` should also perform an UEFI boot option
cleanup, otherwise we risk booting the previously installed OS.

While at it, reduce delay between nodes removal and fix a rare failure
for `-EE` when no nodes are defined in MaaS.

Change-Id: I789ffd3e22545921216f7d5ee3509c76354542eb
Signed-off-by: Alexandru Avadanii <Alexandru.Avadanii@enea.com>
(cherry picked from commit 15173a83dba08729e62da277b9165677323675d8)

salt: Use apt-mk '2017.12' distribution

'nightly' repo dist from apt-mk is broken, so switch to '2017.12'.

Change-Id: Ie12dfc2a499910b8b98a63886ba16044e66435f5
Signed-off-by: Alexandru Avadanii <Alexandru.Avadanii@enea.com>

[baremetal] MaaS: Fix DHCP dynamic reserved range

- patch MaaS to default to `DHCP` instead of `AUTO` for physical
  PXE interfaces (all IPs will be handed out by MaaS DHCP *inside* the
  defined dynamic DHCP IP range);

JIRA: FUEL-316

Change-Id: I81fad333e77f7c8508cd2b2b267c7b39c130e3e1
Signed-off-by: Alexandru Avadanii <Alexandru.Avadanii@enea.com>
(partially cherry picked from commit 215a37d5)

Merge "[baremetal] idf support for different board types" into stable/euphrates

[baremetal] idf support for different board types

This modification enables having different models of target nodes
but restricts them to two groups of the same kind assuming:
 - 3 KVMs will be same model and have the same NIC names
 - 2 Compute nodes will be the same model and have same NIC names

This is an ad-hoc change for arm-pod7. Will work for all other setups
but the jinja2 logic should be evetually extended to support a per
board approach, allowing any board to be any kind

Change-Id: Ie994d661e3dbe5b9a33d290a850a6152cf320c86
Signed-off-by: Guillermo Herrero <guillermo.herrero@enea.com>
Signed-off-by: Alexandru Avadanii <Alexandru.Avadanii@enea.com>
(cherry picked from commit ee149500e0e6bde0152aa56140046a2d1b995eb4)

patches: Drop salt ver sync patch, now upstream

Upstream pull request [1] was merged, drop out patch.

[1] https://github.com/salt-formulas/salt-formula-salt/pull/64

Change-Id: I7aac66349a4bec718f7821b75dbad711cd6acd58
Signed-off-by: Alexandru Avadanii <Alexandru.Avadanii@enea.com>
(cherry picked from commit 8fbafdf8a665fb8fff4d6f9f14c343e109c122ec)

Add tutorial for reclass-doc tool in documentation

JIRA: FUEL-293

Change-Id: I2612e8d63875dca4d05f8c30db24a5ae84cc8dea
Signed-off-by: Charalampos Kominos <Charalampos.Kominos@enea.com>
Signed-off-by: Cristina Pauna <cristina.pauna@enea.com>
Signed-off-by: Alexandru Avadanii <Alexandru.Avadanii@enea.com>
(cherry picked from commit 94954c13104b7f7e3bd04a7b5fdbae84a93457ac)

Update release notes for 5.1

The release notes are updated with relevant Jira filters and
changes since 5.0

Change-Id: If14cb0369ced899d17608ef43e93b848e8b2a5c8
Signed-off-by: Cristina Pauna <cristina.pauna@enea.com>
(cherry picked from commit fcb2fd879b9770bc5dd84507895be7d58f02d4ae)

[ovs/dpdk] Split out networking restart action

In common openstack_ha state the networking service restart
has no expected effect, so split it out into the detached
post-deployment state.

Change-Id: Iaaae0cd048474667895b7abf2a77196ee3dee14b
Signed-off-by: Michael Polenchuk <mpolenchuk@mirantis.com>

Revert "[baremetal] Migrate public bridge to ovs"

Vlan tagging on ovs+linux ports doesn't work as expected.
This reverts commit c3316c713c936b154b979aa985a400f4b791c0cb.

Change-Id: I339cd741c83781e4a946bfde40f7f2551bb9cf02
Signed-off-by: Michael Polenchuk <mpolenchuk@mirantis.com>

pod_config: cleanup: Drop infra_compute_*_address

Our PDF installer adapter defines 3 unused reclass params that are
misleading, so drop them (infra_compute_node{01,02,03}_address).

Change-Id: I0ca49b73add543c8f03b14ed4d805ce55f973bb5
Signed-off-by: Alexandru Avadanii <Alexandru.Avadanii@enea.com>
Signed-off-by: Michael Polenchuk <mpolenchuk@mirantis.com>
(cherry picked from commit e48d4876833270b9139ca8196eef2c13f44effcc)

patches: pharos: Bump & drop upstream patches

All our staged patches for Pharos repo are now upstream, so bump
the git submodule and remove the patch files.

Change-Id: I0d68eb3bdd9abfa286c3640acc1f13ce6100801d
Signed-off-by: Alexandru Avadanii <Alexandru.Avadanii@enea.com>
(cherry picked from commit 33d945e3045f68ea7cbd2f1b8d01618cb3fed23c)

Merge "[baremetal] Migrate public bridge to ovs" into stable/euphrates

Merge "submodule: pharos: Bump to fix run without eyaml" into stable/euphrates

submodule: pharos: Bump to fix run without eyaml

Most Fuel PODs do not use encrypted PDFs, so bump Pharos git
submodule to include updated `generate_config.py` to silently
skip decryption in case eyaml is not installed.

Change-Id: I845a32c7001123a93e38197e0daf53d18c797aed
Signed-off-by: Alexandru Avadanii <Alexandru.Avadanii@enea.com>
(cherry picked from commit 8c15c3675d57bfaed9c6923ed8adfdb6879fea49)

[baremetal] Migrate public bridge to ovs

Get rid of "ovs-to-linux" links, instead of this setup native ovs
bridge for public interface and link it with neutron external bridge.

Change-Id: I483881e78f22fc035107a622307d95761c4a5667
Signed-off-by: Michael Polenchuk <mpolenchuk@mirantis.com>
(cherry picked from commit bcba227e4947bf1e6976b2a743b87c28ae9645c9)

states: maas: Stop using maas-stable PPA

Currently, Xenial repos provide MaaS 2.2.x, while the PPA bumped it
to 2.3.x. Since we switched to 2.3, we observed a rare wrongful state
transition from 'Deploying' back to 'Ready'.
Drop the PPA, falling back to 2.2 from mainline distro repos.

JIRA: FUEL-312

Change-Id: I3daa118059f37cbeca076da685661c28f3a28a97
Signed-off-by: Alexandru Avadanii <Alexandru.Avadanii@enea.com>
(cherry picked from commit 9da33bc85d681950a09452f28ca39df2108b0b56)

Merge "[baremetal] PDF: Use net_admin for MaaS PXE net" into stable/euphrates

[baremetal] PDF: Use net_admin for MaaS PXE net

While at it, fix another small issue where a variable
(parameters__param_opnfv_maas_pxe_address) was used without being
populated (defined in 'runtime.yml', which is not read using
`parse_yaml`, like the scenario yml or the PDF expanded class,
pod_config.yml).

JIRA: FUEL-313

Change-Id: Iee88601d5420f55572bf90c8cf330afbedfb2e21
Signed-off-by: Alexandru Avadanii <Alexandru.Avadanii@enea.com>
(cherry picked from commit 9136aef95f77a1f26175929caedfe6ae662bbbd8)

patches: pharos: Drop patches merged upstream

Also, remove redundant pharos patch that adds prx mgmt IPs:
- "Re-assign mgmt network to proxy nodes"
as those values are set already (to different values!) by patch:
+ "extend public gateway support"

While at it, `make patches-export` should clean the patch dir first.

Change-Id: Ice106e5d48c7b4cd90ffc6af7441199034d4f546
Signed-off-by: Alexandru Avadanii <Alexandru.Avadanii@enea.com>
(cherry picked from commit fbea9fae7a16f1375f7413ccd46146b015fc87ff)

lib.sh: persistent cfg01, mas01 mcpcontrol

cfg01, mas01 DHCP leases in mcpcontrol virtual network should be
persistent (if cfg01 IP changes, minions can't find Salt Master).

Change-Id: I497207ebe1537af94fd92de12491664d17ad3144
Signed-off-by: Alexandru Avadanii <Alexandru.Avadanii@enea.com>
(cherry picked from commit a1c323835f808e6d729c645c8df75a43e51851fe)

Merge ".gitreview: Add defaultbranch" into stable/euphrates

Merge "[baremetal] package: install python-yaml" into stable/euphrates

.gitreview: Add defaultbranch

Change-Id: I9c19e81844b1e35907ac79962d8838cc5365601f
Signed-off-by: Alexandru Avadanii <Alexandru.Avadanii@enea.com>

[baremetal] package: install python-yaml

- Required for PDF parsing

Change-Id: I95205e62efab3e9920687866d3a53a135828a218
Signed-off-by: Taseer Ahmed <taseer94@gmail.com>

Clean up noifupdown support patch

The patch has been merged to upstream linux formula.

Change-Id: I09f96be920c5c3ecd09fd2ab132e25519902239b
Signed-off-by: Michael Polenchuk <mpolenchuk@mirantis.com>
(cherry picked from commit a6bc08b2be51b069b629d357a44cfa5979f09c2a)

[baremetal] Restart gateway networking service

Make sure all missing interfaces/links are up & running
(e.g. br-ex <-> float-to-ex <-> br-floating).
Fix (for https://github.com/saltstack/salt/issues/40262)
into linux formula brought in a weird behaviour with
network/interfaces.u/ items.

Change-Id: Ic13f0ed2063455ae191bbc99920f97c5ecaa61fd
Signed-off-by: Michael Polenchuk <mpolenchuk@mirantis.com>

[baremetal] Fix prx stale route via MaaS DHCP

Although we add default routes via public network and disable
DHCP client from setting new routes, until we reboot the prx* nodes
we still have the stale route originally set at initial boot.

Change-Id: Ib8e5fb67c7da00684e0ac21984fc4661d3820d83
Signed-off-by: Alexandru Avadanii <Alexandru.Avadanii@enea.com>
(cherry picked from commit 7daf7f128714021711970557129a23a86cce2a72)

Revert "[baremetal] Fix maas_subnets without maas_fabrics"

The upstream commit has been merged
https://github.com/salt-formulas/salt-formula-maas/commit/0c622327
This reverts commit 2c48915a1a77aa3ac0133155fd0cdadbf280493d.

Change-Id: Iff86f3dc171371903e3294eed43977eb6197a5e7
Signed-off-by: Michael Polenchuk <mpolenchuk@mirantis.com>
(cherry picked from commit 2ecb98f7e7c67984fd66e2d6b17d5c05c058490b)

Merge "Align options of glusterfs nova_instances volume" into stable/euphrates

[baremetal] VCP VM base img: Switch URL to AWS S3

Mirantis prebuilt base image for VCP VMs (used by salt.control on
x86_64) has been moved to a new location on AWS S3.

Change-Id: I9f4a858a1033c3c0a05cba0bd40a8ceac6075615
Signed-off-by: Alexandru Avadanii <Alexandru.Avadanii@enea.com>
(cherry picked from commit 255742b98efd4ff499a6abc6eb491059fc268d43)

Merge "[baremetal] Retry cinder.controller on failure" into stable/euphrates

[baremetal] Retry cinder.controller on failure

Occasionally, cinderng.volume_type_present errors with:
ClientException: Service Unavailable (HTTP 503)
Instead of retrying the whole state file, use `wait_for` macro
to retry only this high state up to 5 times.

Change-Id: Ib9ef017aca737e53c853007c13107d56d856c016
Signed-off-by: Alexandru Avadanii <Alexandru.Avadanii@enea.com>
(cherry picked from commit 92fb2b5e303b5e097a21d43612d5c8132f23152b)

[baremetal] MaaS: Fix adding mcp.rsa.pub

Upstream salt-formula-maas change [1] gated applying "maas_sshprefs"
low state by `region.sshprefs` being declared in reclass, which is
not true for our model.
Mend our region.sls patch to pass mcp.rsa.pub to MaaS unconditionally.
This fixes baremetal SSH login with mcp.rsa.

While at it, fix duplicate SSH key upload on MaaS state retry.

JIRA: FUEL-281

[1] https://github.com/salt-formulas/salt-formula-maas/commit/ec61dd6

Change-Id: I93941a689058f9f48f34861898fbe3ee6ce4e2b4
Signed-off-by: Alexandru Avadanii <Alexandru.Avadanii@enea.com>
(cherry picked from commit 9a96a6292f82411a00faf373ca180cb32c26061c)

Align options of glusterfs nova_instances volume

Change-Id: If0558afd37f16678290353fa9c5e6c4163f814a0
Signed-off-by: Michael Polenchuk <mpolenchuk@mirantis.com>
(cherry picked from commit 74a5bd6ae60916c664b0ec902418e3fae234b0c1)

Revert "Apply apache state on proxy nodes"

Upstream fixed the salt-formula-horizon in commit 95387ec, by
defining 8078 (and only that) port in Apache's ports.conf.
This fixes the port 80 overlap, so running the `apache` high state
after the `horizon` high state not only is unnecessary now, but
also would lead to new breakage, since `apache` state would
overwrite the ports.conf (removing 8078 and adding 80), i.e.
creating a new port conflict and breaking Horizon port completely.

This reverts commit eb4645206d6d74992fca3b8726ee2eebca97205f.

Conflicts:
mcp/config/states/openstack_ha
mcp/reclass/classes/cluster/baremetal-mcp-ocata-common/openstack_proxy.yml

Signed-off-by: Alexandru Avadanii <Alexandru.Avadanii@enea.com>
Change-Id: Iea8f0bd90ee8d12f399aad16247dda274d6a907a
(cherry picked from commit 0c71112ec06bd73a3ddc42ba0aacd666e9a00553)

Bring in newer glusterfs for mtime unsplit brain

Recent commit 8ba3a1a (Switch nofeature-ha compute nodes to UCA repo)
bumped the reclass/system submodule and brought in upstream commit
2ee306b (Glusterfs: use automatic mtime-based split-brain resolution)
which requires support for "cluster.favorite-child-policy", not
available in Glusterfs 3.7.x available in Ubuntu Xenial.
NOTE: UCA does not provide glusterfs for "Ocata", only for "Pike"+.

Instead of reverting the commit switching to mtime brain un-split,
bump glusterfs to a version that is not EOL (3.10) using their
official PPA.

Change-Id: I4606dda2f3d4b7563eea793cc8e5d1380f336f24
Signed-off-by: Alexandru Avadanii <Alexandru.Avadanii@enea.com>
(cherry picked from commit 8a867449217151f59766a74c6165ffc26c7f50b4)

Merge "docs: Update prx nodes on network diagrams" into stable/euphrates

Merge "salt.sh: Rework `git -C` for older git compat" into stable/euphrates

Merge "Switch nofeature-ha compute nodes to UCA repo" into stable/euphrates

salt.sh: Rework `git -C` for older git compat

CentOS 7.4 provides git 1.8.3, while `git -C` support was introduced
in 1.8.5, so rework <salt.sh> to not rely on this parameter.

Change-Id: Ied88466b2b3d91a3317922fa08f60afe934358a0
Signed-off-by: Alexandru Avadanii <Alexandru.Avadanii@enea.com>
(cherry picked from commit 0adbe359a0e448e0a8007b0041890e33a612a4dc)

Merge "ci/deploy.sh: Add new `-E` arg for env erase" into stable/euphrates

[docs] Add MCP user guide

Change-Id: I97a5a2817004850abc3f702004819a907472faf7
Signed-off-by: Cristina Pauna <cristina.pauna@enea.com>
(cherry picked from commit e2a8202d8e95fa97026dd3031dcb6d10350132bb)

docs: Update prx nodes on network diagrams

- prx: added 3rd interface, green dot to mgmt

JIRA: FUEL-302

Change-Id: I9f807409ed7a84de95d7321f059343d5d676038e
Signed-off-by: Guillermo Herrero <guillermo.herrero@enea.com>
(cherry picked from commit e62317704bce4985dc12abeb2de729a56397426b)

Switch nofeature-ha compute nodes to UCA repo

Employ UCA repo on computes nodes for nosdn-nofeature-ha scenario as
well to prevent a regression (creation of ports failed for 1+n instances)
of neutron ovs agent from mcp/openstack repos.

Change-Id: Ie65ae122096c0d3a93c09d46191787a934bd7d4f
Signed-off-by: Michael Polenchuk <mpolenchuk@mirantis.com>
(cherry picked from commit 8ba3a1a4ed0ce41a76fa6d712778904bb56b60ac)

[baremetal] Fix maas_subnets without maas_fabrics

Change-Id: I603b39d46d3f2f2448b8f9746ad0745e416bbee7
Signed-off-by: Alexandru Avadanii <Alexandru.Avadanii@enea.com>
(cherry picked from commit 2c48915a1a77aa3ac0133155fd0cdadbf280493d)

Merge "[virtual] Apply nova controller state twice" into stable/euphrates

ci/deploy.sh: Add new `-E` arg for env erase

NOTE: In order to undefine VCP VMs with NVRAM (e.g. AArch64 VMs
using AAVMF), an additional parameter should be passed to libvirt
by Salt virt core module (equivalent to `virsh undefine --nvram`).

While at it, pass CI_DEBUG, ERASE_ENV enviroment variables to
state execution, and stop force-applying patches.

Also refactor the rsync between foundation node and Salt master,
so the whole git repo is copied as </root/opnfv>, and <root/fuel>
becomes a link to it; useful for Armband, where 'fuel' is a git
submodule. Fix .git paths after rsync, so git submodules work as
expected in cfg01 repos.

JIRA: FUEL-307

Change-Id: Ic62f03e786581c019168c50ccc50107238021d7f
Signed-off-by: Alexandru Avadanii <Alexandru.Avadanii@enea.com>
(cherry picked from commit 77942178b3aff6adc83b5f83645acfff467fa76a)

Merge "[baremetal] public gateway setup on prx nodes" into stable/euphrates

[virtual] Apply nova controller state twice

In order to complete broken database sync run
nova state on controller one more time.

Change-Id: I761f26667ebb531b848a62e096f3d79f588d9f24
Signed-off-by: Michael Polenchuk <mpolenchuk@mirantis.com>
(cherry picked from commit 246928006daf99de2317dc8d171c2b0735a3c605)

[baremetal] public gateway setup on prx nodes

- prx: add route for public traffic to public interface
- prx: add route towards salt master through maas
- remove dashboard class from proxy node (already implements horizon)
- remove dashboard (and benchmark) class definitions (no longer used)
- (temporary) backport Pharos change for adapter template

JIRA: FUEL-305

Change-Id: Ia14a18ac0123c1134d8d99dc43da9a1f770001d0
Signed-off-by: Guillermo Herrero <guillermo.herrero@enea.com>
(cherry picked from commit 07f4e0238646fcb77072769feb8a0b68df52caca)

patches: linux.storage.lvm: Disable filter

JIRA: FUEL-304

Change-Id: I52ae89f933f976b678b27f79e2ad67c3699ef8ec
Signed-off-by: Alexandru Avadanii <Alexandru.Avadanii@enea.com>
(cherry picked from commit d7927a5e63e5314c2a81970150b849b0b9d0bd49)

[baremetal] MaaS: Remove curtin netconfig via Salt

JIRA: FUEL-301

Change-Id: Id6b2b423b8045c581fa5c02133cf91702d9915c9
Signed-off-by: Alexandru Avadanii <Alexandru.Avadanii@enea.com>
(cherry picked from commit 4010ea45c703d82e2fb95dcc869ff72bbca088b7)

Merge "[baremetal] Retry keystone.client state on failure" into stable/euphrates

Merge "[baremetal] Re-assign mgmt network to proxy nodes" into stable/euphrates

Merge "Update opendaylight/neutron patch" into stable/euphrates

Merge "[baremetal] SaltStack Deployment Documentation" into stable/euphrates

Merge "Enable neutron trunk ports" into stable/euphrates