[jump] Print CPU, RAM, disk info for debug

JIRA: FUEL-323

Change-Id: I74f92fbdf84762540401fe07a6eb424bdc7aa664
Signed-off-by: Alexandru Avadanii <Alexandru.Avadanii@enea.com>
(cherry picked from commit b9da44077a589ac8debf12d86d8aefe4be5dc84e)

[maas] Make boot-source-selection ops idempotent

- add `unless` clause;
- instead of adding a new boot sources, update the existing one,
  assuming standard MaaS installation (always updates id '1');

Change-Id: I2db92a3b14d0588095c69545cbb6977ca109613e
Signed-off-by: Alexandru Avadanii <Alexandru.Avadanii@enea.com>
(cherry picked from commit d7ab894b988d8dd6fe49714e0d8d6077e08ebb16)

Merge "[maas] Set boot source selections" into stable/fraser

Run galera state on slave nodes one by one

Apply galera state in consecutive order to avoid
a race condition with database initialization.

Change-Id: I877bad38777d8469c03cee3b7e96acc875a3a72a
Signed-off-by: Michael Polenchuk <mpolenchuk@mirantis.com>
(cherry picked from commit 3bc1605a823400a80965f56ed9a502a8ce67b883)

[maas] Set boot source selections

Select xenial image explicitly to avoid getting latest bionic one.

Change-Id: Iee872b8dd2ce309231829a0ad8e5a3cf1a75f796
Signed-off-by: Michael Polenchuk <mpolenchuk@mirantis.com>
(cherry picked from commit 4b28a7bb0097434381e5a0508ee865a2c2fba9c2)

Merge "[states] Catch more transient 'no response' resp" into stable/fraser

[submodule] Bump Pharos for zte-pod1 IDF update

Change-Id: I4942a1c3e12db304db11fbc231ca26ff87e3b6bb
Signed-off-by: Alexandru Avadanii <Alexandru.Avadanii@enea.com>
(cherry picked from commit 2d2fbccbc5ae167319a9af636d96efaab8f9ae32)

[docs] Updates for the first Fraser release

Change-Id: I80dfb55c01af89bded1140cd27563d258e05dda4
Signed-off-by: Cristina Pauna <cristina.pauna@enea.com>
(cherry picked from commit b67b07e5654dbe0c7524e47ebb97eed987edf3d6)

[states] Catch more transient 'no response' resp

Change-Id: Ie8e60a648fa28e59daa6e00f357df52b5821e833
Signed-off-by: Alexandru Avadanii <Alexandru.Avadanii@enea.com>
(cherry picked from commit 9e9393ab60ff513f01b9ce045245e6c5808590a8)

Merge "Update qemu/libvirt on compute nodes" into stable/fraser

[doc] Add guest OS support matrix

Update fuel documentation regarding the guest operating systems
that we can boot in both in x86 and aarch64.

Change-Id: Iea96fae880755d0a9cc8fa519362ff564f79e391
Signed-off-by: Charalampos Kominos <Charalampos.Kominos@enea.com>
(cherry picked from commit 1cdebf06e880d7ff75c7700b4e7253206eef1763)

Update qemu/libvirt on compute nodes

Get qemu package with fix of TSC frequency mismatch between instance
and host which breaks up nova pause/unpause operation.

JIRA: FUEL-368
Change-Id: I2c954b2b0a8cddca30c861f565b63b642e0b0e9f
Signed-off-by: Michael Polenchuk <mpolenchuk@mirantis.com>
(cherry picked from commit 0a86dbb986bc0c22fae07dc489c21ce185a5540b)

Merge "Disable cpu pinning & L3 HA features" into stable/fraser

Merge "[ha] Fix tenant NIC OS config for VLAN ranges" into stable/fraser

Merge "[reclass] Parameterize tenant VLAN ranges" into stable/fraser

Add ports to ovs bridge config

To avoid race with interfaces initialization specify all
the ports that belong to a bridge in the config file.

Change-Id: Ie4f48e7a81d4659a0f43749cdd518dbeffe2e35f
Signed-off-by: Michael Polenchuk <mpolenchuk@mirantis.com>
(cherry picked from commit 9c9a1adc6f2501507a68b1926ea93efcb40782d1)

Disable cpu pinning & L3 HA features

* CPU pinning: tests have no support for dedicated CPU policy, so
  enabled pinning causes general performance impact
  [https://docs.openstack.org/nova/pike/admin/cpu-topologies.html]
* L3 HA routers:
  - doesn't catch l3-agent failure, relies only on
    HA network state to spot failure
  - failover process only retains the state of network
    connections for instances with a floating IP address
  - incompatible with DVR mode

JIRA: FUEL-360
Change-Id: Ie0182bf953b9989729f89d705d9fee902d229e51
Signed-off-by: Michael Polenchuk <mpolenchuk@mirantis.com>
(cherry picked from commit ed7bb355c93af5c163d5ae7926012652021abf75)

[ha] Fix tenant NIC OS config for VLAN ranges

Previous commits added support for tenant VLAN range parametrization,
yet failed to accomodate the new VLAN range representation ('M:N') in
existing `linux.network.interfaces` reclass configuration.

This lead to the silent removal of <nic_private>.<vlan_private> from
interfaces file and for `br-mesh` to try to use <nic_private> instead
of <nic_private>.<vlan_private>, conflicting with `br-floating`.

Stick to using the first VLAN in the tenant range.

JIRA: FUEL-365

Change-Id: I88f7263159f1742dba3b6e36649c9344f2932c5f
Signed-off-by: Alexandru Avadanii <Alexandru.Avadanii@enea.com>
(cherry picked from commit cfc5988be48d1317244e71fd7919480db18745d4)

[reclass] Parameterize tenant VLAN ranges

Instead of hardcoding the VLAN ranges in reclass, read them from IDF.
This is required when VLAN segmentation is used instead of VXLAN, as
lab switches should be configured appropiately (e.g. Armband PODs use
VLANs 2000+ instead of 1000-1030).

Change-Id: I009ccea9b328c40f055a745791eafe3393b96390
Signed-off-by: Alexandru Avadanii <Alexandru.Avadanii@enea.com>
(cherry picked from commit aa199b5e96f91111d96f53040be00736cd9309be)

Merge "[baremetal] cmp linux.system: catch 'no response'" into stable/fraser

[baremetal] cmp linux.system: catch 'no response'

Catch & retry transient errors / timeouts while applying the
`linux.system` state on cmp nodes.

Change-Id: Id314b5a29673e0bcaa78611fc787491056830952
Signed-off-by: Alexandru Avadanii <Alexandru.Avadanii@enea.com>
(cherry picked from commit 67b7248e3cc8550ebd757ebb48e2536770f073f8)

[MaaS] destructive storage test fio on failure

Perform fio storage destructive test operation (usually takes just a
few minutes) to completely destroy any previous storage metadata that
might cause issues with cleanup in cloud-init/curtin during deploy.

Only resort to fio when a node fails to deploy, which allows us to
reuse the `maas.machines.mark_broken_state` state.

JIRA: FUEL-365

Change-Id: Ief327e6b4fefa83a8a3c131acfdf9f5fd605689d
Signed-off-by: Alexandru Avadanii <Alexandru.Avadanii@enea.com>
(cherry picked from commit 3d6c3323256d6dde62ea335e53427410f730a192)

Build in opendaylight service mask

Oxygen has an issue with broken config/data cache caused
by service restart in the middle of initial boot.

Change-Id: Ia30c76b67566ab8a2fb9045d0e10ca788f1a06a6
Signed-off-by: Michael Polenchuk <mpolenchuk@mirantis.com>
(cherry picked from commit 2d2f59907d578d266e1aa19040314dc15b27c0c6)

[submodule] Bump Pharos

Change-Id: Ib5f7a9d7874704b11b10cdc1eefaae19de2a629e
Signed-off-by: Cristina Pauna <cristina.pauna@enea.com>
(cherry picked from commit ef46d8af46c861bdff5ba835bd89b97b334ea45c)

Clean up opendaylight configuration

* remove client patch (has been merged to upstream)
* websocket now is disabled by default
* purge deprecated/unneeded features (odl-mdsal-apidocs, odl-dlux-all)

Change-Id: Id247a3c74e66730049bfeafc4a5164aad0d9b662
Signed-off-by: Michael Polenchuk <mpolenchuk@mirantis.com>
(cherry picked from commit 0a8568d9f170d6c3b42d2dd35db440b4251f9a5d)

Merge "[UCA] Stop enforcing repository architecture" into stable/fraser

Merge "Update opendaylight version to oxygen" into stable/fraser

Update opendaylight version to oxygen

JIRA: FUEL-362
Change-Id: Ib2621bca72d1ba376af5d369edcf5fcf37e9788b
Signed-off-by: Michael Polenchuk <mpolenchuk@mirantis.com>
(cherry picked from commit c1889c963bbe9b21645057e6e9cfcbe9c5f6434d)

[UCA] Stop enforcing repository architecture

Let APT automatically choose the UCA/Pike-staging PPA architecture
based on current system architecture instead of hardcoding it.

Change-Id: I4fe645847ac0fb70a852477feba9f788fcb8da81
Signed-off-by: Alexandru Avadanii <Alexandru.Avadanii@enea.com>
(cherry picked from commit 9cac6117a760279b6be83034f5634f5505032cc0)

[virtual] Set vnc address to local one

System reclass model assigns vnc address to control_address variable
which is used for controller node reference, so change it to local
address of the current compute node.

Change-Id: I0c6b8534a1dae516620d0d250944232379a526e0
Signed-off-by: Michael Polenchuk <mpolenchuk@mirantis.com>
(cherry picked from commit 938cb59719ae412e13be8cb21d8c8b5f51a75826)

Merge "Remove opendaylight service mask" into stable/fraser

[submodule] Bump Pharos for Armband IDF changes

Bring in arm-pod5 hugepage configuration et al.

Change-Id: If8a2f9cd84b400c5a8a58fe477f8ef7a12c42bf8
Signed-off-by: Alexandru Avadanii <Alexandru.Avadanii@enea.com>
(cherry picked from commit 7f47d25bc3a25ad2cdd564100cdc703ae85702b4)

Remove opendaylight service mask

Nitrogen SR2 brought in weird behaviour into netvirt feature
configuration causing malfunction tunnels between client nodes
(e.g. gateway, computes). In order to work properly service
of opendaylight requires an explicit restart or reload by means
of salt formula.

Change-Id: I277da5ad2787f1005647e500b64c7ffa6051443b
Signed-off-by: Michael Polenchuk <mpolenchuk@mirantis.com>
(cherry picked from commit 3fdf9a951e8c7f5387b90d020ea6db38d85f3dd4)

Merge "[odl] Configure Odl memory requirements"

Merge "Add pike staging repository"

[odl] Configure Odl memory requirements

Odl scripts present in /opt/opendaylight crash with
out-of-memory errors and we cannot use them so we add more memory
to the ODL virtual machine and to the JVM.

Change-Id: Ia29a324ca34b5d33e947ca6d177ce3567316dcb9
Signed-off-by: Charalampos Kominos <charalampos.kominos@enea.com>

Re-order opendaylight state

* return back opendaylight state after neutron setup
* sleep for awhile to let neutron api reconnect to the ODL
  controller and agents to register on server

Change-Id: Ife0c7d3cc20574b0733e8e3064843c680379cc84
Signed-off-by: Michael Polenchuk <mpolenchuk@mirantis.com>

[odl] Fire up ovs host config after other settings

Change-Id: I9a42e0373f551da9f5c968ae169e0eff1a58972e
Signed-off-by: Michael Polenchuk <mpolenchuk@mirantis.com>

Add pike staging repository

Append PPA repository to the existing UCA
Existing UCA repository is still necessary for maas

Change-Id: If545b37d30291d3708430c52593b7fbd03bd22e4
Signed-off-by: Delia Popescu <delia.popescu@enea.com>

[odl] Setup manager target after ovs host config

Change-Id: Ia517b7cf1723a5afaf43cb0709716f3a67a29e9f
Signed-off-by: Michael Polenchuk <mpolenchuk@mirantis.com>

Merge "[doc] installation guide update: PDF section"

[doc] installation guide update: PDF section

Update PDF section to:
1. describe "net_config" section in IDF.
2. describe compute parameterizaion required in IDF for
   both DPDK and non-DPDK scenario.

JIRA: ARMBAND-361

Change-Id: I63fbe79c5cc3a4ee5244e6a0efad57eb89aad7d2
Signed-off-by: ting wu <ting.wu@enea.com>

Apply opendaylight state after ovs host config

* employ GA kernel for baremetal computes as well
* setup/start opendaylight server after ovs host config

Change-Id: Ic772aed544b17be02e6ca9ccd175f2288b2128a8
Signed-off-by: Michael Polenchuk <mpolenchuk@mirantis.com>

[ovs/dpdk] Turn on non-blocking ovs calls

Change-Id: I8206707cdb2ebc267b6f4971de35477e3dc73c5f
Signed-off-by: Michael Polenchuk <mpolenchuk@mirantis.com>

Merge "lib.sh: Skip modprobing nbd, loop if inbuilt"

[patch] Drop keystoneclient project ID checking

Since we brought back NAT over MaaS PXE/admin, drop out-of-tree patch
that was only needed for full network isolation (no cross-talk
between public and admin).

Change-Id: I577b1116bbdcc19647b3c01fe6f2acb7bb9ce627
Signed-off-by: Alexandru Avadanii <Alexandru.Avadanii@enea.com>

[virtual/odl] Use default gw offered from dhcp

Remove default route to external gateway on compute nodes
instead of placing wrapper script as a workaround.

Change-Id: I8e1d5d9920a7aa2ed2d1092ebce692176a3bf41a
Signed-off-by: Michael Polenchuk <mpolenchuk@mirantis.com>

lib.sh: Skip modprobing nbd, loop if inbuilt

While at it, skip waiting for Salt master when deleting UEFI stale
entries if it doesn't respond to ping.

Also, use https for fetching Armband GPG key to bypass yet another
hks issue behind proxies/firewalls that block hks port.

Change-Id: I400cbe3257094b62c96b302a3c81c5ffd1ba4755
Signed-off-by: Alexandru Avadanii <Alexandru.Avadanii@enea.com>

[ovs/dpdk] Set bridge datapath_type to netdev

This prevents neutron ovs agent to re-create existing bridge which
might cause unpredictable/faulty state of network interfaces.

Change-Id: I289365e1dea7d178b5b72eb506f5c711f6d60199
Signed-off-by: Michael Polenchuk <mpolenchuk@mirantis.com>

Merge "salt.sh: Copy mcp.rsa to cfg01"

[virtual/odl] Simplify network scheme on computes

Change-Id: Ifb874aba38b2fa36fde05184bcdd74870257bec1
Signed-off-by: Michael Polenchuk <mpolenchuk@mirantis.com>

salt.sh: Copy mcp.rsa to cfg01

- let rsync transfer mcp.rsa* to cfg01;
- symlink mcp.rsa in /root;

Change-Id: I18cb70306faf9d166e1110e374a9fe16ac4449de
Signed-off-by: Alexandru Avadanii <Alexandru.Avadanii@enea.com>

[odl] Add SDN_CONTROLLER_IP to openrc

JIRA: FUEL-352

Change-Id: I73aa5d41e93f3ebd5c8e44577868e8d21e0106a9
Signed-off-by: Alexandru Avadanii <Alexandru.Avadanii@enea.com>

[vcp] Catch 'no response' for salt state

JIRA: FUEL-358

Change-Id: I8dc89676aa777068d1a13168bf7b7d7156903c03
Signed-off-by: Alexandru Avadanii <Alexandru.Avadanii@enea.com>

[virtual/odl] Turn off websocket for pseudo agent

To prevent error in packet_handler callback: AttributeError:
'PseudoAgentDBBindingWebSocket' object has no attribute
'update_agents_db_row'.

Change-Id: I1a6a4b95ce3290ce108bdb91ae8eb5e85a13ef51
Signed-off-by: Michael Polenchuk <mpolenchuk@mirantis.com>

Merge "[virtual/odl] Apply missing neutron.compute state"

Merge "Set volume_device_name variable"

Update patch with ovs bridges as L3 ifaces

Apply this patch if protocol is set to static to be
intended for the ip address settings action only.

Change-Id: I758340ff22376c01edd2a9a3555fe0fd9db3f4a9
Signed-off-by: Michael Polenchuk <mpolenchuk@mirantis.com>

Set volume_device_name variable

This evironment variable is required by test suite to refer
to an attached volume (vdb is reserved for config drive).

JIRA: FUEL-353
Change-Id: I4f7c96b2344575fcd9b785e3c74b27ef4c4d64f8
Signed-off-by: Michael Polenchuk <mpolenchuk@mirantis.com>

[virtual/odl] Apply missing neutron.compute state

Change-Id: I078e11219fb8dea4505c46e7f75c295c5a72c59b
Signed-off-by: Michael Polenchuk <mpolenchuk@mirantis.com>

lib.sh: Add missing `sudo` for `losetup`

Change-Id: I1c5e3d7a0dbac14bf242730d6ac8d2b1d0817907
Signed-off-by: Alexandru Avadanii <Alexandru.Avadanii@enea.com>

[IDF] Move ip-range start higher for mgmt, public

- move mgmt start to .10;
- move public start to .100;
- sync local idf-pod1;

JIRA: ARMBAND-365

Change-Id: I5d93c4f486daf280d8bdbe92f5aa7edd8d020db0
Signed-off-by: Alexandru Avadanii <Alexandru.Avadanii@enea.com>

Fix missing root_helper_daemon for cmp, gtw

While at it, drop patch now upstream.

JIRA: FUEL-348

Fixes: cf6cd9cd

Change-Id: Ieb4c93e9dc79a4e4dec140433574e042a1a6f2dc
Signed-off-by: Alexandru Avadanii <Alexandru.Avadanii@enea.com>

Revert "[baremetal] Retire mas01 NAT"

Bring back public internet access to all cluster nodes via NAT
on mas01 node, required for NTP syncing.

NOTE: Both mcpcontrol and PXE/admin networks are currently
hard wired to using /24 netmask, so we leverage that in pxe_nat.sls.

JIRA: FUEL-348

This reverts commit 9a6e655e0b851ff6e449027c01ac1a66188b0064.

Change-Id: I7bab385f95f8c6d92cadc4e2149c2cd56e10c506
Signed-off-by: Alexandru Avadanii <Alexandru.Avadanii@enea.com>

[IDF] net_config: Add support for custom ip-range

- submodule: bump Pharos to pick up installer adapter support, as well
  as IDF updates for Ericsson baremetal pod1;
- labs/local/virtual: Bump mgmt, public networks start addresses from
  .1 to .10, similar to ericsson-pod1;

While at it, drop patch now upstream and instead adopt the new param
'neutron:server:root_helper_daemon'.

JIRA: FUEL-351

Change-Id: I9bc244a7fd8698861a390ed2b6a27804be46c285
Signed-off-by: Alexandru Avadanii <Alexandru.Avadanii@enea.com>

Merge "[novcp] Add deploy argument `-N` (experimental)"

Merge "[vnode parsing] Move core logic to j2"

Merge "Clean up aodh formula symlink"

Merge "[docs] Openstack endpoints description"

Clean up aodh formula symlink

Change-Id: I1d84b5d4e3eb0de1c3ebf6fc5a538ee6714d53b2
Signed-off-by: Michael Polenchuk <mpolenchuk@mirantis.com>

[docs] Openstack endpoints description

- Describe SSL certificate usage for public endpoints

- Fixed all code-blocks formatting on the file

JIRA:FUEL-328

Change-Id: Ifecab459ee0d633b4d8a254dcb01c92f76b66d4f
Signed-off-by: Guillermo Herrero <guillermo.herrero@enea.com>

[novcp] Add deploy argument `-N` (experimental)

Instead of duplicating scenarios for NOVCP, allow it to be specified
using a new deploy argument, `-N`.

Things are getting convoluted, so instead of creating dedicated
'*_pdf.yml.j2' files for each group of similar features, apply the
templating in-place and rename all affected files to ".yml.j2".

This breaks .gitignore assumption of hiding only "*_pdf.yml" files,
so extend (manually) the <mcp/reclass/classes/cluster/.gitignore>
with `git ls-files --exclude-standard -o` after an expansion.

- ha: move nfv.cpu_pinning to j2, conditioned by 'baremetal';
- ha: add cmp00* vnode definitions (hugepages need more RAM);
- labs/local: enable hugepage params for non-dpdk noha;
- salt.sh: add route_wrapper to all non-infra VMs;

This change extends novcp support to all HA scenarios.

Change-Id: I7a80415ac33367ab227ececb4ffb1bc026546d36
Signed-off-by: Alexandru Avadanii <Alexandru.Avadanii@enea.com>

[vnode parsing] Move core logic to j2

j2/python is easier to read and manipulate strings, although it does
need some special care about undefined dict keys.

With this in place, deploy.sh only contains the higher level logic for
the deployment process.

- merge arch-specific default configuration files into a singular
  file with arch name as main dict key of old config (also avoids
  creating duplicate 'virtual' YAML keys in $LOCAL_PDF);
- move template handling to separate <lib_template.sh>;
- decouple tight bash ordering of scenario expansion -> parse_yaml ->
  variable export (e.g. CLUSTER_DOMAIN) -> re-use in cluster j2s;
  however we can't parse *all* j2s in one go, as scenario j2s might
  expand to YAMLs needed while expanding cluster j2;
- split `do_templates` into separate functions for each stage, with
  no coupling between them other then call order;

Change-Id: I4b5e804094c00e5e918caf769fd85fa52181ad76
Signed-off-by: Alexandru Avadanii <Alexandru.Avadanii@enea.com>

[ha] Add route_wrapper to prx, kvm

Similar to cmp, when route already exists, networking service fails
to start on 'nginx:server' slaves ('kvm' in novcp case).

JIRA: FUEL-349

Change-Id: I2dc83ea78528533e92c9b9125e78b6e4387bdfe2
Signed-off-by: Alexandru Avadanii <Alexandru.Avadanii@enea.com>

[patch] Fixup ceilometer server publisher default

- backport proposed fixup for ceilometer;
- remove 'ignore: all' from .gitmodules to make it easier to bump the
  submodule;
- bump system submodule to upstream latest;
- drop patch merged upstream;

JIRA: FUEL-350

Change-Id: I68f232e0da5af368a1669a7379eedde5c4168b84
Signed-off-by: Alexandru Avadanii <Alexandru.Avadanii@enea.com>

Merge "[keepalived] Check proccess id of nginx on proxy"

[keepalived] Check proccess id of nginx on proxy

By default vrrp script seeks out haproxy process id, so change
check_pidof script arguments to "nginx" on proxy nodes.

Change-Id: I616bf90ba49fa8257d28d236dcf3b7c5598039f1
Signed-off-by: Michael Polenchuk <mpolenchuk@mirantis.com>

Mend opendaylight settings

* class including order (default was used)
* disable root_helper_daemon (incompatible with UCA)
* turn off websocket for pseudo agent updates

Change-Id: I4d7971d393da184bdd55f65b4d3fd8d9e898543f
Signed-off-by: Michael Polenchuk <mpolenchuk@mirantis.com>

[ovn] Fix cluster name in dummy baremetal scenario

JIRA: FUEL-329

Change-Id: I56c8e027dc797a86848b73af30adbf40de119f85
Signed-off-by: Alexandru Avadanii <Alexandru.Avadanii@enea.com>

[ha] Add ovn scenario placeholder

- dummy copy of os-nosdn-nofeature-ha masquerading as
  os-ovn-nofeature-ha scenario placeholder;

JIRA: FUEL-329

Change-Id: Ic5e6d65cf057289bb13ce2fa157b6ba53d7dab80
Signed-off-by: Alexandru Avadanii <Alexandru.Avadanii@enea.com>

[reclass] Add missing neutron keyword in class uri

Change-Id: I71fdc7ccd84a0700333734b5144a4281b53cf25b
Signed-off-by: Alexandru Avadanii <Alexandru.Avadanii@enea.com>

Align opendaylight settings with upstream

Change-Id: If7d51555bc13dbcaa63f93ab1993f3655e2ce643
Signed-off-by: Michael Polenchuk <mpolenchuk@mirantis.com>

[jump req] Move pkg installation to lib.sh

Change-Id: I687b73b256aca78c9d41d4bcd49bfbde51278b51
Signed-off-by: Alexandru Avadanii <Alexandru.Avadanii@enea.com>

[deploy.sh] Factor out jump bridge parsing to j2

Change-Id: Ie4d8e70866d533d195a6e80cdfecbdb00a3027ce
Signed-off-by: Alexandru Avadanii <Alexandru.Avadanii@enea.com>

[submodule] Bump Pharos for IDF updates

Change-Id: I9e71d9006bad53cc79805ed9255b53b6c5705725
Signed-off-by: Alexandru Avadanii <Alexandru.Avadanii@enea.com>

[j2 parsing] Adopt new generate_config features

- bump Pharos git submodule for j2 'do' extension + batch mode;
- adopt j2 'do' in our templates;
- use int filter for 'native' vlan check;
- lib.sh: adopt `-i` to remove `ln` hack for net_map.j2;
- lib.sh: adopt `-b` to speedup template parsing;

NOTE: Bumping Pharos will also bring in the latest changes in
pod_config.yml.j2, which include massive IP shifts and updates.

JIRA: FUEL-335

Change-Id: I7d3a997b3d8659d5f09f867870fb3a148c1ec6df
Signed-off-by: Alexandru Avadanii <Alexandru.Avadanii@enea.com>

Merge "Conform network scheme to tagged public interface"

Merge "[ovs/dpdk] [noha] Do not add private nic to ifaces"

Conform network scheme to tagged public interface

Change-Id: I503c8ad32900406e1fa375cec9a91b454889d8bf
Signed-off-by: Michael Polenchuk <mpolenchuk@mirantis.com>

Install missing python module of jsonschema

Change-Id: Ib903863a7a46008c93ee795083712a50a022a41d
Signed-off-by: Michael Polenchuk <mpolenchuk@mirantis.com>

Merge "lib.sh: Validate pdf/idf with pharos schema"

[ovs/dpdk] [noha] Do not add private nic to ifaces

All settings specific to private nic are handled by linux.network.dpdk
but since the private nic's `interface.type` is currently 'eth', it is
not filtered out from /etc/network/interfaces.

To prevent this, define `interface.type` as a dummy value containing the
'dpdk' substring.

Change-Id: I565153ee80698572209e12b4eec5f44f9416d945
Signed-off-by: Alexandru Avadanii <Alexandru.Avadanii@enea.com>

lib.sh: Validate pdf/idf with pharos schema

Run the pharos yaml schema validation for configuration files
before expanding them

JIRA: FUEL-341

Change-Id: Ia1d69f53265876683a1b6674665a9594ba7dae16
Signed-off-by: Guillermo Herrero <guillermo.herrero@enea.com>

Clean up upstreamed patches

Change-Id: Icee56da3720f0926e42390965581639f6a344b77
Signed-off-by: Michael Polenchuk <mpolenchuk@mirantis.com>

[submodule] Bump Pharos git repo for IDF updates

Change-Id: I8d526d51a3e18652c59bad9d7c3c384aa6583566
Signed-off-by: Alexandru Avadanii <Alexandru.Avadanii@enea.com>

[patch] cleanup: Drop LVM filter disable

Now we explicitly add a LVM PV on /dev/sda{1,2} for Cinder storage,
so we can safely drop the patch disabling LVM volume filtering.
If we later move the PV to a different disk, we can just add the VG
and LV definitions to linux:storage via reclass, and Salt will skip
setting them up (as they're already created by MaaS), yet keep the
filtering sane.

While at it, fix 'nova_cpu_pinning' param expr; constructs based on
reclass interpolation (e.g. '${_param:x}') do not work when
parameters are passed via reclass.storage templating, so change
reclass interpolation syntax with classic YAML anchors.

Fixes: 672ae12

Change-Id: Ieb41635ddeb630543d7e4d1079f45d636d9a43af
Signed-off-by: Alexandru Avadanii <Alexandru.Avadanii@enea.com>

[ovs/dpdk] Parameterize node-specific compute args

- node-specific parameters (nova pinning, hugepages, dpdk) should be
  configurable via IDF, on a per-node basis;
- keep default settings for lf-pod2, with and without DPDK,
  override them for virtual deploys via local-virtual1 IDF;
- leave neutron_tenant_* vars hardcoded for now, as they are required
  on both ctl and cmp nodes - this way we'll deal stricly with
  cmp params, so we can nicely pass them via config.yml to reclass
  per-node (and not per-role), allowing mixed computes later;
- add compute params for ovs/odl-noha, preparing them for
  deployment on baremetal later.

JIRA: ARMBAND-343

Change-Id: I89a58b9565679ab3882d85f07ae817690ae85c67
Signed-off-by: Cristina Pauna <cristina.pauna@enea.com>

[ovs/dpdk] Add opnfv.route_wrapper sls

- fix `route-br-ex` if-up.d script failing when route already exists
  by adding a wrapper around distro's '/sbin/route' binary in
  '/usr/local/sbin/route', exploiting default order in Ubuntu PATH;
- fix 'br-prv' duplicate entry in 'interfaces.d/ifcfg-br-prv' and
  'interfaces' caused by upstream bug [1];
- add barrier waiting for all baremetal nodes online before attempting
  reboot, trying to catch rare failures which are undetectable in logs
  as both a succesful reboot and a disconneted minion report 'n/c';

With the above in place, networking service should no longer fail
to start on cmp nodes w/ DPDK.

[1] https://github.com/saltstack/salt/issues/40262

Change-Id: I6d4895376ce323c14c997e6c9af2ea3eeeee0184
Signed-off-by: Alexandru Avadanii <Alexandru.Avadanii@enea.com>

[salt.sh] Add explicit apt-get update

Change-Id: I17e66457f90818bad4d746300bb49e9d5179c239
Signed-off-by: Alexandru Avadanii <Alexandru.Avadanii@enea.com>

[MaaS] Force Maas to use a fixed ip packet size

Maas uses a tftp library during commisioning which in turn uses another
library which tries to find the best packet size to use. For some reason
during commisioning the library uses smaller sizes than the
infrastructure can handle and therefore takes a lot of time to deploy.

JIRA: ARMBAND-351

Change-Id: I9b3083a059c04b118e8b7f0f2723af67d96d2aad
Signed-off-by: Charalampos Kominos <charalampos.kominos@enea.com>