Pull out rocky patches

This commit should be reverted once original formulas
get required support of rocky version.

Change-Id: Ia3458381bced0cae8dbfacc9781c90933ad5c822
Signed-off-by: Michael Polenchuk <mpolenchuk@mirantis.com>

Update OpenStack version to Rocky

Change-Id: I88f28370180278c4b32599b83eebbb0ee005c936
Signed-off-by: Michael Polenchuk <mpolenchuk@mirantis.com>

[mas01] Fix iptables pillar compatibility format

Sync our reclass pillar data for mas01's iptables with latest formula
changes [1].

[1] https://github.com/salt-formulas/salt-formula-iptables/commit/e353ce3c

Change-Id: I66b2a75066ed512ab5ab4cc213d13d15c5c8cc7f
Signed-off-by: Alexandru Avadanii <Alexandru.Avadanii@enea.com>

[maas] Adopt maas, maasng proposed functions

JIRA: FUEL-364

Change-Id: Ia470fc8103713e7a06cd9647675b0edfb4342bf8
Signed-off-by: Alexandru Avadanii <Alexandru.Avadanii@enea.com>

[docker] deploy.sh: Use tag for stable branch

Outside OPNFV Jenkins (i.e. when manually cloning the OPNFV Fuel
repo and starting a deploy), the Docker tag used to default to
'latest' unless the user specifically set it to 'gambia'.
Rely on 'defaultbranch' setting in .gitreview to determine the
appropiate Docker tag.

Change-Id: I7e6b0706597d84d7cd5dc077499da78031aa61af
Signed-off-by: Alexandru Avadanii <Alexandru.Avadanii@enea.com>

Merge "[docs] Updates for Gambia 7.1.0 release"

Merge "Documentation for ONAP scenarios"

Merge "[VCP] Reboot all VCP VMs after network config"

[docs] Updates for Gambia 7.1.0 release

While at it, rename FDIO (VPP) scenarios to align with OPNFV FDS
and OPNFV Apex projects.

Change-Id: I9aab5dc4a0dc41a2cc996687a8a2726d03288678
Signed-off-by: Alexandru Avadanii <Alexandru.Avadanii@enea.com>

Documentation for ONAP scenarios

Patch adds a short description for the two ONAP scenarios added by
JIRA: AUTO-71(os-nosdn-onap-*ha).

JIRA: AUTO-90

Change-Id: I0a25b1877090a16d365e06dc41705239ada9d0b0
Signed-off-by: Richard Elias <richard.elias@tieto.com>

Merge "Make MTU cluster-level configurable via IDF"

[VCP] Reboot all VCP VMs after network config

Currently, PXE/admin on VCP nodes still uses MaaS DHCP before
the new network configuration is enforced. A live network
refresh would break minion registration with the Salt master,
so perform a node reboot instead.

Change-Id: I1c25f63f6c98a9fff98108d3fad9550dd4468355
Signed-off-by: Alexandru Avadanii <Alexandru.Avadanii@enea.com>

Make MTU cluster-level configurable via IDF

JIRA: FUEL-336

Change-Id: I1c8d22b8322f700eb727d9077035ba4c9f9f9753
Signed-off-by: Alexandru Avadanii <Alexandru.Avadanii@enea.com>

[docs] Update scenario matrix: os-odl-bgpvpn-noha

Scenario description resides in the SDNVPN repository.

JIRA: FUEL-393

Change-Id: I2c4f3c32821ed47ea104706bd1bff6e2e55eb50f
Signed-off-by: Stamatis Katsaounis <mokats@intracom-telecom.com>

Merge "[bgpvpn] Use Linux bridge for odl01 public network"

[odl/dpdk] Disable up/down for public interface

There is a race with interfaces up/down action during
configuration, so activate them after node reboot.

Change-Id: Id40ce746cc6635fcedd0f9c809cf4a9fe4d1f034
Signed-off-by: Michael Polenchuk <mpolenchuk@mirantis.com>

Merge "[ha] barbican, nova targeting: use server:role"

[bgpvpn] Use Linux bridge for odl01 public network

Previously, we used a single interface definition for public network
on odl01 node, which does not work well for baremetal setups that
use a tagged VLAN public network, like ericsson-pod1.

Change-Id: I10ff7c105406691011e94e06b2f099dc2cdf8a06
Signed-off-by: Alexandru Avadanii <Alexandru.Avadanii@enea.com>

[cfg01] reclass: Apply broken default patch first

reclass settings.py should be patched before the salt-master service
is started (since we can't restart it inside the container without
killing the tini init).

Fixes: 2de5348a

Change-Id: Id62d8f9f12fd72ef60322dd9907f26907231c4a7
Signed-off-by: Alexandru Avadanii <Alexandru.Avadanii@enea.com>

[ha] barbican, nova targeting: use server:role

Instead of matching the hostname to determine the primary barbican
node, rely on pillar data.

While at it, apply the same logic to nova:controller states.

Change-Id: Ia4ac391927a8b4b223febff106b400e84d264f7a
Signed-off-by: Alexandru Avadanii <Alexandru.Avadanii@enea.com>

[cfg01] Patch reclass settings.py broken default

Until a new reclass release including the fix for [1] is published,
patch settings.py explicitly.

[1] https://github.com/salt-formulas/reclass/issues/77

Change-Id: If93848a6b6f084c76e64ddcf7bfdfa52b7d59050
Signed-off-by: Alexandru Avadanii <Alexandru.Avadanii@enea.com>

[ha] fix barbican server install error

Ensure installation happens first on node 1 first,
run as batch on the rest after.

Change-Id: I1ac3f516c35c4941b343e88d47c78b19d13d7b90
Signed-off-by: Guillermo Herrero <guillermo.herrero@enea.com>

Merge "Initial implementation of ONAP scenarios"

submodule: Bump pharos to latest

Change-Id: I1bf4452e0f6e9aa5d2b9a002a1ec45c70fb8c2ab
Signed-off-by: Paul Vaduva <Paul.Vaduva@enea.com>

Initial implementation of ONAP scenarios

Patch introduces a new specific scenarios os-nosdn-onap-*ha
for automatic ONAP deployment on top of the OPNFV installation.
Deployment and configuration of ONAP is managed by OPNFV Auto project.

New scenarios are based on generic os-nosdn-nofeature-*ha scenarios.

Auto project is responsible for os-nosdn-onap-*ha development
and maintenance.

JIRA: AUTO-71

Change-Id: I8b177668d856f30b62d1d135b80a95c32ebb9937
Signed-off-by: Martin Klozik <martin.klozik@tieto.com>

[docker] compose: Switch ip_range to ipv4_address

Explicitly set the ipv4_address for each network instead of relying
on ip_range allocation, which seems to fail / not be picked up.

While at it, use docker-compose 1.22 or newer to bypass slow Docker
network creation with 'macvlan' driver [1].

[1] https://github.com/docker/compose/issues/5248

Change-Id: Ic31851522576ebb2407d869b7c3ed7bd06951922
Signed-off-by: Alexandru Avadanii <Alexandru.Avadanii@enea.com>

[patch] docker: Explicitly install python-futures

For x86_64, the Saltstack bootstrapping scripts fetch a custom build
of `python-tornado` DEB package, which being arch-specific won't be
picked up on AArch64 (and a similar version from Ubuntu Xenial repos
will be used instead).

Although the Ubuntu package works just fine, it lacks a hard
dependency on `python-futures`, which became mandatory in Salt
2017.7.8, see [1].

Explicitly install `python-futures` inside cfg01 Docker container
during build, which will be a no-op on x86_64 and fix the issue on
AArch64.

[1] https://github.com/saltstack/salt/issues/50220

Change-Id: Ie4aad064572788c0852aaf398f21437b456becbe
Signed-off-by: Alexandru Avadanii <Alexandru.Avadanii@enea.com>

Merge "[docker] build: Allow cache invalidation"

Merge "[ha] odl: Set _param:cluster_vip_address"

[ha] odl: Set _param:cluster_vip_address

Fix an undefined parameter reference:

root@cfg01:~# reclass-salt -p odl01.mcp-odl-ha.local
-> odl01.mcp-odl-ha.local
   Cannot resolve ${_param:cluster_vip_address}, at
_param:keepalived_vip_address, in
yaml_fs:///srv/salt/reclass/classes/service/keepalived/cluster/single.yml

Change-Id: Ie653b80f2ba0f2c9664b36e23f8e95793ba0e198
Signed-off-by: Alexandru Avadanii <Alexandru.Avadanii@enea.com>

Merge "[cfg01] Honor idf.net_config.mgmt.ip-range"

Merge "[state] maas: Retry first state apply on mas01"

[docker] build: Allow cache invalidation

While at it, fix emoji issues with latest virtualenv [1].

JIRA: FUEL-398

[1] https://github.com/pypa/pipenv/issues/3223

Change-Id: Ice5937222bf75c1ddadc6b9f1994635bc10faf57
Signed-off-by: Alexandru Avadanii <Alexandru.Avadanii@enea.com>

Merge "submodule: Bump salt-formula-maas"

Merge "[vcp] kvm: Re-apply sysctl settings after libvirt"

[state] maas: Retry first state apply on mas01

Change-Id: I6d2fab853b25d2f235e27c83a355ebc2c520771c
Signed-off-by: Alexandru Avadanii <Alexandru.Avadanii@enea.com>

[vcp] kvm: Re-apply sysctl settings after libvirt

libvirt postinstall script configures `virbr0` by default, which we
later remove & disable. However, on network creation, libvirt also
enables ip_forward, so re-run kernel.sls to force it to 0 without a
reboot.

Change-Id: Ie27fbf995c10ad9cd0fa0c28c29bd88161f04fd7
Signed-off-by: Alexandru Avadanii <Alexandru.Avadanii@enea.com>

[patch] Set ignore_overwritten_missing_references

Workaround broken configuration default option in `reclass` [1].

[1] https://github.com/salt-formulas/reclass/issues/77

Change-Id: I8a6e1d9fcd20f32e2c9edff59f6b538dc94008fb
Signed-off-by: Alexandru Avadanii <Alexandru.Avadanii@enea.com>

[cfg01] Honor idf.net_config.mgmt.ip-range

Previously, cfg01 mgmt address did not consider the `ip-range` param,
leading to a mismatching `cfg01` entry in /etc/hosts on cluster nodes.

Change-Id: If6f605f4b2817c3751074bef60ebde298bc74b7d
Signed-off-by: Alexandru Avadanii <Alexandru.Avadanii@enea.com>

[baremetal] cmp: Support per-node PXE/admin iface

intel-pod18 has different network interfaces on its compute nodes,
requiring support for per-node PXE/admin NIC name override, instead
of assumming all computes use the same NIC naming.

Change-Id: I2b2e5ec6745601576ead898370241b743c963e3d
Signed-off-by: Alexandru Avadanii <Alexandru.Avadanii@enea.com>

[ha] kvm: Disable ip_forward

kvm nodes should not try to route traffic. This also silences some
bogus 'martian packet' warnings about prx public VIP reaching br-ex.

Change-Id: I608a561d292be3042d20fcbe48b2f5c816c4e8bf
Signed-off-by: Alexandru Avadanii <Alexandru.Avadanii@enea.com>

Revert "Conform configs to updated Redis v5.0 package"

This reverts commit 7c5c2a8353177a393f72d244470e34f23c46c3e8.
The package of Redis v5.0 has been removed from repository.

Change-Id: Ic9449314e9e177435878542eecbe5f4a8b848549
Signed-off-by: Michael Polenchuk <mpolenchuk@mirantis.com>

submodule: Bump salt-formula-maas

* bump salt-formula-maas git submodule;
* sync AArch64 initial salt config with the x86_64 default config;
* bump Pharos git submodule to sync `power_pass` MaaS configuration
  paramater naming;

Change-Id: Ic59dd8becb6d83a9e67004c38d51681c88c4be7c
Signed-off-by: Alexandru Avadanii <Alexandru.Avadanii@enea.com>

Conform configs to updated Redis v5.0 package

Also disable transparent hugepages on telemetry hosted nodes
to avoid latency and memory usage issues with Redis.

Change-Id: I3c7a0be6edbc51141f5d79d7368583afacef9025
Signed-off-by: Michael Polenchuk <mpolenchuk@mirantis.com>

[docs] Fix/update broken links

Change-Id: I2859bfbde40664cece5984b148ffe9c0a9a0a81b
Signed-off-by: Alexandru Avadanii <Alexandru.Avadanii@enea.com>

Merge "[docs] Add odl-ovs-noha scenario docs"

[docs] Add odl-ovs-noha scenario docs

Change-Id: I67a1af46e1d392f3bd6042f4b7d122e30b6e8f99
Signed-off-by: Michael Polenchuk <mpolenchuk@mirantis.com>

[docs] Add PXE/admin DHCP warning

While at it, fix pdflatex build by replacing a warning with a note,
since warnings inside tables leads to breakage with `pdflatex`.

Change-Id: I2edbb2c12b579e6581fb32294d12b760270dc13d
Signed-off-by: Alexandru Avadanii <Alexandru.Avadanii@enea.com>

Update release date

Change-Id: I9a5750b0ed0ce81030902cc794c137433099cc3e
Signed-off-by: Cristina Pauna <cristina.pauna@enea.com>

Merge "submodule: Bump Pharos for arm PODs updates"

Merge "[opendaylight] Update SQLAlchemy library"

[opendaylight] Update SQLAlchemy library

To conform to the changes in networking-odl driver:
https://review.openstack.org/604755

Change-Id: I6aaefe9d6d4f26652464f82b7c7e45694387c8af
Signed-off-by: Michael Polenchuk <mpolenchuk@mirantis.com>

submodule: Bump Pharos for arm PODs updates

Change-Id: I8fdc24130b3887defc2d7b53f94530f71b28aa02
Signed-off-by: Alexandru Avadanii <Alexandru.Avadanii@enea.com>

[docs] Refresh for Gambia release

- s/Fuel@OPNFV/OPNFV Fuel/g;
- added README files for ci/scenarios/patches directories;
- refresh & simplify cluster overview diagrams;
- unify labels across docs;
- fix TOC numbering;
- remove local labs PDF/IDF files, as they are merely duplicates of
  Pharos files included as a git submodule;

JIRA: FUEL-397

Change-Id: I87f61938eeb67f13fd9205d5226a30f02e55d267
Signed-off-by: Alexandru Avadanii <Alexandru.Avadanii@enea.com>

Specify barbican endpoint for glance service

By default castellan key manager gets public endpoint of barbican
service which isn't preferable in terms of cluster ops, so specify
internal endpoint explicitly.

Change-Id: Ie686ceb936132143743af18fcb4960ea15a8b93c
Signed-off-by: Michael Polenchuk <mpolenchuk@mirantis.com>

Fix salt target option in opendaylight state

Change-Id: Idf8b4b42dcc68bc55debaac9a8b5f1ca6b5b398e
Signed-off-by: Michael Polenchuk <mpolenchuk@mirantis.com>

Merge "[ha] Add haproxy on opendaylight nodes"

[ha] Add haproxy on opendaylight nodes

Setup haproxy on opendaylight nodes to listen/bind on VIP address.
Keepalived will be checking existence of haproxy daemon.

Change-Id: Ie0a3a6ebb82523388d528529709415644f67a380
Signed-off-by: Michael Polenchuk <mpolenchuk@mirantis.com>

Enable IPv6 on entire cluster by default

IPv6 has been enabled back by commenting out the
cis-3-3-3 yaml/class source in linux service reclass.

Change-Id: Ia8f4e2ddbb98f9316e6ce5136badbb14ecb277c5
Signed-off-by: Michael Polenchuk <mpolenchuk@mirantis.com>

Merge "[ha] Run OpenDaylight in cluster mode"

Merge "[ha] Add barbican to nginx on proxy nodes"

[ha] Run OpenDaylight in cluster mode

Change-Id: Id75fbee34a6cfc6e7fc60df053cccaaff21cb15a
Signed-off-by: Michael Polenchuk <mpolenchuk@mirantis.com>

[ha] Add barbican to nginx on proxy nodes

JIRA: FUEL-395

Change-Id: I8bd3a8e914828548e2ded0915770550ce3673897
Signed-off-by: Delia Popescu <delia.popescu@enea.com>

[submodule] Bump pharos git repo for pod changes

Change-Id: I698d97f3dbf8cdbe7002c5e4b02ac1a51dacdbfb
Signed-off-by: Guillermo Herrero <guillermo.herrero@enea.com>

Merge "Add odl bgpvpn noha scenario to fuel"

Add odl bgpvpn noha scenario to fuel

JIRA: FUEL-393

This patch adds support of os-odl-bgvpn-noha scenario to fuel
installer.

Change-Id: I4e053e38aac70023b0a81f9a41b415c7a1aae3af
Depends-On: I57288bbb42f4c75af19f3807f8f15b44482c066c
Signed-off-by: Stamatis Katsaounis <mokats@intracom-telecom.com>

Enable IPv6 on compute nodes for noha and ha

Enable IPv6 on compute nodes for both ha and noha deployment
types

Change-Id: I46c89e3005aefea8ccbeb4779efe513bf2be84e8
Signed-off-by: Delia Popescu <delia.popescu@enea.com>

Set volume device name to sdc

Functest is now using scsi volume type for fuel
Set correct volume device name for functest volume tests

JIRA: ARMBAND-402

Change-Id: I2265901eeb624a395388f6ce8afae226b129c5be
Signed-off-by: Delia Popescu <delia.popescu@enea.com>

[license] Cleanup duplicate LICENSE files

github.com auto-detects the licensing terms if and only if the root
directory contains a single license file.

To leverage this, distinguish via main README file between:
- main fuel repository license (apache-2.0);
- documentation license (cc-by-4.0);
- 3rd party licenses (non-exhaustive list for 3rd party projects);

While at it, add missing license headers to docs auxiliary files.

Change-Id: I7bd25573b0c2b8d16881c7ae72198f5981683c08
Signed-off-by: Alexandru Avadanii <Alexandru.Avadanii@enea.com>

[cleanup] Remove obsolete prototypes

Tacker POC is replaced by the full os-odl-sfc-noha scenario.

Change-Id: Ic0648d55e08ccf84244ac286b65fca2656d04a2d
Signed-off-by: Alexandru Avadanii <Alexandru.Avadanii@enea.com>

[deploy] Use qemu:///system for virt-inst too

Make sure `virsh` and `virt-install` use the same connection URI.

Fixes: e49ffac1

Change-Id: I437f063ce9936804248b7cf09f6ecfef6417f387
Signed-off-by: Alexandru Avadanii <Alexandru.Avadanii@enea.com>

Update salt formulas versions

Change-Id: Id2f93d0274b102a5eef5271a6d15cb91428d7a0c
Signed-off-by: Michael Polenchuk <mpolenchuk@mirantis.com>

Merge "[INFO] Add Cristina as committer"

[ha] Fix missing aodh_version param

_param:aodh_version was lost during a recent refactor, bring it back.
While at it, also make chown in entrypoint.sh recursive to prepare
for non-sudo deployments.

Fixes: c0de0902

Change-Id: I41b225c4a3f15269aa156a1c33412206beff6ee9
Signed-off-by: Alexandru Avadanii <Alexandru.Avadanii@enea.com>

Merge "[ovn] Enable metadata agent"

Merge "[reclass] Ensure pxe_admin_address is set for all"

Merge "[lib.sh] Split into multiple files for readability"

[reclass] Ensure pxe_admin_address is set for all

Some nodes did not rely on the _param:pxe_admin_address internal
reclass param, although all of them do have an IP address in the
PXE/admin network segment.

Ensure all nodes define this param, so we can query all nodes with:
$ salt '*' pillar.item _param:pxe_admin_address

JIRA: FUEL-394

Change-Id: I7575934752c8b459c52af8a8c98c2b0327756428
Signed-off-by: Alexandru Avadanii <Alexandru.Avadanii@enea.com>

Merge "[AArch64] noha: Add armband repo prio"

[ovn] Enable metadata agent

Change-Id: I9ef3a1dd570abf90b222609af350565d385326c8
Signed-off-by: Michael Polenchuk <mpolenchuk@mirantis.com>

Merge "[minion] Set tcp_keepalive for flaky networks"

Merge "[docs] Use https links"

[AArch64] noha: Add armband repo prio

Previously, only HA scenarios required the Armband repository
configuration (including its higher repo prio pinning), since NOHA
scenarios were not supported on baremetal.

With multiarch hybrid POD support landing, the same repo prio should
be set for NOHA scenarios.

Change-Id: I676ee262e270ce4689c44c245967badebc2efe2c
Signed-off-by: Alexandru Avadanii <Alexandru.Avadanii@enea.com>

[INFO] Add Cristina as committer

Change-Id: Id9262040daa037fa715c41dc44258f62ffe3f78f
Signed-off-by: Alexandru Avadanii <Alexandru.Avadanii@enea.com>

[reclass] Consolidate all passwords

JIRA: FUEL-378

Change-Id: I00832d697d83c374628fa9d759c125e0b6ca64cf
Signed-off-by: Guillermo Herrero <guillermo.herrero@enea.com>

[minion] Set tcp_keepalive for flaky networks

Workaround issues like [1]. Requires bumping formulas for
salt-formula-salt support of tcp_keepalive_* params.

[1] https://github.com/saltstack/salt/issues/38157

Change-Id: I7093437fb696809f73a24b10144c6321d0f1be32
Signed-off-by: Alexandru Avadanii <Alexandru.Avadanii@enea.com>

[lib.sh] Split into multiple files for readability

lib.sh got pretty big over time, making it hard to maintain.
Since most of the functions defined now in lib.sh are only required
during build/deploy and not in state files, move them to a new file.

While at it, prepare for running build/deploy as non-root and
set a default connection string for virsh instead of using
user specific config in ~/.config/libvirt/libvirt.conf, which
caused end user experience issues in the past.

Change-Id: Id8c2a8139e4bfdb99af2b0fad73b911ffa18ebea
Signed-off-by: Alexandru Avadanii <Alexandru.Avadanii@enea.com>

[repos] Replace keyserver accesses with pillar GPG

JIRA: FUEL-392

Change-Id: Ia21840c7561a14a5eeed3d08bf89eb2dbf9acc3a
Signed-off-by: Alexandru Avadanii <Alexandru.Avadanii@enea.com>

[odl] Create openflowplugin.cfg if not present

Salt's `ini.options_present` expects the file to be present.

Change-Id: Ib62b324ae0bd154a35b8a80e4ab2ec0002bc6bce
Signed-off-by: Alexandru Avadanii <Alexandru.Avadanii@enea.com>

[build] Use python -m pip workaround

pipenv depends on pip, which conflicts with some distro versions of
pip, see bug [1].

While at it, workaround lib64 issues on CentOS by passing
`--always-copy` when creating the venv [2].

[1] https://github.com/pyenv/pyenv/issues/1141
[2] https://github.com/pypa/pipenv/issues/1929

Change-Id: I6af1a5fdbe8d37f75ab8b09b050449ad432191ad
Signed-off-by: Alexandru Avadanii <Alexandru.Avadanii@enea.com>

[docs] Use https links

Change-Id: Ieca3791520ed8c67943c34fe3ca94337f0511792
Signed-off-by: Alexandru Avadanii <Alexandru.Avadanii@enea.com>

[deploy] Collect logs only if cluster is deployed

Change-Id: Iaa60008e234a506b05e7b5249c85fd1d6fa63d56
Signed-off-by: Alexandru Avadanii <Alexandru.Avadanii@enea.com>

Merge "[state] virtual_init: Limit to mas01 on baremetal"

Merge "[infra] Bind mas01 mcpcontrol DHCP to MAAS_IP"

Merge "[odl] Turn off OF statistics polling"

Merge "Rotate keystone fernet keys on shared filesystem"

[odl] Turn off OF statistics polling

OpenDaylight polls OF statistics (usually superfluous) by default
which could affect performance in large scale deployments.
Also mask service only if package is installed.

Change-Id: I2f7a1da85dd5e04502f08be146bcc2ba946a631e
Signed-off-by: Michael Polenchuk <mpolenchuk@mirantis.com>

Enable IPv6 back for proxy/nginx node

Change-Id: I2af8a06f5637238c4512b5a117d899fec7cb2e50
Signed-off-by: Michael Polenchuk <mpolenchuk@mirantis.com>

Rotate keystone fernet keys on shared filesystem

Change-Id: I38def56c2f276eca61f12558a03aa2693cc032f3
Signed-off-by: Michael Polenchuk <mpolenchuk@mirantis.com>

[maas] Override broken default main_archive URL

Upstream reclass.system introduced a regression for us in [1].

[1] https://github.com/Mirantis/reclass-system-salt-model/commit/99490e7d

Change-Id: I5cedcbb5c528a8bf59b4f917b422ed433d2ceea3
Signed-off-by: Alexandru Avadanii <Alexandru.Avadanii@enea.com>