Connect proxy nodes to public network

cloudify vnf requires public enpoints to be available from instance
with manager, so connect nodes w/ nginx to routed public network.

JIRA: FUEL-286
Change-Id: Id0caa699519b9b46dad51deac6955afe6a0050de
Signed-off-by: Michael Polenchuk <mpolenchuk@mirantis.com>
(cherry picked from commit 0861ea0799114d9c59499f2c52a9c7a79fb1bbb7)

lib.sh: rm Ubuntu boot entry on EFI systems

On EFI-enabled systems, grub-install from grub-efi-* package
installs a boot entry named "ubuntu".

MaaS relies on IPMI to set boot order to PXE first; however
on systems with buggy firmware or without full IPMI support,
that fails, leading to booting Ubuntu from hard disk instead.

Work around this by clearing any previous Ubuntu boot entry
from board flash, before starting a new baremetal deploy.

NOTE: This only runs against nodes that are online from a
previous deploy.

Closes: ARMBAND-47

Change-Id: I1c4ece09e42845ce2a1b7119ec69e46e5ca12376
Signed-off-by: Alexandru Avadanii <Alexandru.Avadanii@enea.com>
(cherry picked from commit 4e2c736cce578d1073dab0e0960b524b1dcc663a)

docs: Spelling correction

Change-Id: I35076b8cd81451482944d91f3dd3337dd849ef28
Signed-off-by: Taseer Ahmed <taseer94@gmail.com>
(cherry picked from commit 4c0e4186721a2315ac316f5170c6cd3a8199eb6a)

Merge "patches: pharos: Dynamic PXE interface index" into stable/euphrates

Merge "lib.sh: Fix compatibility with bash 4.2" into stable/euphrates

patches: pharos: Dynamic PXE interface index

Change-Id: I7eae35c2e040cf316af45fd420ba6611abb2fa4b
Signed-off-by: Alexandru Avadanii <Alexandru.Avadanii@enea.com>
(cherry picked from commit a1a73087d8e5cb43d2ebcf313f7a784b20bc4a3e)

patches: pharos: IPMI: Trim netmask from IP

ericsson-pod1 uses 'IP/netmask' format for IPMI IPs in its PDF, which
is part of PDF spec, so update our installer adapter template
accordingly.

This change will be reverted once the patch is merged upstream in
Pharos OPNFV git repo.

Change-Id: Ie97177444f0445501fc0a7b131569ff1af6fee3c
Signed-off-by: Alexandru Avadanii <Alexandru.Avadanii@enea.com>
(cherry picked from commit 94b3833e4b8c3de58cecd673091015a4c8f1640c)

ci/deploy.sh: Add PDF parsing dependencies

The following packages are required for PDF parsing:
- python
- python-ipaddress
- python-jinja2

Note that `python-ipaddress` is not available on older Ubuntu
distributions (e.g. Trusty), in which case `pip` should be used to
install it. An alternative would be to use python3 packages.

Update the installation instructions to specify minimum expected
requirements on the jump server.

JIRA: FUEL-292

Change-Id: I19fdcc163dcfdee45ac6fa3f5e09a28638d6035c
Signed-off-by: Alexandru Avadanii <Alexandru.Avadanii@enea.com>
(cherry picked from commit f10bc960eead6c1423ada006a383515279056886)

Merge "AArch64: Switch jumpserver VMs to virtio video" into stable/euphrates

lib.sh: Fix compatibility with bash 4.2

JIRA: FUEL-296

Change-Id: Ide9f9333fe9b44ff6b78678064f8e67f05aabd42
Signed-off-by: Alexandru Avadanii <Alexandru.Avadanii@enea.com>
(cherry picked from commit fa62907da62d0b8ae9e733a9729941065ceedf4d)

Merge "docs: Add more info about virtual deployment" into stable/euphrates

Add missing installation dependency

- uuidgen is required for installation
- Add installation package for both Debian and
  RHEL based linux distribitions

Change-Id: I9c9bf04e64dc6be1b4e8fb92aea531eccbea33a5
Signed-off-by: Taseer Ahmed <taseer94@gmail.com>
(cherry picked from commit 95835f48cc4a65e5ccc1c48c94fa4caa51e67733)

docs: Add more info about virtual deployment

Change-Id: I82f639f380092ea6800ed1e7c86a415b7979ec44
Signed-off-by: Taseer Ahmed <taseer94@gmail.com>
(cherry picked from commit e942d5b7b4d73f2030840c08cb2943f7599eb557)

AArch64: Switch jumpserver VMs to virtio video

Drop vgabios dependency by switching video from VGA to virtio for
all VMs spawned on the jumpserver.

NOTE: This requires virtualization packages on the jumpserver to be
up to date (e.g. libvirt, QEMU).

JIRA: ARMBAND-306

Change-Id: I73913e1ae8584f4e73b92994f78f7ec363cba3ec
Signed-off-by: Alexandru Avadanii <Alexandru.Avadanii@enea.com>
(cherry picked from commit d058675b9a4274336ae3497914d6651f653ccde0)

Run aodh state one by one

Apply aodh state in consecutive order to avoid
a race condition with database synchronization.

Change-Id: I4684fbeaaba2c9780084e0a64fe6453bccfb67e0
Signed-off-by: Michael Polenchuk <mpolenchuk@mirantis.com>
(cherry picked from commit 9cfa75272ba2fd9abab416db1f22df5989c9959e)

fix for documentation: correct git checkout tag is opnfv-5.0.2

Change-Id: I2c4192d4dc299d167ba6b1b9db91c6d73c87c417
Signed-off-by: Mika Rautakumpu <mika.rautakumpu@nokia.com>
(cherry picked from commit 6cb5e8ee2deeda4b08cefe8925078410994d084f)

Minor updates to documentation

Change-Id: I35b8069a0239858dad3b446f683d64140964fb42
Signed-off-by: Cristina Pauna <cristina.pauna@enea.com>
(cherry picked from commit 4b163654de5efd0f4ad5dc5c88475f6fa2b4b8ae)

Catch expected failures

* neutron on computes (dpdk case: void state)
* mongodb server (incomplete initialization)

Change-Id: I3dd3266b5c2d1b155981f725e15742cd38ed899d
Signed-off-by: Michael Polenchuk <mpolenchuk@mirantis.com>
(cherry picked from commit 24d9cdd384635d8c1a037d6341d63a9c9be039b1)

Merge "lib.sh: Fix locals override in nested invocations" into stable/euphrates

[vcp] Increase timeout till VCP VMs online

Change-Id: I95c284cbf374194694360bffbeaf6770db6111bf
Signed-off-by: Alexandru Avadanii <Alexandru.Avadanii@enea.com>
(cherry picked from commit 4b63bd0ea961d06723b277b874168c2aaddb96c5)

lib.sh: Fix locals override in nested invocations

'wait_for' bash function is nested in another 'wait_for' call in some
places, which leads to inner calls interfering with outer calls by
overriding the locally scoped variables, including the 'attempt'
internal counter. In some cases, the outer 'wait_for' would exit
after a single attempt.

Fix that by running all contents of `wait_for` inside a subshell,
which inherits outer calls variables, but does not override them
when the inner call is finished.

Change-Id: I450eda3d023af2380c61ee930071fbfc393a5645
Signed-off-by: Alexandru Avadanii <Alexandru.Avadanii@enea.com>
(cherry picked from commit 2776ab9d850e764a92c30c858befc48e474f6dd4)

Merge "[baremetal] PDF-based network config" into stable/euphrates

Merge "[baremetal] Remove infinite loops from node checks" into stable/euphrates

[virtual] Rise memory for ovs/dpdk scenario

Let's add more hugepages/memory to the compute nodes since
snaps_smoke required 2Gb flavor for tests.

Change-Id: If52f30d53a6469abeca67aaf2bdee551542d1653
Signed-off-by: Michael Polenchuk <mpolenchuk@mirantis.com>
(cherry picked from commit 496c818b28b6d668428b3e8996675a7edd688f73)

[baremetal] Remove infinite loops from node checks

Change-Id: I7a21c30d49aecca948f45535fec164c2f643450e
Signed-off-by: Alexandru Avadanii <Alexandru.Avadanii@enea.com>
(cherry picked from commit 9cfa3c11bbd71ce4ec24dba9dbd9a2289b76a4a3)

Update the reference for scenarios

Modified the reference link for the scenarios as it colides with
another installer. To be used with https://gerrit.opnfv.org/gerrit/#/c/45795

Change-Id: I7b55cfdb877715ec4fa0292adc11e36b7cf4ae53
Signed-off-by: Cristina Pauna <cristina.pauna@enea.com>
(cherry picked from commit aa0f463972db10c96ea61f7f7067477ad28b6482)

[baremetal] cmp: run linux.network before reboot

The recent addition of `linux.system`, combined with `system.reboot`
for the baremetal compute nodes leaves compute nodes unconfigured
after reboot.
Run `system.network` too, but expect a failure (only for DPDK, which
requires hugepages to be already active, hence a prior reboot).

Fixes: 64920b8

Change-Id: I8c73b24ae15e1f87dee64ae2aba7af86db1e942f
Signed-off-by: Alexandru Avadanii <Alexandru.Avadanii@enea.com>
(cherry picked from commit 595119281c50edb86b987f5fdd6eac25e28147ae)

Merge "Horizon: service: Default to v2 API" into stable/euphrates

[baremetal] maas state: Wait for all nodes online

After MaaS reports baremetal provisioning finished successfully,
check that all nodes are online before attempting a `sync_all`.

Change-Id: I6ba4b3e4ba5b5258ace4da8c39e0fc77354885e3
Signed-off-by: Alexandru Avadanii <Alexandru.Avadanii@enea.com>
(cherry picked from commit b9918f1f8df52c52cd2ab76eec3b540b37789e55)

[baremetal] maas state: Retry sync_all on failure

Change-Id: Ib4aa3f2cb4fc7129d502b4332cd7fedd83a0e1fe
Signed-off-by: Alexandru Avadanii <Alexandru.Avadanii@enea.com>
(cherry picked from commit 51f374b055999fbc121b624424c21ee45d061538)

[baremetal] PDF-based network config

This change extends current PDF/IDF support with:
- dynamic interface / vlan definition;
- dynamic interface and/or bridge allocation of installer networks on
  top of interfaces (physical or vlans);

This allows us to drop hardcoded interface names and vlan / bridge
configuration in favor of a runtime determined model based on PDF/IDF.

For now, we duplicate common jinja variable definitions in each
template, but this will later be moved to a common include file.

JIRA: FUEL-275

Change-Id: Ia80a66dbdf898b0bd0a4fb99d069ce9ebe33fa65
Signed-off-by: Alexandru Avadanii <Alexandru.Avadanii@enea.com>
(cherry picked from commit c360b972649028d2613fc8561899c2c8b7f71832)

Horizon: service: Default to v2 API

Horizon service definition hardcodes the API version to v3, and
also overrides the value in our reclass model during interpolation.
Adjust the default to '2'.

While at it, move 'reclass' patching later in `salt.sh`, after
the salt formula packages are installed.

JIRA: FUEL-284

Change-Id: I6f63b4d00ae85c82b076b3efef857e7cc4f3fd35
Signed-off-by: Ting Wu <ting.wu@enea.com>
Signed-off-by: Junaid Ali <junaidali.yahya@gmail.com>
Signed-off-by: Alexandru Avadanii <Alexandru.Avadanii@enea.com>
(cherry picked from commit 68ff467c4c2d9d0f201e2912c97616402f8109a3)

[virtual] Horizon: Use v2 API instead of v3

JIRA: FUEL-284

Change-Id: I821a8e79e6a23a71eae0fc0f857c1d05b30cd188
Signed-off-by: Alexandru Avadanii <Alexandru.Avadanii@enea.com>
(cherry picked from commit 5936f07b1e951f4f08c0bc20c97122289f544c9e)

Return back glusterfs client state

In order to set properly keystone fernet keys, apply glusterfs client
state before second keystone server state. Also leave out user/group
settings for glusterfs volume of nova instances as it will be set later
by nova compute packages themselves.

Change-Id: I069e37c67f08c51ed29f45cf6f92d4a00a1ac97b
Signed-off-by: Michael Polenchuk <mpolenchuk@mirantis.com>
(cherry picked from commit 0224929b3a87d0e0ec011311c46872e6142497cf)

Merge "states: Break on error, retry states up to 5 times" into stable/euphrates

Merge "[baremetal] Fix DPDK by running linux.system first" into stable/euphrates

Merge "[baremetal] reclass: Fix class order for common" into stable/euphrates

Add documentation for scenarios

Added documents for feature scenarios supported by fuel.
The nofeature scenarions don't require documentation.

Change-Id: I574e42b60125b4a59c8d921fa45e4c4fbf09137f
Signed-off-by: Cristina Pauna <cristina.pauna@enea.com>
(cherry picked from commit 2a74900ecd451c939a34d53a529e802cc2250db9)

[baremetal] reclass: Fix class order for common

Inheriting classes in the wrong order led to params being silently
overriden by defaults in the system reclass classes, leaving
some mismatched values between the controller nova config and the
compute conunterpart (e.g. metadata_password had different values).

Always inherit the common class first, so scenario-specific config
is applied on top.

NOTE: {dhcp,single}_nic are not used for mas|kvm|cmp nodes, but they
are referenced in inherited classes, so keep them for now.

Change-Id: I6cb90d5c832ffc8ab731bd9e3cd38ede858dba5c
Signed-off-by: Alexandru Avadanii <Alexandru.Avadanii@enea.com>
Signed-off-by: Michael Polenchuk <mpolenchuk@mirantis.com>
(cherry picked from commit 92530f89c061b0070766e431f839feb368e2e4ac)

[baremetal] Fix DPDK by running linux.system first

DPDK scenario requires hugepages to be set up and enabled before
configuring OVS ports, so apply `linux.system` on compute nodes
and reboot them before attempting to run `linux.network` state.

Change-Id: I2b685361b07727a4740a3676c5f219a6443d1cf2
Signed-off-by: Alexandru Avadanii <Alexandru.Avadanii@enea.com>
(cherry picked from commit 64920b8bb1e95389146451598221f2c7eb97f5e3)

salt.sh: DEBIAN_FRONTEND=noninteractive

Change-Id: Ibb1e78563043298dffdb4b7e9091d3f582e189fc
Signed-off-by: Alexandru Avadanii <Alexandru.Avadanii@enea.com>
(cherry picked from commit 882220ff185d7bcc15e6c5f75edaee454c933956)

[ovs/dpdk] Return true on linux.network state

linux.network state is expected to be down until node reboot
to activate required hugepages therefore return true in any case.

Change-Id: I61deac12b9ac212c5f79cdcce30cda8e5d24413b
Signed-off-by: Michael Polenchuk <mpolenchuk@mirantis.com>
(cherry picked from commit 044f49fd195526d8c00967fb9a0b6b1ab0a36c14)

states: Break on error, retry states up to 5 times

While applying scenario states, break on error, and retry failed
state up to 5 times. Apply the same behavior for `salt.sh`.

Add new deploy parameter, '-D', backed up by 'CI_DEBUG' env var,
which gates deploy sh scripts logging (set -x).
Also extend '-f' deploy parameter, allowing it to be specified
more than once; the first occurence will skip infra VM creation,
but still sync reclass & other config from local repo, while a
second occurence will also disable config sync.

To prevent glusterfs client state from failing due to non-existent
nova user/group, move it after nova:compute's nova state is applied.

Change-Id: I234e126e16be0e133d878957bd88fed946955de8
Signed-off-by: Alexandru Avadanii <Alexandru.Avadanii@enea.com>
(cherry picked from commit 23f9ef727310a8ef449372313785241df6557559)

Add license headers where missing

While at it, compact 'set' into bash shebang where possible and
add `make patches-copyright` target to simplify adding patch
license headers.

Change-Id: I0c841de72e5709e5eef915a52c5ec4a7fc0f7c37
Signed-off-by: Alexandru Avadanii <Alexandru.Avadanii@enea.com>
(cherry picked from commit 644e5fdfa2f49b988a5150e2a4eefc12daecd845)

reclass: baremetal: Factor out common code

While at it, add .yamllint file (copied from releng repo).

Change-Id: I39630c0043fe2fd601510969c401e6cc9efbf69a
Signed-off-by: Alexandru Avadanii <Alexandru.Avadanii@enea.com>
(cherry picked from commit a75af3d4c30af050dd15c0f875142f6328874fe4)

Drop infinite loops in favor of finite wait_for

While at it, fix some shellcheck warnings, and s/fgrep/grep -F/g.

Change-Id: I093b7b4c196731b1ecc0c27a4111955b2e412762
Signed-off-by: Alexandru Avadanii <Alexandru.Avadanii@enea.com>
(cherry picked from commit 089585ad5370109d4c2a476b94b0017153d7713d)

states: Split virtual_control_plane from maas

We should eventually also support baremetal deploys without a
virtualized control plane (VCP), so decouple MaaS provisioning
from VCP provisioning.

While at it, move "wait_for" bash function from maas state to
common library file, lib.sh.

Change-Id: I32c33135655cb6aceae901a5f92b51265a8c84b4
Signed-off-by: Alexandru Avadanii <Alexandru.Avadanii@enea.com>
(cherry picked from commit ebd7067904b36ae32566da63e433365948a1f973)

patch.sh: Exit on patch apply failure

Patches that fail to apply are silently skipped. Since retrying is
not possible, deploy moves on, making the problem hard to observe.

Change-Id: I3fe01cef6b245de53767a660b9b4fdfae0d5d0ff
Signed-off-by: Alexandru Avadanii <Alexandru.Avadanii@enea.com>
(cherry picked from commit bd0259e7bb5f045a1ba7958d79039848d062aad1)

ci/deploy.sh: Add installation succesful message

Change-Id: Id366854c4ccb3b835f4a54ddea924a3a2cc30c7d
Signed-off-by: Alexandru Avadanii <Alexandru.Avadanii@enea.com>
(cherry picked from commit 3479e81a8bfa1ae15084100f2b3872ca8f1ed752)

Merge "docs: Update release documentation" into stable/euphrates

docs: Update release documentation

JIRA: FUEL-276

Change-Id: I09799b2dde3c992d229864757e655c108d33608a
Signed-off-by: Cristina Pauna <cristina.pauna@enea.com>
(cherry picked from commit 029462bc462b1dea05920464b8d0acc77f789eef)

docs: Update installation instructions

This documentation contains the updated procedure on how to use
Fuel to deploy openstack.

JIRA: FUEL-276

Change-Id: I38dc9c57ea386a628cd363f5bcef3818739b9122
Signed-off-by: Cristina Pauna <cristina.pauna@enea.com>
(cherry picked from commit 1e3b2751ce0ca7fa2b011efdc76ae69dfc106ec8)

reclass: Fix all remaining yamllint warning

Change-Id: I1e0e1ba291dd4d5af578d89274f3655ee784f64e
Signed-off-by: Alexandru Avadanii <Alexandru.Avadanii@enea.com>
(cherry picked from commit c11eb920a3570ed22b252bbb8eecfb5231f5db1a)

Fix parametrized nic name variables

-Fix interface order for reclass config node
-Interface types regruped on 3 sets for each cpu arch
  -Foundation VM interface names
  -VCP VM interface names
  -Baremetal node interface names

Change-Id: I1ae522d775ee538b35b0f043914c80c3993232fc
Signed-off-by: Guillermo Herrero <guillermo.herrero@enea.com>
(cherry picked from commit c8d0c5b687f5eec9db62171fdf53053f5ffeef28)

yamllint: Fix recently introduced errors

Change-Id: If117588f7c43306959d29032b1d5eeb3c751dc44
Signed-off-by: Alexandru Avadanii <Alexandru.Avadanii@enea.com>
(cherry picked from commit 8401f25a520843d884abb84806873baca0452ec8)

reclass: Revert virt.nic to hardcoded eth{0,1}

Salt's virtualization model for virt:nic:default does not use real
interface names that are present on the node, but instead it defaults
to using "ethX" notation, that name being only a convention inside
Salt internals.

Moreover, the 'salt.control.virt' reclass class (located in
/srv/salt/reclass/classes/system/salt/control) already provides a
defalt maping between "eth{0,1}" and "br{0,1}". Using anything
different than "eth{0,1}" will lead to 2 extra (broken) mappings.

Reverting the changes in "virt:nic" reclass fixes both the python
exception recently introduced, as well as the broken defaults.

Change-Id: I5c90e3d2bc181c1ad3d87af64440439e6a41fb28
Signed-off-by: Alexandru Avadanii <Alexandru.Avadanii@enea.com>
(cherry picked from commit db2144a7f6ed8586bbab39fdb5ea15b171388e85)

Parametrized network config: nic device names

Change-Id: I94d40529261f7753ec47a0c6a8c67ecc0fb15951
Signed-off-by: Guillermo Herrero <guillermo.herrero@enea.com>
(cherry picked from commit 5ab45d25c8fd3e5528c411e09b105699c745457f)

ci/deploy.sh: Drop unsupported options

Drop support for unsupported arguments:
- timeout;
- iso URI;

While at it, disable shell debugging during PDF parsing to prevent
sensitive information leaking via debug logs.

Change-Id: I6b40f3e3749a3e162326728e670a176c8fa3c4bb
Signed-off-by: Alexandru Avadanii <Alexandru.Avadanii@enea.com>
(cherry picked from commit 106883131b2fa1c765cac7e83cc4c8e294ef231f)

Update opendaylight version to nitrogen

* use pseudo agentdb port binding controller instead of
  the deprecated network topology one
* disable superfluous l2population mechanism driver
* tidy up the duplicated haproxy neutron listen opts
* straighten karaf features list
* update jetty config

Change-Id: Ifacf8de11eb56ab72df13a312151a510b280dea2
Signed-off-by: Michael Polenchuk <mpolenchuk@mirantis.com>
(cherry picked from commit fca7d22742df82fc6e502b17ad45ebc11c0ba89b)

[virtual] Extend cinder volume size

Rally test of NovaServers.boot_server_attach_created_volume_and_live_migrate
requires 10Gb volume to function, so extend volume group size in order to
avoid insufficient free space error.

Change-Id: I317935d2bf736db360061e24f299c9b885154a9e
Signed-off-by: Michael Polenchuk <mpolenchuk@mirantis.com>
(cherry picked from commit 2d95dee51177e66f5370b85115c2999925b13657)

log.sh: Fix sourcing of globals.sh

Fix sourcing of globals.sh from log.sh when running with a CWD
different from scripts dir.

Change-Id: I680531022d30b57f650a612493f40fdb3e073dc2
Signed-off-by: Alexandru Avadanii <Alexandru.Avadanii@enea.com>
(cherry picked from commit 9ac845bdfb5c4ec7fd8c0b0ba1bc8fec867be5aa)

ci/deploy.sh: Move global vars to separate file

log.sh should also work as standalone script, so factor out
global variables from <ci/deploy.sh> into <mcp/scripts/globals.sh>,
which should be sourced by log.sh when required variables are not set.

Change-Id: I5a5bb85ee5835f567d6910b11c137d95e2147714
Signed-off-by: Alexandru Avadanii <Alexandru.Avadanii@enea.com>
(cherry picked from commit 45b22fab76f84cdbf71a6693dc42f24edaa4334e)

Identify jump host bridges based on IDF / PDF nets

- minor refactor of runtime templates parsing to allow var expansion;
- parse <pod_config.yml> into shell vars, match dynamically networks
  from PDF to IP addresses on bridges of current jumphost;
- keep old '-B' parameter in <ci/deploy.sh>, use it for providing
  fallback values in case there's no bridge name specified via IDF
  and no IP on the jumphost for one or more of the PDF networks;
- re-enable dry-run to ease testing of the above;
- add sample 'idf-pod1.yaml' to <mcp/config/labs/local>;

The new behavior will try to determine the jump host bridge names:
1. Based on IDF mapping, if available
2. Based on PDF network matching with IP addrs on jumphost;
3. Fallback to values passed via '-B';
4. Fallback to default values hardcoded in the deploy script;

Later, we will drop MaaS network env vars in favor of PDF vars,
once the PDF template is generating them.

Change-Id: If9cd65d310c02965b2e2bfa06a0d7e0f97f1dd48
Signed-off-by: Alexandru Avadanii <Alexandru.Avadanii@enea.com>
(cherry picked from commit 8ec927497b7ee0fd3b7346e957878173b080ef6a)

[ovs/dpdk] Add missing rootwrap sudoers policy

Append required sudoers rule since uca package version
of neutron has no policy for neutron-rootwrap-daemon.

Change-Id: Id8ea5b1b6aadb9eca879d72ce4d158a7bc01060e
Signed-off-by: Michael Polenchuk <mpolenchuk@mirantis.com>
(cherry picked from commit a05f8d2682f2449d7d10e52038c56a0af6357def)

Merge "Enable options for customizing deploy workflow" into stable/euphrates

Enable options for customizing deploy workflow

Change-Id: I1011734895771fdaf653c59348a9ce0aeeff47a7
Signed-off-by: Yujun Zhang <zhang.yujunz@zte.com.cn>
(cherry picked from commit a10b7711ab3d400830406a2c425acb3431b4a5c1)

Apply neutron formula patch after formula update

Change-Id: I8dba3676adc8cc49731d91db7cc028a9c5b1627d
Signed-off-by: Michael Polenchuk <mpolenchuk@mirantis.com>
(cherry picked from commit 952b5cc60febe14df428f92280448327572d5c24)

salt.sh: Stick to older salt-formula-neutron

Recent changes to salt-formula-neutron, more precisely [1], broke the
compatibility with our current reclass model [2], which was not
updated to reflect the formula change.

Instead of locally patching the reclass model, install the latest
compatible version of the Neutron formula:
- 2016.12.1+201709251458.f0607d9-1xenial1;

[1] https://github.com/salt-formulas/salt-formula-neutron/commit/
    79ffa26858d682f404984175dc1ab93863a149ad
[2] https://github.com/Mirantis/reclass-system-salt-model

Change-Id: Ia1bc9de9a1543f7888688be76ff3513e6b4f062b
Signed-off-by: Alexandru Avadanii <Alexandru.Avadanii@enea.com>
(cherry picked from commit f2b1d6cfe31a451b0608b9a2aadead2dcf4cfabb)

Align salt version & repos

Change-Id: If7cb8473f5c290d1d5f22fce5567f7b8da24fd9f
Signed-off-by: Michael Polenchuk <mpolenchuk@mirantis.com>
(cherry picked from commit 0c00f813d709fd1b65e5dd52abcf16fd81b3d0e1)

[virtual] Reset mtu for compute management bridge

Use default mtu for br-mgmt in order to resolve the live
migration failure (cannot recv data: connection timed out)

Change-Id: I9cee453d87f849e29fc877fff237f8e604f2df53
Signed-off-by: Michael Polenchuk <mpolenchuk@mirantis.com>
(cherry picked from commit b45f3e15ac5581c1e8c44d0a7a1424a1d092834e)

pharos git submodule: Bump for latest PDF adapter

Change-Id: I658c1dfeb369adf74038abd0ce1b593d40303527
Signed-off-by: Alexandru Avadanii <Alexandru.Avadanii@enea.com>
(cherry picked from commit 5ad2e311bbc1326493386aeee4d87a9091337adf)

Merge "lib.sh: Use host bridge in favor of virsh network" into stable/euphrates

Merge "PDF parsing support" into stable/euphrates

MaaS: Fix missing service.maas.cluster.single inc

Upstream change [1] made the inclusion of service.maas.cluster.single
mandatory by using some default reclass definitions which we don't
override explicitly.

[1] https://github.com/salt-formulas/salt-formula-maas/commit/
    ce118a238bae4bcf19d2f10bca591a40405f7c3c

Change-Id: I5746b6906b341a7257e0cd2b4b0bed8ea25840f4
Signed-off-by: Alexandru Avadanii <Alexandru.Avadanii@enea.com>
(cherry picked from commit 4b2dfa552656def5f56a48229705e79c5c7bcfca)

PDF parsing support

- add new git submodule pointing to OPNFV Pharos;
- use Pharos 'generate_config.sh' to parse the PDF using the Fuel
  installer adapter and generate <pod_config.yml> dynamically;
- build <pod_config.yml> outside current git repo and sync separately
  to prevent sensitive data leak;
- add <pod1.yaml> PDF sample based on LF-POD2, should be used with
  'ci/deploy.sh -l local -p pod1';

Change-Id: I4e1b95f180bcd5ade5d86f516628eb8edbe64b1c
Signed-off-by: Alexandru Avadanii <Alexandru.Avadanii@enea.com>
(cherry picked from commit 36e4b9754dedef27637c09b510829f686bd469e4)

Merge "Change vlan tag of lf-pod private network" into stable/euphrates

Merge "Extended PDF support to all baremetal scenarios" into stable/euphrates

lib.sh: Use host bridge in favor of virsh network

If a linux bridge already exists on the jump host, with the same
name as the value passed via `-B` or the default, use it instead
of trying to create a virsh network.

Change-Id: If7f0753ec366d429ff101c2b37dd68f895903404
Signed-off-by: Alexandru Avadanii <Alexandru.Avadanii@enea.com>
(cherry picked from commit 96cccf2b507949978c1b37c65961a5182ffbbbfd)

Change vlan tag of lf-pod private network

Change-Id: I66f5b4ac4ab58d3dbc983b0e1bed359a58602dba
Signed-off-by: Michael Polenchuk <mpolenchuk@mirantis.com>
(cherry picked from commit 0e8c582713d70e00975e9a002898bc5cce66eee4)

[virtual] Switch compute nodes to uca repo

Test of snaps_health_check gets console output of instance, which is
empty (https://bugs.launchpad.net/ubuntu/+source/libvirt/+bug/1667033),
therefore take affected packages of computes from UCA repo.

Change-Id: I4e13a40dd47caf305efd9f393b3c3cf5a17ef312
Signed-off-by: Michael Polenchuk <mpolenchuk@mirantis.com>
(cherry picked from commit c76d5e92d9e6cdfc614be4a1ed7b9e630c711008)

Extended PDF support to all baremetal scenarios

JIRA: FUEL-275

Change-Id: I67e8d7ab95e35c78a4f960a12733124fe7bffaec
Signed-off-by: Guillermo Herrero <guillermo.herrero@enea.com>
(cherry picked from commit 809ea60a05f55d98814f8794a46540edcd2b0298)

Merge "Run packages upgrade on openstack nodes only" into stable/euphrates

Run packages upgrade on openstack nodes only

Change-Id: I53ac0be519df1bb39a6a56e236285fce95228bd4
Signed-off-by: Michael Polenchuk <mpolenchuk@mirantis.com>
(cherry picked from commit c15004f402555df4886b18bba9a837288c6ef250)

states: maas: Dynamic node count in stop condition

Change-Id: I7fe8d0c77a1d62e2214fb1089651a639303dd20e
Signed-off-by: Alexandru Avadanii <Alexandru.Avadanii@enea.com>
Signed-off-by: Michael Polenchuk <mpolenchuk@mirantis.com>
(cherry picked from commit ed3404128c71d145ed2c697b6b15ea6d016c7550)

Fix or silence all yamllint warnings

Change-Id: Iface28ab770beee00374afb902ef4f9c983538f5
Signed-off-by: Alexandru Avadanii <Alexandru.Avadanii@enea.com>
(cherry picked from commit 597e4b55f57001ead8e90f30e2e3211c7d705ca8)

patches: Fix context for linux/map.jinja

linux/map.jinja was changed upstream, so our patch (silently)
failed to apply. Adjust the patch context accordingly.

Change-Id: I3493d1926df1303ed823d7ca5dd8282578617f3c
Signed-off-by: Alexandru Avadanii <Alexandru.Avadanii@enea.com>
(cherry picked from commit ec3604c1a30981ad7e9d3a9ea82f61391c1266cf)

Workaround VCP minions timeout post pkg.upgrade

pkg.upgrade was enabled for all salt minions, including VCP VMs,
which take longer to perform the operation, probably due to an
older set of packages in the Ubuntu disk image we use.
One way to work around this is to switch to UCA Xenial image, and
let Salt pre-provising salt minion on it, but that adds deploy
time delay and has caused issues in the past (should be ok now).

Alternatively, we can retry the pkg.upgrade until all minions
respond, before moving on with the state execution. This prevents
silently skipping the next salt calls (e.g. installing keepalived).

Note that the issue did not manifest for OVD-DPDK, where after
pkg.upgrade, DPDK is installed, giving VCP VMs enough time to return.

While at it, retry 'salt.control' state apply too (non-critical,
but it fails every once in a while).

Fixes: 87310fb

Change-Id: I97acc2b23206a55d72f7e6583ca42127fdbacc16
Signed-off-by: Alexandru Avadanii <Alexandru.Avadanii@enea.com>
(cherry picked from commit a6feb158fa5bc16b8d496c785c461c73ca715322)

MaaS: Reduce C/D timeouts, minor fixes

- add new patch for maas.region, extending it poorly with a timeout
  override mechanism; the new comissioning/deploying timeout defaults
  (10/15min) will be used instead of MaaS defaults (20/40min), unless
  reclass params are defined with different values;
- add 30s delay between 'machine mark-broken' and 'machine mark-fixed'
  MaaS cli commands (fixes a rare race condition);
- fix forgotten replace in 'maas.pxe_route': s/opnfv_fuel_/opnfv_/g;

Change-Id: I71c562b80031bac2793dd470d52928c2d62e5300
Signed-off-by: Alexandru Avadanii <Alexandru.Avadanii@enea.com>
(cherry picked from commit 01e94712d75c0a1cf7585f0ed380dd9a3967274e)

reclass: Drop MaaS public IP and interface

MaaS node does not need to be exposed to the public network; instead
the management IP should be enough to access the MaaS dashboard.

So, drop 'infra_maas_node01_external_address' reclass param, together
with its OPNFV PDF param, 'opnfv_infra_maas_node01_external_address'.

This allows us to move compute public IPs back to .{2,3} instead of
.{101,102}, where we moved them during 'pod_config.yml' addition.

While at it, fix a minor duplicate 'name' param for 'br-mgmt' bridge
on kvm nodes.

Change-Id: Ie9fcf5924d7aa37b666f42c968687d73b51a8278
Signed-off-by: Alexandru Avadanii <Alexandru.Avadanii@enea.com>
(cherry picked from commit ee4d89f2803085bdd4a7f3b365e40ec9366c25a9)

reclass: pod_config: Revert MaaS IPs to .3

PDF compatible reclass support moved the MaaS IPs from .2 to .3.
However, the runtime template was not updated accordingly, leading
to mismatches between IP addresses. Until all scenarios support
pod_config, we can't apply the IP change correctly, so revert it.

Change-Id: I34e42ec06dd9fd4f69bd7c91dbe068a4f83b3e62
Signed-off-by: Alexandru Avadanii <Alexandru.Avadanii@enea.com>
(cherry picked from commit 187d1c87dfcc86a6b36dfca2c061144dab35bd4d)

Merge "Pod Descriptor File compatible reclass structure" into stable/euphrates

Merge "states: maas: Add 30s delay in re-deploy attempt" into stable/euphrates

states: maas: Add 30s delay in re-deploy attempt

Occasionaly, MaaS fails to provision/deploy some nodes, in which
case we try marking them as broken, then fixed (to put them again
in 'ready' state); before re-attempting the MaaS deploy operation.
However, this leads to 'Error: Internal server error' when deploy
function is called right after transitioning the node to 'ready'
state.

Add a delay of 30 seconds before re-attempting the failed operation.

Change-Id: Ia9ecec67639387e4a29feab3114e1741c554a2cb
Signed-off-by: Alexandru Avadanii <Alexandru.Avadanii@enea.com>
(cherry picked from commit 39ffab99ad34ff45c0ed8be5a8172106e6a819a5)

Adjust memory allocation size

* [baremetal] add memory to contollers & salt master
* tune up sysctl vm.dirty* for compute nodes
* upgrade packages to get the latest versions
  (https://bugs.launchpad.net/cinder/+bug/1641312)

Change-Id: I9ad22206f2f3f11e1da3f93c7a0931c592adf1cf
Signed-off-by: Michael Polenchuk <mpolenchuk@mirantis.com>
(cherry picked from commit 87310fb8edfe49b9621fe4410ae52d989072e3c5)

Pod Descriptor File compatible reclass structure

Implementation for baremetal-mcp-ocata-ovs-ha scenario

JIRA: FUEL-275

Change-Id: Id6ab5697f993ac9faa019c3c10ba4ed4b7b6db01
Signed-off-by: Guillermo Herrero <guillermo.herrero@enea.com>
(cherry picked from commit 5c0a09fbd0f377df56bfcfe94b262225a34f98ff)

[virtual] Alter haproxy entry type of odl rest api

Change-Id: Iedb9a57f7ed4b7483bf629225fb2f3470e7de97e
Signed-off-by: Michael Polenchuk <mpolenchuk@mirantis.com>
(cherry picked from commit 80024618fbda8422ba758d667073ad07c6f69542)

Remove build instruction from documentation

Fuel/MCP no longer packages the installer in an iso, therefore
these building instructions are obsolete.

JIRA: FUEL-276

Change-Id: Iee587be89078707cf0cf748212b94d69f1769e12
Signed-off-by: Cristina Pauna <cristina.pauna@enea.com>

[ovs/dpdk] Fix location of libvirtd config

Change-Id: If2e3736af02bb0ca53667116377f2fed4385b048
Signed-off-by: Michael Polenchuk <mpolenchuk@mirantis.com>

Merge "Tune up mysql options"

[baremetal] Switch from 1Gb to 2Mb hugepages

Employ 2Mb hugepages for physical computes as well
since functest suite uses less than 1Gb memory flavors.

Change-Id: I7e96dd73df7d9e7274247b4faba15ee9bd362e40
Signed-off-by: Michael Polenchuk <mpolenchuk@mirantis.com>