Fixes missing bgpvpn service on controller

Change-Id: I943fc99d539aca9bc66204a75dbd2ae8fa7033fd
Signed-off-by: Tim Rozet <trozet@redhat.com>
(cherry picked from commit 935f36ff80663ecc4617969c1f214201e8dde5a4)

Fixes removing inventory keys

Inventory keys that we want to delete were not being removed for
instackenv.json.  Also fixes unit tests.

Change-Id: I7d6c752342db050d651953633f18e236f60334e3
Signed-off-by: Tim Rozet <trozet@redhat.com>
(cherry picked from commit 17d5b541e93f5d88ff958372cdf0b0b184bdbc27)

Improves clean to cleanup virsh nets and and other bridges

Currently only the admin and external bridges will be removed from the
jumphost which is only really clean for a baremetal deployment.  Virtual
deployments will leave br-tenant, br-api, br-storage.  This patch
removes those as well as deletes all Apex virsh networks from libvirt.

Also checks if authorized_keys exists before trying to edit it.

Change-Id: I1affe2733ba1dc38fd3b91fb14398454137f00a4
Signed-off-by: Tim Rozet <trozet@redhat.com>
(cherry picked from commit 02dc854a504569da15b0e41353a9f456e02599ad)

Set aarch64 deploys to UEFI

Change-Id: I6b037ccd38fa68e5f863566a1c9a3ed4399bab84
Signed-off-by: Dan Radez <dradez@redhat.com>
(cherry picked from commit da94c0191c910a1c2c796abfbe6b380fc341ef84)

Merge "Minor fixes to clean" into stable/euphrates

Merge "Fixes missing libvirt-client in ISO" into stable/euphrates

Minor fixes to clean

Also adds hidden files (like IDE configs) to gitignore

Change-Id: Ief595c41c5b4f0fe058f7b774f7a2aefdab733a4
Signed-off-by: Tim Rozet <trozet@redhat.com>
(cherry picked from commit 024eb9f773d716e041f064c669690e0e2a727877)

Fixes wrong argument for inventory with clean

Change-Id: I3ff145fa0f500182744fd310bb844e4bc5854663
Signed-off-by: Tim Rozet <trozet@redhat.com>
(cherry picked from commit 54b8b2a51e4156d42005158f003fb307b32e45c1)

Fixes missing libvirt-client in ISO

This was causing ISO install to fail because the libvirt modules were
missing for python-libvirt.

JIRA: APEX-517

Change-Id: Iaf127340864da58b2bace720293e515c8e9db426
Signed-off-by: Tim Rozet <trozet@redhat.com>
(cherry picked from commit add79730ea98607c814786235168a43c35d01444)

Fix broken jumphost detach method when orig file exists

In the case where the backup ifcfg file exists (.orig) the functionality
to detach the interface from ovs was broken.  This fixes it and adds
unit test case to cover that scenario.

Change-Id: If6d8ca0ba5cf80df71bb82f52e9d204435374479
Signed-off-by: Tim Rozet <trozet@redhat.com>
(cherry picked from commit 74336aa1ff8270e701c1e5f20c7a566715ed8d92)

Freezes RDO images for Euphrates

Change-Id: Ie20e7d0c52efc2497c7c9975f88be0a9bfa7aa07
Signed-off-by: Tim Rozet <trozet@redhat.com>

Merge "Cleaning up yamllint warnings"

Merge "Removes clean.sh"

Removes clean.sh

CI has been migrated to use opnfv-clean for verify jobs, which is now
installed as python.  There is no reason to keep ci/clean.sh anymore.

Change-Id: I2edf23901c5debaba0674e3506fd0392d317dc6f
Signed-off-by: Tim Rozet <trozet@redhat.com>

baro: updating refs to collectd-ceilometer

Since Ceilometer support was removed from the
collectd-ceilometer-plugin[1], the repo name and ceiloemter are
misleading. A change was submitted to openstack-infra to rename
the repo [2]

This change removes references to collectd-ceilometer from apex.
These changes are independant of the repo rename.

[1] https://review.openstack.org/#/c/490823/
[2] https://review.openstack.org/#/c/500768/

Depends-On: I6cf22c081aa1e40f64995be40b6225855faf4092
Change-Id: Ib3a7766e28fd03a86a995eea4b9abc996498200e
Signed-off-by: Emma Foley <emma.l.foley@intel.com>

Cleaning up yamllint warnings

yamllint output:
build/baremetal-environment.yaml
  1:1       warning  missing document start "---"  (document-start)

build/opnfv-environment.yaml
  6:3       warning  comment not indented like content  (comments-indentation)
  14:4      warning  missing starting space in comment  (comments)
  123:1     warning  comment not indented like content  (comments-indentation)
  128:1     warning  comment not indented like content  (comments-indentation)
  156:1     warning  comment not indented like content  (comments-indentation)

config/deploy/os-odl-fdio-dvr-ha.yaml
  1:1       warning  missing document start "---"  (document-start)

config/deploy/os-odl-fdio-dvr-noha.yaml
  1:1       warning  missing document start "---"  (document-start)

config/network/network_settings_v6.yaml
  225:6     warning  missing starting space in comment  (comments)

Change-Id: I3985ce0b6740ce4694b5d75b477cb03c3dc49c28
Signed-off-by: Dan Radez <dradez@redhat.com>

Fix broken build dependency

libguestfs-tools is failing to install because libvirt-client is
installed and there is a package conflict.  Removing libvirt-client from
image before installing libguestfs-tools.

NSH build is failing in overcloud because the CentOS repos updated with
newer kernel source and headers, and we are still using older kernel.
This patch adds the old kernel source and headers.  Upgrading to new
kernel causes NSH OVS to fail when compiling.

Change-Id: Ifd500ad138116cfecafb2268ccb580bd44d5efd5
Signed-off-by: Tim Rozet <trozet@redhat.com>

Merge "Migrates clean to python"

Migrates clean to python

ci/clean.sh will be removed in a future patch after releng is updated to
use python.

JIRA: APEX-509
JIRA: APEX-319

Change-Id: If890db2fc5a31833ad28ec6f04589e25457bd380
Signed-off-by: Tim Rozet <trozet@redhat.com>

Merge "Updates SFC to use nitrogen"

Show ansible tasks as they complete

Change-Id: I1b68d70fd97076a7f2ca68091a6e94d87b72efa2
Signed-off-by: Dan Radez <dradez@redhat.com>

Updates SFC to use nitrogen

Also fixes issue where openvswitch NSH rpm was not getting installed
because we needed to downgrade now that default OVS is 2.7 and NSH OVS
is 2.6.1

Change-Id: I1b639ca80214032e93aacb3332e9588d49e74127
Signed-off-by: Tim Rozet <trozet@redhat.com>

Dup owner, changing to group

Change-Id: I8ca1501949a0e272e928c6b31b08eba2519951ec
Signed-off-by: Dan Radez <dradez@redhat.com>

Restarts libvirtd after stopping firewalld

When stopping firewalld, libvirtd needs to be restarted in order for
libvirt to use/populate iptables with the NAT rules for the default
virsh network.

JIRA: APEX-510

Change-Id: Ia5b4515fd961baa70de58814e9eae4b397db28a7
Signed-off-by: Tim Rozet <trozet@redhat.com>

Merge "Adjustments to tmp dir handling"

Merge "Adds missing packages for undercloud"

Adjustments to tmp dir handling

- prefixing with apex_tmp
- removing overcloud qcow on failure

JIRA: APEX-513

Change-Id: I766df10c294c31622917bbd5b0597e3373716d8b
Signed-off-by: Dan Radez <dradez@redhat.com>

Merge "Conditionalize VM console arg based on arch"

Adds missing packages for undercloud

JIRA: APEX-511

Change-Id: If8ed2b5409e450c39f4fffd5a0b3cb96560c5d26
Signed-off-by: Tim Rozet <trozet@redhat.com>

Merge "More cleanup for ci directory"

Merge "Output ansible's output to info log"

More cleanup for ci directory

Changes Include:
 - Moves dev_dep_check.sh to contrib dir as it is not used by our CI
 - Removes test.sh as it is not used by CI.  tox can be invoked
   directly for developers.
 - Removes run_smoke_tests.sh which is not used anymore

Change-Id: I59e39be0ce8b23234c70bf066aebf894b6d73388
Signed-off-by: Tim Rozet <trozet@redhat.com>

Merge "Skip introspection for aarch64 BM deployments"

Output ansible's output to info log

Change-Id: I27ad54785716677a885ae954a2af6dbaf8610ff1
Signed-off-by: Dan Radez <dradez@redhat.com>

Merge "Enabling the aarch check for deployment"

Merge "Adds parser tests and cleanup"

Conditionalize VM console arg based on arch

Change-Id: Ide9159e5ba7d5388c7bf62bf865b0015422e9159
Signed-off-by: Dan Radez <dradez@redhat.com>

Enabling the aarch check for deployment

Change-Id: Ic5f1fc8a61f74f7aa6b2fabf67169c601a603367
Signed-off-by: Dan Radez <dradez@redhat.com>

Skip introspection for aarch64 BM deployments

Change-Id: I630e90065f9cc76ef42ca9b23aea920c2493b53f
Signed-off-by: Dan Radez <dradez@redhat.com>

Adds parser tests and cleanup

Adds unit testing for the common/parsers library and cleans up some of
the test files syntax.

Change-Id: I7ff9d7ba20b028fba410af900a0c3107a5806d8f
Signed-off-by: Tim Rozet <trozet@redhat.com>

Remove deploy.sh and references

Deploy is now pip/rpm installed as opnfv-deploy in /bin.  Alternatively
the deploy.py script can be invoked via python.  The legacy deploy.sh
was only being used for CI, which has now been updated to remove the
need for the Apex repo containing ci/deploy.sh.

Change-Id: I1fb93bd9de23a97a09bedb8ac014ef81955875f2
Signed-off-by: Tim Rozet <trozet@redhat.com>

Removes build.sh

We now have build.py which handles all the building and build.sh was
just a wrapper to include ansible playbook.  Now that we have built in
apex libs to run ansible there is no reason to keep build.sh anymore.

Also simplifies the logic to determine apex root by using the git
properties.

Change-Id: I00d2e5c7c198e549d21936bb1e9b562ba93d3010
Signed-off-by: Tim Rozet <trozet@redhat.com>

Merge "Adds Undercloud retry and log fetch"

Merge "Fix deployment errors for odl-fdio scenarios"

Adds Undercloud retry and log fetch

Retry to install the undercloud if it fails due to sometimes failing.
Also copy undercloud log over to host temp dir.

Change-Id: I50f98c4f0d52fa6bb56d9dcd0766bbe745160452
Signed-off-by: Tim Rozet <trozet@redhat.com>

Fix deployment errors for odl-fdio scenarios

- Changed NIC template generation to only configure VPP interface for
  external network on compute nodes
- Fixed overcloud deploy environment file error when deploying odl-fdio

Change-Id: I4fb07073b0dffc35ef09a5e32deb8470f5ee8347
Signed-off-by: Feng Pan <fpan@redhat.com>

Adds showing overcloud failures

Change-Id: Ic09a9b6d57d2ab05562f64a75f9732f76ac61bb7
Signed-off-by: Tim Rozet <trozet@redhat.com>

Merge "Fix nosdn-fdio deployment errors"

Merge "Change qemu-img resize unit"

Fix nosdn-fdio deployment errors

Also fixes kernel parameter configuration issue for fdio and ovs-dpdk
scenarios

Change-Id: I84162eb07d1427f62ac3c84fd32e78af0e3b8456
Signed-off-by: Feng Pan <fpan@redhat.com>

Merge "Fixes missing iso packages and idempotency of virt resources"

Merge "Removes ignoring errors on congress config"

Fixes missing iso packages and idempotency of virt resources

Python packages for ansible (py2.x) were missing causing ansible to
fail.  This patch adds those packages to the ISO and deploy
dependencies playbook.  Also includes fixes for deploy_dependencies
playbook for virt resources to make them idempotent by removing
using 'command' and instead just declaring 'state'.

Change-Id: I9311184a6f3c40ead0a8ba16fa0b61667876cf12
Signed-off-by: Tim Rozet <trozet@redhat.com>

Removes ignoring errors on congress config

Now that congress has been fixed this should always work.

Change-Id: I701707b8b91b340289613bdb31fa91456743d233
Signed-off-by: Tim Rozet <trozet@redhat.com>

Merge "Updates preliminary docs for Euphrates"

Updates preliminary docs for Euphrates

Change-Id: I4e3e78e60756824c1294ab067a325311bc2ac8f2
Signed-off-by: Tim Rozet <trozet@redhat.com>

Change qemu-img resize unit

Docs read:
size
    is the disk image size in bytes. Optional suffixes "k" or "K"
    (kilobyte, 1024) "M" (megabyte, 1024k) and "G" (gigabyte, 1024M)
     and T (terabyte, 1024G) are supported.  "b" is ignored.

MB is technically invalid and for somereason only aarch has complained
thus far

Change-Id: Ic152a0edab17ac1cdb5afc0791bb0353b95f94b8
Signed-off-by: Dan Radez <dradez@redhat.com>

Merge "Updates to create_vm for aarch64"

Merge "Fixes baremetal noha deployments"

Merge "Add argument types for deploy.py"

Updates to create_vm for aarch64

- serial console was being duplicated in libvirt xml template
- force undercloud VM arch to jumphost arch
- assign diskbus to scsi for aarch64

Change-Id: I5208883c2001497fc7e958f9ffcdf14f0be5f600
Signed-off-by: Dan Radez <dradez@redhat.com>

Fixes baremetal noha deployments

There is a bug where when we have 3 nodes tagged as control in inventory
we are automatically using all 3, even for a noha deployment.

JIRA: APEX-507

Change-Id: Id2a9be2c52d0c7c81b9c5dcbc93006a476abb537
Signed-off-by: Tim Rozet <trozet@redhat.com>

Passing deploy_dir through to create_vm

Change-Id: I07a1c899d43c5edf1054fc819fff4336d9b3ed16
Signed-off-by: Dan Radez <dradez@redhat.com>

Add argument types for deploy.py

Add data type for integer arguments to avoid str to int comparison exceptions.

Change-Id: Ifa40e1cc8588df6d618185882bba71f7ce7b9a1d
Signed-off-by: Feng Pan <fpan@redhat.com>

Fixes bridge checking on jumphost for bm

Change-Id: I5e90dd84383c7348d2cbe58a18370ca10d915598
Signed-off-by: Tim Rozet <trozet@redhat.com>

Fixes external network with baremetal interface

Change-Id: Icd65ffbd14dee603e5b2a0a42e9d0cdfd98c694c
Signed-off-by: Tim Rozet <trozet@redhat.com>

Fixes baremetal interface attach

Change-Id: If0e501c218b1ea981caa255b5e217b5118b772b0
Signed-off-by: Tim Rozet <trozet@redhat.com>

Merge "Add missing iso build dependencies"

Add missing iso build dependencies

Change-Id: Ie7c07d34819ea29575f94ecac3da046758415da6
Signed-off-by: Feng Pan <fpan@redhat.com>

Skip the python3 vbmc patch

- vbmc has already been imported so we know it's there
  if vbmc is located in a different spot than the
  hardcoded location just skip the patch

Change-Id: I765fb94c09e0775084ecd37659f4900411eb0e3e
Signed-off-by: Dan Radez <dradez@redhat.com>

Merge "Updates and additions to handle aarch64"

Fixes issues with baremetal

Change-Id: I60470611a70261d57ccbfd0e499f4336c7a12fe1
Signed-off-by: Tim Rozet <trozet@redhat.com>

Merge "Updates RPM specs and building"

Updates and additions to handle aarch64

- move patches from x86 only to common virt-customize
- updates to undercloud to configure pxe and external network
- initial updates to overcloud deploy functions

JIRA: APEX-381

Change-Id: I496e196535e63bfd31654d0f501fe3f00fa5ca3f
Signed-off-by: Dan Radez <dradez@redhat.com>

Updates RPM specs and building

Changes Include:
 - Disables ONOS from rpm and image building
 - Fixes opnfv-apex package dependency for python34-opnfv-apex
 - Updates requirements for python34-opnfv-apex
 - Updates docs
 - Removes temporary build qcow2 for odl which was being bundled
   into our dev tars unnecessarily

Change-Id: Ief668067181fc35a54553ae118b7950bddce1940
Signed-off-by: Tim Rozet <trozet@redhat.com>

Merge "Change destination of snmp mibs files from /usr/share/mibs/ietf to /usr/share/snmp/mibs, and create symbolic link from ietf to snmp/mibs."

Merge "Migrates Apex to Python"

Migrates Apex to Python

Removes all bash libraries and converts almost all of the code to a
mixture of Python and Ansible.  utils.sh and clean.sh still exist.
clean.sh will be migrated fully to clean.py in another patch.

The Apex Python package is now built into the opnfv-apex-common RPM.  To
install locally do 'pip3 install .'.  To deploy:

opnfv-deploy -d <file> -n <file> --image-dir /root/apex/.build  -v --debug

Non-python files (THT yaml, settings files, ansible playbooks) are all
installed into /usr/share/opnfv-apex/.  The RPM will copy settings files
into /etc/opnfv-apex/.

JIRA: APEX-317

Change-Id: I3232f0329bcd13bce5a28da6a8c9c84d0b048024
Signed-off-by: Tim Rozet <trozet@redhat.com>

Change destination of snmp mibs files from
/usr/share/mibs/ietf to /usr/share/snmp/mibs,
and create symbolic link from ietf to snmp/mibs.

Change-Id: Icf3ff3659f63222cc3a5e8f1f93fe183a2b86f45
Signed-off-by: jhinman1 <john.hinman@intel.com>

No change to apex, change is to apex-puppet-tripleo
Bumps the step for barometer from 4 to 5.
apex-puppet-tripleo: I486c4045e29c7032526be6e19d11e7979070c2d9

Change-Id: I263d687e90e747e3fdfb9690ca9209553a1a2890
Signed-off-by: jhinman1 <john.hinman@intel.com>

Bumps OVS version to 2.8 for OVN

OVS 2.7 does not seem to be available anymore in the copr repo and has
been replaced by 2.8.

Change-Id: I7ba98f14e9c9c34f6802f8a890876363c839ab9b
Signed-off-by: Tim Rozet <trozet@redhat.com>

Small correction in docs.

Change-Id: Iec9a401759de5953d4a8ca05c4f1c32b163343ba
Signed-off-by: Taseer Ahmed <taseer94@gmail.com>

Merge "Fixes OpenDaylight version"

Merge "Adds Doctor DS driver to Congress"

Fixes OpenDaylight version

The default version is now Carbon with the option of using
nitrogen (master) for puppet-odl and opendaylight.

JIRA: APEX-500

Change-Id: I44d02ec0db5fb8e6342e5ab6802a5a3f302b8511
Signed-off-by: Tim Rozet <trozet@redhat.com>

Merge "Change install directory for collectd-ceilometer from /opt to /opt/stack."

Merge "Backport of Congress parallel execution"

Backport of Congress parallel execution

JIRA: APEX-480
JIRA: DOCTOR-78

Change-Id: I6b5b3e7f2daaec7e2ead76d74f8d3713378a5200
Signed-off-by: Carlos Goncalves <carlos.goncalves@neclab.eu>

Add os-odl-fdio-dvr support

apex-tripleo-heat-templates: I6a83c9e2deeb0df9a3ab09a707c9c64aa84da55e
apex-puppet-tripleo: I2025e3157b97b376b63002003ca17c7206aba546

JIRA: APEX-466

Change-Id: Iedb75994d35b5dc1dd5d5ce1a57277c8f3729dfd
Signed-off-by: Feng Pan <fpan@redhat.com>

Change install directory for collectd-ceilometer from /opt to /opt/stack.

Change-Id: I9dd9d69a7efa7c037b776a416bf54df8d2c7b712
Signed-off-by: jhinman1 <john.hinman@intel.com>

Merge "Remove extra VPP interface from fdio-nosdn scenarios"

Remove extra VPP interface from fdio-nosdn scenarios

Also set NeutronNetworkVLANRanges for daily environment.

JIRA: APEX-502

Change-Id: I0a53ad8b0bce7a721104b84a2aa7ea38c510a7e7
Signed-off-by: Feng Pan <fpan@redhat.com>

Adds Doctor DS driver to Congress

apex-tripleo-heat-templates: I0749ed6e0d27bd4c9a5bb19657579d400501d09e

JIRA: APEX-498

Change-Id: I303e932d4a21b28e1b33f78f6520e4e888b4aaae
Signed-off-by: Carlos Goncalves <carlos.goncalves@neclab.eu>

moving OVS NSH build to x86_64 specific

Change-Id: I85ae26a26d6fb07620f5ba7419cb375e6c5fd411
Signed-off-by: Dan Radez <dradez@redhat.com>

Merge "Add collectd-snmp and collect-rdt installation. Use the Intel RDT version which is current (the version in the package set specified by the latest.properties file)."

Merge "Sets baremetal workers to 12"

Sets baremetal workers to 12

There is an issue where in Newton the number of workers (sub processes)
opened per openstack service scales with the number of logical cores on
the system.  On servers with large amount of processors this causes the
cloud to fail after some time due to running out of RAM.  This patch
will limit the number of worker processes to 12, which is the limit in
Ocata and onwards.

JIRA: APEX-410

Change-Id: I28c4762830c19cd758a0729017f2d4a9ebe372b4
Signed-off-by: Tim Rozet <trozet@redhat.com>
Signed-off-by: Feng Pan <fpan@redhat.com>

Add collectd-snmp and collect-rdt installation.
Use the Intel RDT version which is current (the version in the package set specified by the latest.properties file).

Change-Id: I3f176572edaa5d3df5b3cc31b39253025d81e808
Signed-off-by: jhinman1 <john.hinman@intel.com>

Enables SFC scenarios

apex-tripleo-heat-templates: I230b31dc9ed0ecc5046064628ba2f2505e589522
apex-puppet-tripleo: Icd433ddc6ae7de19a09f9e33b410a362c317138a

Change-Id: I0b17b4e86eb90b949bd62f7e73944adad77ef1a3
Signed-off-by: Tim Rozet <trozet@redhat.com>

[KVMFORNFV]kvm+ovs+dpdk scenario for E-release

This patch consists of implementation of the KVMFORNFV
os-nosdn-kvm_ovs_dpdk-ha and os-nosdn-kvm_ovs_dpdk-ha
scenarios.

Format of comment to trigger gate should be as follows:
start-gate-scenario: os-nosdn-kvm_ovs_dpdk-noha

Change-Id: Ia320ed8ac44f6b62c3875efe5e44a1df7a0fc777
Signed-off-by: Navya Bathula <navyax.bathula@intel.com>