More updates to docs for Euphrates

Changes Include:
 - SFC HA will not be supported in 5.0
 - Table of Contents removed from release-notes/scenarios
 - Version table removed
 - Release date updated

Change-Id: Ifbd766b578717320ba1924678839c7d48bbce041
Signed-off-by: Tim Rozet <trozet@redhat.com>

Updates docs and scenarios for Euphrates

Change-Id: I2da89d7a6ab4b0549edded908acc760b949231e1
Signed-off-by: Tim Rozet <trozet@redhat.com>

Adding unittests for apex/deploy.py

Change-Id: Id108039dcf5d846affe2900706097049b3308e81
Signed-off-by: Dan Radez <dradez@redhat.com>

Adding apex/overcloud/* unittests

Change-Id: I02cd512ba1ddaee2538bee7739e27b136112a0c6
Signed-off-by: Dan Radez <dradez@redhat.com>

Updates to Inventory object

- moved get_node_counts over from overcloud/deploy.py
- added more test coverage

Change-Id: I7774bebb99169aa1da0f07cb2cfc0c1d197af5ca
Signed-off-by: Dan Radez <dradez@redhat.com>

Increase ssh timeout and add retry for Ansible

Several users have experienced random disconnections from the undercloud
during deployment.  This should help to stop deployments from aborting.

Change-Id: Idb7619d493b329944f21ea6641f6826a8fcc3907
Signed-off-by: Tim Rozet <trozet@redhat.com>

Merge "Cleaning up yamllint warnings"

Merge "Increasing clean.py unittest coverage"

Cleaning up yamllint warnings

apex/tests/config/inventory-virt-1-node.yaml
  1:1       warning  missing document start "---"  (document-start)

apex/tests/config/inventory-virt.yaml
  1:1       warning  missing document start "---"  (document-start)

build/opnfv-environment.yaml
  6:3       warning  comment not indented like content  (comments-indentation)

Change-Id: Ice888464d09831066bb6cd0ac94fbd290b142088
Signed-off-by: Dan Radez <dradez@redhat.com>

Increasing clean.py unittest coverage

Change-Id: Iae3e80b399d1431382614449488238475b47b103
Signed-off-by: Dan Radez <dradez@redhat.com>

Merge "Removing the downloaded libvirt-client for the iso build"

Removing the downloaded libvirt-client for the iso build

JIRA: APEX-529

Change-Id: I09970847833d3e182a7485c051e2e46d394cfeff
Signed-off-by: Dan Radez <dradez@redhat.com>

Fix licenses to be Apache 2.0

Change-Id: I53f3596685b83e995498b5fdb804561fed6dc38b
Signed-off-by: Tim Rozet <trozet@redhat.com>

Merge "Use stable/17.10 branch for VPP"

Merge "Increase memory size for virt-customize"

Merge "This config is no longer needed"

Increase memory size for virt-customize

Some of the bigger commands can exceed the default,
so increase all instances for consistency. It's
unlikely build machines won't have 4G of memory
available.

Change-Id: Ifa575b6e6faef9ba038900ab0e080da15d5680aa
JIRA: APEX-520
Signed-off-by: Michael Chapman <michapma@redhat.com>

Merge "Pass flags to allow domain undefine with NVRAM"

Merge "baro: update collectd-openstack branch"

Use stable/17.10 branch for VPP

also add retry and timeout for VPP interface check in os-net-config

apex-os-net-config: Idaf03d78d2ce657ac484c1285a795d98760d0112

Change-Id: I3dca43d263923e2ae7ff84781d3f7aa64fad6b5d
Signed-off-by: Feng Pan <fpan@redhat.com>

This config is no longer needed

it is setting and unescaped default value which ended up setting an
invalid value. removing it uses the default which accomplishes what
this was originally attempting to put into place.

Change-Id: I03660921860adf7625e17d2c4a3ba07b62d0f3f0
Signed-off-by: Dan Radez <dradez@redhat.com>

Merge "Install honeycomb and vpp in a single step"

baro: update collectd-openstack branch

COLLECTD_OPENSTACK_GIT_BRANCH has been updated to stable/pike so that aodh
changes will be picked up

Previously, the branch was not actually being checked out, but was being
used as a name for a new branch. This behaviour has been corrected.

Change-Id: I516c4311d2a0cedcca6ec293b62c21234b1e1975
Signed-off-by: Emma Foley <emma.l.foley@intel.com>

Pass flags to allow domain undefine with NVRAM

Change-Id: I8365dd327d4bf7abebc72922e030b3049cd66de9
Signed-off-by: Dan Radez <dradez@redhat.com>

Merge "Updating the iso build to CentOS 7.4"

Install honeycomb and vpp in a single step

We currently install Honeycomb and VPP in 2 steps, this could potentially
cause version conflicts.

Change-Id: I1e54a576bced07f5115b12fef3bbdf2e95e9ab90
Signed-off-by: Feng Pan <fpan@redhat.com>

Merge "Fixes python-networking-sfc install"

Adding unittests for undercloud.py

Change-Id: I65d73f7a1ad27f319857a72b7d9f738b04318aa6
Signed-off-by: Dan Radez <dradez@redhat.com>

Fixes python-networking-sfc install

Change-Id: Ib86cd5845e94e351615c3eb7db07b6a3bcec966f
Signed-off-by: Tim Rozet <trozet@redhat.com>

Merge "nosdn-fdio scenarios fixes"

nosdn-fdio scenarios fixes

- pin vpp/networking-vpp versions
- Add external_network_bridge config back to puppet-neutron

Change-Id: Ia58fb55638390757ea3350b2921897c4d315f9b5
Signed-off-by: Feng Pan <fpan@redhat.com>

Merge "Adds Calipso scenario"

Adds Calipso scenario

Change-Id: Icc8a23e49c9ccc011481f6b97599d4f75873ebb1
Signed-off-by: Tim Rozet <trozet@redhat.com>

Fixes nova migration

Nova migration was failing in rally sanity test.  Looking at the keys
nova is configured with, the newlines in the private key were being
converted to spaces in hieradata, thus making the key invalid.  This
patch corrects the yaml so it is multiline data.

Also, corrects the parameter being set to the right THT parameter and
adds sshd service to the control/compute roles which is required for
migration to work.

JIRA: APEX-525

Change-Id: Ic57db5c0b27df2e1f584f3c1a379e067291d892d
Signed-off-by: Tim Rozet <trozet@redhat.com>

Merge "Increase overcloud qcow2 size by 1500mb"

Increase overcloud qcow2 size by 1500mb

We are seeing build failures with 1200mb qcow2 size expansion, increasing
to 1500mb.

Change-Id: Ib177525559c7905c78fe5931c172fce01846b4c3
Signed-off-by: Feng Pan <fpan@redhat.com>

Update zrpcd version for Carbon/ Nitrogen

JIRA: APEX-508

Compile zrpcd --with-thrift-version=4 to support carbon/nitrogen

Note that version number stands for the thrift vpnservice.thrift
model to use with ODL and not the  thrift package version.

Change-Id: I3ab13d0b62f56747249bfdee1c0766cd43de935a
Signed-off-by: tomsou <soth@intracom-telecom.com>

Merge "re-enable support for fdio dvr scenario"

re-enable support for fdio dvr scenario

- Update FDIO scenarios to use master branch images
- Update VPP/HC version to master for all fdio scenarios

apex-os-net-config: Ie6aee86eaccad5fc98820a28f10adc7475cc5e33
apex-tripleo-heat-templates: Ie8b284f64bd6491c389129d8afdaeae8a399b607
apex-puppet-tripleo: I9954240529278e74d93fdf89d2ebc2536249245a

Change-Id: I31740f97052947b5e4688cca47320bc49a902d7c
Signed-off-by: Feng Pan <fpan@redhat.com>

Merge "Adding python unittests for apex/virtual/*"

Adding python unittests for apex/virtual/*

Change-Id: I13dd395cd6270cbf0a02855b1d29794ecca06d76
Signed-off-by: Dan Radez <dradez@redhat.com>

Fix RT KVM scenario

Also change first-boot.yaml to handle updated kernel for rt kvm

Change-Id: I66b7159731dd286c4a97ba4f3583e229afbb73b3
Signed-off-by: Feng Pan <fpan@redhat.com>

Merge "Fixes BgpVpn service name and tht fixes"

Merge "Fix Neutron data_plane_status extension path"

Fix Neutron data_plane_status extension path

This way is easier to patch than patching file
neutron.egg-info/entry_points.txt, plus this feature is backported
to Ocata so it's temporary and only applicable for Euphrates.

From Pike we can move it back to 'data_plane_status' as it was before.

Change-Id: I1c2ebc55e782463793e7a8e463cc17fdf899457a
Signed-off-by: Carlos Goncalves <mail@cgoncalves.pt>

Fixes BgpVpn service name and tht fixes

BgpVpn service was spelled incorrectly and there were syntax issues with
the corresponding heat templates.

apex-tripleo-heat-templates: If39072c687dcfb3fcb5c2dab33ecc3755b3396df

Change-Id: I94155f4a32af2338bcd58afe3fb602860346a555
Signed-off-by: Tim Rozet <trozet@redhat.com>

Updating the iso build to CentOS 7.4

JIRA: APEX-522

Change-Id: I03efc6ccad708d12f3fdabd9ace9935edb31d4bb
Signed-off-by: Dan Radez <dradez@redhat.com>

Fix ovs-dpdk failures

- Add quotes to ovs config options in opnfv-environment.yaml
- Fixed an error where we don't populate kernel paramaters when ovs-dpdk is enabled

Change-Id: I7579358411a844e9d0c34ca53701f12f46ef7c13
Signed-off-by: Feng Pan <fpan@redhat.com>

Applies Tacker upstream patches and fixes fernet dir perms

We need a couple patches to Tacker upstream that we will not get now
that our images are frozen in RDO.  We should remove them on upgrade to
Pike.  Also this patch fixes the permissions on the fernet keys dir so
that the Tacker group can write.

Change-Id: I6468356f1d16d3b8ab58d46f653431e29960e190
Signed-off-by: Tim Rozet <trozet@redhat.com>

Merge "Adding unittests for build"

Add python-passlib in iso build

python-passlib is required for ansible

Change-Id: Ifca73ed759211c6fff4a039d121b3c4d5c388415
Signed-off-by: Feng Pan <fpan@redhat.com>

Adding unittests for build

- covers build.py
- covers build_utils.py
- moved build_utils out of build module, it wasn't possible to import
  build.py while build_utils was in a module

Change-Id: I42f08a475d9ca219a62c421d4bdd2d1d3c49691a
Signed-off-by: Dan Radez <dradez@redhat.com>

Fixes clone fork change URL

Downloading the change information was failing for branches other than
master.  This fixes the URL format to work for branches.

Change-Id: I5ec0494aca93437266237ee63b292a6aa5a43f0e
Signed-off-by: Tim Rozet <trozet@redhat.com>

Merge "Fixes Tacker auth and fernet keys dir"

Merge "Fixes missing bgpvpn service on controller"

Merge "Removing duplicate lib path in ansible_path"

Merge "Adds detection for virsh default network IP"

Merge "Add kubernetes repo and install RPMS into overcloud images"

Fixes missing bgpvpn service on controller

Change-Id: I943fc99d539aca9bc66204a75dbd2ae8fa7033fd
Signed-off-by: Tim Rozet <trozet@redhat.com>

Fixes Tacker auth and fernet keys dir

Tacker authtoken was missing password which is now added in the tht
patch.  Tacker also needs 'etc/tacker/vim/fernet_keys' in order to be
able to create VIMs.  The real fix to this missing directory is to the
rpm itself:

https://review.rdoproject.org/r/#/c/9725/

However in this patch we ensure it is created in Ansible because
RDO images are frozen in for now in Apex so we would not pick up new
RDO packages.

apex-tripleo-heat-templates: I2b347cbc4595e6651b0d4be032cb862fde72e15f

Change-Id: I76959cbfd581b9fec69749ccbcbcb39dc959a883
Signed-off-by: Tim Rozet <trozet@redhat.com>

Merge "Fixes removing inventory keys"

Adds detection for virsh default network IP

In case a user already has a default virsh network and the default IP is
not 192.168.122.1, this patch will allow detecting and using the found
value.

Change-Id: Id5d46a820d89e86c9b5897f5d29b83ed32f9d6f9
Signed-off-by: Tim Rozet <trozet@redhat.com>

Add kubernetes repo and install RPMS into overcloud images

This change introduces k8s into overcloud images. It just installs
kubernetes rpms only, so further configuration is required to
activate k8s at overcloud nodes and it will be taken care of other
diffs.

Change-Id: I606d176812705802790243ae4e95988a591c5fe6
Signed-off-by: Tomofumi Hayashi <s1061123@gmail.com>

Merge "Revert "Adds Calipso scenario""

Fixes removing inventory keys

Inventory keys that we want to delete were not being removed for
instackenv.json.  Also fixes unit tests.

Change-Id: I7d6c752342db050d651953633f18e236f60334e3
Signed-off-by: Tim Rozet <trozet@redhat.com>

Revert "Adds Calipso scenario"

This reverts commit 433961f8c0b816f19aa858654261fa87d2f02a19.

Change-Id: Ic8a14d2e0ad8d1006625af401fde2f365890650b
Signed-off-by: Tim Rozet <trozet@redhat.com>

Merge "Adds Calipso scenario"

Merge "Improves clean to cleanup virsh nets and and other bridges"

Removing duplicate lib path in ansible_path

- deploy line 283 lib is joined with ANSIBLE_PATH
  then line 285, 347, 418 and 435 it was joined again with
  ansible_path from 283 already containing lib

Change-Id: I6612967d626eeb0668eb43294831447c387f8e93
Signed-off-by: Dan Radez <dradez@redhat.com>

Merge "Set aarch64 deploys to UEFI"

Improves clean to cleanup virsh nets and and other bridges

Currently only the admin and external bridges will be removed from the
jumphost which is only really clean for a baremetal deployment.  Virtual
deployments will leave br-tenant, br-api, br-storage.  This patch
removes those as well as deletes all Apex virsh networks from libvirt.

Also checks if authorized_keys exists before trying to edit it.

Change-Id: I1affe2733ba1dc38fd3b91fb14398454137f00a4
Signed-off-by: Tim Rozet <trozet@redhat.com>

Adds Calipso scenario

Calipso uses docker containers and is post deployment feature that can
be used to monitor pieces of the stack.  This patch installs it to the
undercloud rather than the jumphost as it is easier to manage for
cleanup and dependencies.

Change-Id: Ie2dacc4f14b391a864fafb2e75ebcd15facb19f1
Signed-off-by: Tim Rozet <trozet@redhat.com>

Merge "Fixes missing libvirt-client in ISO"

Merge "Removes building OVS 2.6.1 with NSH"

Merge "Freezes RDO images for Euphrates"

Set aarch64 deploys to UEFI

Change-Id: I6b037ccd38fa68e5f863566a1c9a3ed4399bab84
Signed-off-by: Dan Radez <dradez@redhat.com>

Removes building OVS 2.6.1 with NSH

For master(Pike) we wont need this anymore since OVS 2.8 will have built
in support for NSH.

Change-Id: I51e2f4abf282ddb83d3edef9e5b827363a4d68be
Signed-off-by: Tim Rozet <trozet@redhat.com>

Fixes missing libvirt-client in ISO

This was causing ISO install to fail because the libvirt modules were
missing for python-libvirt.

JIRA: APEX-517

Change-Id: Iaf127340864da58b2bace720293e515c8e9db426
Signed-off-by: Tim Rozet <trozet@redhat.com>

Freezes RDO images for Euphrates

Change-Id: Ie20e7d0c52efc2497c7c9975f88be0a9bfa7aa07
Signed-off-by: Tim Rozet <trozet@redhat.com>

Merge "Fixes jumphost pubkey error in undercloud playbook"

Minor fixes to clean

Also adds hidden files (like IDE configs) to gitignore

Change-Id: Ief595c41c5b4f0fe058f7b774f7a2aefdab733a4
Signed-off-by: Tim Rozet <trozet@redhat.com>

Fix broken jumphost detach method when orig file exists

In the case where the backup ifcfg file exists (.orig) the functionality
to detach the interface from ovs was broken.  This fixes it and adds
unit test case to cover that scenario.

Change-Id: If6d8ca0ba5cf80df71bb82f52e9d204435374479
Signed-off-by: Tim Rozet <trozet@redhat.com>

Fixes wrong argument for inventory with clean

Change-Id: I3ff145fa0f500182744fd310bb844e4bc5854663
Signed-off-by: Tim Rozet <trozet@redhat.com>

Merge "Cleaning up yamllint warnings"

Merge "Removes clean.sh"

Removes clean.sh

CI has been migrated to use opnfv-clean for verify jobs, which is now
installed as python.  There is no reason to keep ci/clean.sh anymore.

Change-Id: I2edf23901c5debaba0674e3506fd0392d317dc6f
Signed-off-by: Tim Rozet <trozet@redhat.com>

baro: updating refs to collectd-ceilometer

Since Ceilometer support was removed from the
collectd-ceilometer-plugin[1], the repo name and ceiloemter are
misleading. A change was submitted to openstack-infra to rename
the repo [2]

This change removes references to collectd-ceilometer from apex.
These changes are independant of the repo rename.

[1] https://review.openstack.org/#/c/490823/
[2] https://review.openstack.org/#/c/500768/

Depends-On: I6cf22c081aa1e40f64995be40b6225855faf4092
Change-Id: Ib3a7766e28fd03a86a995eea4b9abc996498200e
Signed-off-by: Emma Foley <emma.l.foley@intel.com>

Cleaning up yamllint warnings

yamllint output:
build/baremetal-environment.yaml
  1:1       warning  missing document start "---"  (document-start)

build/opnfv-environment.yaml
  6:3       warning  comment not indented like content  (comments-indentation)
  14:4      warning  missing starting space in comment  (comments)
  123:1     warning  comment not indented like content  (comments-indentation)
  128:1     warning  comment not indented like content  (comments-indentation)
  156:1     warning  comment not indented like content  (comments-indentation)

config/deploy/os-odl-fdio-dvr-ha.yaml
  1:1       warning  missing document start "---"  (document-start)

config/deploy/os-odl-fdio-dvr-noha.yaml
  1:1       warning  missing document start "---"  (document-start)

config/network/network_settings_v6.yaml
  225:6     warning  missing starting space in comment  (comments)

Change-Id: I3985ce0b6740ce4694b5d75b477cb03c3dc49c28
Signed-off-by: Dan Radez <dradez@redhat.com>

Fix broken build dependency

libguestfs-tools is failing to install because libvirt-client is
installed and there is a package conflict.  Removing libvirt-client from
image before installing libguestfs-tools.

NSH build is failing in overcloud because the CentOS repos updated with
newer kernel source and headers, and we are still using older kernel.
This patch adds the old kernel source and headers.  Upgrading to new
kernel causes NSH OVS to fail when compiling.

Change-Id: Ifd500ad138116cfecafb2268ccb580bd44d5efd5
Signed-off-by: Tim Rozet <trozet@redhat.com>

Merge "Migrates clean to python"

Migrates clean to python

ci/clean.sh will be removed in a future patch after releng is updated to
use python.

JIRA: APEX-509
JIRA: APEX-319

Change-Id: If890db2fc5a31833ad28ec6f04589e25457bd380
Signed-off-by: Tim Rozet <trozet@redhat.com>

Merge "Updates SFC to use nitrogen"

Show ansible tasks as they complete

Change-Id: I1b68d70fd97076a7f2ca68091a6e94d87b72efa2
Signed-off-by: Dan Radez <dradez@redhat.com>

Updates SFC to use nitrogen

Also fixes issue where openvswitch NSH rpm was not getting installed
because we needed to downgrade now that default OVS is 2.7 and NSH OVS
is 2.6.1

Change-Id: I1b639ca80214032e93aacb3332e9588d49e74127
Signed-off-by: Tim Rozet <trozet@redhat.com>

Dup owner, changing to group

Change-Id: I8ca1501949a0e272e928c6b31b08eba2519951ec
Signed-off-by: Dan Radez <dradez@redhat.com>

Restarts libvirtd after stopping firewalld

When stopping firewalld, libvirtd needs to be restarted in order for
libvirt to use/populate iptables with the NAT rules for the default
virsh network.

JIRA: APEX-510

Change-Id: Ia5b4515fd961baa70de58814e9eae4b397db28a7
Signed-off-by: Tim Rozet <trozet@redhat.com>

Merge "Adjustments to tmp dir handling"

Merge "Adds missing packages for undercloud"

Adjustments to tmp dir handling

- prefixing with apex_tmp
- removing overcloud qcow on failure

JIRA: APEX-513

Change-Id: I766df10c294c31622917bbd5b0597e3373716d8b
Signed-off-by: Dan Radez <dradez@redhat.com>

Merge "Conditionalize VM console arg based on arch"