Fixes ceph key import failures

There is an issue with HA deployments where sometimes key imports fail
for Ceph which seem to occur around 50% of the time.  When logging in
after a failure, the key import seems to work which indicates it may be
a race condition.  In addition, sometimes the keyring that is created
is missing the "caps" section of the file, which will also fail import.

This patch adds a retries for a minute to try to import the key.  It
also moves creating/importing to the same Exec because there is
evidence that the file is being modified by some other process right
after the file content is created in the previous exec.

JIRA: APEX-563

Change-Id: Ie8cfeb4803f6bed95f9e612eeb37c5cdf2d76617
Signed-off-by: Tim Rozet <trozet@redhat.com>

Merge "Fixes ensuring VBMCs are actually running"

Merge "Fixes stale undercloud delorean repos"

Fixes ensuring VBMCs are actually running

We currently start VBMCs using CLI due to issues with the VBMC python
lib.  However when we start them, there is no check to make sure they
are actually changed to 'running' status.  This patch adds logic to
check (up to 5 times) to ensure each VBMC is running or raises an error.
Note this is for virtual deployments only.

JIRA: APEX-527

Change-Id: Iab7ee3b76292d6fc547f18c83f23c04205e9bb2e
Signed-off-by: Tim Rozet <trozet@redhat.com>

Add http(s)_proxy handling to apex

JIRA: APEX-512

Change-Id: I875bd99203b425e448e7a3f64eb9a8f99d03ddaf
Signed-off-by: Dan Radez <dradez@redhat.com>

Fixes stale undercloud delorean repos

When we build artifacts for release, we try to freeze the disk images
and artifacts we use for deployment.  This includes the delorean repo
which provides OpenStack packages.  This repo however expires after a
couple months and then if any packages were missing in the Undercloud
released artifact, they will attempt to be downloaded during install
and fail.

This patch adds some logic to detect if there is internet connectivity,
and if so then download and update the delorean repo on the undercloud.

JIRA: APEX-565

Change-Id: I58c28437fb5c5b179033c939377fd97aefbf427c
Signed-off-by: Tim Rozet <trozet@redhat.com>

Ensures v4/v6 iptables filters are loaded

We configure host iptables to open different ports for VBMC.  This may
fail if the iptables filters are not loaded.

JIRA: APEX-521

Change-Id: Ia33032c29aba3555551e39b4f819087aeafe05d9
Signed-off-by: Tim Rozet <trozet@redhat.com>

Fixes python2 docutils req and also installs ansible

For some reason we were requiring python2-docutils in to build our rpm
instead of python34-docutils.  Patch also includes some logic to install
ansible.

JIRA: APEX-515

Change-Id: I1b85e5b4b29f74f5ff5399296f24831c334c289c
Signed-off-by: Tim Rozet <trozet@redhat.com>

Merge "Adds barbican service to deployment"

Adds openstack-utils to overcloud

Package allows user to do openstack-status to see state of services.

JIRA: APEX-352

Change-Id: Ie68cad5745786c8764ae20c2d3ad26dd05e5480b
Signed-off-by: Tim Rozet <trozet@redhat.com>

Adds barbican service to deployment

This service is required for creating encrypted volumes for storage.

JIRA: APEX-531

Change-Id: Ied5ea1d6921ef96c1a352dba523d6f37245608e2
Signed-off-by: Tim Rozet <trozet@redhat.com>

Merge "Adding L2GW Scenario"

Allow disabling ipxe for provisioning

JIRA: APEX-535

Change-Id: I52d17e962fc4a504db1ddbc20df0ac56a208f34b
Signed-off-by: Dan Radez <dradez@redhat.com>

Adding L2GW Scenario

  This scenario allows you to install L2GW Neutron driver
  and point to OpenDaylight as service provider.

apex-tripleo-heat-templates: I37039207bc7cf9965d26e6dfa034e84bf9b7224d
Change-Id: I0dfd37bcc5060f0ad8caa95e1f87a7411bd6e723
Signed-off-by: Ricardo Noriega <rnoriega@redhat.com>

Fixes missing CephClientKey generation

In newer OOO deployments, the keys for ceph are dynamically generated.

Also removes tacker client patch for symmetrical as it is already
present in stable/pike:
https://github.com/openstack/python-tackerclient/commit/682c9651085214a58434ad6016d93b2cdc8f3462

JIRA: APEX-563

Change-Id: I01fb617b026bae5d6e265a4afbac270939627c5a
Signed-off-by: Tim Rozet <trozet@redhat.com>

wrapping up deploy items for aarch

Change-Id: Ib5f4715d851dc91be6a57fcb5d18a0557a7b0c7f
Signed-off-by: Dan Radez <dradez@redhat.com>

Merge "Make introspection optional"

Enables trunk ports with bgpvpn scenario

This is enabled in regular ODL deployments but is missing from the
bgpvpn scenario.  Trunk ports are requested by SDNVPN team for testing
with bgpvpn.

apex-tripleo-heat-templates: I1b4d3eea61e29e1ede0e06d78fde842ef13b7b8e

Change-Id: I00a36b56045fa1114d8407fe5005128c46ecefb4
Signed-off-by: Tim Rozet <trozet@redhat.com>

Merge "Fixes including default SDN env file in deploy cmd"

Merge "barometer: move to opnfv puppet repo"

Fixes including default SDN env file in deploy cmd

The latest method to deploy opendaylight features upstream is to include
the default SDN file and then add-on the feature env file which should
override any default settings in the previous SDN env file.  For
example for bgpvpn:

openstack overcloud deploy -e <tht_dir>/neutron-opendaylight.yaml -e \
<tht_dir>/neutron-bgpvpn-opendaylight.yaml

This change documents the recursive function used to find the SDN env
files and includes the default for the SDN controller.

JIRA: APEX-555

Change-Id: I4270932ca4fbc21ea54e965d9d6491424f4463e2
Signed-off-by: Tim Rozet <trozet@redhat.com>

Disable gpgcheck on the kubernetes repo

JIRA: APEX-560

Change-Id: I0c8da2e841f175a1724b81d73fdf08c706408b9b
Signed-off-by: Tim Rozet <trozet@redhat.com>

Merge "Updates OpenDaylight BGPVPN driver"

Updates OpenDaylight BGPVPN driver

apex-tripleo-heat-templates: Ib94b0182fd5fbc3a254cae5862a82982bf3131be

Change-Id: Ie1e73edce9027056fb2e2870ee4705bf69251e11
Signed-off-by: tomsou <soth@intracom-telecom.com>

Enables br-ex on controllers in SFC scenario

ODL's current behavior is to select a node to serve as the routing/L3
node in a deployment.  The selection is random, and it could end up
choosing a control node.  Therefore the control node needs to have
external network connectivity so adding br-ex to the controller which
will enable this via default ProviderMappings.

JIRA: APEX-558

Change-Id: Ie3044e5711ba62d73b83d69cde369e7452958844
Signed-off-by: Tim Rozet <trozet@redhat.com>

docs: fix default password and yum.repo.d

- password for root in debug mode is defined in DEBUG_OVERCLOUD_PW
  document has to be updated

- '/etc/yum.repo.d' is the right yum repo directory in Cent OS 7

Change-Id: Ia97e3878bd30d562bd3c3b7776e80440b20a4111
Signed-off-by: Ryota MIBU <r-mibu@cq.jp.nec.com>

Make introspection optional

- exposes new option to end users to skip introspection
- moves the logic to decide to introspect or not into python

JIRA: APEX-536

Change-Id: Ieaff11362ff8f906daa98d301d3d473ad549d08f
Signed-off-by: Dan Radez <dradez@redhat.com>

Merge "Add missing packages to iso build"

Merge "Fix nested kvm detection and enablement"

Add missing packages to iso build

Change-Id: I5d749a406c5d82f72b0609e85078fe27eb421d60
Signed-off-by: Feng Pan <fpan@redhat.com>

Merge "Fixes inserting ceph OSD into compute role"

Fix nested kvm detection and enablement

- Fix ansible kvm_intel kernel module reload when trying to enable
  nested kvm
- Add "--libvirt-type qemu" to deploy command when nested kvm is
  not enabled.

JIRA: APEX-514

Change-Id: I0e659b1c99b5732854d723e1cb049845cb60ef37
Signed-off-by: Feng Pan <fpan@redhat.com>

Fixes inserting ceph OSD into compute role

The lineinfile was not actually inserting the CephOSD line because it
was already present later in the file (regardless of 'insertbefore').
Therefore we can fix it by simply removing the CephOSD line before we
try to set it, since we do not need it in the storage role anyway.

Change-Id: I8c8d9b6baccfc77ea582fab6ad438b02293f96fb
Signed-off-by: Tim Rozet <trozet@redhat.com>

Merge "Disable introspection extras"

Merge "Bump RPM versions to 6.0 for Fraser"

barometer: move to opnfv puppet repo

The barometer puppet scripts have been moved to the barometer repo. This
change migrates the Apex builds to using the barometer repo.

Change-Id: I064c40746d19e5deb305c503128b357479b7149c
Signed-off-by: Maryam Tahhan <maryam.tahhan@intel.com>

Disable introspection extras

According to the documentation introspection extras attempts to collect
more hardware info during inspection.  This is causing problems for some
users and we do not need it for our deployments.

JIRA: APEX-534

Change-Id: Ia4a72ed14fb744a10d02ee2d3f4e283cc7208c2b
Signed-off-by: Tim Rozet <trozet@redhat.com>

Fixes permissions and owner for undercloud.qcow2

The undercloud storage disk is copied during our deployment from
modified underloud from upstream.  We copy it as owner root with wrong
permissions.  This changes the owner to qemu and sets the permissions
the same as the other storage disks that virsh creates for overcloud
nodes.

Change-Id: Ie884a586f91be3461e4b511e224d061639f04c69
Signed-off-by: Tim Rozet <trozet@redhat.com>

Bump RPM versions to 6.0 for Fraser

Change-Id: I1bf736107627f0da7a027b460f19b53dac3045c3
Signed-off-by: Tim Rozet <trozet@redhat.com>

Fixes upstream deployments

There was an issue with patching the overcloud where the patch binary is
missing, making it impossible to apply patches.  This change install
patch now on the image.

Also, although deployments were successful, storage was not working.
This is because by default upstream does not apply Ceph OSDs to compute
nodes for hyperconverged Ceph, but we use this as our standard
deployment in Apex.  This patch inserts CephOSD into the default Compute
role.  Note: we normally override role's services in regular Apex
deployments so we do not hit this issue there.

Change-Id: I5bddda4784dc00148395863ae0990343a4159602
Signed-off-by: Tim Rozet <trozet@redhat.com>

Migrate default ODL from Carbon -> Nitrogen

Change-Id: If64212b33bf9ad3b9900ca18b39c90839f745843
Signed-off-by: Tim Rozet <trozet@redhat.com>

Removes using https with rdo-release

We dont need to use https with rdo-release and it can
cause issues for ansible.

Change-Id: I081228a05d68f987fa02480bcd1bf216573550f1
Signed-off-by: Tim Rozet <trozet@redhat.com>

Fixes apex ISO missing python2-jmespath

Installing ansible depends on python2-jmespath which was missing in the
ISO.  This patch adds it to the ISO build.

Change-Id: I18e76168273537a1682fb7187e5a2c72aacab296
Signed-off-by: Tim Rozet <trozet@redhat.com>

Migrates Apex to Pike

JIRA: APEX-544

Change-Id: Ibee2068e782da75268ed76beb36ccb5dcd1847d6
Signed-off-by: Tim Rozet <trozet@redhat.com>

Fix install failures for python-etcd and puppet-etc

Delorean repo used in frozen images has expired, so need to
pull from latest Ocata repo.

JIRA: APEX-542

Change-Id: I2e3e16687b9ca389ecaf83ca48dddf4d4a161357
Signed-off-by: Tim Rozet <trozet@redhat.com>

Fixes dependency install of env group Virtualization Host

Virtualization Host env group started failing for users with centos 7.4
and according to Ansible guide the correct format for env groups should
be "@^" prefix:

http://docs.ansible.com/ansible/latest/yum_module.html

JIRA: APEX-539

Change-Id: I3f71ce4462b33ad0772963869db4ea3c0f6e9e51
Signed-off-by: Tim Rozet <trozet@redhat.com>

Adds ability to deploy from upstream openstack

To deploy with upstream openstack branch, use new deploy setting 'os_version'.
A default scenario file for nosdn with pike has been included in this patch.
If 'os_version' is a version other than the default version for this OPNFV
release, then upstream is used.

In order to use upstream with the current OS version use '--upstream'
argument to the deploy command, to force an upstream deployment.

Also include '-e upstream-environment.yaml' to use default upstream
deployment settings.

Supports nosdn and odl-nofeature deployments.

Change-Id: Ic07e308827b449637b4e86cdd086434e4de2fb69
Signed-off-by: Tim Rozet <trozet@redhat.com>

Fixes missing openstack-nova-compute on undercloud

openstack-nova-compute was missing on the undercloud image and it is
also missing in the delorean repo from which we froze artifacts for
OPNFV release.  This is likely due to the age of the repo and to fix it
we need to update the delorean repo on undercloud and install the
missing package during build time.

JIRA: APEX-538

Change-Id: I0f7cd26d5c8e4ad538b3ba3725ab5e7684a50b6a
Signed-off-by: Tim Rozet <trozet@redhat.com>

Fix zrpcd start in the controller node

Add sudo into zrpcd process start command
Add starting script into /etc/rc.d/rc.local too

Change-Id: I3c724ff60d4c3feb7379b1a8bbeca8a928cfe81b
Signed-off-by: tomsou <soth@intracom-telecom.com>

Fix releasenotes label and include paths for docs

Change-Id: I50a8f35165954b9b4bdf62864055ad475843c179
Signed-off-by: Trevor Bramwell <tbramwell@linuxfoundation.org>

Merge "Adapt zrpcd to work for Carbon/Nitrogen"

Merge "Fix interface role mapping config for odl-fdio scenarios"

Fix interface role mapping config for odl-fdio scenarios

This patch fixes a bug in deploy config function that will make
performance parameters overwrite interface role mapping config for honeycomb.

apex-os-net-config: Ifa3b18aa6370c79ad6ad3ce983f1648ff0d1d79d

Change-Id: Icdb7603577bc7edf1959238ddd3d686c310544ce
Signed-off-by: Feng Pan <fpan@redhat.com>

More updates to docs for Euphrates

Changes Include:
 - SFC HA will not be supported in 5.0
 - Table of Contents removed from release-notes/scenarios
 - Version table removed
 - Release date updated

Change-Id: Ifbd766b578717320ba1924678839c7d48bbce041
Signed-off-by: Tim Rozet <trozet@redhat.com>

Adapt zrpcd to work for Carbon/Nitrogen

It updates the quagga tar.gz file which is used to
install zrpcd/quagga.
The new rpms are compiled with thrift-version 4

Zrpcd is installed as a process. Additional changes takwqe place
adopting the installation and checking of zrpcd process

Note that an extra patch is needed to update or remove the
building procedure, which is present within the project
but not used actually.

JIRA: APEX-508

Change-Id: If6da075d2aafdb8c2ecfc599f595a7201490aa23
Signed-off-by: tomsou <soth@intracom-telecom.com>

Updates docs and scenarios for Euphrates

Change-Id: I2da89d7a6ab4b0549edded908acc760b949231e1
Signed-off-by: Tim Rozet <trozet@redhat.com>

Adding unittests for apex/deploy.py

Change-Id: Id108039dcf5d846affe2900706097049b3308e81
Signed-off-by: Dan Radez <dradez@redhat.com>

Adding apex/overcloud/* unittests

Change-Id: I02cd512ba1ddaee2538bee7739e27b136112a0c6
Signed-off-by: Dan Radez <dradez@redhat.com>

Updates to Inventory object

- moved get_node_counts over from overcloud/deploy.py
- added more test coverage

Change-Id: I7774bebb99169aa1da0f07cb2cfc0c1d197af5ca
Signed-off-by: Dan Radez <dradez@redhat.com>

Increase ssh timeout and add retry for Ansible

Several users have experienced random disconnections from the undercloud
during deployment.  This should help to stop deployments from aborting.

Change-Id: Idb7619d493b329944f21ea6641f6826a8fcc3907
Signed-off-by: Tim Rozet <trozet@redhat.com>

Merge "Cleaning up yamllint warnings"

Merge "Increasing clean.py unittest coverage"

Cleaning up yamllint warnings

apex/tests/config/inventory-virt-1-node.yaml
  1:1       warning  missing document start "---"  (document-start)

apex/tests/config/inventory-virt.yaml
  1:1       warning  missing document start "---"  (document-start)

build/opnfv-environment.yaml
  6:3       warning  comment not indented like content  (comments-indentation)

Change-Id: Ice888464d09831066bb6cd0ac94fbd290b142088
Signed-off-by: Dan Radez <dradez@redhat.com>

Increasing clean.py unittest coverage

Change-Id: Iae3e80b399d1431382614449488238475b47b103
Signed-off-by: Dan Radez <dradez@redhat.com>

Merge "Removing the downloaded libvirt-client for the iso build"

Removing the downloaded libvirt-client for the iso build

JIRA: APEX-529

Change-Id: I09970847833d3e182a7485c051e2e46d394cfeff
Signed-off-by: Dan Radez <dradez@redhat.com>

Fix licenses to be Apache 2.0

Change-Id: I53f3596685b83e995498b5fdb804561fed6dc38b
Signed-off-by: Tim Rozet <trozet@redhat.com>

Merge "Use stable/17.10 branch for VPP"

Merge "Increase memory size for virt-customize"

Merge "This config is no longer needed"

Increase memory size for virt-customize

Some of the bigger commands can exceed the default,
so increase all instances for consistency. It's
unlikely build machines won't have 4G of memory
available.

Change-Id: Ifa575b6e6faef9ba038900ab0e080da15d5680aa
JIRA: APEX-520
Signed-off-by: Michael Chapman <michapma@redhat.com>

Merge "Pass flags to allow domain undefine with NVRAM"

Merge "baro: update collectd-openstack branch"

Use stable/17.10 branch for VPP

also add retry and timeout for VPP interface check in os-net-config

apex-os-net-config: Idaf03d78d2ce657ac484c1285a795d98760d0112

Change-Id: I3dca43d263923e2ae7ff84781d3f7aa64fad6b5d
Signed-off-by: Feng Pan <fpan@redhat.com>

This config is no longer needed

it is setting and unescaped default value which ended up setting an
invalid value. removing it uses the default which accomplishes what
this was originally attempting to put into place.

Change-Id: I03660921860adf7625e17d2c4a3ba07b62d0f3f0
Signed-off-by: Dan Radez <dradez@redhat.com>

Merge "Install honeycomb and vpp in a single step"

baro: update collectd-openstack branch

COLLECTD_OPENSTACK_GIT_BRANCH has been updated to stable/pike so that aodh
changes will be picked up

Previously, the branch was not actually being checked out, but was being
used as a name for a new branch. This behaviour has been corrected.

Change-Id: I516c4311d2a0cedcca6ec293b62c21234b1e1975
Signed-off-by: Emma Foley <emma.l.foley@intel.com>

Pass flags to allow domain undefine with NVRAM

Change-Id: I8365dd327d4bf7abebc72922e030b3049cd66de9
Signed-off-by: Dan Radez <dradez@redhat.com>

Merge "Updating the iso build to CentOS 7.4"

Install honeycomb and vpp in a single step

We currently install Honeycomb and VPP in 2 steps, this could potentially
cause version conflicts.

Change-Id: I1e54a576bced07f5115b12fef3bbdf2e95e9ab90
Signed-off-by: Feng Pan <fpan@redhat.com>

Merge "Fixes python-networking-sfc install"

Adding unittests for undercloud.py

Change-Id: I65d73f7a1ad27f319857a72b7d9f738b04318aa6
Signed-off-by: Dan Radez <dradez@redhat.com>

Fixes python-networking-sfc install

Change-Id: Ib86cd5845e94e351615c3eb7db07b6a3bcec966f
Signed-off-by: Tim Rozet <trozet@redhat.com>

Merge "nosdn-fdio scenarios fixes"

nosdn-fdio scenarios fixes

- pin vpp/networking-vpp versions
- Add external_network_bridge config back to puppet-neutron

Change-Id: Ia58fb55638390757ea3350b2921897c4d315f9b5
Signed-off-by: Feng Pan <fpan@redhat.com>

Merge "Adds Calipso scenario"

Adds Calipso scenario

Change-Id: Icc8a23e49c9ccc011481f6b97599d4f75873ebb1
Signed-off-by: Tim Rozet <trozet@redhat.com>

Fixes nova migration

Nova migration was failing in rally sanity test.  Looking at the keys
nova is configured with, the newlines in the private key were being
converted to spaces in hieradata, thus making the key invalid.  This
patch corrects the yaml so it is multiline data.

Also, corrects the parameter being set to the right THT parameter and
adds sshd service to the control/compute roles which is required for
migration to work.

JIRA: APEX-525

Change-Id: Ic57db5c0b27df2e1f584f3c1a379e067291d892d
Signed-off-by: Tim Rozet <trozet@redhat.com>

Merge "Increase overcloud qcow2 size by 1500mb"

Increase overcloud qcow2 size by 1500mb

We are seeing build failures with 1200mb qcow2 size expansion, increasing
to 1500mb.

Change-Id: Ib177525559c7905c78fe5931c172fce01846b4c3
Signed-off-by: Feng Pan <fpan@redhat.com>

Update zrpcd version for Carbon/ Nitrogen

JIRA: APEX-508

Compile zrpcd --with-thrift-version=4 to support carbon/nitrogen

Note that version number stands for the thrift vpnservice.thrift
model to use with ODL and not the  thrift package version.

Change-Id: I3ab13d0b62f56747249bfdee1c0766cd43de935a
Signed-off-by: tomsou <soth@intracom-telecom.com>

Merge "re-enable support for fdio dvr scenario"

re-enable support for fdio dvr scenario

- Update FDIO scenarios to use master branch images
- Update VPP/HC version to master for all fdio scenarios

apex-os-net-config: Ie6aee86eaccad5fc98820a28f10adc7475cc5e33
apex-tripleo-heat-templates: Ie8b284f64bd6491c389129d8afdaeae8a399b607
apex-puppet-tripleo: I9954240529278e74d93fdf89d2ebc2536249245a

Change-Id: I31740f97052947b5e4688cca47320bc49a902d7c
Signed-off-by: Feng Pan <fpan@redhat.com>

Merge "Adding python unittests for apex/virtual/*"

Adding python unittests for apex/virtual/*

Change-Id: I13dd395cd6270cbf0a02855b1d29794ecca06d76
Signed-off-by: Dan Radez <dradez@redhat.com>

Fix RT KVM scenario

Also change first-boot.yaml to handle updated kernel for rt kvm

Change-Id: I66b7159731dd286c4a97ba4f3583e229afbb73b3
Signed-off-by: Feng Pan <fpan@redhat.com>

Merge "Fixes BgpVpn service name and tht fixes"

Merge "Fix Neutron data_plane_status extension path"

Fix Neutron data_plane_status extension path

This way is easier to patch than patching file
neutron.egg-info/entry_points.txt, plus this feature is backported
to Ocata so it's temporary and only applicable for Euphrates.

From Pike we can move it back to 'data_plane_status' as it was before.

Change-Id: I1c2ebc55e782463793e7a8e463cc17fdf899457a
Signed-off-by: Carlos Goncalves <mail@cgoncalves.pt>

Fixes BgpVpn service name and tht fixes

BgpVpn service was spelled incorrectly and there were syntax issues with
the corresponding heat templates.

apex-tripleo-heat-templates: If39072c687dcfb3fcb5c2dab33ecc3755b3396df

Change-Id: I94155f4a32af2338bcd58afe3fb602860346a555
Signed-off-by: Tim Rozet <trozet@redhat.com>