Adds stripped down ODL CSIT deployment

Introduces new (hidden) cli option to change composable env config.
This parameter then will use the provided file, for example,
csit-environment.yaml instead of the typical opnfv-environment.yaml.
The effect is using less services required for ODL CSIT snapshots.
Note: this will not work with perf options, but those are not required
currently for ODL CSIT.

CSIT also does not need ceph, so providing a new deploy option to
allow disabling it.

JIRA: APEX-362

Change-Id: If3833b1acceeb23ef9e12c90df6cc9607bd8c724
Signed-off-by: Tim Rozet <trozet@redhat.com>

Update networking-vpp packaging

- Change package to python-networking-vpp
- Turn off autoreq for /bin/python
- Update vpp to 17.01
- Disables undercloud package updating

Change-Id: I9743e73ca9c36cc5162076580dc0a6b8861c7149
Signed-off-by: Feng Pan <fpan@redhat.com>

Fixes broken git tag variables

Change-Id: Ie935dd6ddad5866e208a470765030e6d1246a0e9
Signed-off-by: Tim Rozet <trozet@redhat.com>

Fixes and refactors failing ISO build

The ISO was looking in the old location for the RPMs to install during
the ISO build.  Also updates the ISO build to build in .build/ like the
other artifacts.

JIRA: APEX_370

Change-Id: Ic4e802f096bac12e8c343960321fa0a554fde8a4
Signed-off-by: Tim Rozet <trozet@redhat.com>
Signed-off-by: Feng Pan <fpan@redhat.com>

Fixes and cleans up build/cache directory usage

Changes include:
 - Building is isolated to a .build directory that is git ignored
 - Caching is isolated to a .cache directory that is git ignored
 - Build scripts have been variablized, and relative paths have been
   removed
 - Unused files removed
 - build.sh, make file cleaned up
 - Fixed broken building of markupsafe and jinja2 packages
 - make clean-cache will remove the cache now
 - per item cleans are removed in place of simple clean .build now
 - includes fix for OSC issue with LP# 1642301

Change-Id: I42b8e4eb694bf0a2c398858814f8b73785931896
Signed-off-by: Tim Rozet <trozet@redhat.com>

Merge "Updates to Caching"

Merge "Updating OpenDaylight image script to use RDO trunk BGPVPN package."

Merge "Fixes using single network (previously called flat) for deploy"

spelling mistake

Change-Id: I4b8e377003f81f615f044cac4b6de4aeadff766e
Signed-off-by: Dan Radez <dradez@redhat.com>

Merge "Adding a release RPM"

Fixes using single network (previously called flat) for deploy

Also contains various network parsing fixes.

JIRA: APEX-361

Change-Id: I5e40ed67267d5ded85adc2982a8726ebbceaeae5
Signed-off-by: Tim Rozet <trozet@redhat.com>

Updating OpenDaylight image script to use RDO trunk BGPVPN package.

  Once this package is included in tripleo-puppet-elements,
  this virt-customize won't be neccesary

Change-Id: I599081c1737c23d65f2c25933beff6d41d8ee252
Signed-off-by: Ricardo Noriega <rnoriega@redhat.com>

updating the tacker build to use upstream

Change-Id: Ice900ffa840d6aac4fe31459432cbf95ff945d84
Signed-off-by: Dan Radez <dradez@redhat.com>

Adding a release RPM

JIRA: APEX-351

Change-Id: I9b8b74073287005221a7a3f6dfe2d52a7d1cf667
Signed-off-by: Dan Radez <dradez@redhat.com>

Merge "Increase rabbitmqctl control timer"

Merge "redo the libguestfs addition installation"

redo the libguestfs addition installation

Change-Id: I4cb801c1ffafe44a555ebfd32b35e7458c7596d6
Signed-off-by: Nikolas Hermanns <nikolas.hermanns@ericsson.com>

Merge "adding option to pass dnslookup site"

Updates to Caching

- updates cache to use the cache dir as a linked representation
  of the build dir
- fixing cache build/extract

JIRA: APEX-325

Change-Id: I80bf67e5d55ca2e069ca72e6b47303368bda0433
Signed-off-by: Dan Radez <dradez@redhat.com>

Merge "Updates FD.IO ODL scenarios to use Carbon ODL version"

adding option to pass dnslookup site

Change-Id: I73d8e92b97b25b39010380d09f7fad3c65795869
Signed-off-by: Dan Radez <dradez@redhat.com>

Increase rabbitmqctl control timer

IPv6 deployment will fail sometimes due to slow response
of rabbitmqctl status check. This patch increases wait timer
from 10 to 60 seconds so we can be sure to receive a valid
return code.

Change-Id: I2c52f3774007153bb4e692218d40b679ec0a0698
Signed-off-by: Feng Pan <fpan@redhat.com>

Add release notes for os-nosdn-fdio-noha

Change-Id: I8db7f968be881bc129f15b9812c8e0aab09ae56b
Signed-off-by: Frank Brockners <fbrockne@cisco.com>

Merge "Renames 'usable_ip_range' to 'overcloud_ip_range'"

Merge "Add noha scenario for bgpvpn"

Add noha scenario for bgpvpn

Change-Id: Iecf511aa48d3123b7a2ed445cc5ff6f5d462fb83
Signed-off-by: Nikolas Hermanns <nikolas.hermanns@ericsson.com>

Renames 'usable_ip_range' to 'overcloud_ip_range'

'usable_ip_range' was confusing for a lot of users, and most thought it
encompassed all of the defined ranges in the network settings file (like
floating_ip_range and introspection_range).  This renames it to be more
accurate.

JIRA: APEX-288

Change-Id: I2e106666df1bfd007f150279e2e0387a64cd0f48
Signed-off-by: Tim Rozet <trozet@redhat.com>

Updates FD.IO ODL scenarios to use Carbon ODL version

JIRA: APEX-346

Change-Id: I9ffa32da906f50441dfc05610d0668e84c992e81
Signed-off-by: Tim Rozet <trozet@redhat.com>

Adding git commit to RPM releases

Preparing for better caching by adding the git hash to the rpm release
We can skip building the RPMs if they are cached and would be built off
the same hash

JIRA: APEX-325

Change-Id: I9b0e26f123667673d126362a2501abb13830e44b
Signed-off-by: Dan Radez <dradez@redhat.com>

Merge "Adding oslo-config, debtcollector and python34-devel"

Merge "Updates VPP packages to latest master version"

Updates VPP packages to latest master version

JIRA: APEX-344

Change-Id: Ib1bf1ac6b76af3a4cbbc2b7a20753c232ff5fa16
Signed-off-by: Tim Rozet <trozet@redhat.com>

Merge "Fix for baremetal deploy with new network settings format"

Adding oslo-config, debtcollector and python34-devel

JIRA: APEX-358

Change-Id: Id73e736fb01de7ad0dd5cc3fde95b85cd7dfb735
Signed-off-by: Nikolas Hermanns <nikolas.hermanns@ericsson.com>

Remove networking-vpp version fix

Change-Id: Icc4bc5a053e658f758a9dc7d22647348769a64ba
Signed-off-by: Feng Pan <fpan@redhat.com>

Fix for baremetal deploy with new network settings format

Change-Id: I2336436a827c0f9b066c17921729123aee877282
Signed-off-by: Dan Radez <dradez@redhat.com>

Merge "Adding more cleanups for Apex RPMS"

Build failure fixes

- Remove puppet debug from overcloud image - file
  /var/lib/heat-config/hooks/puppet no longer exist in
  overcloud image.
- Revert networking-vpp to known working version until
  fix is committed upstream.

Change-Id: I9add838a60014a43774d4001ccd84ccad21a3343
Signed-off-by: Feng Pan <fpan@redhat.com>

Adding more cleanups for Apex RPMS

Change-Id: Ief9b017a290816c941fd8c15e5877cda81bb67cf
Signed-off-by: Dan Radez <dradez@redhat.com>

Updates puppet-opendaylight branch to master

Required configuration fixes for new netvirt in master.

JIRA: APEX-300

Change-Id: Iccca77907848ee8a0167e7aa326d014b66bed3f6
Signed-off-by: Tim Rozet <trozet@redhat.com>

Fixes missing inventory.py file in RPM spec

Change-Id: I716fc0bc488072b7492858e8514ea140a16b8d58
Signed-off-by: Tim Rozet <trozet@redhat.com>

Fixes external network creation

Without specifying the provider network type or physical network results
in the default tenant network type being used upon external network
creation (for us this means vxlan).  Previously this worked fine because
Neutron L3 agent and ODL L3 would assume to use br-ex.  This is no
longer true in ODL new nettvirt, and needs to be explicitly flat along
with the correct physical network.

Also includes minor fix for Manila service naming that was fixed
upstream.

JIRA: APEX-300

Change-Id: If5d467a811baafe01b725dd530938482fdd3fd03
Signed-off-by: Tim Rozet <trozet@redhat.com>

Merge "Allow passing a device name to ceph"

Merge "Rename network settings variable"

Allow passing a device name to ceph

JIRA: APEX-347

Change-Id: Ibc6d141e20faf613e0f6314286b55aff01ce862e
Signed-off-by: Dan Radez <dradez@redhat.com>

Merge "Skip ip resolution during arp lookups"

Disable reverse DNS lookup on the undercloud

Change-Id: I02328d7cff977fc55cb325b9714d8a5857c00255
Signed-off-by: Dan Radez <dradez@redhat.com>

Skip ip resolution during arp lookups

Change-Id: I58dcdb3f0b42be8354e7298923ba94d8052d3ee5
Signed-off-by: Dan Radez <dradez@redhat.com>

Merge "Updating heat cli calls to converged cli"

Rename network settings variable

The network_settings_file variable is actually the inventory file,
this patch renames it to match.

Change-Id: Id4d0b792b8426b4e0b1c61270fe2e6da89559413
Signed-off-by: Michael Chapman <michapma@redhat.com>

Updating heat cli calls to converged cli

In newton the heat cli is deprecated:

WARNING (shell) "heat stack-list" is deprecated, please use "openstack stack list" instead
WARNING (shell) "heat resource-list" is deprecated, please use "openstack stack resource list" instead

Change-Id: Ia32f05c72500e5fdd525c32a9b41b2be3cb1599c
Signed-off-by: Dan Radez <dradez@redhat.com>

Flat is not an option anymore

removing unused option from deploy comments

Change-Id: I2cddffebf0246c1b3f8f4adb96549dc1ce29ec80
Signed-off-by: Dan Radez <dradez@redhat.com>

Merge "Migrate to stable/newton"

Migrate to stable/newton

os-odl_l2_nofeature is now deprecated since new netvirt only supports
odl_l3.

JIRA: APEX-299

Change-Id: I3557ecb85fa4cd11bba96aa9410e56a8e8cceb00
Signed-off-by: Tim Rozet <trozet@redhat.com>

Merge "Change qemu version update command to install from update"

Add defaults to vpp_main_core and vpp_corelist_workers

JIRA: APEX-341

opnfv-tht-pr: 94

Change-Id: I4237ee694d9c8025f0e05cc80b4632dfa7902de9
Signed-off-by: Feng Pan <fpan@redhat.com>

Change qemu version update command to install from update

JIRA: APEX-343

Change-Id: Ica5d738a3b25328834ca4aa86e64117cb6b5d7f2
Signed-off-by: Feng Pan <fpan@redhat.com>

Fixed smoke tests that broke during a refactor of the snaps-provisioning project.

Change-Id: I8a7ee68690156fd12f36baaf72774e2eb711312c
Signed-off-by: spisarski <s.pisarski@cablelabs.com>

Merge "Enabling alternalte method to get remote md5"

Updating RPM spec versions for Danube

Change-Id: If30f8d28decf4dc1c1ed21e73284ec235df78fac
Signed-off-by: Dan Radez <dradez@redhat.com>

Enabling alternalte method to get remote md5

The onos tar is an example of the remote server not supplying
a .md5 file with the md5 in it. It is instead posted on an html
page that can be scraped to get the value. This patch adds the ability
to pass that value into the caching functions so can keep onos
cached and not redownload it over and over again

JIRA: APEX-325

Change-Id: I88be72d4fd6aa7245b02b9ef0f2b7e6eefff3dac
Signed-off-by: Dan Radez <dradez@redhat.com>

Merge "Fix links in Apex install manual"

Fix links in Apex install manual

JIRA: APEX-338

Due to the change of DOCS-156, OPNFV document html is now
'single HTML' file, instead of multiple HTMLs.  This fix changes
hyperlinks of document.

Change-Id: Ifbb12cdeb8edad1b7444f8c7d25ced0eef94eb14
Signed-off-by: Tomofumi Hayashi <tohayash@redhat.com>

Add iommu kernel parameter to nosdn fdio scenario

JIRA: APEX-340

Change-Id: I3ddc2b28b46720ce1b9af28ae23f4a24690008e4
Signed-off-by: Feng Pan <fpan@redhat.com>

Merge "Add support for isolcpu and VPP thread pinning"

Add support for isolcpu and VPP thread pinning

Also depend on https://github.com/radez/puppet-fdio/pull/14

JIRA: APEX-337

opnfv-tht-pr: 92

Change-Id: Ic3d2f04bfd1983c38e09a2bfa3992a572fc9c6c1
Signed-off-by: Feng Pan <fpan@redhat.com>

Merge "Moving custom rpm packages to dev_dep_check"

Fix syntax error in overcloud-deploy-functions.sh

Change-Id: Ie13eaac89c8ce60d7e8c36d21437d536c758688a
Signed-off-by: Feng Pan <fpan@redhat.com>

Merge "Update qemu to fix vhostuser reconnect bug"

Merge "Clarifies ip ranges in network settings"

Clarifies ip ranges in network settings

Also includes other various fixes.

JIRA: APEX-292

Change-Id: I5e8cedce5af43544963c1e7de582e7646b1c841a
Signed-off-by: Tim Rozet <trozet@redhat.com>

Update qemu to fix vhostuser reconnect bug

Update qemu to version 2.3.0-31.el7_2.21.1 to pick up fix for
Bugzilla 1322087

JIRA: FDS-121

Change-Id: Iafcbce0405b7c7c96a2c9ca2e086e158749c220e
Signed-off-by: Feng Pan <fpan@redhat.com>

removing /%(tenantid)s from tacker heat_uri

JIRA: APEX-230
opnfv-tht-pr: 91

Change-Id: I00386093de8184a703904ecccd0e27050e071084
Signed-off-by: Dan Radez <dradez@redhat.com>

Moving custom rpm packages to dev_dep_check

These only need to be installed once so no need to check them every run.

Change-Id: I288fb52625cad1f11b3b3ca7f0f29a30095646f9
Signed-off-by: Dan Radez <dradez@redhat.com>

Merge "Revert "removing /%(tenantid)s from tacker heat_uri""

Revert "removing /%(tenantid)s from tacker heat_uri"

This reverts commit 73368c47926e033f32da05f85b122f0c4c3a7f63.

This commit causes CI failure.

Change-Id: I97c5f9efd259cc6b9c59cc96f0493b7b488bcb8d
Signed-off-by: Feng Pan <fpan@redhat.com>

Merge "removing /%(tenantid)s from tacker heat_uri"

Merge "Fixes missing iommu parameters in odl_l2 fdio ha scenario"

Merge "Revert "Add ability to configure allowed vlan ranges in deploy configuration""

Revert "Add ability to configure allowed vlan ranges in deploy configuration"

This reverts commit 3228f00248cda32671fb0e6a02059bea6ae66c99.

There is more settings that will need to added for the functionality this patch it intending to add. The JIRA will be updated and the feature will be worked on for Danube.

Change-Id: I258ba552cbb49e6fa188a8dffe860e8dac2e3f5f
Signed-off-by: Dan Radez <dradez@redhat.com>

removing /%(tenantid)s from tacker heat_uri

JIRA: APEX-230

Change-Id: I4727202cf04bf4eb8ed147b24f2d0eaf8eac20cf
Signed-off-by: Dan Radez <dradez@redhat.com>

Adding inventory.yaml values to docs

JIRA: APEX-297

Change-Id: I897c1921b51233864e0c26e7b71783976c855a43
Signed-off-by: Dan Radez <dradez@redhat.com>

Fixes missing iommu parameters in odl_l2 fdio ha scenario

JIRA: APEX-335

Change-Id: I00b148e3f2a299b6e16a91f6e8e3ed447a86e117
Signed-off-by: Tim Rozet <trozet@redhat.com>

Merge "Use ntp parameter from network_settings"

Use ntp parameter from network_settings

Right now we use a ntp_server parameter set in deploy.sh, but since
new network_settings file contains ntp information already, we can
use those values instead.

JIRA: APEX-266

Change-Id: I717af80b967971ea9111002d657972efd94a163a
Signed-off-by: Feng Pan <fpan@redhat.com>

Use correct OVS version for SFC

JIRA: APEX-334

This regressed when we moved over to installing the replacement ovs
at runtime instead of build time

Change-Id: I0fec6b68be56a3aa41e502c2e09375aca34be22c
Signed-off-by: Michael Chapman <michapma@redhat.com>

Revert "Use SFC OVS version for ONOS when SFC is enabled"

This reverts commit 33bb282dbbea2a2f17c5b3153e60dfff30c4bb15.

Change-Id: I1136c1bd2570a1de50c861c7285434cd244d3b2a
Signed-off-by: Tim Rozet <trozet@redhat.com>

Merge "giving some love to make clean"

Merge "Use SFC OVS version for ONOS when SFC is enabled"

Merge "Add ability to configure allowed vlan ranges in deploy configuration"

Use SFC OVS version for ONOS when SFC is enabled

JIRA: APEX-334

This regressed when we moved over to installing the replacement ovs
at runtime instead of build time

Change-Id: I9624dd32f84e47e3e92dbb091655280b44734e25
Signed-off-by: Michael Chapman <michapma@redhat.com>

Merge "Adds enic workaround for OVS DPDK"

Merge "Moved smoke test repository and changed input arguments."

Adds enic workaround for OVS DPDK

OVS DPDK deployments were failing in daily CI.  This is because the UCS
fabric tags packets no matter what when not using an external switch
with UCS.  This patch inserts a flow to strip any vlan tag when the
tenant network type is set to vxlan.

JIRA: APEX-333

opnfv-tht-pr: 89

Change-Id: I49920c45901f724a96a3a5515172a13b7ddee7a7
Signed-off-by: Tim Rozet <trozet@redhat.com>

giving some love to make clean

it wasn't working, so adding a few things so it will work and clean up better

JIRA: APEX-327

Change-Id: I428309f4e0f7ad837d24a7b0cc4659172f7f2bc7
Signed-off-by: Dan Radez <dradez@redhat.com>

Merge "Swap br-external and br-public in clean.sh"

Merge "Consolidate ODL SFC RPM into ODL RPM"

Add ability to configure allowed vlan ranges in deploy configuration

Add a new parameter 'vlan_id_range' for tenant vlan range, which can
set the 'network_vlan_ranges' for 'datacentre' network in ml2.ini on
both compute and controller.

Change-Id: I5c190fb2d5d582d0d5f56d4c18cf32502b758bd8
JIRA: APEX-272
Signed-off-by: Peng Liu <pliu@redhat.com>

Merge "Use br-external instead of br-public"

Swap br-external and br-public in clean.sh

confused by the comments in clean.sh, updating it so confusion doesn't
continue.

Change-Id: Ia3eacba9a5d23a2d1d4030895cde13d006adfa87
Signed-off-by: Dan Radez <dradez@redhat.com>