Add API network support

- Create additional NIC on virtual deployment if API network is enabled.
- Include API network in clean
- Change keystone admin api network to admin network. This should have
  no effect when api network is disabled, as today's behavior is to
  fall back to admin network anyway. However, when api network is
  defined, we need to be able to reach overcloud from undercloud through
  keystone admin api network.

Change-Id: Ib0aea4a0daeed5878793530c10d8f8a1bbe5fd72
Signed-off-by: Feng Pan <fpan@redhat.com>

Merge "Fix sed syntax error in set_perf_images.sh"

Fix rpm build error

- Fix common rpm spec syntax error
- Fix build.sh check for spec file changes.

Change-Id: I84b54c87356a092af480957ad4b2e93ec577539b
Signed-off-by: Feng Pan <fpan@redhat.com>

Merge "Fixes build caching"

Fixes build caching

JIRA: APEX-167

Change-Id: Ibb9d69eb4326911a5c62fc9f10b02ccf191a3046
Signed-off-by: Tim Rozet <trozet@redhat.com>

Merge "Fixes ODL L3"

Fix sed syntax error in set_perf_images.sh

Change-Id: Id5c4fd5e9073afec3253c47caf8981b43b2552c6
Signed-off-by: Feng Pan <fpan@redhat.com>

Fixes ODL L3

JIRA: APEX-166

opnfv-tht-pr: 20

Change-Id: If2aabd9da302297cc99f7e6aa0eadf07a4fc7f52
Signed-off-by: Tim Rozet <trozet@redhat.com>

Merge "Fix performance option handling"

Merge "Add performance deploy file to common spec"

Merge "Fix kernel parameter setting"

Merge "Add library sourcing error check"

Fix performance option handling

 - Fix image name replacement in environments/numa.yaml in t-h-t
 - Accommodate patch to opnfv-tht disabling libvirt pinning by default.

 opnfv-tht-pr: 17

Change-Id: I4f45a120b236e8fbaa1eefd6da903d8f5e584764
Signed-off-by: Michael Chapman <woppin@gmail.com>

Merge "Migrates network environment parsing to python"

Migrates network environment parsing to python

Change-Id: Ibaf20a2960a9f4b5e3f256fbed12a61d7606a967
Signed-off-by: Tim Rozet <trozet@redhat.com>

Fix kernel parameter setting

We can use a single line command to change kernel parameters, it
is not necessary to have a script.

Change-Id: I8988464d9a84a223803c69e676483787de49b4ab
Signed-off-by: Feng Pan <fpan@redhat.com>

Add performance deploy file to common spec

Change-Id: I51e5829406722cd0e7ed3d923c5761853795b0cd
Signed-off-by: Feng Pan <fpan@redhat.com>

Add library sourcing error check

Change-Id: Ief7fd339fa2ca8661c8e157270aa9b0339d3b637
Signed-off-by: Feng Pan <fpan@redhat.com>

Attempts to fix sql race condition

opnfv-tht-pr: 18

Change-Id: Ib00bc8f2167a4ecb03d7411b8c7b68f2a2cc3276
Signed-off-by: Tim Rozet <trozet@redhat.com>

Merge "Fixes interface cleanup issue between virtual and baremetal"

Merge "Fixing some deploy options boolean case"

Fixing some deploy options boolean case

Change-Id: I98e4529b6631ed89912dc55c397993df3da10291
Signed-off-by: Dan Radez <dradez@redhat.com>

Merge "Fixing conditional for setting compute count"

Fixes interface cleanup issue between virtual and baremetal

JIRA: APEX-164

Change-Id: I41bf3869d068812005e2e01c03229b6b4d2628dc
Signed-off-by: Tim Rozet <trozet@redhat.com>

Fixing conditional for setting compute count

- also removing no-ha option, python update
  to deploy settings do longer honor this param

Change-Id: I52b84c946b3d5d774a001a18230c591060041eb2
Signed-off-by: Dan Radez <dradez@redhat.com>

Adding release notes message for APEX-86

Change-Id: I3815232db1337e2250f1699b5be8865093d4993d
Signed-off-by: Dan Radez <dradez@redhat.com>

Merge "adding control of number of virtual compute nodes"

Merge "Adding python tests and updating for conventions"

Merge "Updates to CONFIG, RESOURCES and LIB"

Adding python tests and updating for conventions

- adding tests dir with a script to run python coverage
- adding main funtion to python per convention
- replacing underscores with dashes in CLI params per convention

Change-Id: I6f64174278e2a2e93eacdb7bee09aac49ce15d29
Signed-off-by: Dan Radez <dradez@redhat.com>

Updates to CONFIG, RESOURCES and LIB

- removing the -r and -c parameters
- relying on ENV vars for non-system locations
- abstracting the apex-python-utils to a var

Change-Id: I7ff1ca8b741c890647aee029c57e8342f0b5cb07
Signed-off-by: Dan Radez <dradez@redhat.com>

Fix PREFIX parsing of ifcfg file

Make sure we only get number portion of PREFIX in ifcfg file, this
avoids getting potentially the double quotes around the prefix.

JIRA: APEX-163

Change-Id: Ic251a3a92bf4d318bb41114e15911f5e51dd2cde
Signed-off-by: Feng Pan <fpan@redhat.com>

adding control of number of virtual compute nodes

JIRA: APEX-86

Change-Id: Iae2f34337479ad0a399eecc46459f5afea938d57
Signed-off-by: Dan Radez <dradez@redhat.com>

Merge "adding deploy dep check script"

Merge "Fix deploy settings bash output"

Fix deploy settings bash output

Change-Id: I61efdac14066d2a3d7c3e3ff7f93f0fa2af3a857
Signed-off-by: Feng Pan <fpan@redhat.com>

adding deploy dep check script

the Apex RPMs don't get installed in our verify
so we need something to check that the deploy deps
are there when it's a fresh host

Change-Id: I917f557a3b181e0ef109771af67f5ef49263723b
Signed-off-by: Dan Radez <dradez@redhat.com>

Fixes broken spec with nic templates

Change-Id: I764dced4aa8d0f2bb7ed992ae6b75a2b66b6efde
Signed-off-by: Tim Rozet <trozet@redhat.com>

Merge "Add sleep and retry to galera and mongodb service start"

Merge "Use linux bridge for virtual deployment"

Fixes deploy lib in spec and bug with return codes

Change-Id: If646ce606f96d0bcd6681ada193d60e6b59f93ff
Signed-off-by: Tim Rozet <trozet@redhat.com>

Merge "Fixes nic template missing in spec and error catching"

Fixes nic template missing in spec and error catching

Issue where jinja 2 templates were missing from spec file.  Also adds
error checking to make sure the nic templates were correctly generated.
There was an error with dependencies missing on the build server - this
patch includes a fix to make sure it is installed before trying to make.

Change-Id: I7989ccf297a4e0d81326cccc06b2132018e7d8ae
Signed-off-by: Tim Rozet <trozet@redhat.com>

Use linux bridge for virtual deployment

Changes virtual deployment to use linux bridge rather than OVS
bridge on jumphost. Also fixed an issue with network deletion
in cleaning code.

Change-Id: Ibcfa283c6bf32aafa2ee91b2ffd55355d7d6746e
Signed-off-by: Feng Pan <fpan@redhat.com>

Adds support for DNS and METRIC when bridging interfaces

JIRA: APEX-100
JIRA: APEX-155

Change-Id: I35f1831d59f08c26666a179db2854f9b7ea5d958
Signed-off-by: Tim Rozet <trozet@redhat.com>

Merge "Add pinning support"

Merge "Fixes spec file for contrail and nosdn-noha"

Merge "brbm bridge creation failed during deployment"

Add sleep and retry to galera and mongodb service start

opnfv-tht-pr: 15

Change-Id: I827f36941b240a2ce3f402584fa6e570e5b26474
Signed-off-by: Feng Pan <fpan@redhat.com>

Fixes spec file for contrail and nosdn-noha

Change-Id: I985a0af9ed678f1fe4d7741af25a27df65d8c479
Signed-off-by: Tim Rozet <trozet@redhat.com>

Add pinning support

Add support for CPU pinning of libvirt guests and also
restricting host processes to selected CPUs via isolcpus.

Hugepage support is added using the same mechanism as
isolcpus, along with a perf scenario where all 3 performance
options are enabled.

Deploy options are now parsed in python

JIRA: APEX-127
JIRA: APEX-105
JIRA: APEX-106

Change-Id: I438e80fb88e596cc017595d43bc1efda1001325c
opnfv-tht-pr: 8
Signed-off-by: Michael Chapman <woppin@gmail.com>

brbm bridge creation failed during deployment

brbm bridge is not created during deployment because of existing random
bridge containg text brbm in it.

JIRA: APEX-153

Change-Id: I48520c2865a4de0de849c5147337dafeeb5fb51f
Signed-off-by: Juha Haapavirta <juha.haapavirta@nokia.com>

Limits engine workers for virtual deployments

Heat uses sub-process forking for increasing number of workers to handle
tasks.  This patch limits number of workers in undercloud and overcloud
for virtual deployments to help battle resource contention.

Change-Id: I70edff708b7dcaf114b285046af3138a67167150
Signed-off-by: Tim Rozet <trozet@redhat.com>

Merge "Adds ODL DLUX GUI to L2/L3 deployments"

Change ONOS binary download to dropbox

Change-Id: Iaa246533b908327d0bac05f90aa6a1fc7a60c435
Signed-off-by: Feng Pan <fpan@redhat.com>

Adds ODL DLUX GUI to L2/L3 deployments

JIRA: APEX-114

opnfv-tht-pr: 14

Change-Id: I328058b9f4503ccf7ec0a8d587292504b93cd17f
Signed-off-by: Tim Rozet <trozet@redhat.com>

Fix python3 dependency in spec file

Change python compiler from system default (python 2) to explicit
python3 during RPM build for apex common rpm.

Change-Id: Ib979909c0987bceade9b65baabf2de0482aede46
Signed-off-by: Feng Pan <fpan@redhat.com>

Merge "Adds nosdn-noha scenario and fixes opencontrail scenario naming"

Merge "Fixes tenant network templates"

Adds nosdn-noha scenario and fixes opencontrail scenario naming

Change-Id: I9a151a251811fa3460616fc93beee6b9b342b8b8
Signed-off-by: Tim Rozet <trozet@redhat.com>

Merge "Bumps Undercloud to 12GB"

Fixes tenant network templates

We only support vxlan tenant network types in OPNFV.  There is no need
to create a br-tenant.

Change-Id: Ib84cde7207375ea033518dce99309620f575cb69
Signed-off-by: Tim Rozet <trozet@redhat.com>

Bumps Undercloud to 12GB

Testing this to see if it improves stability of deploys

Change-Id: I1bd2539e87230c080e2e652a1d74681d95a293fe
Signed-off-by: Tim Rozet <trozet@redhat.com>

Disables OpenStack services not used in OPNFV

Disables:
 - swift
 - tripleO ring builder
 - Sahara

opnfv-tht-pr: 13

Change-Id: I50c3338f0b071787c277390b39d86a4e42d30a46
Signed-off-by: Tim Rozet <trozet@redhat.com>

Merge "Allows for specifying CPUs and RAM for VMs in virtual deployments"

Allows for specifying CPUs and RAM for VMs in virtual deployments

Changes Include:
 - All VMs (undercloud and overcloud) now default to 4 vCPUs
 - Allow specifying number of vCPUs per overcloud VM with --virtual-cpus <number>
 - Allow specifying amount of RAM per overcloud VM with --virtual-ram <size in GB>
 - Undercloud now uses 10GiB of RAM to avoid OOM

JIRA: APEX-111

Change-Id: I541c669b869a90134bc8af25786fe3b1a557376b
Signed-off-by: Tim Rozet <trozet@redhat.com>

Fixes path for utility library

Change-Id: I561c636ac8f0cde9a23a3a74906bd88662f6dd59
Signed-off-by: Tim Rozet <trozet@redhat.com>

Change NIC template format

Convert compute and controller NIC templates to jinja2 format.
Added support for IPv6 for those NIC templates. Existing IPv4
template generation behavior does not change.

The .template files are kept in tree for now, they will be
removed after VLAN changes are made.

Change-Id: I2ffc7c403af3659db780ece2bd9195cd62748f0c
Signed-off-by: Feng Pan <fpan@redhat.com>

Merge "Rebasing opnfv-tht Colorado with ODL patches"

Add python parsing library for network settings file.

Changes:
   - Implements network_settings.yaml file parsing in python.
   - Adds support for both IPv4 and IPv6 in network_settings.yaml
   - Adds support for api_network in network_settings.yaml
   - Removes bash library functions for network related functions.
   - Adds dependency to python34-yaml for apex-common package.

Note that support for ipv6 and api_network is not complete yet.
Proper configuriration of network environment and nic template
files will be added later.

Change-Id: I087f725dabedfef109c9de1f58ce2611da647e87
Signed-off-by: Feng Pan <fpan@redhat.com>

Rebasing opnfv-tht Colorado with ODL patches

Purpose of this commit is to test opnfv-tht changes are not breaking
nosdn deployment.

opnfv-tht-pr: 10

Change-Id: I85da61a9591999d1249d55700241d71256019a81
Signed-off-by: Tim Rozet <trozet@redhat.com>

Standarizing CONFIG and RESOURCES

- first stage in standarizing how custom config
  values are passed in by moving
  to using ENV vars to pass in custom params

- next stage is to remove the -r and -c
  options in deploy.sh

Moving this direction will reduce managment of
custom parameters and rely on ENV vars to make
the customizations for development

Change-Id: Ibbc171d5e6801b27c1b62ca65c2a9f7830483b97
Signed-off-by: Dan Radez <dradez@redhat.com>

Merge "Added nokia-pod1 inventory file"

Change storage refresh to pool-refresh

Using pool-refresh should be sufficient to clean up storage pool.

Change-Id: I10a58340c4c24b429a2d46d8c9f5a469fd4e18f2
Signed-off-by: Feng Pan <fpan@redhat.com>

Merge "updating ONOS build"

Adds python IP utility library

Changes include:
 - IP utility library in python 3 that supports both IPv4 and IPv6
   address generation. This library currently includes a single
   function of generating IP ranges or single IP for a given CIDR.
   More functionality will be added at a later time to support
   features such as IP address calculation.
 - Updated common-function.sh to use python library to generate IP
   ranges. All existing bash functions are preserved, so any
   callers will get identical IP ranges as before.
 - Add dependency to python3 for opnfv-apex-common package.
 - Add python dependency to build.sh

No change is made to interface related functions.

Change-Id: Idc6998754f9f3c7a3868ec5b5768f3bb5f78cd90
Signed-off-by: Feng Pan <fpan@redhat.com>

Added nokia-pod1 inventory file

Change-Id: I724023f9d45b306dd6bf9768a9546481358fdeb9
Signed-off-by: vitikkan <viktor.tikkanen@nokia.com>

updating ONOS build

- the ONOS build required the stable-images dir
- also removing other stable-images references

Change-Id: Ib51e4278ac80d7900064469f6d3c3a3532296270
Signed-off-by: Dan Radez <dradez@redhat.com>

Adding missing RPM change log for utility content

Change-Id: Icf076eced87e24df5ac91d1a0a4ddd466ae66697
Signed-off-by: Dan Radez <dradez@redhat.com>

Deploy ceph OSDs on the compute nodes too

 - Also fixing the github PR json parsing

opnfv-tht-pr: 7

JIRA: APEX-89

Change-Id: I5c27209ed006309285bd24d77cc2392513325116
Signed-off-by: Dan Radez <dradez@redhat.com>
Signed-off-by: Tim Rozet <trozet@redhat.com>

Merge "Deploy was missing sourcing the utility lib"

Fixes inventory file reference

Change-Id: I2cd5a739a48d2f0e0fdc3b2103d3ea5e4987d6da
Signed-off-by: Tim Rozet <trozet@redhat.com>

Deploy was missing sourcing the utility lib

JIRA: APEX-75

Change-Id: Iec4abc319db98c32b94a0603811401fd7f9a59db
Signed-off-by: Tim Rozet <trozet@redhat.com>

Forcing a libvirtd restart on clean

- ensures the storage vols are cleaned up properly

Change-Id: I55c0dbcbbc884658b9e37e34aa85d00e29e99b57
Signed-off-by: Dan Radez <dradez@redhat.com>

Adds Utility functions and failure logging

Patch adds helpful utility functions and automatic parsing of heat
output into a readable format indicating where a failure is in a
deployment.  Example: http://fpaste.org/354210/

New opnfv-util function allows a user to interact with a deployment
easily:
 - opnfv-util undercloud <user> connects user to undercloud VM
 - opnfv-util debug-stack parses the heat failure output

Above arguments also accept partial matches.

JIRA: APEX-75

Change-Id: I5ccfee64ee2958de0d00a3b25cd9b29de60c9e20
Signed-off-by: Tim Rozet <trozet@redhat.com>

Adding dependencies to apex-common.spec

- initscripts net-tools iputils iproute iptables
  these are the packages that include the networking
  tools we use to configure the jump host

JIRA: APEX-137

Change-Id: Icf2d2c2a80a4abb8642cb3e38d18a054a9f01a96
Signed-off-by: Dan Radez <dradez@redhat.com>

fixing PR_NUMBER evaluation when there is no opnfv-tht-pr in the commit message

Change-Id: I5abd9efe48a665f7a65201ec20805cd1a4001763
Signed-off-by: Dan Radez <dradez@redhat.com>

Get tht from github instead of rpm

Use apex fork of tht instead of relying on rpms. Can get specific
pull requests instead of default branch if specified in the commit
message using the syntax:

opnfv-tht-pr: [pull-request-number]

Change-Id: Ib4c8edd1a94258406d06dd7e80b4ae4ec8ca6c53
Signed-off-by: Tim Rozet <trozet@redhat.com>

Merge "Updates to the iso build"

Merge "Documentation updates for Colorado"

Documentation updates for Colorado

Change-Id: I21ada65b9da5da2c78750b018344cae834bd7ce4
Signed-off-by: Dan Radez <dradez@redhat.com>

Updates to the iso build

- refreshing to the Cent 7 1511 version of comps.xml
- adding a graphical desktop install option
- refreshing to the Cent 7 1511 version of isolinux.cfg
- adding package depedencies for Mitaka ISO install

JIRA: APEX-104

Change-Id: I73413270d2da656a4421f78a93504b611d300206
Signed-off-by: Dan Radez <dradez@redhat.com>

Merge "Fixes controller Image to be overcloud-full"

Fixes controller Image to be overcloud-full

New param introduced into THT that exposes the image to use for the
Controller.  The new var is defaulted to use overcloud-control and is
causing master to fail.

Changes Include:
 - Adds opnfv-environment yaml file to use for common parameters
   required in all deployments
 - Defaults controllerImage to be overcloud-full

Change-Id: I5da8921d9c9efd167748a3d6f42866d18f46d2b7
Signed-off-by: Tim Rozet <trozet@redhat.com>

Fixing how we get the RPM version from the spec file

Change-Id: Ib7c1ccc1d82f6f6ef11f553d3f56cd3da35dc3b1
Signed-off-by: Dan Radez <dradez@redhat.com>

Merge "Makefile & build.sh updates for RPM Building"

Makefile & build.sh updates for RPM Building

- fix the undercloud dependancy chain so the tarball gets rolled now
- adding rpm-check jobs for each of the rpms, this runs the build but doesn't spit out the rpm file
- added conditionals for rpm-check commands, only take the time to run them if the Makefile or specs have changed

Change-Id: I9731b278d06d92deb3f69066ba4468e64647582d
Signed-off-by: Dan Radez <dradez@redhat.com>

Updating versioning for Colorado

Change-Id: I67416076f91e18d651e4da2fa5a7883d8ed058b3
Signed-off-by: Dan Radez <dradez@redhat.com>

Migrating to Mitaka

- Only support for NOSDN for this patch
- Other SDN controllers will not be tested for this patch
- AODH is now upstream and not needed to be carried in Apex
- puppet-cinder-quota-fix.patch is now upstream and not needed to be carried in Apex
- puppet-neutron-force-metadata.patch is now upstream and not needed to be carried in Apex
- removing the catalog of nic files and creating a templatization for them

JIRA: APEX-108
JIRA: APEX-93
JIRA: APEX-92

Change-Id: Ic1a24baec7ef295e9dc1b8b72ac36ca5b05578ea
Signed-off-by: Dan Radez <dradez@redhat.com>

Syntax updates to OOO network isolation file

- storage mgmt and storage were being update by the storage sed commands
- ext net had a double Ports:: in the line

Change-Id: I95cfdbced1e817e6e69805708b6b4e504abd8c43
Signed-off-by: Dan Radez <dradez@redhat.com>