Fixes issue with deploy copying from /tmp and clean bailing early

deploy.sh was failing in user deployments because the necessary puppet
modules and vagrant files were being copied accidentally from /tmp and
not the script directory.  This patch fixes that issue.  clean.sh was
failing checks to see if vagrant or virtualbox was still running, due to
a bug with checking "ps" and using grep.  This patch resolves that.

JIRA: APEX-16,APEX-17

Change-Id: I1faa6fc134c0308acb2e7b14be30f7cd3c99d109
Signed-off-by: Tim Rozet <trozet@redhat.com>

Merge "Fixes puppet modules to come from Genesis repo"

Fixes puppet modules to come from Genesis repo

This patch deprecates the use of puppet-trystack repo and migrates the
puppet modules even to Genesis.  deploy.sh now now copies the modules
from the current Genesis repo into foreman VM's /vagrant to be used
during install (rather than recloning).  Associated changes in
Khaleesi/QuickStack:
 - Khaleesi: commit 31b912778847f295d1459a71e5c41c808977c91d
 - Astapor: commit ac4be11e348d7bcff1e1aa28c96056e18dba5291

JIRA: APEX-8

Change-Id: I322ac797d1d687f17434e07e6775acef8961bdef
Signed-off-by: Tim Rozet <trozet@redhat.com>

Fixes bug with interface detection

This patch addresses the detection of the physical NICs to bridge to.
There was a bug where the regexp would ignore some NICs on accident, and
the purpose of the expression was to ignore virtual NICs.  Rather than
ignore NICs by their name, this patch ensures that NICs are ignored if
they are actually virtual types.

Also fixes syntax issue with checking for nic_arg_flag.

JIRA: APEX-11

Change-Id: Ibd965c454faab1d751e3ce0b260eabc7fbe7c720
Signed-off-by: Tim Rozet <trozet@redhat.com>

Merge "Adds ability to specify NICs to bridge on the jumphost"

Merge "Fixes vagrant base box to be opnfv"

Merge "Adds baremetal node power check before attempting deploy"

Merge "Adds check to ensure 3 control nodes are defined with HA"

Fixes vagrant base box to be opnfv

Chef removed the centos7 basebox from Atlas.  A new opnfv base box was
added.  This patch includes the modifications necessary to point to
that new box.

JIRA: APEX-14

Change-Id: I7e74726c692f21583d0d70f9dd7558665dfb5d99
Signed-off-by: Tim Rozet <trozet@redhat.com>

Adds baremetal node power check before attempting deploy

Ensures nodes are shutoff if a baremetal deployment, before attempting
to deploy.  Previous behavior is deploy will run up to Foreman pxeboot,
then fail.  We can save a lot of time by detecting this up front.  Nodes
must be shutoff before deploying.

JIRA: BGS-68

Change-Id: Ie585e12a5271bc1baac60f6256f85e5cb1b1baeb
Signed-off-by: Tim Rozet <trozet@redhat.com>

Adds ability to specify NICs to bridge on the jumphost

This patch adds new functionality to be able to specify the physical
interfaces on the jumphost to bridge to (rather than figured out
dynamically).  The patch introduces new args for each nic:
 - admin_nic
 - private_nic
 - public_nic
 - storage_nic

The public_nic is the only arg to be used when using -virtual.  In
baremetal: admin_nic, private_nic, and public_nic must either be all or
none specified.  The patch also cleans up virtual node logic, which was
working, but had unnecessary logic.

JIRA: APEX-4

Change-Id: Ic0a2e1d8ce2b7464441e3e9041faf123b86ca7e6
Signed-off-by: Tim Rozet <trozet@redhat.com>

FIX for DHA libvirt template

Change-Id: I5c04770970fc781f1c7f95ef0f8e308f2c541f89
Signed-off-by: Szilard Cserey <szilard.cserey@ericsson.com>

Merge "Removed ODL_DOCKER implementation (DEPRECATED FOR PLUGIN ARCH IN FUEL 6.1/SR1 OF ARNO)"

Adds check to ensure 3 control nodes are defined with HA

New check makes sure that 3 controller nodes are defined in base_config
when ha_flag is set to true in base_config.

JIRA: APEX-7

Change-Id: I7f49dec82704d8c9cbbcf17eb004b0adede406b3
Signed-off-by: Tim Rozet <trozet@redhat.com>

Merge "Fixes Foreman clean to not hang and removes libvirt"

Removed ODL_DOCKER implementation (DEPRECATED FOR PLUGIN ARCH IN FUEL 6.1/SR1 OF ARNO)

Change-Id: I8643d268c5d5e3395725667deb50b5f9df7c3f09
JIRA:0
Signed-off-by: Daniel Smith <daniel.smith@ericsson.com>

Removed opendaylight build capabilities as a preparation toward Arno SR1
Note: The local branch name "removedocker" is missleading!
Change-Id: I4086bb3f47f720407a6356796a9724367cca2898
Signed-off-by: Jonas Bjurel <jonas.bjurel@ericsson.com>

Fixes Foreman clean to not hang and removes libvirt

Fixes clean so that it does not hang when base_config is not provided.
Also now removes libvirt libraries which conflict with VirtualBox
required for deploy.

JIRA: BGS-78

Change-Id: I7c71ca207f260eafb1fb97ace764b9d288fc258a
Signed-off-by: Tim Rozet <trozet@redhat.com>

Fixes setup.sh pxebr checks

Bug where pxebr was checking for link state UP before the subinterface
was added to the bridge.  Moved the check to be after.  Added a short
sleep in between issuing the link up and checking link status.

JIRA: OCTO-109

Change-Id: I7f782a35adf49b0da675e932d109c41b26016a5b
Signed-off-by: Tim Rozet <trozet@redhat.com>

Removes pxebr in clean.sh, updates setup.sh

pxebr bridge is needed by Fuel, but causes issues with Foreman.  It is
now removed in clean.sh.  setup.sh is also updated to be executable and
fixes a bug where grep was being used on output that is in stderr.

JIRA: OCTO-109

Change-Id: I037e168e40f3352a61a604ed6cea21d10250b434
Signed-off-by: Tim Rozet <trozet@redhat.com>

Merge "Adding prep script for Fuel Deployment"

Adding prep script for Fuel Deployment

Change-Id: If9bf1e1de27a0564a7d6fd0184dc80073bc060e6
Signed-off-by: Szilard Cserey <szilard.cserey@ericsson.com>

FIX for missing ks.cfg.patch file

Change-Id: I2a204a9119c20cc1ab3a1a20807593454d5b1cd4
Signed-off-by: Szilard Cserey <szilard.cserey@ericsson.com>

FIX for stealing POD-2 Jumphost IP address 172.30.10.72

Signed-off-by: Szilard Cserey <szilard.cserey@ericsson.com>

Merge "Adding LF POD2 config files for Autodeployer"

Merge "Adds common clean script for CI infrastructure"

Adding LF POD2 config files for Autodeployer

Signed-off-by: Szilard Cserey <szilard.cserey@ericsson.com>

Needed rebase after fuel dev-ops changes

Patch needed after updated fuel devops repo key change
Reference: https://github.com/stackforge/fuel-main/commit/82e77c7f476a23220f44b74c7f32fc04a7189a4e#diff-9d30c16c74e663e5cdb1dc7d9189ed2d

Patch needed after updated fuel devops python package versions
Reference: https://github.com/stackforge/fuel-main/commit/a765460d3fd69089e3b4d2b3a6b55e28e6fb53eb

Rebased site.pp

Change-Id: I138b383b0d57091a81f98acae3b6e7af6a189632
Signed-off-by: Jonas Bjurel <jonas.bjurel@ericsson.com>

Adds common clean script for CI infrastructure

Universal clean script will remove VirtualBox or libvirt/KVM VMs and
related hypervisor packages/kernel modules.  The script is meant to be
executed prior to a deploy to clean the jumphost. The script will also
power off baremtal nodes via IPMI.  These nodes are defined in yaml
and passed via argument -base_config.

JIRA: OCTO-109

Change-Id: I933b3d505b290d65996d60bf465144d92d433315
Signed-off-by: Tim Rozet <trozet@redhat.com>

Merge "speed up the installation of compass"

Merge "update ansible roles directory for supporting commpass-core installing"

Fixes IP/MAC of inventory for lab reconfig

JIRA: OCTO-109

Change-Id: I272a1f9f12454ff71a8a1915ab7b712474b84832
Signed-off-by: Tim Rozet <trozet@redhat.com>

Remove broken links, regression in sphinx?

Change-Id: I2d7b1862e49cf56e4b962248957a09cef83f0f23
Signed-off-by: Aric Gardner <agardner@linuxfoundation.org>

Merge "Adds check to make sure subnets are a minimum size per network"

Adds check to make sure subnets are a minimum size per network

Verifies that subnets are at least these sizes for deploy:
 - admin: 5 IPs
 - private: 10 IPs
 - public: 25 IPs
 - storage: 10 IPs

JIRA: BGS-71

Change-Id: I0a6c373c9a8737fa9f0c2712851616dc301968f3
Signed-off-by: Tim Rozet <trozet@redhat.com>

Fixes clean to remove all VMs and be more effective

Now all VMs in the vm_dir (/opt/var/opnfv) will be destroyed and
removed.  Also, virtual box VMs that are leftover even if Vagrant is
stuck will attempted to be gracefully removed first, before forcefully
destroying the process.  The clean should work for both baremetal and
virtual deployments.

JIRA: APEX-3

Change-Id: Ib31cf1210651e4413ec8fe918ff91be63f4ad6d4
Signed-off-by: Tim Rozet <trozet@redhat.com>

Fixed public IP allocation JIRA: BGS-89

For bare metal deployments, the list IP of the last IP of the subnet
and 20 IPs before are reservered for neutron public IPs.

A new function to subtract a number from an IP was added.

Really fixed the logic for skipping 10 IP for VIPs was flipped to treat
no_dhcp with static IPs as a special case.

Removed a false print statement that the foreman VM is running.
Consolidated two identical print messages with the public IP range.

Change-Id: I189b9440dafd98e49d9a147515810e44b97ab256
Signed-off-by: randyl <r.levensalor@cablelabs.com>

Fixes issue where git clone fails

Looks like for some reason GIT_SSL_NO_VERIFY=true is required for the
git clone to work in LF lab.  I guess git cannot recognize the SSL
cert.  However, this same git clone command works on another non-LF
server that is using the same exact git version without the need for
this fix.

JIRA: BGS-60

Change-Id: I2a71902b3fe01026644ada29bef67c3db3cda711
Signed-off-by: Tim Rozet <trozet@redhat.com>

Fixes syntax error with git clone for genesis

JIRA: BGS-60

Change-Id: I23a004d41ff8fd37a0ddcae1b4831a333000cae8
Signed-off-by: Tim Rozet <trozet@redhat.com>

Fixes clean bug where $vm_dir is assumed to exist

JIRA: BGS-60

Change-Id: Ida9458cf638eca81e6a3d67941203c605d9e4a8a
Signed-off-by: Tim Rozet <trozet@redhat.com>

Migrates from github bgs_vagrant project to genesis

No longer relies on bgs_vagrant github project.  Now Foreman VM is
created under /var/opt/opnfv/foreman_vm, instead of /tmp/bgs_vagrant for better
naming convention and file location.  Other VM nodes are also placed in
/var/opt/opnfv/.

JIRA: BGS-60

Change-Id: I009d907ad777750168b822ab86cd11515e28cdd7
Signed-off-by: Tim Rozet <trozet@redhat.com>

Merge "Take care of the subnet on public subnet"

Take care of the subnet on public subnet

This patch will take care of the subnet on public range. Instead of
having a stoned /24, we can use now use at least /27 subnet (because
foreman will try to use 20 IPs for public floating ip pool)
This is not the best way to do that, but it's better than the current
way.

It also add a parameter to set the number of floating IP we want to use
from the public subnet in provider network.

Change-Id: I467f2a4098d2da3c6f666453cead64e18d0c655c
JIRA: BGS-75
Signed-off-by: arnaudmorin <arnaud.morin@gmail.com>

Removes version pinning to khaleesi and other utils

No longer needed post Arno

Change-Id: I24ba94e48658372034e334d413f044f407f2cb72
Signed-off-by: Tim Rozet <trozet@redhat.com>

speed up the installation of compass

BGS-83

Change-Id: I0dada0a6c4fc6b9dda9fe586b0371ba543045057
Signed-off-by: carey.xu <carey.xuhan@huawei.com>

Add a 1 minute pause after ansible playbook

For the LF pods, it seems that the ansible reload playbook is necessary,
in our pod, we also need to wait 1 minute before trying to run shell
provisionner in Vagrant VM.
This patch adds a 1 minute pause into the ansible playground in order to
be sure that the machine will be accessible.
This avoid "SSH connection unexpectedly closed" issue.

Change-Id: Iab2b47decb0120e8359a175b1f16ccbd1036e91f
JIRA: BGS-85
Signed-off-by: arnaudmorin <arnaud.morin@gmail.com>

Merge "Fixes networking related constraints for Virtual deployments"

Fixes networking related constraints for Virtual deployments

Patchset fixes the following:
 - Virtual deployment no longer requires 3 networks, does a lookup of
the public interface on the server to bridge to, and then uses internal
VirtualBox networks for the other admin and private networks
 - enable_virtual_dhcp option now allows enabling of Foreman DHCP
server.  This new default behavior is to use static IP address in
virtual deployments.  This is more useful in environments where
disabling DHCP on the public network is not an option.
 - static_ip_range argument used to define which IP block to use out of
the public network for the deployment. Valid only in virtual deployment.
 - puppet verification for virtual deployments added
 - horizon and foreman URLs will now be printed at the end of deployment
 - fixes and updates to non-HA deployments
 - ping_site argument now allows users to specify the site to verify VM
internet connectivity.  Default is google.com which is unreachable in
China

JIRA: BGS-73

Change-Id: I63b4c91477591d2f9436b5e6f59a2f2ee021d7d7
Signed-off-by: Tim Rozet <trozet@redhat.com>

Added libvirt boot watchdog definition to provide more robust deployment in case of dhcp/pxe time-out

Change-Id: Id505a0ee89b72460bc65c7181ceae40e5443a515
JIRA:
Signed-off-by: Jonas Bjurel <jonas.bjurel@ericsson.com>

Merge "add a complete cleanup scripts for compass"

Merge "Add ODL Deployment stack docs to Foreman guide"

Merge "Moved 80% of Foreman deploy.sh into functions"

update ansible roles directory for supporting commpass-core installing

BGS-80

Change-Id: I97a5d2a9b1f6c799c1976ec1cf6e687b108e0d0f
Signed-off-by: carey.xu <carey.xuhan@huawei.com>

add a complete cleanup scripts for compass

JIRA: BGS-79

Change-Id: I9b7e3b5244056971b54b2ea9e0d0c9a9db31c47a
Signed-off-by: m00133142 <meimei@huawei.com>

Merge "change in Fuel VM name"

change in Fuel VM name

for eliminating the conflict between prototype and production autodeployers

JIRA: [BGS-2] Create Fuel deployment script

Change-Id: Ib12d3643dd07a3dcbc8b8d19593385348b583ad2
Signed-off-by: Szilard Cserey <szilard.cserey@ericsson.com>

Removed security policies from autodeploy prototype libvirt fuel example libvirt template, preventing
fuel node to boot on Ubuntu 14.04 libvirt.

Change-Id: If9083fba89cca855ef3a4502b820583227cab950
Signed-off-by: Jonas Bjurel <jonas.bjurel@ericsson.com>

Merge "Revert "Adding in support for Lithium container." since it doesnt deploy"

Merge "Add create vm script and foreman config"

Add create vm script and foreman config

Add a script to create a KVM machine and install foreman in it.
This is the beginning of the OpenSteak installation mecanism.
It is very similare as what is done in the Foreman/Quickstack approach
with small differences:
 - Ubuntu as base OS (instead of CentOS)
 - Foreman v1.8 (instead of 1.7.5
 - KVM (libvirt) virtual machine (instead of Vagrant)
 - Only python/bash scripts to manage all the stuff (instead of
   Khaleesi/Ansible/Astaport playbooks)

Change-Id: Ie66b1da4288372927e30163f82f5a0f45e2e73d0
JIRA: BGS-9
Signed-off-by: arnaudmorin <arnaud.morin@gmail.com>

Revert "Adding in support for Lithium container."
since it doesnt deploy

This reverts commit eb887812da568cfb4908f6ae14449b2ceaeb5bc0.

Change-Id: Ia7490d86c1d91abca1f50d90f43bdf3e4917f23a

Merge "Corrected links associated with release docs.  To be updated along with the previous patch for the doc and cherry picked to stable/arno."

Merge "Fetching exit code from deploy.py in deploy.sh"

Moved 80% of Foreman deploy.sh into functions

To help with readability and troubleshooting, the 80% of the
script that was not in a function were added to functions
based on logical blocks.

Neither functional nor order of execution changes were made
to the script.

Since most of the file and other Foreman CI scripts use a
2 space indent, that was also applied uniformly across the
file.

Change-Id: I83b96e231d484813025f6aa900cf2ffc92e94397
Signed-off-by: randyl <r.levensalor@cablelabs.com>

Add ODL Deployment stack docs to Foreman guide

JIRA: BGS-59

Change-Id: Ia2541f7b56077f2ce95acc4dd042d72bb8cbbf2c
Signed-off-by: Daniel Farrell <dfarrell@redhat.com>

Fetching exit code from deploy.py in deploy.sh

JIRA: [BGS-2] Create Fuel deployment script

Change-Id: I9b4f7f27fc8ad271fc9bb37f4cb1910af5068a73
Signed-off-by: Szilard Cserey <szilard.cserey@ericsson.com>

Merge "Fixing network configuration bug in dea.yaml"

Merge "Fix typo: conatiner => container"

Merge "Updating ci deploy script + argument parsing improvements"

Merge "Catching exit status from remote deployment process"

Merge "Add openstack HA installer code with ansible for compass adapter"

Fixing network configuration bug in dea.yaml

it kept failing whenever I tried to deploy in HA mode

JIRA: [BGS-2] Create Fuel deployment script

Change-Id: I94f2b49ef4caf6674c636568601aac69c0339617
Signed-off-by: Szilard Cserey <szilard.cserey@ericsson.com>

Fix typo: conatiner => container

Change-Id: If7a29b0c88a7009ef7587a460ecfeff4ba3f3661
Signed-off-by: Szilard Cserey <szilard.cserey@ericsson.com>

Updating ci deploy script + argument parsing improvements

JIRA: [BGS-2] Create Fuel deployment script

Change-Id: I891d574a5f8593a83edc89bb145bde90943c593f
Signed-off-by: Szilard Cserey <szilard.cserey@ericsson.com>

Catching exit status from remote deployment process

JIRA: [BGS-2] Create Fuel deployment script

Change-Id: I21997df2534ef3cb0ae9ed47a01e6625b8404af9
Signed-off-by: Szilard Cserey <szilard.cserey@ericsson.com>

Fixing verification of vbox drivers JIRA: BGS-74

With the foreman install the vboxdrv module is not loaded
then the deploy.sh script attempts to load the driver by
running ‘/etc/init.d/vboxdrv setup’
and checks the return code for success.

However, /etc/init.d/vboxdrv will return 0 as long a valid parameter was passed on the command line. In the case of a
failure, a failure message will be logged and the return code
will still be 0.

For instance if the kvm module is already loaded, the
VirtualBox driver will never install.

deploy.sh will now check for the VirtualBox kernel module
with lsmod after the setup script is installed.

The deploy.sh will now exit if the vboxdrv is not loaded.

Change-Id: I702819cbf28afb08e0035e08918390af85c07674
Signed-off-by: randyl <r.levensalor@cablelabs.com>

Merge "Fixes external network bridge and adds quota limits"

Fuel Config Reap + Additional Refactoring for Autodeployment

1. Refactor the whole autodeployment code in such a way that
the preparation of Fuel VM + networking and the autodeployment itself
can be executed all at once

2. Functionality added that allows reaping of Fuel configuration from
an existing environment and create DHA and DEA configuration files from it

JIRA: [BGS-2] Create Fuel deployment script

Change-Id: Ia22ae9b050085aaa4cadb4ee6c7bfd556c4bc18a
Signed-off-by: Szilard Cserey <szilard.cserey@ericsson.com>

Add openstack HA installer code with ansible for compass adapter

patch 2: add service monitor and adjust monitor timelen

BGS-25

Change-Id: I4239576b3888a0a7f6b697fe7fffffb677ef7dab
Signed-off-by: baigk <baiguoku@huawei.com>

Adding in support for Lithium container.

Both will be present on the controller nodes and can be started/switches on and off at will. Networking scripts are not updated - will be deprecated in
favour of plugin method of enabling / setting up VXLAN / OVSDB integration

pulling from the latest nightly artifact at time of commit - will work on automated pulling each night to see if that makes sense.

Change-Id: Ie911cdf61cd97a99b975c30c55c664daf70eb3ee
JIRA: 0
Signed-off-by: Dan Smith <daniel.smith@ericsson.com>

Corrected links associated with release docs.  To be updated along with the previous patch for the doc and cherry picked to stable/arno.

JIRA: BGS-64

Change-Id: Ifb5a5d115559097d361aeca83d9b6a0807bbf3d7
Signed-off-by: ChristopherPrice <christopher.price@ericsson.com>

Fixes external network bridge and adds quota limits

Issue where external network router port was being placed on br-int.
Port will now be properly added to br-ex.  Patch also includes increased
quota limits for neutron.

JIRA: BGS-65

Change-Id: I30de85e4ef241b567a90011d08c0cb4ad97fe411
Signed-off-by: Tim Rozet <trozet@redhat.com>

Corrected the "support" e-mail address.  Will need to be cherry picked and merged to arno stable then updated on the release pages once approved and generated.

JIRA: BGS-64

Change-Id: Ie6c48fb863f726e5d2331e53a5b0764f9fb479b4
Signed-off-by: ChristopherPrice <christopher.price@ericsson.com>

Merge "Fix formatting to '_sha1_', '_date_' where needed"

Merge "Very final review before cutting the release Very-very final review :-) Update of release-notes"

Final installation instructions commit taged 1.0.0
Very final installation instruction commit

Change-Id: Ie60e936c04cbaf17e5d5b4e19846b7ced2ae86de
Signed-off-by: jonasbjurel <jonas.bjurel@ericsson.com>

Very final review before cutting the release
Very-very final review :-)
Update of release-notes

Change-Id: Ia5e6dc35495b92dcfbb402ecb96e8f41786848d0
Signed-off-by: jonasbjurel <jonas.bjurel@ericsson.com>

Fix formatting to '_sha1_', '_date_' where needed

JIRA: BGS-48

Change-Id: Ic67f7935a37014c54357a478a596a280773f0580
Signed-off-by: Ildiko Vancsa <ildiko.vancsa@ericsson.com>

Add references to the User Guide

JIRA: BGS-48

Change-Id: I195fc3796f146bcb796fe9773dd5a996fe43d31e
Signed-off-by: Ildiko Vancsa <ildiko.vancsa@ericsson.com>

Merge "Update Reference section for the Install Guides"

Merge "Fixes release tags and versions"

Last build instruction commit for Arno, now tagged as 1.0.0
Final review of the Fuel build instructions
JIRA:

Change-Id: I75903a69fe8a77b35008ceed38464c3cb8727978
Signed-off-by: jonasbjurel <jonas.bjurel@ericsson.com>

Update Reference section for the Install Guides

JIRA: BGS-48

Change-Id: Ice04e177f4451d8bb3170a5e3ef3e8418deead3e
Signed-off-by: Ildiko Vancsa <ildiko.vancsa@ericsson.com>

Fixes release tags and versions

JIRA:

Change-Id: I1bb931f2c9cf028c7cb935bb24ffc8425913be97
Signed-off-by: Tim Rozet <trozet@redhat.com>

Final review for the fuel installation instructions
JIRA:

Change-Id: I7a525ca56e20a92b004620e85de48f3ff3b3d64e
Signed-off-by: jonasbjurel <jonas.bjurel@ericsson.com>

Fixed scripts inside ODL container to match SR3 release naming.

Change-Id: I3c9b7acb8972bd34afc01f3aad9a1f5ec9a1b99f
JIRA: 0
Signed-off-by: Dan Smith <daniel.smith@ericsson.com>

Merge "Adding some doc fixes."

Merge "Fix ISO name in Fuel Install Instruction"

Merge "Fix indentation in user-guide.rst"

Merge "Add ISO reference to Foreman Install Instruction"