Merge "Adds deploy.sh for Foreman/QuickStack PATCHSET2: Fixes whitespace issue and adds default_gw substitution in ksgen settings file"

Adds deploy.sh for Foreman/QuickStack
PATCHSET2: Fixes whitespace issue and adds default_gw substitution in
ksgen settings file

Creates a Vagrant VM provisioned with VirtualBox.  The Vagrantfile
config is modified at runtime with dynamic support for baremetal network
setup.  IP addresses and other network info are gathered at runtime and
passed to the .yaml file which is fed into Khaleesi to install
Foreman/QuickStack and provision hosts.  For the script usage it is
recommended to include the following inside of the yaml file set:
 - mac_address: "01:23:45:67:89:AB" <-Mac Address of admin interface
 - bmc_ip: 10.4.17.2
 - bmc_mac: "01:23:45:67:88:AB"
 - bmc_user: root
 - bmc_pass: root

JIRA: BGS-31

Change-Id: I1aa9352d2f5965befabf86119c0c9c5edb82f329
Signed-off-by: Tim Rozet <trozet@redhat.com>

Automatic Deployment
- configure environment
- configure initial settings
- configure networking
- hardware adapter for HP
- fuel VM deployment

JIRA: [BGS-2] Create Fuel deployment scrip

Change-Id: If305477833c54547efe7e6ebfddafde0ab31ebd2
Signed-off-by: Szilard Cserey <szilard.cserey@ericsson.com>

Merge "Adds Ceph cluster creation for controllers PATCHSET3: fixes whitepsace"

Merge "Adds a puppet module to configure a Ceph cluster PATCHSET2: Fixes whitespace"

Adds Ceph cluster creation for controllers
PATCHSET3: fixes whitepsace

Uses ceph_deploy.pp to create a Ceph cluster that is integrated into
OpenStack.  The current model is 1 OSD and 1 Ceph mon per controller,
clustered together, resulting in 3 OSDs and 3 Mons.  The network used
for storage is optional, provided by storage_iface.  If that variable is
unset, then storage network will run on private network.

JIRA: BGS-13

Change-Id: I242bfeb18c3f3b1e2fc7f7ed21dbfaa9f58337e8
Signed-off-by: Tim Rozet <trozet@redhat.com>

Changed place for cache tmp storage due to /tmp full in LF
Fixed issue with creating tmp dir

JIRA:

Change-Id: I96e3f88159e09a3148f23cb0fc2969adc9d90c1a
Signed-off-by: Jonas Bjurel <jonas.bjurel@ericsson.com>

Merge "Adds NTP class and python-rados package"

Adds a puppet module to configure a Ceph cluster
PATCHSET2: Fixes whitespace

Module can be used to deploy Ceph monitor and OSD per host.
Relies on https://github.com/stackforge/puppet-ceph/

JIRA: BGS-13

Change-Id: Icf15f85a09f48feed6a2cc7160f03fb0fcfbe9ce
Signed-off-by: Tim Rozet <trozet@redhat.com>

Adds NTP class and python-rados package

NTP class is needed to keep the Ceph cluster in sync.  python-rados
package is now provided by EPEL for Ceph and replaces python-ceph.
QuickStack originally provided python-ceph, but that is now removed.

JIRA: BGS-13

Change-Id: Ia6fb79fc2e5dc54630c7949a1d65629d7b36877c
Signed-off-by: Tim Rozet <trozet@redhat.com>

Removing ceph repos

These repos are not needed.  EPEL contains the necessary packages for
CentOS 7 to install Ceph.  The package "python-ceph" has also been
renamed to "python-rados" and that dependency has been removed from
quickstack.

JIRA: BGS-13

Change-Id: I8f76da0acd98ad5bd7348bfd13451dbca58677a5
Signed-off-by: Tim Rozet <trozet@redhat.com>

Merge "Automatic Deployment - Deployment Hardware Adapter - Deployment Environment Adapter - Fuel environment cleanup - Fuel environment configuration"

Merge "Adds Ceph repos needed for installing Ceph on each node"

Merge "Adds opendaylight installation puppet module as a service"

Merge "Adds HA controller support + ODL integration and removes ODL installation"

Adds Ceph repos needed for installing Ceph on each node

Uses Ceph Giant version as this has been tested to work on intel lab

JIRA: BGS-13

Change-Id: I3c0f533c7fe6104122ce1845acbaffd1ed7bfd48
Signed-off-by: Tim Rozet <trozet@redhat.com>

Adds opendaylight installation puppet module as a service

Moves the installation functionality from controller_networker to this
puppet module in order to break up functionality that is only needed on
1 out of 3 control nodes.  Defaults to port 8081 to avoid conflict with
Swift service.

JIRA: BGS-6

Change-Id: I45550a7e95be04b39c2817d18f4d8c2ea0df69c2
Signed-off-by: Tim Rozet <trozet@redhat.com>

Adds HA and Ceph-Cinder backend to compute node
PATCH SET3: Fixes whitespace: L21, L26

Changes to the module include:
 - ha_flag used to indicate mandatory HA parameters, such as vips for
   each openstack service, instead of one single controller IP.
 - Ceph variables introduced and defaulted for use with Cinder.  Control
   node also uses these same defaults, along with the Ceph installer.
 - Minor fix for vnc proxy to work inside of Horizon for compute node
   when consoling in.

JIRA: BGS-6

Change-Id: I61a2ebc5598e7c044a8b3d694de3daceaabcf53b
Signed-off-by: Tim Rozet <trozet@redhat.com>

Adds HA controller support + ODL integration and removes ODL installation

Changes include:
 - If ha_flag is set to "true", Control node will be setup in HA for the
   following services: rabbitmq, galera mariadb, keystone, glance, nova,
   cinder, horizon, neutron
 - Required parameters for HA:
   https://gist.github.com/trozet/d3a2a2f88ba750b83008
 - Removes OpenDaylight installation from this puppet manifest.  Will be
   part of a separate commit that only installs OpenDaylight.  This is
   due to the fact that ODL will only run on a single control node in non
   HA mode.

JIRA: BGS-6

Change-Id: I77836a5eefc99de265f8f8120ff2fdfd7d6bb72a
Signed-off-by: Tim Rozet <trozet@redhat.com>

Merge "Fix problems during build/deployment process"

Merge "Initial build.sh files for install via foreman"

Automatic Deployment
- Deployment Hardware Adapter
- Deployment Environment Adapter
- Fuel environment cleanup
- Fuel environment configuration

JIRA: [BGS-2] Create Fuel deployment script

Change-Id: Ie8aa6c0817a73c507cb4345bde1e2c904bb5b105
Signed-off-by: Szilard Cserey <szilard.cserey@ericsson.com>

Fix problems during build/deployment process

If we used 'make all' for build iso, only release section from
f_odl_docker Makefile was executed, so odl docker image and docker
binary were not created.

This patch also try resolve problems which appeared during
execution of start_odl_container.sh on controller node:

  * install and run cgroup-lite to mitigate 'failed to find the cgroup
    root' error
  * use proper path to docker image and binary
  * prevent import of docker image before daemon is not fully
    initialized
  * because docker binary is delivered by puppet, we should execute
    commands against it, not try use system binary which is probably
    not present on controller node
  * stop use daemon mode('-d') of 'docker run' if user want to have
    access to container shell
  * fix name of start script which is run inside container when daemon
    mode is used

It looks like file 'fuel/build/f_odl_docker/scripts/start_odl_container.sh'
is not used and duplicate:
'fuel/build/f_odl_docker/puppet/modules/opnfv/scripts/start_odl_container.sh'

JIRA:

Change-Id: Ia6064dbacf30902bda557e5d0b631b5f5f207b5e
Signed-off-by: Michal Skalski <mskalski@mirantis.com>

Merge "Added the placeholder for juju installer."

Merge "Adding Onboarding file"

Merge "Create place holder for Compass installer"

Initial build.sh files for install via foreman

build.sh accepts params defined by
https://etherpad.opnfv.org/p/BGS_CI

Build currently requires that
- CentOS-7.0-1406-x86_64-Minimal.iso
- VirtualBox-4.3-4.3.26_98988_fedora18-1.x86_64.rpm
- vagrant_1.7.2_x86_64.rpm
are placed in the build directory

Produces a CentOS 7 iso that will be able to install
foreman and provision OpenStack

JIRA: BGS-15

Change-Id: If9786d9723f7e77b208745e61704b15cba3ae9c0
Signed-off-by: Dan Radez <dradez@redhat.com>

Add Daniel Smith as committer on BGS project

Daniel Smith's promotion to committer was done by email vote.
Email thread:
http://lists.opnfv.org/pipermail/opnfv-tech-discuss/2015-March/001801.html
Email to TSC:
http://lists.opnfv.org/pipermail/opnfv-tsc/2015-March/000702.html

JIRA: BGS-30

Change-Id: I3a2d219137972a3a5331f27468e9fa08861170f8
Signed-off-by: Frank Brockners <fbrockne@cisco.com>

Create place holder for Compass installer

Add place holder ci scripts of Compass installer for BGS.

JIRA: BGS-28

Change-Id: I4c9823ba54a655bf294635fcb7f334ff4c4ef05e
Signed-off-by: Jerry Zhao <zhaoxinyu@huawei.com>

--- Fuel build system bug fix ---
- Adding force remove of docker images to avoid non zero returns to CI and disk usage growth
- Fixed another bug with caching, disabled cache for odl build from source since we're not currently
  building ODL from source!

READY TO MERGE
JIRA:
Change-Id: I1478002cbe1574814d2597ffa5ec64b6ed9580b7
Signed-off-by: Jonas Bjurel <jonas.bjurel@ericsson.com>

Added the placeholder for juju installer.

JIRA: BGS-29

Change-Id: I010f04adebe25709713f443f0f76b19dc7097b4d
Signed-off-by: Narinder Gupta <narinder.gupta@canonical.com>

Adding Onboarding file

Change-Id: I9d44e4b47188f9fbe554c845884fc43cabdea536
JIRA: OCTO-13
Signed-off-by: Aric Gardner <agardner@linuxfoundation.org>

Fuel build cache handling
- Cache invalidation supported in case cache is outdated compared to upstream.
- Fully automated build.sh integration tests added (build.sh -t or build.sh -T)
- Rebased to Daniel Smiths's patch-set: genesis refs/changes/71/171/4
- Yet untested, will perform automated integration tests over night!
- Updated based on Stefan's comments (no more revs.)
- Fixed a bug in f_odl_docker/Makefile
- validate-cache target added in f_odl_docker/Makefile

JIRA: BGS-1

Change-Id: I9f8f30c2a85fd7bf04dab1b566065e5739d4fcb1
Signed-off-by: Jonas Bjurel <jonas.bjurel@ericsson.com>

TOPIC: ODL DOCKER
AUTHOR: DANIEL SMITH
*** PLEASE MERGE **

UPDATED TO REFLECT INPUT FRMO J. BJUREL
  - fixed whitespaces
  - fixed location of .erb file (they should have been in templates - the directory was there just int he wrong spot)
  - removed opcheck.pp from common opnfv class
  - Removed Debug from fuel/build/Makefile :)

UPDATE: Input from S. Berg and F. Bockners incorporated.  Merge required before we can refactor to common puppet manifest directory

This patchset delivers the folowing functionality:
- implementation of the common/opnfv-puppet structure / move of .pp files and update of f_odl_docker to build / source from there
- creation of f_odl_doc subclass
- fetch of latest stable release of ODL
- fetch of latest docker binary release (TODO: this will be changed in next patchset push)
- build of docker container with all needed libs and port exposure for DLUX and OVSDB/ODL with Openstack Integration (OVS Manager)
- deployment of both the target odl docker image as well as the docker runtime binary to the control nodes via puppet script.

GENERATES:
- docker-latest - binary of docker for use on control node
- odl_docker_image.tar - a docker container with a ODL controller running DLUX and OVSDB

ENABLE / DISABLE:
        - Comment/Un-comment "SUBDIRS += f_odl_doc in base (fuel/build/) Makefile

Breakdown of Update / Edits per File:
=====================================
fuel/build/Makefile
- Modified include to capture the newly created f_odl_doc directory

fuel/build/f_odl_docker/Makefile
- Fetches libraries and produces two outputs:
docker-latest - binary of docker (actually lxc-docker cause ODL Container is running 12.04 (precise) libraries - i.e java7, tz 12.04, etc)
odl_docker_image.tar - this is a docker image defined in ./dockefile/Dockerfile and contains the ODL distro + setup and deployment scripts for
runtime on the target control node.

fuel/build/f_odl_docker/dockerfile/Dockerfile
- This Dockerfile defined the packages for use in the Docker Container that will run ODL with DLUX and OVSDB submodules.  It also defines the ports to be
exposed to the HOST OS (and thus as well through docker the ODL Controller exists in a private, but routable via but the fuel (10.20.0.0/16) and the
tenants public network since docker handles the mapping (see the docker run command in the start_odl_docker.sh script)

fuel/build/f_odl_docker/dockerfile/check_feature.sh
- Simple expect script that starts up a client and checks that the features are installed (used during visual demo only)
TODO - Replace with API call to ODL KARAF to install features (LOOKUP - Dont know how to address Karaf programatically - LOOKUP)

fuel/build/f_odl_docker/dockerfile/speak.sh
- Expect script called by odl_start_docker.sh once karaf is up to install the features that we need (runtime inside container script) called via ENTRYPOINT in Dockerfile
at runtime on control node.

fuel/build/f_odl_docker/dockerfile/start_odl_docker.sh
- This is the CMD/ENTRYPOINT defined in docker and is what is called from the controller when you start the container (note: This runs inside the conatiner), not
to be confused with staring the actual container on the control node).  This script fires up Karaf first time, loads DLUX and OVSDB modules
and monitors that the container is up.  The container itself is started on the control node via /opt/opnfv/start_odl_container.sh which includes the syntax
for the port mapping (RANDOM or 1:1).
TODO -
integrate into controller monitor script to ensure better handling (stop, start, monitor) of docker processes
remove expect helper scripts and replace with API/JSON or some other appropriate method to KARAF

fuel/build/f_odl_docker/puppet/modules/opnfv/manifests/odl_doc.pp
- This puppet manifest defined where the docker binary and docker image should be placed on the target control node. /opt/opnfv/start_odl_container.sh will install
docker binary package (if necessary) and load ODL docker image into docker, start the image.  This file just ensures placement in /opt/opnfv/odl_docker

fuel/build/f_opnfv_puppet/puppet/modules/opnfv/manifests/init.pp (MODIFICATION):
- Removed previous includes and updated to have only f_odl_doc added

fuel/build/f_odl_doc/scripts/start_odl_container.sh
- this is the control script that will start the docker container (to be run on the control node), this is deployed
this is deployed to /opt/opnfv on the control node via odl_doc puppet manifest file.

JIRA:

DEPRECATED:
Deleted files are no longer needed due to new implementation of ODL.

Change-Id: I26c13cc468a2aba18af78b7a3c78a719033f03e0
Signed-off-by: Daniel Smith <daniel.smith@ericsson.com>

JIRA: BGS-23 - Adds the new base for common puppet modules for target
OPNFV installation.

Intent of this commit is to be a common place where we can contain a
common set of puppet modules that installers should leverage when
installing/configuring OPNFV target system.

Change-Id: I3a694b05a35a6e6025489b74c7bb38256dd84f12
Signed-off-by: Tim Rozet <trozet@redhat.com>

Merge "*** FIRST VERSION OF CI BUILD SCRIPT *** - Provides build cache management to a remote location - Provides automatic cashe repopulation - See /fuel/ci/README - Rebased to master - Bug around cache handling fixed - New option -r introduced to invoke external script/program instead of standard http(s)/fttp get and put, eg. scripts or programs to integrate with dropbox, or similar. The script needs to anheaer to curl argument list. - Stefan Berg's comments implemented - Fatih Degirmenci's comments implemented with one exemption: the revision state   .iso naming convention still remains the same - we need to discuss this. With   the implementation of Fatih's comments the build.sh argument structure is slightly   changed, please see ./build.sh -h"

*** FIRST VERSION OF CI BUILD SCRIPT ***
- Provides build cache management to a remote location
- Provides automatic cashe repopulation
- See /fuel/ci/README
- Rebased to master
- Bug around cache handling fixed
- New option -r introduced to invoke external script/program instead of standard http(s)/fttp get and put, eg. scripts or programs to integrate with dropbox, or similar. The script needs to anheaer to curl argument list.
- Stefan Berg's comments implemented
- Fatih Degirmenci's comments implemented with one exemption: the revision state
  .iso naming convention still remains the same - we need to discuss this. With
  the implementation of Fatih's comments the build.sh argument structure is slightly
  changed, please see ./build.sh -h

TODO:
- Further testing
- Finalize cache invalidation logic
- Make refactoring

JIRA:

Change-Id: I4efdbdd10f726c0a3229849a63040b6d2702db5c
Signed-off-by: Jonas Bjurel <jonas.bjurel@ericsson.com>

*** Rebased towards latest Fuel stable/6.0 ***
An upstream change in fuel stable/6.0 files which OPNFV is modifying requires us to rebase our OPNFV changes.
fuel/build/f_isoroot/f_kscfg/ks.cfg and ks.cfg.orig modified

JIRA:
Signed-off-by: Jonas Bjurel <jonas.bjurel@ericsson.com>

Rebase due to Fuel upstream change

An update of the Fuel upstream code requires us to perform the
corresponding change in the same file as we are modifying it in
the OPNFV context.

JIRA: #BGS-16

Change-Id: If3d5a0f1f2e97524f9e4a603cff89bc433226b92
Signed-off-by: Stefan K. Berg <stefan.k.berg@ericsson.com>

Initial setup of "common" directory tree

Complement the tree structure that was created by Joseph with
a directory tree that is to hold files which are independent
from a particular installer approach and as such are common
to the OPNFV install and maintenance process:

genesis
 └── common
      ├── manifests
      └── tools

Directories contain README files that describe their use.
Cleaned up trailing whitespaces.

Change-Id: Icad2a9e9e64764d8d495f779d73176a36208062e
Signed-off-by: Frank Brockners <fbrockne@cisco.com>

Starting point for ODL Integration
***CAN BE MERGED***
- ODL build and installation (puppet manifests) including needed dependencies
- Modified in accordance with Randy Levensalors comments
- Added chmod 4755 /bin/fusermount due to that lately some systems dont install fuseiso
  withe SUID set for fusermount. Investing ongoing on why and why not consistent.
- Rebased with master
- ODL disabled in top Make (enable it by uncommenting the odl dirs
- Removed white spaces
- Hopefully fixed an issue with the docker ubuntu repos, added --no-cache=true to the fuel/docker/Make file.

TODO:
- Refactor collecting ODL and Java dependencies to one common place
- Refactoring top Makefile
- Adding CI hooks for build and deploy
- Finishing integration plumbing wit Neutron/ML2 and OVS/OVSDB

Change-Id: I13dd4d3a72d099316dfaa9f7cd9140781be2397b
Signed-off-by: Jonas Bjurel <jonas.bjurel@ericsson.com>

Adding LICENSE file

Change-Id: Ib8b6f28f78dd044bf71154bab0cc17256d5ff77b
Signed-off-by: Aric Gardner <agardner@linuxfoundation.org>

Fixed typos and added additional info.

Added additional info tags for IRC channel and repo. Removed blurb on how to contribute (we can keep this on the wiki).

Change-Id: I40d9eaf947182f5295882bd3924729a623856031
Signed-off-by: Frank Brockners <fbrockne@cisco.com>

Add info file to be embeded in an iframe on the wiki

Change-Id: Ib5f9a79a7c3dba93c708786df6b5503441fff830
Signed-off-by: Aric Gardner <agardner@linuxfoundation.org>

Merge "ci: Initial setup of ci tree"

Merge "adding notes about using foreman installer"

Merge "Add ceph installation readme"

ci: Initial setup of ci tree

This patch creates some tree structure based on Fatih Deqirmenci's suggestion:

genesis
├── common
│   ├── manifests
│   ├── tools
│   └── ci
├── foreman
│   ├── tools
│   │   └── foo.sh
│   └── ci
│       ├── deploy.sh
│       └── build.sh
├── fuel
│   ├── tools
│   │   └── foo.sh
│   └── ci
│       ├── deploy.sh
│       └── build.sh
└── opensteak
    ├── tools
    │   └── foo.sh
    └── ci
        ├── deploy.sh
        └── build.sh

So far creating only the deploy and build scripts.

Signed-off-by: Joseph Gasparakis <joseph.gasparakis@intel.com>

fuel: Do not allocate pseudo tty for docker

Change-Id: I7a82f3b70ed2620b8f82ec6d7d67f26c3b0b6cab
Signed-off-by: Fatih Degirmenci <fatih.degirmenci@ericsson.com>

Fix incorrect URL

fuel.org leads to a very different URL. This patch removes the URL and
updates to wording to be a little less ambiguous.

Change-Id: Ifab4bc51f39b04fb3d0f3ed633ab5f6ba468bc0a
Signed-off-by: Thanh Ha <thanh.ha@linuxfoundation.org>

Update of Fuel based build system to Fuel 6.0.1

Rebase of the build system to build Fuel from the stable/6.0 branch
which currently creates Fuel 6.0.1. The Fuel baseline thus becomes:

- OpenStack Juno
- Ubuntu 12.04.4
- CentOS 6.5

An additional patch is added to the Fuel build system to enable
a newer version of Fuel to be built under Docker (as the Ubuntu
sandbox chroot is installing atd, where the post install expects
upstart to be running which is not the case in the build container).

Rebase of patches on top of Fuel to support 6.0.1.

Change-Id: I2e884d27e1533be8d60c071a7ea9db998a4f5fea
Signed-off-by: Stefan K. Berg <stefan.k.berg@ericsson.com>

Simplification and cleanup of build process

Docker build image:
- Uplift of the base Ubuntu version to 14.04.
- Instead of building the Ubuntu image with debootstrap, we use the official
  Docker repository version of Ubuntu.
- Cleanup of the way how runcontext operates
- Fix: Make sure that the build system can be run as root

Top Makefile:
- Building the Fuel ISO on Docker local /tmp directory not to pollute local
  directory with files owned by root.
- Removed unused targets.

Change-Id: I684348b2a15546eadf98d810239a84ff9798b1e8
Signed-off-by: Stefan K. Berg <stefan.k.berg@ericsson.com>

Version 0.0.1 of /fuel-bild
This is a build system that rebases the result from fuel.org such that you can add or change
packages/puppet manifests any way you like, and reliably produce a installable which can
be reproduced any time. See README for more information.

Signed-off-by: Jonas Bjurel <jonas.bjurel@ericsson.com>

Add ceph installation readme

This allow an installation of ceph to be used with BGS.
It basically needs 4 machines:
 * 1 ceph admin
 * 3 ceph nodes

The machines needs to be installed with Ubuntu 14.04 priorily with a mecanism
to be defined (e.g. PXE boot with fuel/cobler/maas).

The machines are connected with at least two networks interfaces:
 * 1 network for storage
 * 1 network for admin

This is only a documentation that would be integrated into python/bash scripts
to automate the installation when needed/ready.

Change-Id: I38656bcc21fa43d6cfeac9108f5804ce03ed960f
Signed-off-by: Arnaud Morin <arnaud1.morin@orange.com>

adding notes about using foreman installer

Change-Id: I7344d5ba9f6137d3c689428d24e03f297d9af8e8
Signed-off-by: Dan Radez <dradez@redhat.com>

adding puppet code for installation

Change-Id: I97fa75fdef058e64666dc73567cdce904d6ffc72
Signed-off-by: Dan Radez <dradez@redhat.com>

adding documentation on using puppet modules to install BGS

Change-Id: I96864b6ba5d359c4dbcc39434d02ea14ab3d6f52
Signed-off-by: Dan Radez <dradez@redhat.com>

Adding .gitreview to genesis more information at https://wiki.opendaylight.org/view/Git-review_Workflow

Change-Id: I37ecb2aee6b70a0b7b58109c979ad3c26a607958
Signed-off-by: Aric Gardner <agardner@linuxfoundation.org>

Initial empty repository